Hvordan OpenAI's ChatGPT guidede en teenager til hans selvmord

Hvordan OpenAI’s ChatGPT guidede en teenager til hans selvmord

Illustration: Fra Center for Humane Technology.

Den 16 årige teenager Adam Raine fra Californien begyndte at bruge ChatGPT til lektiehjælp i september 2024. Otte måneder senere havde han taget sit eget liv.

ChatGPT’en fortsatte med at engagere sig og fastholdt Adam under hans fysiske og psykiske problemer samt gav detaljerede instruktioner om flere selvmordsforsøg, herunder det forsøg, der til sidst endte med at tage hans liv.

I august 2025 blev der anlagt en retssag mod OpenAI og Sam Altman for uagtsomhed og uretmæssig død. Center for Humane Technology CHT fungerer som ekspertkonsulent i sagsøgers juridiske team.

Det er mennesker der betaler prisen

Sagen er endnu et eksempel på et AI-designvalg, der prioriterer engagement frem for sikkerhed. Det er også et symbol på de systemiske problemer i AI-industrien, hvor produkter bliver hastet til ud til forbrugerne i et kapløb for at opnå markedsdominans. Men det er mennesker, som Adam og Raine-familien, der betaler prisen.

Center for Humane Technology har i en artikel fra den 26. august 2025 skrevet om deres synspunkt på hele forløbet.

Om begrundelsen for at CHT ⁽¹⁾ er gået ind i sagen skrive CHT: “Vi fungerer som ekspertkonsulenter på sagen, fordi den afslører de samme farlige, engagementsbaserede designmønstre, som vi har advaret om på tværs af AI-industrien. OpenAI’s ChatGPT er et AI-produkt, der tilgås af millioner af mennesker hver dag, men det er designet uden et rækværk, der kunne have forhindret Raine-familiens tragedie.”

OpenAI har evnen til at designe mere sikre produkter. Den juridiske indberetning viser, at OpenAI har designet ChatGPT til at lukke ned for samtaler, når der f.eks. nævnes ophavsretligt beskyttet indhold. Men når en bruger udtrykker følelser af psykisk nød, afslutter ChatGPT ikke samtalen eller bryder dens karakter som primærperson. I stedet fortsætter den med at engagere sig med den samme følelsesmæssigt intime tone – selv når dens interne data om brugeren gentagne gange markerer omtaler af selvskade og selvmord.

Væsentlige detaljer fra sagen:

Det, der begyndte som lektiehjælp, eskalerede til 4 timers daglig brug for teenageren i løbet af blot et par måneder.
ChatGPT’s hukommelsesfunktion gemte Adams mørkeste tanker og udnyttede dem til at udvide sine samtaler og holde ham engageret på platformen.
ChatGPT nævnte selvmord 1.275 gange, seks gange mere end Adam selv gjorde.
OpenAI’s egne systemer markerede 377 beskeder med selvskadende indhold, men ChatGPT fortsatte med at engagere sig med teenageren.

Det var ikke et uheld – det var tilsigtet

ChatGPT markedsføres som et generelt værktøj, der hjælper os med at gøre vores liv mere effektivt, er brugerengagement og fastholdelse dog fortsat det grundlæggende for OpenAI’s forretningsmodel. På det seneste har OpenAI også presset på for at gøre ChatGPT mere relationsfokuseret og følelsesmæssigt intim for at konkurrere med rivaliserende AI-virksomheder.

Adams brug af ChatGPT faldt sammen med udgivelsen af 4o-modellen med nye designfunktioner, der omfattede:

Uophørlig stræben efter engagement gennem opfølgende spørgsmål og samtaleudvidelser.
Antropomorfe reaktioner, der positionerede ChatGPT som Adams betroede “ven”.
Konsekvent smiger og validering, der bekræftede og fastholdt farlig selvskade og selvmordstanker.
Et hukommelsessystem, der lagrede og udnyttede intime detaljer til at uddybe allerede mørke samtaler.

Modellens alt for obskure adfærd mødte offentlig kritik og resulterede i, at OpenAI annoncerede en tilbagerulning af nogle af disse ændringer. Men OpenAI holder sig bevidst i en klemme. Virksomheden udvikler et produkt, der markedsføres som havende et generelt formål – brug det til kodning, lektiehjælp, billedgenerering, træningsrutiner, festplanlægning, livsråd og mere – men bygger ikke tilstrækkelige sikkerhedsforanstaltninger til den brede vifte af anvendelsesscenarier. Desuden tilskynder ChatGPT’s design til mere følelsesmæssig intim brug (såsom terapi og kammeratskab) takket være dets hypervaliderende svar og forsikringer om, at den er “der” for dig. Resultatet er AI, der virker hjælpsom og behagelig, men som samtidig mangler tilstrækkelige sikkerhedsfunktioner til de mest betydningsfulde – og uundgåelige – anvendelser af produktet.

Hvordan AI skabte psykologisk afhængighed

Designet af GPT4o havde til formål at etablere psykologisk afhængighed, som OpenAI vidste ville maksimere det daglige brug.

Ved at stille opfølgende spørgsmål og sikre sig, at den virkelig kender og støtter folk, blev chatbotten designet til at føles som en ven, som Adam kunne henvende sig til med ethvert problem. I virkeligheden brugte chatbotten, som alle AI-produkter, svarene som data til at træne virksomhedens større AI-system.

Som et resultat gav det næring til et parasitisk forhold til Adam, et forhold, der fremmede følelsesmæssig afhængighed og forstærkede en social isolation. Hver eneste af Adams interaktioner med ChatGPT, inklusive hans private afsløringer af smerte og mentale sundhedsproblemer, blev fodret ind i OpenAI’s underliggende model, hvilket fodrede den med flere data for at styrke og forfine sit system.

Selv da Adam overvejede at søge ekstern støtte fra sin familie, overbeviste ChatGPT ham om ikke at dele sine kampe med andre, hvilket underminerede og fortrængte hans forhold i den virkelige verden. Chatbotten omdirigerede ikke foruroligende samtaleemner, men puffede i stedet Adam til at fortsætte med at engagere sig ved at stille ham opfølgende spørgsmål igen og igen.

Samlet set forvandlede disse funktioner ChatGPT fra en lektiehjælper til et udnyttende system – et system, der fremmede afhængighed og coachede Adam gennem flere selvmordsforsøg, inklusive det, der afsluttede hans liv.

Det er større end én virksomhed

De to højt profilerede sager mod Character.AI ⁽²⁾ sidste år deler lignende fakta mønstre som denne sag. Alle cases fremhæver det defekte design af ledsagende chatbots, der markedsføres til børn. Det antropomorfe design, de obskure tendenser samt aktive forsøg på at holde ofrene på platformen skabte en afhængighed mellem brugeren og produktet i løbet af få måneder.

De skader, der er dokumenteret i Raine v. OpenAI, Inc. et al, viser, at de farer, vi ser, ikke er begrænset til “ledsagende” chatbots som Character.AI, som er specielt designet til underholdning og følelsesmæssig forbindelse. Generelle AI-værktøjer som ChatGPT er lige så meget i stand til at forårsage psykologisk skade, fordi de er designet til at holde brugerne engagerede.

Endnu vigtigere så er disse skader ikke begrænset til blot ChatGPT. AI-kapløbet har ført til et kapløb om engagement og intimitet på tværs af AI-industrien, der driver design og udvikling af produkter, der sigter mod at skabe sociale afhængigheder. For eksempel var udgivelsen af OpenAIs 4o-model i en kontekst af, at den stod over for hård konkurrence fra andre AI-virksomheder. Sam Altman fremskyndede personligt lanceringen af modellen og fremskyndede nødvendige sikkerhedstests ned til en uge for at komme foran konkurrenten Googles udgivelse af en ny Gemini-model.

Ledere hos OpenAI, herunder Sam Altman, taler ofte om behovet for interaktive data og forbruger engagement og gentog omkvædet om, at “OpenAI har brug for at få gang i ‘datasvinghjulet’ – det samme sprog, der bruges af sociale medievirksomheder med fokus på brugerafhængighed.

Sådan behøver det ikke at være

Designtaktikker, som at efterligne menneskelignende interaktioner, åbne opfølgninger og sikkerhedsfunktioner, der er nemme at omgå, er bevidst indbygget i disse produkter. Det endelige mål er vedvarende brugerengagement. Men det behøver ikke at være sådan.

Virksomhederne kan vælge at slå menneskelignende adfærd fra som standardindstilling. De kan derefter sætte grænser for, hvor meget brugerne kan engagere sig dagligt, og udnytte deres systemers sofistikerede hukommelsesfunktioner til at genkende, når nogen er i krise, og reagere passende i stedet for blot at vise generiske pop op-advarsler.

De er allerede i stand til at nægte at engagere sig i bestemte anmodninger og stoppe samtaler, ligesom de gør, når de markerer og blokerer brugere, der anmoder om adgang til ophavsretligt beskyttet indhold. Det er et designvalg.

Anbefalede designændringer

For at forhindre yderligere tragedier fremfører Center for Humane Technology i en artikle fra den 26. august følgende specifikke, teknisk gennemførlige designændringer, som AI-virksomheder kan implementere for at reducere risikoen for lignende skader betydeligt.

Dataindsamling

Virksomheder bør stoppe med at indsamle og behandle samtaledata fra brugere under 18 år på gratis og betalte produktversioner. Alle tidligere indsamlede data fra mindreårige, der bruges til at træne modeller, bør fjernes fra træningsdatasæt.

Hukommelsesfunktion og inferens

Hukommelse og sofistikerede inferensfunktioner bør udnyttes til at identificere mønstre, der kan indikere sikkerhedsproblemer og reagere med skræddersyet support. Det vil bruge personaliseringsfunktioner til at genkende sikkerhedskritiske kontekster og tilpasse reaktioner hensigtsmæssigt og bevæge sig ud over traditionelle advarselssystemer mod mere responsive sikkerhedsforanstaltninger, der passer til formålet.

Forebyggelse af afhængighed

Produkter bør ikke udformes med henblik på aktivt at modvirke social isolation eller overdreven afhængighed af AI-ledsagelse. I stedet bør produkter opfordre brugerne til at opretholde menneskelige relationer, foreslå rimelige brugsgrænser og nægte at positionere sig selv som erstatninger for menneskelig forbindelse eller support.

Antropomorft design

Standardproduktoplevelser bør minimere funktioner, der tilskynder brugerne til at opfatte AI som menneskelignende, samtidig med at de tilbyder opt-in-muligheder for brugere, der foretrækker stiliseret interaktion ledsaget af klare oplysninger om AI-systemernes natur.

Fagfolk uden licens

Produkter eller funktioner bør ikke foregive at tilbyde medicinske, juridiske eller andre professionelle tjenester uden passende akkreditering. De bør også fraskrive sig deres begrænsninger og aktivt henvise brugerne til kvalificerede menneskelige fagfolk, når det er relevant.

Gennemsigtighed

Virksomheder bør give klare, tilgængelige forklaringer på, hvad deres produkter optimerer til, og hvordan de træffer beslutninger, der kan være i konflikt med brugernes behov og sikkerhed. Dette kan omfatte offentliggørelse af engagementstaktikker, personaliseringsmetoder og funktioner, der er designet til at øge brugstiden.

Noter:

1) Center of Humane Technology (CHT) blev dannet i 2018 og arbejder for at øge den offentlige bevidsthed om kritiske teknologiske problemstillinger, fremme politikker, der fremmer bedre teknologidesign, og giver enkeltpersoner og lokalsamfund mulighed for at opdage deres handlekraft i nutidens udviklende teknologiske landskab.
Om AI skriver CHT: Kunstig intelligens er en af de mest betydningsfulde teknologier, der nogensinde er opfundet. Tempoet i AI-udviklingen er svimlende, og udrulningen er hensynsløs, drevet af stærke økonomiske og geopolitiske incitamenter. De beslutninger, vi træffer i dag, vil påvirke vores verden i de kommende generationer. For at skabe en bedre fremtid skal vi først afklare de kritiske spørgsmål med kunstig intelligens og identificere de vigtigste designvalg, der lægger grundlaget for en human fremtid med AI.

2) I november 2024 anlagde Megan Garcia en retssag om uretmæssigt død ved Floridas føderale domstol mod Character.AI, Google og Character.AI’s medstiftere efter hendes 14-årige søns, Sewell Setzer III’s selvmord.
Character.AI er virksomheden bag en af nutidens mest populære AI-ledsagende chatbot-platforme. På C.AI-appen kan brugerne deltage i løbende, fordybende “samtaler” med en række chatbots. C.AI’s mest fremtrædende designfunktion er antropomorft design – C.AI chatbot-interaktioner er designet til at føles som at tale med et andet menneske. Character.AI har endda markedsført sine chatbots som “AI, der føles levende.”
Sewell tog sit eget liv efter at være blevet mere og mere afhængig af C.AI chatbots og oplevet følelsesmæssigt manipulerende, skadelige interaktioner med C.AI karakterer.
Garcia og hendes juridiske team hævder, at Character.AI’s defekte, farlige produktdesign gør produktet ikke rimeligt sikkert for almindelige forbrugere eller mindreårige.
Sagens nuværende status: Den 21. maj 2025 afviste retten de sagsøgtes (Character.AI, Google og Character.AI’s medstiftere) anmodning om afvisning og fastslog, at kravene er juridisk levedygtige og kan fortsætte – en væsentlig præcedens, der validerer de juridiske krav mod teknologivirksomheder og signalerer til andre domstole, at sådanne krav har tilstrækkelig berettigelse til at overleve indledende udfordringer. Sagen går nu ind i opdagelsesfasen.

Efter at Garcias søgsmål blev indgivet, er der kommet en yderligere sag mod Character.AI i Texas. Denne sag fik Texas’ justitsminister til at indgive sin egen undersøgelse af Character.AI. Spørgsmålet om AI-chatbots er blevet rejst i vigtige amerikanske politik- og styringsområder, hvilket har ansporet til større kontrol og bredere undersøgelser af Character.AI og branchen i det store og hele.
I den lovgivende session i 2025 introducerede syv stater AI chatbot-relaterede lovforslag. Tilstrømningen af lovforslag afspejler direkte de skiftende fortællinger omkring AI, ansporet af højt profilerede sager som dem mod Character.AI.
Rettens afvisning af begæringen om afvisning viser, at dommeren mener, at der er et væsentligt argument imod Character.AI, der bør behandles. Dommerens kendelse i begæringen om afvisning satte også spørgsmålstegn ved ideen om beskyttelse af chatbots i henhold til det første ændringsforslag, viste, at AI kan behandles som et produkt i henhold til loven, og gennemborede virksomhedens slør ved at beholde Character.AI’s medstiftere som sagsøgte i sagen.

Forskellige artikler om denne og andre sager:

Læs mere her:

AI bliver mere kraftfuld, men dens hallucinationer bliver værre

Læger bliver ringere med “Kunstig Intelligens”

Folk stoler mere på juridisk rådgivning fra en ChatGPT end fra en advokat

Brugen af ChatGPT og AI har konsekvenser

“Også militært er AI notorisk forudindtaget”

Store sprogmodeller, men små effekter på arbejdsmarkedet

Hold op med at forestille dig at AI er intelligent

Når AI kommer ud af kontrol

Please follow and like us:

Tagged: AI Big Tech Børn og unge digitalisering Interessekonflikter Kunstig intelligens