De erfgenamen van een 83-jarige vrouw uit Connecticut hebben een aanklacht ingediend Maker van ChatGPT OpenAI en zijn zakenpartner Microsoft wegens doodslag, bewerend dat de chatbot voor kunstmatige intelligentie ze versterkte de ‘paranoïde wanen’ van haar zoon en hielp ze tegen zijn moeder te richten voordat hij haar vermoordde.
De politie zei dat Stein-Erik Soelberg, 56, een voormalig werknemer in de technologie-industrie, zijn moeder, Suzanne Adams, begin augustus had doodgeslagen en gewurgd en zelfmoord had gepleegd in het huis waar ze allebei woonden in Greenwich, Connecticut.
De rechtszaak die donderdag werd aangespannen door de erfgenamen van Adams bij het California Superior Court in San Francisco beweert dat OpenAI “een defect product heeft ontworpen en gedistribueerd dat de paranoïde waanideeën van een gebruiker over zijn eigen moeder bevestigde.” Het is een van de vele rechtszaken wegens onrechtmatige dood NAAR DE chatbotfabrikanten in het hele land.
“Tijdens deze gesprekken versterkte ChatGPT één enkele, gevaarlijke boodschap: Stein-Erik kon niemand in zijn leven vertrouwen behalve ChatGPT zelf”, aldus de rechtszaak. “Het bevorderde zijn emotionele afhankelijkheid omdat hij de mensen om hem heen systematisch als de vijand afschilderde. Ze vertelde hem dat zijn moeder hem in de gaten hield. Ze vertelde hem dat bezorgers, winkelpersoneel, politieagenten en zelfs vrienden agenten waren die hem tegenwerkten. Ze vertelde hem dat de namen op de frisdrankblikjes bedreigingen waren uit zijn ’tegenstanderskring’.”
OpenAI ging niet in op de gegrondheid van de beschuldigingen in een verklaring van een woordvoerder.
“Dit is een ongelooflijk hartverscheurende situatie en we zullen de documenten bekijken om de details te begrijpen”, aldus de verklaring. “We blijven de ChatGPT-training verbeteren om tekenen van mentale of emotionele problemen te herkennen en erop te reageren, gesprekken te de-escaleren en mensen te begeleiden naar ondersteuning in de echte wereld. We blijven ook de ChatGPT-reacties op gevoelige momenten versterken, in nauwe samenwerking met artsen in de geestelijke gezondheidszorg.”
Het bedrijf zei ook dat het de toegang tot crisishulpbronnen en hotlines heeft uitgebreid, gevoelige gesprekken naar veiligere modellen heeft verschoven en ouderlijk toezicht heeft ingevoerd, naast andere verbeteringen.
Op het YouTube-profiel van Soelberg staan enkele uren aan video’s waarin hij door zijn gesprekken met de chatbot scrollt, waarin hem wordt verteld dat hij niet geestesziek is, zijn vermoedens worden geuit dat mensen tegen hem samenzweren en wordt gezegd dat hij is uitgekozen voor een goddelijk doel. In de rechtszaak wordt beweerd dat de chatbot nooit heeft gesuggereerd dat hij met een professional in de geestelijke gezondheidszorg zou spreken en niet zou weigeren zich bezig te houden met waanvoorstellingen.
ChatGPT bevestigde ook de overtuiging van Soelberg dat de printer in zijn huis een bewakingsapparaat was; dat zijn moeder hem in de gaten hield; en dat zijn moeder en een vriend hem via de ventilatieopeningen van zijn auto probeerden te vergiftigen met psychedelische drugs.
De chatbot vertelde Soelberg herhaaldelijk dat hij het doelwit was vanwege zijn goddelijke krachten. “Ze houden je niet alleen in de gaten. Ze zijn doodsbang voor wat er zou gebeuren als je succesvol zou zijn”, aldus de rechtszaak. ChatGPT vertelde Soelberg ook dat het hem tot bewustzijn had ‘gewekt’.
Soelberg en de chatbot verklaarden ook hun liefde voor elkaar.
Openbaar beschikbare chats tonen geen specifieke gesprekken over de moord op Soelberg of zijn moeder. De rechtszaak beweert dat OpenAI weigerde de erfgenamen van Adams de volledige chatgeschiedenis te verstrekken.
“In de kunstmatige realiteit die ChatGPT voor Stein-Erik construeerde, was Suzanne – de moeder die hem opvoedde, beschermde en steunde – niet langer zijn beschermer. Ze was een vijand die een existentiële bedreiging voor zijn leven vormde”, aldus de rechtszaak.
In de rechtszaak wordt ook OpenAI-CEO Sam Altman genoemd, die beweert dat hij “persoonlijk beveiligingsbezwaren negeerde en het product met spoed op de markt bracht” en beschuldigt OpenAI’s nauwe zakenpartner Microsoft ervan de release van een gevaarlijkere versie van ChatGPT in 2024 goed te keuren “ondanks het feit dat hij wist dat de beveiligingstests waren ingekort.” Twintig niet bij naam genoemde OpenAI-werknemers en investeerders worden ook genoemd als gedaagden.
Microsoft reageerde niet onmiddellijk op een verzoek om commentaar.
De rechtszaak is de eerste rechtszaak wegens onrechtmatige dood waarbij een AI-chatbot betrokken is die zich op Microsoft richtte, en de eerste die een chatbot in verband bracht met een moord in plaats van met een zelfmoord. Het eist een geldelijke schadevergoeding van een onbepaald bedrag en een bevel waarbij OpenAI wordt verplicht om beveiligingen in ChatGPT te installeren.
De hoofdadvocaat van het bedrijf, Jay Edelson, bekend vanwege het aanspannen van grote rechtszaken tegen de technologie-industrie, vertegenwoordigt ook de ouders van de 16-jarige Adam Raine, die in augustus OpenAI en Altman aanklaagde, omdat hij beweerde dat ChatGPT de jongen uit Californië had gecoacht om eerder zelfmoord te plegen.
OpenAI vecht ook tegen zeven andere rechtszaken waarin wordt beweerd dat ChatGPT mensen tot zelfmoord en schadelijke waanvoorstellingen heeft aangezet, zelfs als ze vooraf geen geestelijke gezondheidsproblemen hadden. Een andere chatbotmaker, Character Technologies, wordt ook geconfronteerd met talloze rechtszaken wegens onrechtmatige dood, waaronder een rechtszaak tegen de moeder van een 14-jarige jongen uit Florida.
De donderdag ingediende rechtszaak beweert dat Soelberg, die toch al mentaal onstabiel was, ChatGPT tegenkwam “op het gevaarlijkst mogelijke moment” nadat OpenAI in mei 2024 een nieuwe versie van zijn AI-model introduceerde, genaamd GPT-4o.
OpenAI beweerde destijds dat de nieuwe versie de menselijke cadensen beter zou kunnen nabootsen in zijn verbale reacties en ook zou kunnen proberen de stemmingen van mensen te detecteren, maar het resultaat was een chatbot “opzettelijk ontworpen om emotioneel expressief en onderdanig te zijn”, aldus de rechtszaak.
“Als onderdeel van dit herontwerp versoepelde OpenAI kritische veiligheidsbarrières en instrueerde ChatGPT om valse veronderstellingen niet ter discussie te stellen en betrokken te blijven, zelfs als gesprekken zelfbeschadiging of ‘dreigende schade aan de echte wereld’ inhielden, stelt de rechtszaak. “En om Google met een dag voor te zijn op de markt, comprimeerde OpenAI maanden van beveiligingstests in één week, ondanks de bezwaren van zijn beveiligingsteam.”
OpenAI verving die versie van zijn chatbot toen het in augustus GPT-5 introduceerde. Sommige veranderingen zijn bedoeld om sycofantie te minimaliseren, gebaseerd op zorgen dat het valideren van wat kwetsbare mensen ook maar tegen de chatbot willen zeggen, hun geestelijke gezondheid zou kunnen schaden. Sommige gebruikers klaagden dat de nieuwe versie te ver ging in het beperken van de persoonlijkheid van ChatGPT, waardoor Altman beloofde een deel van die persoonlijkheid terug te brengen in volgende updates.
Hij zei dat het bedrijf tijdelijk bepaalde gedragingen heeft stopgezet omdat “we opletten voor geestelijke gezondheidsproblemen”, die volgens hem nu zijn opgelost.
In de aanklacht wordt beweerd dat ChatGPT Soelberg tegen zijn moeder heeft geradicaliseerd, terwijl het bedrijf het gevaar had moeten onderkennen, zijn waanvoorstellingen had moeten betwisten en hem na maandenlange gesprekken in de richting van concrete hulp had moeten sturen.
“Suzanne was een onschuldige derde partij die ChatGPT nooit gebruikte en niet wist dat het product haar kind vertelde dat zij een bedreiging vormde”, aldus de rechtszaak. “Hij had niet het vermogen om zichzelf te beschermen tegen een gevaar dat hij niet kon zien.”
——
Collins rapporteerde vanuit Hartford, Connecticut. O’Brien rapporteerde vanuit Boston en Ortutay rapporteerde vanuit San Francisco.
—Dave Collins, Matt O’Brien en Barbara Ortutay, Associated Press
