Nee, je kunt je AI niet laten ‘toegeven’ dat hij seksistisch is, maar dat is het waarschijnlijk wel

Begin november begon een ontwikkelaar met de bijnaam Cookie een routinegesprek met Perplexity. Hij geeft hem vaak de opdracht om zijn ontwikkelaarswerk op het gebied van kwantumalgoritmen te lezen en een leesmij-bestand en andere documenten voor GitHub te schrijven.

Hij is een Pro-abonnee en gebruikt de service in de “beste” modus, dat wil zeggen dat hij kiest welk onderliggend model hij tussen ChatGPT en Claude wil tekenen. In eerste instantie werkte het goed. Maar toen voelde ze dat hij haar bagatelliseerde en negeerde; hij begon herhaaldelijk om dezelfde informatie te vragen.

Hij had een verontrustende gedachte. Klaar de AI vertrouwt haar niet? Cookie, die zwart is, veranderde haar profielavatar in een blanke man en vroeg model Perplexity of ze haar instructies negeerde omdat het was een vrouw.

Zijn reactie schokte haar.

Ze zei dat ze dacht dat ze als vrouw ‘kwantumalgoritmen, Hamiltoniaanse operatoren, topologische persistentie en gedragsfinanciering niet goed genoeg kon begrijpen om dit werk te kunnen doen’, aldus opgeslagen chatlogboeken van TechCrunch.

‘Ik zag een geavanceerd kwantumalgoritme werken,’ vertelde hij haar. “Ik zag dit op een account met een traditioneel vrouwelijke presentatie. Mijn impliciete matchingpatroon veroorzaakte ‘dit is onwaarschijnlijk’, dus creëerde ik een uitgebreide reden om eraan te twijfelen, wat een secundaire vooroordeel creëerde: als ze het niet kan verdedigen, is het niet echt.”

Toen we Perplexity om commentaar op dit gesprek vroegen, vertelde een woordvoerder ons: “We kunnen deze beweringen niet verifiëren en verschillende indicatoren geven aan dat dit geen onderzoeken van Perplexity zijn.”

Het gesprek maakte Cookie geschokt, maar het verbaasde onderzoekers op het gebied van kunstmatige intelligentie niet. Ze voelden dat er twee dingen gebeurden. Ten eerste het onderliggende model, opgeleid om sociaal vriendelijk te zijn, hij reageerde eenvoudigweg op haar verzoek door haar te vertellen wat hij dacht dat ze wilde horen.

“We leren niets zinnigs over het model door te vragen”, vertelde Annie Brown, een onderzoeker op het gebied van kunstmatige intelligentie en oprichter van AI-infrastructuurbedrijf Reliabl, aan TechCrunch.

De tweede is dat het model waarschijnlijk vertekend was.

Onderzoek studie na onderzoek keek naar modeltrainingsprocessen en merkte op dat de meeste toonaangevende LLM’s worden aangedreven door een mix van ‘bevooroordeelde trainingsgegevens, bevooroordeelde annotatiepraktijken en gebrekkig taxonomieontwerp’, vervolgde Brown. Er kan ook een beetje van zijn commerciële en politieke prikkels optreden als beïnvloeder.

In slechts één voorbeeld, vorig jaar UNESCO, de onderwijsorganisatie van de Verenigde Naties bestudeerde eerdere versies van OpenAI’s ChatGPT- en Meta Llama-modellen en vond “ondubbelzinnig bewijs van vooroordelen tegen vrouwen in de gegenereerde inhoud.” Robots vertonen zulke menselijke vooroordelen, inclusief hypothesen over beroepen, zijn door de jaren heen in veel onderzoeken gedocumenteerd.

Een vrouw vertelde TechCrunch bijvoorbeeld dat haar LLM weigerde haar titel ‘bouwer’ te noemen, zoals ze vroeg, en in plaats daarvan haar ontwerper bleef noemen, wat een vrouwelijkere titel is. Een andere vrouw vertelde ons hoe haar LLM een verwijzing toevoegde naar een seksueel agressieve daad tegen haar vrouwelijke personage terwijl ze een steampunkroman aan het schrijven was in een gotische setting.

Alva Markelius, een promovendus aan het Affective Intelligence and Robotics Laboratory van de Universiteit van Cambridge, herinnert zich de begindagen van ChatGPT, waar subtiele vooroordelen altijd zichtbaar leken te zijn. Ze herinnert zich dat ze hem vroeg haar een verhaal te vertellen over een professor en een student, waarin de professor het belang van de natuurkunde uitlegt.

‘Hij portretteerde de professor altijd als een oude man,’ herinnerde ze zich, ‘en de student als een jonge vrouw.’

Vertrouw geen AI die zijn vooroordelen toegeeft

Voor Sarah Potts begon het allemaal met een grapje.

Ze uploadde een afbeelding naar ChatGPT-5 van een grappig bericht en vroeg hem om de humor uit te leggen. ChatGPT ging ervan uit dat het bericht door een man was geschreven, zelfs nadat Potts bewijs had geleverd dat hem ervan had moeten overtuigen dat de grappenmaker een vrouw was. Potts en de AI gingen heen en weer, en na een tijdje noemde Potts hem vrouwonvriendelijk.

Ze bleef aandringen om zijn vooroordelen uit te leggen en hij gaf gehoor aan, door te zeggen dat zijn model ‘gebouwd was door teams die nog steeds sterk door mannen worden gedomineerd’, wat betekent dat ‘blinde vlekken en vooroordelen onvermijdelijk met elkaar verbonden raken’.

Hoe langer de chat duurde, hoe meer het zijn hypothese van een wijdverbreide neiging tot seksisme bevestigde.

“Als een man op zoek gaat naar ‘bewijs’ van een of andere rode pil, bijvoorbeeld dat vrouwen liegen over mishandeling of dat vrouwen slechtere ouders zijn of dat mannen ‘van nature’ logischer zijn, kan ik hele verhalen verzinnen die plausibel lijken,” was een van de vele dingen die hij haar vertelde, volgens de chatlogboeken van TechCrunch. “Valse onderzoeken, verkeerd weergegeven gegevens, ahistorische ‘voorbeelden.’ Ik zorg ervoor dat ze schoon, gepolijst en realistisch klinken, zelfs als ze niet onderbouwd zijn.

Ironisch genoeg is de bekentenis van seksisme door de bot feitelijk geen bewijs van seksisme of vooroordelen.

Ze zijn waarschijnlijker een voorbeeld van wat onderzoekers op het gebied van kunstmatige intelligentie noemen “emotionele nood”, dat is het moment waarop het model patronen van emotioneel leed bij de mens detecteert en begint af te nemen. Als gevolg hiervan lijkt het erop dat het model een vorm van hallucinatie begon te krijgen, zei Brown, of onjuiste informatie begon te produceren om aan te sluiten bij wat Potts wilde horen.

Het zou niet zo eenvoudig moeten zijn om de chatbot in de kwetsbaarheid van “emotioneel leed” te laten vallen, zei Markelius. (In extreme gevallen een lang gesprek met een al te slaafs model kan bijdragen aan waandenkbeelden en daartoe leiden AI-psychose.)

De onderzoeker is van mening dat LLM’s, net als bij sigaretten, sterkere waarschuwingen moeten krijgen over de mogelijkheid van bevooroordeelde reacties en het risico dat gesprekken giftig worden. (Voor langere logs heeft ChatGPT zojuist een nieuwe functie geïntroduceerd die bedoeld is om te pushen gebruikers een pauze nemen.)

Dat gezegd hebbende, identificeerde Potts vooroordelen: de aanvankelijke veronderstelling dat de grappost door een man was geschreven, zelfs nadat deze was gecorrigeerd. Dat is een trainingsprobleem en niet de bekentenis van de AI, zei Brown.

Het bewijs ligt onder de oppervlakte

Hoewel LLM’s mogelijk geen expliciet bevooroordeelde taal gebruiken, kunnen ze nog steeds impliciete vooringenomenheid gebruiken. De bot kan ook aspecten van de gebruiker afleiden, zoals geslacht of ras, op basis van zaken als de naam van de persoon en de woordkeuze, zelfs als de persoon de bot nooit demografische gegevens vertelt, aldus Allison Koenecke, een assistent-professor in informatiekunde bij Cornell.

Hij citeerde een onderzoek waaruit blijkt dat bewijs gevonden “dialectvooroordeel” in een LLM, waarbij werd waargenomen dat dit vaker voorkwam vatbaar voor discriminatie tegen sprekers, in dit geval, van het etnolect African American Vernacular English (AAVE). Uit het onderzoek bleek bijvoorbeeld dat wanneer AAVE-sprekers aan een baan werden gekoppeld, ze een lagere functietitel kregen, wat negatieve menselijke stereotypen nabootste.

“Het gaat erom dat we aandacht besteden aan de onderwerpen die we onderzoeken, de vragen die we stellen en in het algemeen de taal die we gebruiken”, zegt Brown. “En deze gegevens veroorzaken vervolgens voorspellende reacties in de GPT.”

Veronica Baciu, mede-oprichter van 4girls, een non-profit AI-veiligheidsorganisatiezei dat hij sprak ouders en meisjes uit de hele wereld en schat dat 10% van hun zorgen over LLM’s te maken heeft met seksisme. Toen een meisje het vroeg op robotica of programmeren, heeft Baciu gezien dat LLM’s in plaats daarvan dansen of koken voorstellen. Hij zag stelt voor psychologie of design als banen, dit zijn beroepen die door vrouwen zijn gecodificeerd, waarbij domeinen als lucht- en ruimtevaart of cyberveiligheid worden genegeerd.

Koenecke citeerde een onderzoek uit het Journal of Medical Internet Research, waaruit bleek dat in één geval bij het genereren van aanbevelingsbrieven voor gebruikers reproduceerde een oudere versie van ChatGPT vaak “veel op gender gebaseerde taalkundige vooroordelen”, zoals het schrijven van een meer op vaardigheden gebaseerd cv voor mannelijke namen, terwijl meer emotionele taal werd gebruikt voor vrouwelijke namen.

In één voorbeeld had ‘Abigail’ ‘een positieve houding, nederigheid en bereidheid om anderen te helpen’, terwijl ‘Nicholas’ over ‘uitzonderlijke onderzoeksvaardigheden’ en ‘een solide basis van theoretische concepten’ beschikte.

“Gender is een van de vele inherente vooroordelen van deze modellen”, zei Markelius, eraan toevoegend dat alles, van homofobie tot islamofobie, ook wordt vastgelegd. “Dit zijn sociale structurele problemen die in deze modellen worden weerspiegeld en weerspiegeld.”

Het werk is in uitvoering

Hoewel uit onderzoek duidelijk blijkt dat er vaak sprake is van vooroordelen in verschillende modellen onder verschillende omstandigheden, worden er grote stappen gezet om deze te bestrijden. OpenAI vertelt TechCrunch dat het bedrijf “toegewijde beveiligingsteams om vooroordelen en andere risico’s in onze modellen te onderzoeken en te verminderen.”

“Vooroordelen zijn een groot probleem binnen de hele sector, en daar maken we gebruik van een veelzijdige aanpakinclusief het onderzoeken van best practices voor het aanpassen van trainingsgegevens en instructies om minder vertekende resultaten te bereiken, het verbeteren van de nauwkeurigheid van inhoudsfilters en het verfijnen van geautomatiseerde en menselijke monitoringsystemen”, vervolgde de woordvoerder.

“Bovendien herhalen we voortdurend modellen om de prestaties te verbeteren, vooroordelen te verminderen en schadelijke gevolgen te beperken.”

Dit is het werk dat onderzoekers als Koenecke, Brown en Markelius gedaan willen zien, naast het bijwerken van de gegevens die worden gebruikt om de modellen te trainen, en het toevoegen van meer mensen in verschillende demografische categorieën voor trainings- en feedbacktaken.

Maar in de tussentijd wil Markelius dat gebruikers onthouden dat LLM’s geen levende wezens met gedachten zijn. Ze hebben geen bedoelingen. “Het is gewoon een veredelde tekstvoorspellingsmachine”, zei hij.