Er is slecht nieuws voor degenen die digitale enquêtes gebruiken om het onlinegedrag van mensen te begrijpen: we kunnen mogelijk niet langer bepalen of een mens reageert of niet, zo heeft een recent onderzoek aangetoond, en er lijkt geen manier om dit probleem te omzeilen.
Dit betekent dat alle online propagandacampagnes kwetsbaar kunnen zijn voor het verkeerd weergeven van de ware mening van mensen. Dit zou gevolgen kunnen hebben voor alles wat in de categorie van ‘informatieoorlogvoering’ valt, van opiniepeilingen tot desinformatie en fraude. De niet-menselijke respondenten van het onderzoek kunnen over het algemeen van invloed zijn op alles, van de smaak en de prijs van een pakje kauwgom tot iets schadelijkers, zoals de vraag of iemand wel of niet overheidsuitkeringen kan krijgen en wat deze zouden moeten zijn.
Het probleem hier is tweeledig: 1) mensen zijn niet in staat onderscheid te maken tussen reacties van mensen en bots, en 2) in gevallen waarin automatisering de actie aanpast op basis van deze reacties, zou er geen manier zijn om dergelijk onderzoek te gebruiken en bescherming te bieden tegen potentieel gevaarlijke problemen als gevolg van deze niet-onderscheidbaarheid.
De studie van Sean J. Westwood uit Dartmouth in “PNAS-dagboek van Nationale Academie van Wetenschappen“, gerechtigd “De potentiële existentiële bedreiging van grote taalmodellen voor online enquêteonderzoekbeweert te laten zien hoe we er niet langer op kunnen vertrouwen dat we bij enquêteonderzoek niet langer eenvoudigweg kunnen aannemen dat ‘een consistente reactie een menselijke reactie is’. Westwood creëerde een autonome agent die in staat was om “enquêtereacties van hoge kwaliteit te produceren die de redenering en consistentie aantonen die van menselijke reacties worden verwacht.”
Om dit te doen ontwierp Westwood een ‘model-agnostisch’ systeem dat is ontworpen voor generiek redeneren, dat zich richt op een architectuur met twee lagen: een die fungeert als interface voor het enquêteplatform en meerdere typen zoekopdrachten kan verwerken terwijl relevante inhoud wordt geëxtraheerd, en een andere ‘kernlaag’ die een ‘redeneermachine’ gebruikt (zoals een LLM). Wanneer een enquête wordt uitgevoerd, laadt de software van Westwood een ‘demografische persoon’ die een geheugen van eerdere antwoorden kan opslaan en vervolgens de vragen kan verwerken om een ’contextueel passend antwoord’ als antwoord te geven.
Zodra de ‘redeneringsmachine’ tot een antwoord komt, produceert de interface in de eerste laag een nagebootste menselijke reactie. Het systeem is ook “ontworpen om tools te hosten om antibotmaatregelen zoals reCAPTCHA te omzeilen.” Het systeem van Westwood heeft als doel niet om “de populatieverdelingen in totaal perfect te repliceren… maar om individuele enquête-invullingen te produceren (die) door een redelijke onderzoeker als redelijk zouden worden beschouwd.”
De bevindingen van Westwood suggereren dat digitale opiniepeilingen de mening van mensen wel of niet accuraat weerspiegelen. Het is even waarschijnlijk dat enquêtes in plaats daarvan kunnen beschrijven wat een LLM aanneemt dat ‘menselijk gedrag’ is. Bovendien, mensen of NAAR DE het nemen van beslissingen op basis van dergelijke resultaten zou kunnen vertrouwen op de ‘meningen’ van gesimuleerde mensen.
Persona’s
Creëer synthetische mensen Het is geen nieuw concept. Romans, visuele media, toneelstukken en advertenties gebruiken allerlei creatieve ideeën om verschillende mensen te portretteren en hun verhalen te vertellen. In het ontwerp is het idee van “Personages” worden al tientallen jaren gebruikt marketing en gebruikersinterfaceontwerp als een kostenbesparende en tijdbesparende trend. Personages zijn fictieve samenstellingen van mensen en worden weergegeven in categorieën als ‘Voetbalmoeder’, ‘Sixpack Joe’, ‘Technofobe oma’ of ‘Corporate Executive’. Persona’s zijn niet alleen doordrenkt van vooroordelen, maar zijn ook projecties van wat de mensen die ze hebben gemaakt, denken dat ze zouden zijn en van de groepen waartoe ze zouden kunnen behoren.
Persona’s zijn een verborgen probleem in design en marketing, juist omdat ze zijn samengesteld uit echte of denkbeeldige mensen, en niet uit echte mensen: de waarden die eraan worden toegeschreven, zijn opgebouwd uit de interpretaties van anderen. Wanneer je vertrouwt op Persona’s in plaats van persona’s, is het onmogelijk om de ware context te raden van hoe een product of dienst daadwerkelijk wordt gebruikt, aangezien Persona’s worden geprojecteerd door de maker en geen echte mensen zijn in echte situaties.
Daarom worden problemen bij het gebruik van Persona’s bij het ontwerpen van producten en diensten vaak pas ontdekt lang nadat die producten of diensten op de markt zijn gekomen en falen of andere onverwachte problemen veroorzaken. De situatie zou nog erger kunnen worden als deze door mensen gegenereerde Persona’s worden vervangen door AI/LLM ChatBot Persona’s met alle vooroordelen van dien, inclusief helling invloeden of hallucinaties dit zou hun reacties nog vreemder of mogelijk zelfs psychotisch kunnen maken.
Hoeveel versus wat
Een deel van het bredere probleem van het niet begrijpen van de behoeften van mensen met enquêtes begon toen het onderzoek verschoof naar het op computers gebaseerde verzamelen van statistische gegevens, ook bekend als kwantitatieve methoden, in plaats van contextuele vragen gebaseerd op gesprekken en sociale relaties met anderen, of kwalitatieve methoden. Met de opkomst van Big Data online zijn mensen kwantitatieve methoden gaan gebruiken, zoals online enquêtes, A/B-testen en andere technieken om het gedrag van klanten en gebruikers te begrijpen. Omdat machines snel resultaten kunnen verzamelen, lijkt kwantitatief onderzoek een industriestandaard te zijn geworden voor het begrijpen van mensen.
Het is niet gemakkelijk kwalitatieve methoden automatiserenen door deze te vervangen door kwantitatieve methoden kan belangrijke context verloren gaan. Sinds er bijna een generatie is verstreken met de wereld gericht op computationeel tellenHet is gemakkelijk om kwalitatieve datamethoden – gevonden in de sociale wetenschappen zoals de antropologie – te vergeten die contextuele interviews met echte mensen gebruiken om te begrijpen waarom mensen doen wat ze doen, in plaats van te proberen dit af te leiden uit numerieke antwoorden.
Kwalitatief onderzoek kan context geven aan kwantitatieve gegevens en op machines gebaseerde methoden voor goddelijke betekenis. Ze kunnen ook buiten big data-methoden werken en zijn geworteld in relaties met echte mensen, wat de verantwoordelijkheid voor hun overtuigingen en meningen garandeert. Het proces van het voeren van gesprekken met echte mensen contextualiseert eerst die inhoud, wat tot betere resultaten leidt. Kwalitatieve methoden kunnen worden gekwantificeerd en geteld, maar kwantitatieve methoden kunnen in het algemeen nog niet gemakkelijk contextueel worden gemaakt.
Een verschil tussen het gebruik van kwalitatieve en kwantitatieve methoden heeft te maken met transparantie en het begrijpen van de geldigheid van de reacties van mensen. Bij oudere, door de mens gemaakte persona’s zijn er duidelijke aannames en hiaten: dit zijn poppen en ruwe projecties. Maar wanneer mensen worden geproduceerd door chatbots/LLM’s die gebruik maken van een hoeveelheid kennis die uit enorme hoeveelheden gegevens wordt gehaald, zijn er wellicht minder manieren om feit van fictie te scheiden. Bij chatbots en LLM’s is de kunstmatige entiteit zowel de maker van de ‘persona’ als mogelijk de responder aan de persoonen de tolk van de reacties van die nep-chatbot-persoonof geïnterpreteerd door een LLM. Dit is waar de situatie gevaarlijk kan worden, vooral wanneer de resultaten van dit soort besmette onderzoeken worden gebruikt voor doeleinden zoals politieke opiniepeilingen of politiewerk.
Het onderzoek van Westwood heeft aangetoond dat: “In plaats van te vertrouwen op fragiele, vraagspecifieke regels, behouden synthetische respondenten een consistente persoonlijkheid door hun antwoorden te conditioneren op een initieel demografisch profiel en een dynamische herinnering aan eerdere antwoorden. Hierdoor kunnen ze ongelijksoortige vragen op een intern consistente manier beantwoorden, waardoor plausibele, mensachtige patronen ontstaan …” Het kan de context imiteren, maar deze niet creëren.
Terug naar de oorsprong
Wanneer GenAI zich gaat richten op het uitvoeren van enquêtes, het optreden als respondenten en het interpreteren van enquêtes, zullen we dan onderscheid kunnen maken tussen GenAI en echte mensen?
Een volledig geautomatiseerde enquêtecyclus lijkt fictief, totdat we zien hoeveel mensen Chatbot/LLM nu al gebruiken om delen van het enquêteproces te automatiseren. Iemand zou een persona kunnen genereren en die persoon vervolgens kunnen gebruiken om enquêtes te beantwoorden die zijn ontworpen door ‘AI’, en iemand anders zou dan een Chatbot gebruiken om toegang te krijgen tot ‘AI’ om de resultaten te interpreteren. De cirkel rond maken zou vreselijk kunnen zijn: iemand zou dan AI kunnen gebruiken om de gecreëerde Chatbot, de Chatbot-reacties, en de “AI” geïnterpreteerde enquêtereacties te transformeren in iets dat gevolgen heeft voor echte mensen die echte behoeften hebben in de echte wereld, maar in plaats daarvan is ontworpen voor nepmensen met nepbehoeften in een nepwereld.
Kwalitatief onderzoek is één manier om dat te doen. Het stelt ons in staat echte mensen te leren kennen, hun antwoorden te valideren en de context te verfijnen via methoden die elk antwoord dieper onderzoeken. Dit soort werk kan AI nog niet doen, omdat LLM’s momenteel antwoorden baseren op statistische woordmatching, die niet verfijnd is. Robots die menselijke reacties nabootsen zullen een soort gesimuleerde menselijke reactie nabootsen, maar om te weten wat echte mensen denken en wat het voor hen betekent, moeten bedrijven misschien teruggaan aannemen antropologen, getraind om kwalitatieve methoden te gebruiken om verbinding te maken met echte mensen.
Nu AI menselijke reacties op kwantitatieve onderzoeken ten onrechte kan repliceren, staan degenen die geloven dat zowel kwantitatieve methoden als AI het antwoord zijn op het uitvoeren van nauwkeurig onderzoek op het punt een harde les te leren die helaas gevolgen voor ons allemaal zal hebben.
