Mensen en instellingen worstelen met de gevolgen van Tekst geschreven door kunstmatige intelligentie. Leraren willen weten of het werk van leerlingen hun begrip weerspiegelt; consumenten willen weten of een advertentie door een mens of een machine is geschreven.
Regels schrijven a het gebruik van door kunstmatige intelligentie gegenereerde inhoud te reguleren het is relatief eenvoudig. Hun toepassing is afhankelijk van iets veel moeilijkers: detecteert betrouwbaar of een stuk tekst is gegenereerd door kunstmatige intelligentie.
Sommige onderzoeken hebben onderzocht of mensen door AI gegenereerde tekst kunnen detecteren. Van mensen die veel gebruik maken van AI-schrijfhulpmiddelen is bijvoorbeeld aangetoond dat ze de door de AI geschreven tekst nauwkeurig kunnen detecteren. Een groep menselijke beoordelaars kan zelfs beter presteren dan geautomatiseerde tools in een gecontroleerde instelling. Deze expertise is echter niet wijdverspreid en het individuele oordeel kan inconsistent zijn. Instellingen die behoefte hebben aan grootschalige consistentie wenden zich daarom tot geautomatiseerde tekstdetectoren met kunstmatige intelligentie.
Het probleem van tekstdetectie met behulp van kunstmatige intelligentie
De basisworkflow achter AI-tekstdetectie is eenvoudig te beschrijven. Begin met een stukje tekst waarvan je de herkomst wilt achterhalen. Pas dan een detectietool toe, vaak een AI-systeem zelf, dat de tekst analyseert en een score oplevert, meestal uitgedrukt in een waarschijnlijkheid, die aangeeft hoe waarschijnlijk het is dat de tekst door AI is gegenereerd. Gebruik de score om downstream-beslissingen te nemen, zoals of er een boete moet worden opgelegd voor het overtreden van een regel.
Achter deze eenvoudige beschrijving gaat echter een grote complexiteit schuil. Een reeks onderliggende aannames die expliciet gemaakt moeten worden, worden over het hoofd gezien. Weet u welke AI-tools mogelijk gebruikt zouden kunnen worden om de tekst te genereren? Welke toegang heeft u tot deze tools? Kunt u ze zelf bedienen of hun interne werking inspecteren? Hoeveel tekst heb je? Heeft u een enkele tekst of een verzameling geschriften die in de loop van de tijd zijn verzameld? Wat AI-detectietools u wel en niet kunnen vertellen, hangt in belangrijke mate af van de antwoorden op vragen als deze.
Er is nog een bijzonder belangrijk detail: heeft het kunstmatige-intelligentiesysteem dat de tekst genereerde opzettelijk markeringen ingebouwd om latere detectie te vergemakkelijken?
Deze indicatoren staan bekend als watermerken. Tekst met watermerk het ziet eruit als gewone tekst, maar de markeringen zijn op subtiele manieren ingebed die bij oppervlakkige inspectie niet zichtbaar zijn. Iemand met de juiste sleutel kan later op deze markeringen controleren en verifiëren dat de tekst afkomstig is van een door AI gegenereerde bron met een watermerk. Deze aanpak is echter afhankelijk van de samenwerking van AI-leveranciers en is niet altijd beschikbaar.
Hoe AI-tekstdetectietools werken
Een voor de hand liggende aanpak is om de AI zelf te gebruiken om door de AI geschreven tekst te detecteren. Het idee is eenvoudig. Begin met het verzamelen van een groot corpus (dat wil zeggen een verzameling geschriften) van voorbeelden die zijn gelabeld als geschreven door mensen of gegenereerd door AI, en train vervolgens een model om onderscheid te maken tussen de twee. In feite wordt AI-tekstdetectie behandeld als een standaard classificatieprobleem, vergelijkbaar met spamfilters. Eenmaal getraind onderzoekt de detector de nieuwe tekst en voorspelt of deze meer lijkt op de door AI gegenereerde voorbeelden of op de door mensen geschreven voorbeelden die hij eerder heeft gezien.
De aangeleerde detectorbenadering kan werken, zelfs als er weinig bekend is over welke AI-tools de tekst mogelijk hebben gegenereerd. De belangrijkste vereiste is dat het trainingscorpus divers genoeg is om resultaten uit een breed scala aan AI-systemen te omvatten.
Maar als je toegang hebt tot de AI-tools waar jij je zorgen over maakt, wordt een andere aanpak mogelijk. Deze tweede strategie is niet afhankelijk van het verzamelen van grote gelabelde datasets of het trainen van een afzonderlijke detector. In plaats daarvan zoekt het naar statistische signalen in de tekst, vaak gerelateerd aan hoe specifieke AI-modellen taal genereren, om te beoordelen of de tekst waarschijnlijk door AI zal worden gegenereerd. Sommige methoden onderzoeken bijvoorbeeld de waarschijnlijkheid die een AI-model aan een stuk tekst toekent. Als het model een ongewoon hoge waarschijnlijkheid toekent aan de exacte woordvolgorde, kan dit een teken zijn dat de tekst inderdaad door dat model is gegenereerd.
Ten slotte verschuift het probleem in het geval van tekst die wordt gegenereerd door een AI-systeem dat een watermerk bevat, van detectie naar verificatie. Met behulp van een geheime sleutel die door de AI-leverancier wordt verstrekt, kan een verificatietool evalueren of de tekst consistent is met de tekst die wordt gegenereerd door een systeem met een watermerk. Deze benadering is gebaseerd op informatie die niet alleen in de tekst beschikbaar is, en niet op gevolgtrekkingen uit de tekst zelf.
AI-ingenieur Tom Dekan laat zien hoe gemakkelijk commerciële AI-tekstdetectoren kunnen worden verslagen.
Beperkingen van detectietools
Elke gereedschapsfamilie wordt geleverd met hun eigen grenzenwaardoor het moeilijk is om een duidelijke winnaar aan te wijzen. Op leren gebaseerde detectoren zijn bijvoorbeeld gevoelig voor de mate waarin nieuwe tekst lijkt op de gegevens waarop ze zijn getraind. Hun nauwkeurigheid neemt af wanneer de tekst substantieel afwijkt van het trainingscorpus, wat snel achterhaald kan raken als er nieuwe AI-modellen verschijnen. Het voortdurend verzamelen van nieuwe gegevens en het opnieuw trainen van detectoren is duur, en detectoren raken onvermijdelijk achter op de systemen die ze geacht worden te identificeren.
Statistische tests worden geconfronteerd met een andere reeks beperkingen. Velen vertrouwen op aannames over hoe specifieke AI-modellen tekst genereren of toegang krijgen tot de waarschijnlijkheidsverdelingen van die modellen. Wanneer modellen eigendom zijn, vaak worden bijgewerkt of simpelweg onbekend zijn, vallen deze aannames weg. Als gevolg hiervan kunnen methoden die goed werken in gecontroleerde omgevingen onbetrouwbaar of niet toepasbaar worden in de echte wereld.
Watermerken verplaatsen het probleem van detectie naar verificatie, maar introduceren hun eigen afhankelijkheden. Het is gebaseerd op de samenwerking van AI-leveranciers en is alleen van toepassing op tekst die is gegenereerd met ingeschakelde watermerken.
Meer in het algemeen maakt AI-tekstdetectie deel uit van een groeiende wapenwedloop. Detectiemiddelen moeten openbaar beschikbaar zijn om bruikbaar te zijn, maar transparantie zelf maakt ontduiking mogelijk. Naarmate op AI gebaseerde tekstgeneratoren steeds capabeler worden en ontwijkingstechnieken steeds geavanceerder worden, is het onwaarschijnlijk dat detectoren een blijvend voordeel zullen behalen.
Harde realiteit
Het AI-tekstdetectieprobleem is eenvoudig te formuleren, maar moeilijk betrouwbaar op te lossen. Instellingen met regels voor het gebruik van door AI geschreven tekst kunnen voor de handhaving niet alleen op detectiemiddelen vertrouwen.
Naarmate de samenleving zich aanpast aan generatieve AI, zullen we waarschijnlijk het beleid rond acceptabel gebruik van door AI gegenereerde tekst verfijnen en detectietechnieken verbeteren. Maar uiteindelijk zullen we moeten leren leven met het feit dat dergelijke hulpmiddelen nooit perfect zullen zijn.
Ambuj Tewari is hoogleraar statistiek aan de Universiteit van Universiteit van Michigan.
Dit artikel is opnieuw gepubliceerd van Het gesprek onder een Creative Commons-licentie. Lees de origineel artikel.
