Een verontrustend account dat hij vrijwel zeker gebruikt NAAR DE Het genereren van video’s van fictieve New Yorkers die kritiek uiten op de nieuwgekozen burgemeester Zohran Mamdani roept een beangstigend vooruitzicht op: dat deepfakes niet alleen kunnen worden gebruikt om zich voor te doen als politici, maar ook om kiezers te imiteren.
De accounts op verschillende sociale mediaplatforms, die vergelijkbare profielfoto’s gebruiken en met elkaar verbonden lijken te zijn, noemen zichzelf Citizens Against Mamdani. De afgelopen dagen zijn op deze accounts bekentenissen en tirades geplaatst van ‘New Yorkers’ die Mamdani bekritiseerden vanwege zijn vermeende anti-Amerikanisme, belastingverhogingsplannen en valse beloften over huur en transport. Het lijkt erop dat ze de diversiteit van New York proberen na te bootsen, en veel van de video’s bevatten enkele klassieke accenten van de stad.
Hoewel geen van de video’s viraal is gegaan, zijn ze wel verschenen TikTokTwitter en Instagram, met tienduizenden views. Het TikTok-account zelf heeft zo’n 30.000 likes. Snel bedrijf nam contact op met de Instagram- en TikTok-pagina’s, maar had op het moment van publicatie geen reactie ontvangen.
“Tijdens de laatste verkiezingscyclus aannemen Menselijke beïnvloeders om een bepaalde boodschap te verspreiden waren een ware rage. Nu hebben teams deze persoonlijkheden niet eens nodig”, legt Emmanuelle Saliba uit, hoofdonderzoeker bij GetReal Security, een cybersecuritybedrijf dat deepfakes analyseert. “GenAI heeft zulke aanzienlijke vooruitgang geboekt dat campagnes en activisten tekst-naar-video kunnen gebruiken om hyperrealistische video’s van voorstanders of tegenstanders te maken, en online consumenten zullen het niet merken”, voegt ze eraan toe.
De online campagne laat zien hoe generatieve AI astroturfing in essentie heeft gedemocratiseerd. “Astroturfing is geautomatiseerd en is vrijwel niet op te sporen zonder technologie”, zegt Saliba, een opmerkelijke evolutie ten opzichte van de laatste verkiezingscyclus, toen het gebruikelijker was dat politieke agenten influencers inhuurden, voegt hij eraan toe.
Het gebruik van online tools om een valse indruk van steun of oppositie voor een beweging of kandidaat te wekken is niets nieuws. In 2017 zijn er bijvoorbeeld bots geïmplementeerd stuur opmerkingen aan de Federal Communications Commission, die destijds nieuwe netneutraliteitsregels overwoog. Maar dit soort campagnes vergen doorgaans op zijn minst een aanzienlijke menselijke inspanning, zoals het beheren van een netwerk van sociale media-accounts of het inhuren van beïnvloeders.
De opkomst van generatieve AI maakt het veel gemakkelijker om online de luchtspiegeling van politieke populariteit te creëren: nu kun je met slechts een paar tips en toegang tot het juiste platform eenvoudig video’s genereren van een schare mensen die er echt uitzien.
Een luchtspiegeling
Een van de uitdagingen bij het detecteren van deepfakes is uiteraard dat er geen absoluut zekere manier is om te bevestigen dat ze door kunstmatige intelligentie zijn gegenereerd. In het geval van de anti-Mamdani-video’s is het bewijsmateriaal echter overweldigend.
Naast het zichtbare watermerk van Sora, een label gemaakt door OpenAI om inhoud aan te duiden die met de technologie van het bedrijf is gemaakt, plaatsten accounts op sommige video’s rond dezelfde tijd talloze soortgelijke video’s.
Een andere belangrijke aanwijzing zijn de objecten op de achtergrond van de beelden, zegt Siwei Lyu, een professor in computerwetenschappen die deepfakes bestudeert aan de Universiteit van Buffalo.
Reality Defender, een ander bedrijf dat door AI gegenereerde inhoud onderzoekt, analyseerde verschillende video’s met behulp van een platform genaamd RealScan en ontdekte dat de kans dat ze werden gemanipuleerd extreem groot was. Het bedrijf schatte dat een video waarin een man met een blauwe hoed schreeuwde: “Je werd voor de gek gehouden door Mamdani” een kans van 99% had om een deepfake te zijn. (Het is onmogelijk om een score van 100% te krijgen – er is geen manier om de grondwaarheid van het maken van inhoud echt te verifiëren.)
Hoewel het onduidelijk is in hoeverre mensen daadwerkelijk overtuigd waren door de video’s, suggereren de reacties dat tenminste sommige online gebruikers ze serieus lijken te nemen. “Ze tonen de illusie van brede steun voor of tegen een kwestie, en de mensen die in de video’s worden afgebeeld zijn gewone burgers. Het is dus moeilijker om hun bestaan te verifiëren”, zegt Lyu. “Dit is de zoveelste gevaarlijke vorm van AI-gestuurde desinformatiecampagne.”
Grootschalige astroturf
De cijfers herinneren ons eraan dat de kosten voor het produceren van desinformatie lager zijn dan ooit. In het verleden vereiste social engineering-ondersteuning voor een bepaald doel echte inspanningen, zoals investeren in het creëren van geloofwaardige en realistische inhoud, legt Alex Lisle, chief technology officer bij Reality Defender, uit.
“Nu kan ik een LLM definiëren met een gevoel en een boodschap die ik aan hem probeer over te brengen, en hem vervolgens vragen wat hij moet zeggen”, zegt Lisle. “En ik kan het doen op een schaal die voorheen uren en uren werk zou vergen,” en produceert “honderden verschillende offertes, duizenden verschillende offertes, heel, heel snel”, voegt hij eraan toe.
Door deepfakes te combineren met grote taalmodellen kunnen politieke werkers niet alleen talloze scripts genereren voor wat een deepfake kan zeggen, maar ook video’s van mensen, met overtuigende stemmen, die daadwerkelijk zeggen verspreiding die verhalen. ‘Nu heb je een krachtvermenigvuldiger,’ vervolgde Lisle. “Om dit te doen zijn meer mensen en uren inspanning nodig. Nu kost het mij alleen maar de berekening.”
Het probleem gaat verder dan de politiek, benadrukte Saliba van GetReal. Hoewel Mamdani een voorbeeld van een doelwit zou kunnen zijn, betekenen de lage kosten van het creëren van dit soort inhoud dat een bedrijf of een geliefde in de toekomst het doelwit van dit soort desinformatiecampagnes zou kunnen zijn.
