Honderden actieve accounts TikTok Volgens een rapport verzamelen ze miljarden views door het verspreiden van door AI gegenereerde inhoud, waaronder anti-immigratie- en seksueel materiaal.
De onderzoekers zeiden dat ze 354 op AI gerichte accounts hadden ontdekt, 43.000 berichten hadden geplaatst die waren gemaakt met generatieve AI-tools en 4,5 miljard views hadden verzameld in een periode van één maand.
Volgens AI Forensics, een in Parijs gevestigde non-profitorganisatie, proberen sommige van deze accounts het algoritme van TikTok – dat bepaalt welke inhoud gebruikers zien – voor de gek te houden door grote hoeveelheden inhoud te plaatsen in de hoop dat deze viraal gaat.
Eén die tot 70 keer per dag of tegelijkertijd wordt gepost, duidt op een geautomatiseerd account, en de meeste accounts zijn vroeg in het jaar gelanceerd.
Vorige maand onthulde TikTok dat er minstens 1,3 miljard door AI gegenereerde berichten op het platform stonden. Elke dag worden er meer dan 100 miljoen stukjes inhoud naar het platform geüpload, wat aangeeft dat materiaal met het label AI een klein deel van de TikTok-catalogus is. TikTok biedt gebruikers ook de mogelijkheid om de hoeveelheid AI-inhoud die ze zien.
Van de accounts die het vaakst content plaatsten, richtte de helft zich op content gerelateerd aan het vrouwelijk lichaam. “Deze AI-vrouwen zijn altijd stereotiep aantrekkelijk, met geseksualiseerde kleding of halslijnen”, aldus het rapport.
AI Forensics ontdekte dat accounts niet de helft van de geposte inhoud labelden en dat minder dan 2% het TikTok-label voor AI-inhoud droeg, wat volgens de non-profitorganisatie het potentieel voor misleiding van het materiaal zou kunnen vergroten. De onderzoekers voegden eraan toe dat accounts soms maandenlang aan de moderatie van TikTok ontsnappen, ondanks het plaatsen van inhoud die verboden is door de servicevoorwaarden.
Tientallen accounts die in het onderzoek werden onthuld, werden later verwijderd, aldus de onderzoekers, wat aangeeft dat sommige door moderators waren verwijderd.
Een deel van de inhoud nam de vorm aan van nepnieuwssegmenten anti-immigratieverhalen en materiaal dat vrouwelijke lichamen seksualiseerde, inclusief meisjes die minderjarig leken. De categorie vrouwelijk lichaam was goed voor de helft van de top 10 van meest actieve accounts, zei AI Forensics, terwijl in sommige nepnieuwsverhalen bekende tv-merken zoals Sky News en ABC te zien waren.
Sommige berichten zijn van TikTok verwijderd nadat ze door The Guardian naar het platform waren verwezen.
TikTok zei dat de beweringen van het rapport ‘ongegrond’ waren en dat onderzoekers het hadden uitgekozen vanwege een probleem dat meerdere platforms treft. In augustus onthulde The Guardian dat bijna één op de tien van de snelst groeiende YouTube-kanalen ter wereld dat was alleen inhoud weergeven die is gegenereerd door kunstmatige intelligentie.
“Bij TikTok verwijderen we schadelijke AIGC (kunstmatige intelligentie gegenereerde inhoud), blokkeren we de creatie van honderden miljoenen botaccounts, investeren we in toonaangevende AI-labelingtechnologieën en geven we mensen tools en training om te bepalen hoe zij deze inhoud op ons platform ervaren”, aldus een TikTok-woordvoerder.
De meest populaire accounts die door AI Forensics in termen van opvattingen naar voren werden gebracht, hadden ‘slop’ gepost, de term voor door AI gemaakte inhoud die onzinnig en bizar is en ontworpen om de feeds van sociale media van mensen onoverzichtelijk te maken, zoals dieren die meedoen aan een Olympische duikwedstrijd OF pratende kinderen. De onderzoekers erkenden dat een deel van de inhoud ‘grappig’ en ‘schattig’ was.
na de promotie van de nieuwsbrief
De richtlijnen van TikTok verbieden het gebruik van kunstmatige intelligentie om valse en gezaghebbende bronnen na te bootsen, de gelijkenissen van iemand onder de 18 jaar, of de gelijkenis van volwassenen die geen publieke figuren zijn.
“Dit onderzoek naar (geautomatiseerde accounts) laat zien hoe AI-inhoud nu is geïntegreerd in platforms en een breder ecosysteem voor viraliteit”, aldus de onderzoekers.
“De vage grens tussen authentieke menselijke en synthetische AI-gegenereerde inhoud op het platform signaleert een nieuwe verschuiving naar meer door AI gegenereerde inhoud in de feeds van gebruikers.”
De onderzoekers analyseerden gegevens van half augustus tot half september. Een deel van de inhoud probeert geld te verdienen aan gebruikers, waaronder het promoten van gezondheidssupplementen via nep-influencers, het promoten van tools die helpen bij het creëren van virale inhoud over kunstmatige intelligentie en het zoeken naar sponsoring voor berichten.
AI Forensics, dat ook de prevalentie van AI-inhoud op Instagram benadrukte, zei dat het het besluit van TikTok verwelkomt om gebruikers toe te staan de hoeveelheid AI-inhoud die ze zien te beperken, maar dat de etikettering moet worden verbeterd.
“Gezien de structurele en niet-triviale hoeveelheid onvermogen om dergelijke inhoud te identificeren, blijven we sceptisch over het succes van deze functie”, zeiden ze.
De onderzoekers voegden eraan toe dat TikTok zou moeten overwegen om een AI-only-functie in de app te creëren om door AI gemaakte inhoud te scheiden van door mensen gemaakte berichten. “Platforms moeten verder gaan dan zwakke of optionele labels van ‘AI-inhoud’ en overwegen generatieve inhoud te scheiden van door mensen gemaakt materiaal, of een eerlijk systeem vinden dat systematische en zichtbare etikettering van AI-inhoud afdwingt”, zeiden ze.
