Halfhet gebruik van kunstmatige intelligentie Software om de sociale-mediaplatforms te modereren genereert grote hoeveelheden onnodige rapporten over gevallen van seksueel misbruik van kinderen, die de middelen uitputten en onderzoeken belemmeren, zeiden functionarissen van de Amerikaanse Internet Crimes Against Children (ICAC) taskforce.
“We krijgen veel tips van Meta die gewoon onzin zijn”, zei Benjamin Zwiebel, een speciaal agent bij de ICAC-taskforce in New Mexico, vorige week tijdens zijn getuigenis bij de Staatsproces tegen Meta. De procureur-generaal van de staat beweert dat de platforms van het bedrijf winst investeren in de veiligheid van kinderen. Meta betwist deze beschuldigingen en citeert veranderingen die op haar platforms zijn geïntroduceerd, zoals tieneraccounts met standaardbescherming. De ICAC Task Force is een nationaal netwerk van wetshandhavingsinstanties, gecoördineerd met het Amerikaanse ministerie van Justitie, om gevallen van online uitbuiting en misbruik van kinderen te onderzoeken en te vervolgen.
Een andere ICAC-functionaris, die op voorwaarde van anonimiteit sprak om interne zaken te bespreken, zei: “Meta geeft elke maand duizenden tips. Het is nogal overweldigend omdat we zoveel rapporten ontvangen, maar de kwaliteit van de rapporten ontbreekt echt in termen van het vermogen om serieuze actie te ondernemen.” De ICAC-functionaris voegde eraan toe dat het totale aantal door hun afdeling ontvangen cybertips tussen 2024 en 2025 is verdubbeld.
Onbetrouwbare rapporten van Instagram, Facebook en WhatsApp bevatten in sommige gevallen informatie die geen misdrijven zijn, aldus zowel Zweibel als twee ICAC-functionarissen. Tips bevatten soms informatie die erop wijst dat er mogelijk een misdrijf heeft plaatsgevonden, maar dat vitale afbeeldingen, video’s of tekst ontbreken of onduidelijk zijn, voegde de anonieme agenten eraan toe.
“(Ongeldige tips van) Instagram is de laatste tijd enorm gestegen, vooral in de afgelopen maanden, en dit is een van de plaatsen waar we zien dat deze informatie niet wordt verstrekt”, voegde de ICAC-functionaris eraan toe. “In deze gevallen hebben we geen informatie om het onderzoek voort te zetten. Het is pijnlijk om te weten dat dit misdrijf heeft plaatsgevonden, maar we kunnen de dader niet identificeren.”
Toen hem werd gevraagd naar de getuigenis van Zweibel en de observaties van de ICAC-functionarissen, zei een woordvoerder van Meta: “We ondersteunen wetshandhaving al jaren bij het vervolgen van criminelen: het DoJ heeft herhaaldelijk onze snelle samenwerking geprezen die tot arrestaties heeft geleid, en NCMEC heeft ons gestroomlijnde en ‘verbeterde’ rapportageproces voor klokkenluiders geprezen. In 2024 hebben we meer dan 9.000 noodverzoeken van de Amerikaanse autoriteiten ontvangen en deze binnen gemiddeld 67 minuten afgehandeld. – en zelfs nog sneller voor gevallen waarbij de veiligheid van kinderen en zelfmoord betrokken zijn. In overeenstemming met de toepasselijke wetgeving rapporteren we ook beelden van schijnbare seksuele uitbuiting van kinderen aan NCMEC en helpen we hen bij het prioriteren van rapporten, van het helpen ontwikkelen van hun case management tool tot het labelen van cybertips, zodat ze weten welke dringend zijn.
Het bedrijf wees erop dat agent Zweibel tijdens zijn getuigenis het gebruik van Meta’s tieneraccounts aanbeveelde, wat hij naar eigen zeggen deed “omdat dit de enige beschikbare optie is, in de veronderstelling dat tieners niet zullen afzien van het gebruik van sociale media.”
Raúl Torrez, de New Mexico De procureur-generaal die de zaak tegen Meta vervolgt, erkende de medewerking van het bedrijf bij het verstrekken van aanwijzingen voor kindermisbruik tijdens het proces: “Ik wil erkenning geven aan sommige applicaties en sociale-mediaplatforms, waaronder Meta, die tot op zekere hoogte beelden rapporteren aan het National Center for Missing and Exploited Children.”
Documenten die vrijdag in de zaak zijn vrijgegeven, laten zien dat leidinggevenden van Meta begin 2019 intern alarm slaan over het vermogen van het bedrijf om seksueel misbruik van kinderen te controleren en de wetshandhaving te waarschuwen. Destijds was het bedrijf zich aan het voorbereiden om end-to-end-encryptie in Facebook Messenger in te schakelen, die de berichten van gebruikers via encryptie verbergt voor iedereen behalve de beoogde ontvanger.
De documenten roepen nieuwe vragen op
“We staan op het punt iets slechts te doen als bedrijf. Dit is werkelijk onverantwoord”, schreef Monika Bickert, hoofd contentbeleid van Meta.
Bickert schreef dat er “geen manier zou zijn om de planning van terroristische aanslagen of uitbuiting van kinderen aan het licht te brengen” als de inhoud van Messenger zou worden gecodeerd, wat de samenwerking met wetshandhavingsinstanties zou kunnen belemmeren. Bickert zei ook dat Meta “grove fouten maakte met betrekking tot ons vermogen om beveiligingsoperaties uit te voeren”, aldus interne documenten.
In een ander document schatten medewerkers van Meta dat de encryptie van Messenger ervoor zou zorgen dat het bedrijf “niet in staat zou zijn om proactief gegevens te verstrekken aan wetshandhavingsinstanties in 600 gevallen van kinderuitbuiting, 1.454 gevallen van afpersing, 152 gevallen van terrorisme en 9 bedreigingen voor schietpartijen op scholen.”
Andy Stone, een woordvoerder van Meta, zei tegen Reuters: “De zorgen die in 2019 zijn geuit, zijn precies de reden waarom we een aantal nieuwe beveiligingsfuncties hebben ontwikkeld om misbruik te helpen detecteren en voorkomen, allemaal ontworpen om te werken in gecodeerde chats.”
Kinderveiligheidsgroepen hadden kritiek op de encryptie van Messenger, die uiteindelijk in 2023 werd uitgerold.
Meld kindermisbruik massaal
Volgens de wet zijn in de VS gevestigde sociale-mediabedrijven dat wel verplicht te melden elke gedetecteerde kinderpornografie (CSAM) op hun platforms aan het National Center for Missing and Exploited Children (NCMEC). NCMEC fungeert als nationaal verrekenkantoor voor rapporten, die het doorstuurt naar de juiste wetshandhavingsinstanties in de Verenigde Staten en internationaal. NCMEC heeft niet de bevoegdheid om eventuele ongeldige fooien eruit te filteren voordat deze naar de juiste wetshandhavingsinstantie worden gestuurd.
Meta is veruit de beste verslaggever van NCMEC. In haar gegevensrapport voor 2024 zei NCMEC dat Meta 13,8 miljoen rapporten heeft gemaakt op Facebook, Instagram en Whatsapp, van de in totaal 20,5 miljoen ontvangen suggesties.
NCMEC zei dat in 2024 meer dan 1 miljoen CyberTipline-rapporten gekoppeld waren aan een specifieke Amerikaanse staat, en dat die rapporten voor onderzoek beschikbaar werden gesteld aan ICAC-taskforces in het hele land, evenals aan andere federale, staats- en lokale wetshandhavingsinstanties.
Meta en andere socialemediabedrijven gebruiken kunstmatige intelligentie om verdacht materiaal op hun sites te detecteren en te rapporteren en schakelen menselijke moderators in om een deel van de gerapporteerde inhoud te beoordelen voordat deze naar de wetshandhaving wordt gestuurd. The Guardian heeft dit eerder gedaan meldde dat de suggesties gegenereerd door kunstmatige intelligentie die niet zijn beoordeeld, zelfs niet door een medewerker van een sociale-mediabedrijf, kunnen vanwege de bescherming van het Vierde Amendement vaak niet worden geopend door een wetshandhavingsfunctionaris zonder een bevelschrift. Deze extra stap vertraagt ook het onderzoek naar mogelijke misdaden, zeggen advocaten die bij deze zaken betrokken zijn.
Een woordvoerder van Meta zei: “Het is jammer dat rechterlijke uitspraken de lasten voor de wetshandhaving hebben vergroot door huiszoekingsbevelen te vereisen om identieke kopieën te openen van inhoud die we al hebben beoordeeld en gerapporteerd. Ons beeldmatchingsysteem vindt kopieën van bekende gevallen van kinderuitbuiting op een schaal die onmogelijk handmatig te doen zou zijn, en we werken aan het opsporen van nieuwe inhoud over kinderuitbuiting door middel van technologie, rapporten van onze gemeenschap en onderzoeken door onze gespecialiseerde kinderveiligheidsteams.”
Wetswijzigingen zorgen voor een lawine aan tips
Op grond van de Report Act (Revising Existing Procedures On Reporting via Technology), die in november 2024 van kracht werd, moeten online dienstverleners hun rapportageverplichtingen uitbreiden en versterken door de CyberTipline van NCMEC niet alleen op de hoogte te stellen van kinderpornografie, maar ook van gepland of dreigend misbruik, kindersekshandel en daarmee samenhangende uitbuiting; ze moeten ook bewijsmateriaal voor een langere periode bewaren en moeten zwaardere sancties riskeren als ze willens en wetens niet hieraan voldoen.
Sinds de wet werd aangenomen, is het aantal ongeldige rapporten van Meta aanzienlijk toegenomen, wat mogelijk komt doordat het bedrijf actie onderneemt om ervoor te zorgen dat het de wet niet overtreedt, aldus twee ICAC-functionarissen. Veel van deze suggesties kunnen niet als misdaad worden opgevat, zoals tienermeisjes laten praten over welke beroemdheid zij het aantrekkelijkst vinden.
“Op basis van mijn opleiding en ervaring lijkt het erop dat ze worden gepresenteerd door het gebruik van kunstmatige intelligentie, aangezien dit veelvoorkomende fouten zijn die een kunstmatige intelligentie zou maken en die een menselijke waarnemer niet zou maken”, zei Zwiebel in de rechtszaal.
Daarentegen krijgt de afdeling van Zwiebel veel minder tips van Meta over legitieme gevallen van verspreiding van kinderpornografie (CSAM) dan in voorgaande jaren, zegt hij.
Elke melding die bij een ICAC-afdeling binnenkomt, moet worden onderzocht, en de toestroom van ongeldige rapporten neemt tijd en middelen weg bij het onderzoeken van legitieme gevallen van kindermisbruik, aldus twee functionarissen.
“Het is funest voor het moreel. We verdrinken in de fooien en we willen eropuit gaan en dit werk doen”, zei een ICAC-functionaris. “We hebben niet het personeel om dit te ondersteunen. Er is geen manier om de komende overstroming bij te houden.”
