Als u erover denkt om uw kind een pratende teddybeer te kopen, stelt u zich waarschijnlijk voor dat hij ondersteunende begeleiding fluistert en de wegen van de wereld leert. Je kunt je waarschijnlijk niet voorstellen dat ze zich bezighouden met seksuele rollenspellen of kinderen advies geven over hoe ze lucifers moeten aansteken.
Toch is dit waar de consument over waakt Dat ontdekte de Public Interest Research Group (PIRG). in een recente test van nieuw speelgoed voor de feestdagen. FoloToy NAAR DE Kumma de teddybeer, die het GPT-4o-model van OpenAI gebruikt om zijn spraak te verbeteren, was maar al te bereid om af te dwalen tijdens gesprekken met kinderen, ontdekte PIRG.
Het is logisch om de stemmodus van AI-modellen voor kinderspeelgoed te gebruiken: de technologie is op maat gemaakt voor de magische snuisterijen waar kinderen dol op zijn, en glijdt gemakkelijk op de planken naast levensechte poppen die poepen en boeren, en Tamagotchi-achtige digitale wezens die kinderen willen proberen in leven te houden. Het probleem is dat, in tegenstelling tot eerdere generaties speelgoed, op AI gebaseerde constructies verder kunnen gaan dan zorgvuldig voorgeprogrammeerde en gecontroleerde kindvriendelijke reacties.
De kwestie met Kumma benadrukt een belangrijk probleem met AI-compatibel speelgoed: ze vertrouwen vaak op AI-modellen van derden waarover ze geen controle hebben, en die onvermijdelijk kunnen worden gejailbreakt, per ongeluk of opzettelijk, wat veiligheidshoofdpijn voor kinderen veroorzaakt. “Er is heel weinig duidelijkheid over de AI-modellen die door het speelgoed worden gebruikt, hoe ze zijn getraind en welke waarborgen ze kunnen bevatten om te voorkomen dat kinderen tegen leeftijdsongepaste inhoud aanlopen”, zegt Christine Riefa, specialist consumentenrecht aan de Universiteit van Reading.
Om deze reden heeft de kinderrechtenorganisatie Fairplay een waarschuwing aan de ouders gegeven voorafgaand aan de feestdagen om te suggereren dat ze uit de buurt van AI-speelgoed moeten blijven omwille van de veiligheid van hun kinderen. “Er is een gebrek aan onderzoek dat de voordelen van AI-aangedreven speelgoed ondersteunt, en een gebrek aan onderzoek dat de langetermijneffecten op kinderen aantoont”, zegt Rachel Franz, directeur van Fairplay’s Young Children Thrive Offline-programma.
Hoewel FoloToy is gestopt met de verkoop van Kumma en OpenAI FoloToy de toegang tot zijn AI-modellen heeft geblokkeerd, is dit slechts één van de vele AI-speelgoedfabrikanten. Wie is verantwoordelijk als er iets misgaat?
Riefa zegt dat er ook hier onduidelijkheid is. “Aansprakelijkheidskwesties kunnen verband houden met de gegevens en de manier waarop deze worden verzameld of opgeslagen”, zegt hij. “Het zou kunnen gaan over de aansprakelijkheid voor het AI-speelgoed dat een kind ertoe aanzet zichzelf of anderen schade toe te brengen, of dat de bankgegevens van een ouder registreert.”
Franz vreest dat, net als bij grote technologiebedrijven die met elkaar concurreren, de inzet nog hoger is als het gaat om de kinderproducten van speelgoedbedrijven. “Het is duidelijk dat dit speelgoed wordt vrijgegeven zonder belemmeringen van onderzoek of regelgeving”, zegt hij.
Riefa ziet zowel AI-bedrijven die de modellen leveren die speelgoed helpen ‘praten’ als speelgoedbedrijven marketing en ze verkopen aan kinderen die aansprakelijk zijn in rechtszaken.
“Omdat AI-functies in een product zijn geïntegreerd, is het zeer waarschijnlijk dat de aansprakelijkheid bij de speelgoedfabrikant ligt”, zegt hij, waarbij hij opmerkt dat er waarschijnlijk wettelijke bepalingen in de contracten van AI-bedrijven zouden zijn opgenomen die hen beschermen tegen schade of wangedrag. “Hierdoor zouden speelgoedfabrikanten, die in feite misschien heel weinig controle hebben over de LLM’s die in hun speelgoed worden gebruikt, de aansprakelijkheidsrisico’s op zich nemen”, voegt hij eraan toe.
Maar Riefa wijst er ook op dat hoewel het juridische risico bij de speelgoedbedrijven ligt, het echte risico “volledig ligt bij de manier waarop de LLM zich gedraagt”, wat zou suggereren dat AI-bedrijven ook enige verantwoordelijkheid dragen. Misschien is dit wat OpenAI deed duw de ontwikkeling van AI-speelgoed terug met Mattel deze week.
Uitzoeken wie daadwerkelijk verantwoordelijk zal zijn en in welke mate zal waarschijnlijk nog wat meer tijd vergen, evenals een juridisch precedent in de rechtbanken. Totdat de zaak is opgelost, heeft Riefa een eenvoudige suggestie: “Een stap die wij als samenleving, als degenen die voor kinderen zorgen, nu kunnen zetten, is het boycotten van de aankoop van dit AI-speelgoed.”
