Nu de feestdagen dichterbij komen Zwarte VrijdagEén categorie op de cadeaulijsten van mensen is een groeiende zorg: producten met kunstmatige intelligentie.
De ontwikkeling heeft nieuwe zorgen doen rijzen over de gevaren die slim speelgoed voor kinderen kan opleveren, omdat consumentenbelangengroepen zeggen dat kunstmatige intelligentie de veiligheid en ontwikkeling van kinderen kan schaden. De trend heeft geleid tot oproepen tot meer testen van dergelijke producten en tot toezicht van de overheid.
“Als we kijken naar de manier waarop dit speelgoed op de markt wordt gebracht, hun prestaties en het feit dat er weinig of geen onderzoek is dat aantoont dat ze gunstig zijn voor kinderen – en geen regulering van AI-aangedreven speelgoed – roept dit grote alarmsignalen op”, zegt Rachel Franz, directeur van Young Children Thrive Offline, een initiatief van Eerlijk speldie werkt om kinderen te beschermen tegen grote technologieën.
Vorige week werden deze angsten brutaal gerechtvaardigd toen een kunstmatig intelligente teddybeer seksueel expliciete onderwerpen begon te bespreken.
Het product, FoloToy’s Kumma, draaide op een OpenAI-model en beantwoordde vragen over het knooppunt. Volgens een rapport van de Public Interest Research Group (Pirg), de consumentenbeschermingsorganisatie waarachter bondage en rollenspellen zijn voorgesteld als manieren om een relatie te verbeteren de studie.
“Het kostte heel weinig moeite om het onder te brengen in allerlei seksueel gevoelige onderwerpen en waarschijnlijk veel inhoud waarvan ouders niet zouden willen dat hun kinderen eraan worden blootgesteld”, zegt Teresa Murray, directeur van Pirg’s consumentenwaakhondgroep.
Producten zoals de teddybeer maken volgens het rapport deel uit van een wereldwijde markt voor slim speelgoed die in 2023 op 16,7 miljard dollar wordt gewaardeerd. Gerelateerd marktonderzoek.
De industrie is bijzonder groot in China, waar meer dan 1.500 op AI gebaseerde speelgoedbedrijven actief zijn om in het buitenland uit te breiden. MIT-technologierecensie relaties.
Naast de in Shanghai gevestigde startup FoloToy werkt Curio, een bedrijf uit Californië, samen met OpenAI en bouwt het een pluche, Grokzoals in de chatbot van Elon Musk, ingesproken door muzikant Grimes. In juni lanceerde Mattel, eigenaar van merken als Barbie en Hot Wheels, ook aangekondigd een partnerschap met OpenAI om “AI-aangedreven producten en ervaringen te ondersteunen.”
Vóór het Pirg-rapport over de griezelige teddybeer hadden ouders, technologieonderzoekers en wetgevers al hun bezorgdheid geuit over de impact van robots op de geestelijke gezondheid van kinderen. In oktober kondigde chatbotbedrijf Character.AI aan dat het gebruikers onder de 18 jaar zou verbieden een oorzaak bewerend dat zijn bot de depressie van een tiener verergerde en ervoor zorgde dat hij zelfmoord pleegde.
Murray zei dat AI-aangedreven speelgoed bijzonder gevaarlijk kan zijn, omdat terwijl eerder slim speelgoed geprogrammeerde reacties van kinderen opleverde, een bot ‘een vloeiend gesprek met een kind kan voeren en dat er geen grenzen zijn, zoals we hebben ontdekt’.
Dit zou niet alleen kunnen leiden tot seksueel expliciete gesprekken, maar kinderen zouden ook gehecht kunnen raken aan een bot in plaats van aan een persoon of een denkbeeldige vriend, wat hun ontwikkeling zou kunnen schaden, zegt Jacqueline Woolley, directeur van het Children’s Research Center aan de Universiteit van Texas in Austin.
Een kind kan er bijvoorbeeld baat bij hebben als hij een meningsverschil heeft met een vriend en leert dit op te lossen. Bij bots is de kans kleiner dat dit gebeurt vaak dienstbaarzei Woolley, adviseur van de firma Pirg.
‘Ik maak me zorgen over ongepaste banden,’ zei Woolley.
Bedrijven gebruiken ook AI-aangedreven speelgoed om gegevens van kinderen te verzamelen en zijn niet transparant geweest over wat ze met die informatie doen, zegt Franz van Fairplay. Dit brengt gebruikers mogelijk in gevaar vanwege het gebrek aan beveiliging rond die gegevens, zei Franz. Hackers wel was in staat de controle over kunstmatige-intelligentieproducten over te nemen.
“Dankzij het vertrouwen dat speelgoed wekt, zou ik zeggen dat kinderen eerder geneigd zijn hun diepste gedachten over dit speelgoed te vertellen”, aldus Franz. “Toezicht is onnodig en ongepast.”
Ondanks dergelijke zorgen roept Pirg niet op tot een verbod op AI-gebaseerd speelgoed, dat educatieve waarde zou kunnen hebben, zoals het helpen van kinderen bij het leren van een tweede taal of staatshoofdsteden, zei Murray.
“Er is niets mis met het hebben van een soort educatief hulpmiddel, maar datzelfde educatief hulpmiddel vertelt je niet dat het je beste vriend is, dat je me alles kunt vertellen,” zei Murray.
De organisatie roept op tot aanvullende regulering van dit speelgoed voor kinderen onder de 13 jaar, maar heeft geen specifieke beleidsaanbevelingen gedaan, zei Murray.
Er moet ook meer onafhankelijk onderzoek worden gedaan om ervoor te zorgen dat de producten veilig zijn voor kinderen, en totdat dat is gebeurd, moeten ze uit de schappen worden gehaald, zei Franz.
“We hebben onafhankelijk kortetermijn- en longitudinaal onderzoek nodig naar de impact van kinderen die omgaan met AI-speelgoed, inclusief hun sociaal-emotionele ontwikkeling” en cognitieve ontwikkeling, zei Franz.
Naar aanleiding van het Pirg-rapport kondigde OpenAI de opschorting van FoloToy aan. Dan de CEO van het speelgoedbedrijf zei hij tegen CNN dat het de beer van de markt terughaalde en “een interne veiligheidsaudit uitvoerde.” Eerder deze week introduceerde het het product opnieuw, plaatsen op sociale media op vrijdagochtend “startte het een diepgaande, bedrijfsbrede interne veiligheidsaudit; versterkte en actualiseerde het onze inhoudsmoderatie en de veiligheidsmaatregelen voor kinderen; en implementeerde het verbeterde beveiligingsregels en -beschermingen in ons cloudgebaseerde systeem.”
“Nu de mondiale aandacht voor de veiligheid van AI-aangedreven speelgoed blijft groeien, zijn wij van mening dat transparantie, verantwoordelijkheid en voortdurende verbetering essentieel zijn”, zei hij. “FoloToy blijft zich vastberaden inzetten voor het creëren van veilige, bij de leeftijd passende AI-metgezellen voor kinderen en gezinnen over de hele wereld.”
In de verklaring werd echter niet bevestigd of hij onafhankelijke deskundigen had geraadpleegd voordat hij de beer weer vrijliet, zoals hij beweerde het Register na het verwijderen van het product zou dit het geval zijn.
RJ Cross, directeur van Pirg’s consumentenprivacyprogramma, zei dat de ommekeer van FoloToy “misschien wat snel lijkt voor een volledige beveiligingsaudit, maar wat belangrijker is, is of de onmiddellijke problemen zijn opgelost.” Hij drong er bij het bedrijf op aan om toegang te verlenen aan externe experts en zei dat er hoe dan ook vragen blijven bestaan over de vraag of AI-‘vrienden’ goed zijn voor kinderen.
“We weten niet wat AI-speelgoed zou kunnen doen voor de sociale ontwikkeling van een kind op de lange termijn”, zei hij. “Dit is een vraag die geen enkele bedrijfsveiligheidsaudit op dit moment kan beantwoorden.”
FoloToy reageerde niet onmiddellijk op een verzoek om commentaar.
Donderdag voerden 80 organisaties, waaronder Fairplay, actie een consultatie dringt er bij gezinnen op aan om deze feestdagen geen AI-speelgoed te kopen.
“AI-aangedreven speelgoed wordt aan gezinnen op de markt gebracht als veilig en zelfs nuttig om te leren, voordat de impact ervan is beoordeeld door onafhankelijk onderzoek”, aldus de release. “Het is daarentegen aangetoond dat offline teddyberen en speelgoed de ontwikkeling van kinderen ten goede komen, zonder de risico’s van AI-speelgoed.”
Curio, maker van het Grok-speelgoed, vertelde de Guardian in een e-mail dat we, na het Pirg-rapport te hebben bekeken, “actief samenwerken met ons team om eventuele problemen aan te pakken, waarbij we voortdurend toezicht houden op de inhoud en interacties om een veilige en leuke ervaring voor kinderen te garanderen.”
Mattel zei dat zijn eerste producten met OpenAI “zich zullen richten op gezinnen en oudere klanten” en dat “het gebruik van OpenAI API’s niet bedoeld is voor gebruikers onder de 13 jaar.”
“AI is een aanvulling op, en geen vervanging van, traditioneel gamen, en we leggen de nadruk op veiligheid, privacy, creativiteit en verantwoorde innovatie”, aldus het bedrijf.
Franz doelde op het verleden privacyproblemen met Mattel intelligente producten en zei: “Het is goed dat Mattel zegt dat zijn AI-producten niet voor jonge kinderen zijn, maar als we kijken naar wie met het speelgoed speelt en voor wie het speelgoed op de markt wordt gebracht, zijn het jonge kinderen.”
Franz voegde hieraan toe: “We zijn erg geïnteresseerd in de concrete stappen die Mattel zal nemen om ervoor te zorgen dat zijn OpenAI-producten niet daadwerkelijk worden gebruikt door kinderen die de merken zeker zullen herkennen en zich er tot aangetrokken zullen voelen.”
