Regulering van AI-gedrag, niet van AI-theorie
De nieuwe wetten, SB 243 en AB 489, delen een gemeenschappelijke veronderstelling: dat AI-systemen met randgevallen zullen worden geconfronteerd. Deskundigen en wetgevers zien functionaliteitsproblemen waarbij gesprekken afdwalen en gebruikers emotionele, medische of belangrijke vragen in contexten brengen waarvoor het systeem niet is ontworpen.
Statisch beleid dat maanden van tevoren wordt geschreven, dekt niet elk scenario. Dus in plaats van conversatie-AI te verbieden, is de aanpak van Californië pragmatisch. Als een AI-systeem beslissingen beïnvloedt of een emotionele relatie met gebruikers creëert, moet het over waarborgen beschikken die standhouden tijdens de productie, en niet alleen bij documentatie. En dit is een gebied waarop veel organisaties minder voorbereid zijn.
AB 489: Wanneer kunstmatige intelligentie op een dokter lijkt
AB 489 richt zich op een ander risico: AI-systemen die medische expertise impliceren zonder deze daadwerkelijk te bezitten. Veel gezondheids- en welzijnchatbots beweren niet expliciet dat ze artsen zijn. In plaats daarvan vertrouwen ze op toon, terminologie of ontwerpkenmerken die klinisch en gezaghebbend aanvoelen. Voor gebruikers zijn deze verschillen vaak onzichtbaar of niet te ontcijferen.
Met ingang van 1 januari verbiedt AB 489 AI-systemen om titels, taalgebruik of andere representaties te gebruiken die gelicenseerde medische expertise suggereren, tenzij er daadwerkelijk sprake is van dergelijke expertise.
Het omschrijven van bevindingen als ‘artsniveau’ of ‘artsgestuurd’ zonder feitelijke ondersteuning kan een overtreding zijn. Zelfs kleine signalen die gebruikers kunnen misleiden, kunnen als overtredingen worden beschouwd, waarbij de handhaving zich uitstrekt tot professionele vergunningverlenende instanties. Voor teams die patiëntgerichte of gezondheidsgerelateerde AI bouwen, creëert dit een bekende technische uitdaging: het ontwikkelen van technologie die een dunne lijn bewandelt tussen informatief en nuttig versus gezaghebbend. En nu, onder AB 489, is die lijn van belang.
ONTDEKKEN: Dit zijn de vier AI-technologietrends die we in 2026 in de gaten moeten houden.
SB 243: Wanneer een chatbot een metgezel wordt
SB 243, die in oktober 2025 tot wet werd ondertekend, richt zich op wat wetgevers ‘complementaire kunstmatige intelligentie’ noemen, of systemen die zijn ontworpen om gebruikers in de loop van de tijd te betrekken in plaats van een enkele transactionele vraag te beantwoorden. Deze systemen lijken misschien persistent, reactief en emotioneel afgestemd. Na verloop van tijd kunnen gebruikers ze niet meer als hulpmiddelen zien en ze als een aanwezigheid gaan beschouwen. Dit is precies het risico dat SB 243 probeert aan te pakken.
De wet stelt drie basisverwachtingen vast.
Ten eerste moet de openbaarmaking van AI continu zijn, en niet cosmetisch. Als een redelijk mens zou kunnen geloven dat hij met een mens communiceerde, zou het systeem duidelijk moeten onthullen dat het kunstmatige intelligentie was, niet slechts één keer, maar herhaaldelijk tijdens langere gesprekken. Voor minderjarigen gaat de wet verder en vereist frequente herinneringen en aanmoediging om pauzes te nemen, waarbij expliciet wordt beoogd de onderdompeling te stoppen voordat deze verslavend wordt.
Ten tweede gaat de wet ervan uit dat sommige gesprekken serieus worden. Wanneer gebruikers zelfmoordgedachten of intenties tot zelfbeschadiging uiten, wordt van systemen verwacht dat ze deze verandering herkennen en ingrijpen. Dit betekent het stoppen van schadelijke gesprekspatronen, het activeren van standaardantwoorden en het doorverwijzen van gebruikers naar echte crisisondersteuning. Deze protocollen moeten worden gedocumenteerd, in de praktijk worden geïmplementeerd en via de benodigde informatie worden gerapporteerd.
Ten derde stopt het geld niet bij de lancering. Vanaf 2027 moeten operators rapporteren hoe vaak deze beveiligingen worden geactiveerd en hoe ze in de praktijk presteren. SB 243 introduceert ook een particulier actierecht, waardoor de inzet voor systemen die onder druk falen aanzienlijk wordt verhoogd.
De boodschap van dit bestuur is duidelijk: goede bedoelingen zijn niet voldoende als kunstmatige intelligentie op het verkeerde moment het verkeerde zegt.
Klik op onderstaande banner om u voor aan te melden GezondheidTechde wekelijkse nieuwsbrief.
