Google brengt mensen in gevaar door veiligheidswaarschuwingen te bagatelliseren dat het door AI gegenereerde medische advies mogelijk onjuist is.
Bij het beantwoorden van vragen over gevoelige onderwerpen zoals gezondheid zegt het bedrijf dat de AI-overzichten, die boven de zoekresultaten verschijnen, gebruikers ertoe aanzetten professionele hulp te zoeken, in plaats van uitsluitend op de samenvattingen te vertrouwen. “AI Overviews zal mensen informeren wanneer het belangrijk is om deskundig advies in te winnen of de gepresenteerde informatie te verifiëren,” Google zei.
Maar de Guardian ontdekte dat het bedrijf dergelijke disclaimers niet opneemt wanneer gebruikers voor het eerst medisch advies krijgen.
Google geeft alleen een waarschuwing als gebruikers ervoor kiezen om aanvullende gezondheidsinformatie op te vragen en op de knop ‘Meer weergeven’ klikken. Nogmaals, veiligheidslabels verschijnen alleen onder alle aanvullende medische adviezen die zijn verzameld met behulp van generatieve AI en in een kleiner, duidelijker lettertype.
“Dit is alleen voor informatieve doeleinden”, zegt de disclaimer tegen gebruikers die voor meer details klikken nadat ze de eerste samenvatting hebben gezien en het einde van het AI-overzicht bereiken. “Raadpleeg een professional voor medisch advies of een diagnose. AI-reacties kunnen fouten bevatten.”
Google ontkende niet dat haar disclaimers niet worden weergegeven wanneer gebruikers het eerste medische advies krijgen of dat ze onder AI-overzichten en in een kleiner, duidelijker lettertype verschijnen. AI Overviews “moedigt mensen aan om professioneel medisch advies in te winnen” en vermeldt vaak het zoeken naar medische behandeling in de samenvatting zelf “indien nodig”, aldus een woordvoerder.
AI-experts en pleitbezorgers van patiënten die de bevindingen van The Guardian kregen, zeiden dat ze zich zorgen maakten. Disclaimers dienen een essentieel doel, zeiden ze, en zouden prominent moeten verschijnen wanneer gebruikers voor het eerst medisch advies krijgen.
“Het ontbreken van disclaimers wanneer gebruikers in eerste instantie medische informatie krijgen, creëert verschillende kritieke gevaren”, zegt Pat Pataranutaporn, assistent-professor, technoloog en onderzoeker aan het Massachusetts Institute of Technology (MIT) en een wereldberoemde expert op het gebied van kunstmatige intelligentie en mens-computerinteractie.
“Ten eerste blijven zelfs de meest geavanceerde AI-modellen tegenwoordig desinformatie hallucineren of sycofantisch gedrag vertonen, waarbij gebruikerstevredenheid voorrang krijgt boven nauwkeurigheid. In de gezondheidszorg kan dit echt gevaarlijk zijn.
“Ten tweede gaat het probleem niet alleen over de beperkingen van AI, het gaat over de menselijke kant van de vergelijking. Gebruikers bieden mogelijk niet alle noodzakelijke context of stellen mogelijk de verkeerde vragen door hun symptomen verkeerd te interpreteren.
“Disclaimers zijn een cruciaal interventiepunt. Ze onderbreken dit automatische vertrouwen en zorgen ervoor dat gebruikers kritischer omgaan met de informatie die ze ontvangen.”
Gina Neff, senior AI-professor aan de Queen Mary University of London, zei dat “het probleem met slechte AI-overzichten by design is” en dat Google de schuldige is. “AI-overzichten zijn ontworpen voor snelheid, niet voor nauwkeurigheid, en dit leidt tot fouten in gezondheidsinformatie, wat gevaarlijk kan zijn.”
In de maand januari, een Guardian-onderzoek onthulde dat mensen het risico liepen op schade als gevolg van valse en misleidende gezondheidsinformatie in de AI-overzichten van Google.
zei Neff de resultaten van het onderzoek liet zien waarom prominente disclaimers essentieel waren. “Google zorgt ervoor dat mensen klikken voordat ze disclaimers tegenkomen”, zegt hij. “Mensen die snel lezen, denken misschien dat de informatie die ze uit AI Overviews krijgen beter is dan het is, maar we weten dat ze ernstige fouten kunnen maken.”
Volgens de Guardian-rapportage, Google verwijderde AI-overzichten voor sommige, maar niet alle medische onderzoeken.
Sonali Sharma, onderzoeker aan het Center for Artificial Intelligence in Medicine and Imaging (AIMI) van Stanford University, zei: “Het grootste probleem is dat deze Google AI-overzichten bovenaan de zoekpagina verschijnen en vaak een compleet antwoord bieden op de vraag van een gebruiker op een moment dat hij toegang probeert te krijgen tot informatie en zo snel mogelijk een antwoord wil krijgen.
“Voor veel mensen, omdat die ene samenvatting er eigenlijk meteen is creëert een gevoel van geruststelling dit ontmoedigt verder onderzoek of het scrollen door de volledige samenvatting en klikken op “Meer weergeven” waar mogelijk een disclaimer verschijnt.
“Wat volgens mij schade kan aanrichten in de echte wereld is het feit dat AI-overzichten vaak gedeeltelijk correcte en gedeeltelijk onjuiste informatie kunnen bevatten, en het wordt erg moeilijk om te zeggen wat juist is of niet, tenzij je al bekend bent met het onderwerp.”
Een woordvoerder van Google zei: “Het is onjuist om te suggereren dat AI Overviews mensen niet aanmoedigt om professioneel medisch advies in te winnen. Naast een duidelijke disclaimer vermeldt AI Overviews vaak dat er rechtstreeks in het overzicht zelf medische hulp wordt gezocht, indien nodig.”
Tom Bishop, patiëntinformatiemanager bij Anthony Nolan, een liefdadigheidsinstelling voor bloedkanker, riep op tot dringende actie. “We weten dat desinformatie een reëel probleem is, maar als het om desinformatie over de gezondheid gaat, is het potentieel zeer gevaarlijk”, zei Bishop.
“Deze disclaimer moet veel duidelijker zijn, gewoon om mensen een stap terug te laten doen en te laten denken… ‘Is dit iets dat ik moet controleren met mijn medisch team in plaats van actie te ondernemen? Kan ik dit op het eerste gezicht aanvaarden of moet ik hier echt meer in detail naar kijken en zien hoe deze informatie zich verhoudt tot mijn specifieke medische situatie?’ Want dat is hier de sleutel.
Hij voegde eraan toe: “Ik zou graag willen dat deze disclaimer helemaal bovenaan staat. Ik zou willen dat dit het eerste is dat je ziet. En idealiter zou het dezelfde lettergrootte moeten hebben als al het andere dat je daar ziet, en niet iets dat klein is en gemakkelijk te missen.”
