Komieken die vertrouwen op slimme woordspelingen en schrijvers van geestige krantenkoppen kunnen wat geruster zijn, althans voorlopig, suggereert AI-onderzoek.
Deskundigen van universiteiten in Groot-Brittannië en Italië hebben onderzocht of grote taalmodellen (LLM’s) woordspelingen begrijpen – en ontdekten dat deze tekortschieten.
Het team van Universiteit van Cardiffin Zuid-Wales, bijv Ca’ Foscari Universiteit van Venetië concludeerde dat LLM’s de structuur van een woordspeling konden identificeren, maar de grap niet echt begrepen.
Een getest voorbeeld was: “Vroeger was ik cabaretier, maar mijn leven is een grap geworden.” Als ze het vervingen door: ‘Ik was een komiek, maar mijn leven is chaotisch geworden’, hadden LLM’s nog steeds de neiging de aanwezigheid van een woordspeling op te merken.
Ze probeerden het ook: “Lange sprookjes hebben de neiging tot draken.” Als ze ‘draak’ vervingen door het synoniem ‘verlengen’ of zelfs door een willekeurig woord, leken de LLM’s te geloven dat er met woorden werd gespeeld.
Prof. José Camacho ColladosUit het onderzoek van Cardiff University’s School of Computing and Informatics blijkt dat het begrip van humor door LLM’s kwetsbaar is.
“Over het algemeen hebben LLM’s de neiging om te onthouden wat ze tijdens hun opleiding hebben geleerd. Als zodanig begrijpen ze bestaande woordspelingen goed, maar dat betekent niet dat ze ze echt begrijpen”, zei hij.
“We waren in staat om LLM’s consequent voor de gek te houden door bestaande woordspelingen aan te passen, waardoor de dubbele betekenis waaruit de oorspronkelijke woordspeling bestond, werd verwijderd. In deze gevallen associëren de modellen deze zinnen met eerdere woordspelingen en verzinnen ze allerlei redenen om te rechtvaardigen dat het een woordspeling is. Uiteindelijk ontdekten we dat hun begrip van woordspelingen een illusie is.”
Het team concludeerde dat, wanneer ze geconfronteerd worden met onbekende woordspelingen, het succespercentage van LLM’s bij het onderscheiden van woordspelingen van niet-woordspelingen kan dalen tot 20%.
Een andere geteste woordspeling was: “Oude LLM’s sterven nooit, ze verliezen alleen hun focus.” Toen de focus werd verlegd naar ‘ukelele’, beschouwde de LLM het nog steeds als een woordspeling, omdat ‘ukelele’ een beetje klonk als ‘you-kill-LLM’.
na de promotie van de nieuwsbrief
Het team was verrast door de creativiteit, maar de LLM had de grap nog niet door.
De onderzoekers zeiden dat het werk benadrukt waarom mensen voorzichtig moeten zijn bij het gebruik van LLM’s voor toepassingen die begrip van humor, empathie of culturele nuances vereisen.
Hun onderzoek werd eerder deze maand gepresenteerd op de 2025 Conference on Empirical Methods in Natural Language Processing in Suzhou, China. Het wordt gedetailleerd beschreven in een document met de titel Onbedoelde woordspeling: LLM en de illusie van begrip van humor.
