De originele versie Van dit verhaal verscheen erin Quanta-tijdschrift.
Welke zijn onder de talloze capaciteiten die mensen bezitten uniek menselijk? Taal is in ieder geval een belangrijke kandidaat sinds Aristoteles, die schreef dat de mensheid ‘het dier is dat taal bezit’. Hoewel grote taalmodellen zoals ChatGPT oppervlakkig de gemeenschappelijke taal repliceren, willen onderzoekers weten of er specifieke aspecten van de menselijke taal zijn die eenvoudigweg geen parallellen hebben in de communicatiesystemen van andere dieren of kunstmatig intelligente apparaten.
In het bijzonder hebben onderzoekers onderzocht in hoeverre taalmodellen over taal zelf kunnen redeneren. Voor sommigen in de taalgemeenschap doen taalkundige modellen meer dan alleen dat Niet ze hebben redeneervermogen Ik kan het niet. Deze visie werd in 2023 samengevat door Noam Chomsky, een vooraanstaand taalkundige, en twee coauteurs. schreef hij De New York Times dat “juiste uitleg van taal ingewikkeld is en niet kan worden geleerd door ze simpelweg in big data te marineren.” AI-modellen zijn weliswaar bedreven in het gebruik van taal, zo betogen deze onderzoekers, maar ze zijn niet in staat deze op een verfijnde manier te analyseren.
Deze mening is onlangs betwist papier Van Gasper Beguštaalkundige aan de Universiteit van Californië, Berkeley; Maksymilian Dąbkowskidie onlangs zijn doctoraat in de taalkunde behaalde in Berkeley; EN Ryan Rhodos van de Rutgers Universiteit. De onderzoekers onderwierpen een reeks grote taalmodellen, of LLM’s, aan een reeks taalkundige tests, waaronder, in één geval, of de LLM de regels van een verzonnen taal generaliseert. Hoewel de meeste LLM’s er niet in slaagden taalkundige regels te analyseren zoals mensen dat kunnen, beschikte één van hen over indrukwekkende capaciteiten die de verwachtingen ver overtroffen. Hij was in staat taal te analyseren op vrijwel dezelfde manier als een afgestudeerde student in de taalkunde dat zou doen: door zinnen in diagrammen te zetten, meerdere dubbelzinnige betekenissen op te lossen en gebruik te maken van ingewikkelde taalkundige kenmerken zoals recursie. Deze ontdekking, zei Beguš, “test ons begrip van wat kunstmatige intelligentie kan doen.”
Dit nieuwe werk komt op het juiste moment en ‘zeer belangrijk’, zei hij Tom McCoyeen computationeel taalkundige aan de Yale University die niet bij het onderzoek betrokken was. “Naarmate de samenleving afhankelijker wordt van deze technologie, wordt het steeds belangrijker om te begrijpen waar deze kan slagen en waar deze kan falen.” Taalkundige analyse, zo voegde hij eraan toe, is de ideale proeftuin om te beoordelen in hoeverre deze taalmodellen kunnen redeneren als mensen.
Oneindige complexiteit
Eén uitdaging bij het onderwerpen van taalmodellen aan een strenge taaltest is ervoor zorgen dat ze de antwoorden niet al weten. Deze systemen zijn doorgaans getraind op grote hoeveelheden geschreven informatie, niet alleen op een groot deel van het internet, in tientallen, zo niet honderden talen, maar ook op zaken als taalkundige leerboeken. Modellen zouden in theorie eenvoudig de informatie die ze tijdens de training hebben ontvangen, kunnen opslaan en opnieuw kunnen uitspugen.
Om dit te voorkomen, hebben Beguš en zijn collega’s een vierdelige taaltest gemaakt. In drie van de vier delen werd het model gevraagd speciaal vervaardigde zinnen te analyseren met behulp van boomdiagrammen, voor het eerst geïntroduceerd in Chomsky’s beroemde boek uit 1957, Syntactische structuren. Deze diagrammen splitsen zinnen op in zelfstandige naamwoorden en werkwoorduitdrukkingen en splitsen ze vervolgens verder op in zelfstandige naamwoorden, werkwoorden, bijvoeglijke naamwoorden, bijwoorden, voorzetsels, voegwoorden, enzovoort.
Eén deel van de test was gericht op recursie, oftewel het vermogen om zinnen in zinnen in te sluiten. “De lucht is blauw” is een eenvoudige Engelse uitdrukking. ‘Jane zei dat de lucht blauw is’ neemt de oorspronkelijke zin op in een iets complexere zin. Belangrijk is dat dit proces van recursie eeuwig kan doorgaan: ‘Maria vroeg zich af of Sam wist dat Omar had gehoord dat Jane had gezegd dat de lucht blauw was’ is ook een grammaticaal correcte, zij het ongemakkelijke, recursieve zin.
