AI-onderzoek heeft een probleem, academici zeggen: ‘Het is een ramp’ | Kunstmatige intelligentie (AI)

Slechts één persoon beweert dat te hebben gedaan auteur 113 wetenschappelijke artikelen over kunstmatige intelligentie dit jaar zullen er 89 deze week worden gepresenteerd op een van ’s werelds topconferenties over kunstmatige intelligentie en machinaal leren, wat bij computerwetenschappers vragen heeft doen rijzen over de stand van zaken op het gebied van AI-onderzoek.

De auteur, Kevin Zhu, de laatste tijd afgerond hij behaalde een bachelordiploma in computerwetenschappen aan de University of California, Berkeley, en leidt nu Algoverse, een onderzoeks- en bijlesbedrijf voor kunstmatige intelligentie voor middelbare scholieren, van wie velen zijn co-auteurs van de papers zijn. Zhu studeerde zelf in 2018 af van de middelbare school.

Documenten die hij heeft uitzetten de afgelopen twee jaar heb ik onderwerpen behandeld als het gebruik van kunstmatige intelligentie nomadische herders identificeren in Afrika bezuiden de Sahara, a huidlaesies beoordelene vertalen Indonesische dialecten. Op zijn LinkedIn maakt hij reclame voor de publicatie van ‘meer dan 100 belangrijke conferentiepapers in het afgelopen jaar’, die ‘zijn geciteerd door OpenAI, Microsoft, Google, Stanford, MIT, Oxford en meer.’

Zhu’s papieren zijn een “ramp”, zei Hany Farid, hoogleraar computerwetenschappen aan Berkeley, in een interview. “Ik ben er behoorlijk van overtuigd dat dit hele ding, van boven tot onder, slechts trillingscodering is”, zei hij, verwijzend naar de praktijk van het gebruik van kunstmatige intelligentie om software te maken.

Farid vestigde op een recente LinkedIn-pagina de aandacht op Zhu’s productieve publicaties versturenDit leidde tot discussies over andere vergelijkbare gevallen onder AI-onderzoekers, die zeiden dat hun nieuwe populaire discipline wordt geconfronteerd met een stortvloed aan onderzoekspapers van lage kwaliteit, aangewakkerd door academische druk en, in sommige gevallen, AI-tools.

In antwoord op een vraag van de Guardian zei Zhu dat hij toezicht hield op de 131 documenten, die ‘teaminspanningen’ waren die werden beheerd door zijn bedrijf Algoverse. Het bedrijf brengt middelbare scholieren en studenten $3.325 in rekening voor een selectieve online mentorervaring van twaalf weken, inclusief hulp bij het indienen van werk op conferenties.

“Ik help op zijn minst de methodologie en het experimentele ontwerp van voorstellen te beoordelen, en ik lees en becommentarieer volledige conceptdocumenten voordat ze worden ingediend”, zei hij, eraan toevoegend dat bij projecten over onderwerpen als taalkunde, gezondheidszorg of onderwijs “hoofdonderzoekers of mentoren met relevante expertise” betrokken waren.

De teams gebruikten “standaard productiviteitstools zoals referentiemanagers, spellingcontrole en soms taalmodellen voor het bewerken van kopieën of om de duidelijkheid te verbeteren”, zei hij in antwoord op een vraag of de documenten met kunstmatige intelligentie waren geschreven.

Botwatchers in rep en roer

Beoordelingsnormen voor AI-onderzoek verschillen van de meeste andere wetenschapsgebieden. Het meeste werk op het gebied van kunstmatige intelligentie en machinaal leren ondergaat niet de rigoureuze peer-review-processen van vakgebieden als scheikunde en biologie; in plaats daarvan worden papers vaak minder formeel gepresenteerd op grote conferenties zoals NeurIPSeen van ’s werelds grootste bijeenkomsten over machine learning en kunstmatige intelligentie, waar Zhu naar verwachting een presentatie zal geven.

De zaak van Zhu benadrukt een groter probleem in het onderzoek naar kunstmatige intelligentie, zei Farid. Conferenties waar NeurIPS deel van uitmaakt, worden overweldigd door de toename cijfers aantal bijdragen: NeurIPS heeft dit jaar 21.575 artikelen ingediend, vergeleken met minder dan 10.000 in 2020. Een andere grote AI-conferentie, de International Conference on Learning Representations (ICLR), zag een stijging van 70% in de jaarlijkse bijdragen voor de conferentie van 2026, bijna 20.000 artikelen, vergeleken met iets meer dan 11.000 voor de conferentie van 2025.

“Reviewers klagen over de slechte kwaliteit van de artikelen en vermoeden zelfs dat sommige door kunstmatige intelligentie zijn gegenereerd. Waarom heeft dit academische feest zijn smaak verloren?” vroeg de Chinese techblog 36Kr in a Bericht van november over de ICLR, waarbij wordt opgemerkt dat de gemiddelde score van reviewers die papers hebben toegewezen jaar na jaar is gedaald.

Ondertussen worden studenten en academici geconfronteerd met toenemende druk om publicaties te vergaren en gelijke tred te houden met hun leeftijdsgenoten. Het komt zelden voor dat er in een jaar tijd een dubbelcijferig – laat staan ​​drievoudig – aantal hoogwaardige academische computerwetenschappelijke artikelen wordt geproduceerd, aldus academici. Farid zegt dat zijn studenten hun artikelen soms ‘vibratiegecodeerd’ hebben om hun publicatieaantallen te vergroten.

“Zoveel jonge mensen willen de wereld van kunstmatige intelligentie betreden. Er heerst momenteel een razernij”, zei Farid.

NeurIPS beoordeelt ingediende artikelen, maar het proces is veel sneller en minder grondig dan standaard wetenschappelijke peer review, zegt Jeffrey Walling, universitair hoofddocent bij Virginia Tech. Dit jaar heeft de conferentie gebruikt een groot aantal afgestudeerde studenten om de documenten te beoordelen, wat volgens een voorzitter van het NeurIPS-gebied het proces in gevaar bracht.

“De realiteit is dat congresrecensenten vaak in korte tijd tientallen artikelen moeten beoordelen, en dat er meestal weinig tot geen beoordeling is”, aldus Walling.

Walling is het met Farid eens dat er momenteel te veel artikelen worden gepubliceerd en zegt dat hij andere auteurs heeft ontmoet met meer dan 100 publicaties in een jaar. “Academici worden beloond voor de hoeveelheid publicaties in plaats van voor de kwaliteit… Iedereen houdt van de mythe van superproductiviteit”, zei hij.

Op Zhu’s Algoverse FAQ-pagina bespreken de reacties hoe het programma van het bedrijf sollicitanten kan helpen bij de toekomstige universiteits- of loopbaanvooruitzichten. Ze zeggen: “De vaardigheden, prestaties en publicaties die je hier opdoet, staan ​​hoog aangeschreven in academische kringen en kunnen je sollicitatie of CV zelfs versterken. Dit geldt vooral als je onderzoek wordt toegelaten tot een grote conferentie, een prestigieuze prestatie, zelfs voor professionele onderzoekers.”

Farid zegt dat hij studenten nu adviseert om niet aan AI-onderzoek te doen, vanwege de ‘razernij’ in het veld en de grote hoeveelheid werk van lage kwaliteit dat wordt gedaan door mensen die hun carrièrevooruitzichten hopen te verbeteren.

“Het is gewoon een ramp. Je kunt het niet bijhouden, je kunt niet publiceren, je kunt geen goed werk doen, je kunt niet attent zijn”, zei hij.

Overstroming op helling

Uit dit proces moet nog uitstekend werk voortkomen. Bekend is het Google-document over transformatoren, Aandacht is het enige dat je nodig hebt – de theoretische basis voor de vooruitgang op het gebied van kunstmatige intelligentie die leidde tot ChatGPT – werd in 2017 gepresenteerd op NeurIPS.

De organisatoren van NeurIPS zijn het erover eens dat de conferentie onder druk staat. In een commentaar aan de Guardian zei een woordvoerder dat de groei van kunstmatige intelligentie als vakgebied heeft geleid tot “een aanzienlijke toename van het aantal inzendingen van papieren en een grotere waarde die wordt gehecht aan peer-reviewed acceptatie bij NeurIPS”, waardoor “een aanzienlijke druk op ons beoordelingssysteem wordt uitgeoefend”.

De voorstellen van Zhu hadden grotendeels betrekking op workshops binnen NeurIPS, die een ander selectieproces kennen dan de hoofdconferentie en waar vaak werk aan het begin van de carrière wordt gepresenteerd, aldus de organisatoren van NeurIPS. Farid zei dat hij dit geen inhoudelijke verklaring vindt voor het feit dat één persoon zijn naam op meer dan honderd documenten heeft gezet.

‘Ik vind dit geen overtuigend argument om je naam op honderd documenten te zetten waaraan je op geen enkele zinvolle manier had kunnen bijdragen,’ zei Farid.

Het probleem is groter dan een golf aan artikelen over NeurIPS. ICLR gebruikt De AI gaat een grote hoeveelheid voorstellen beoordelen, resulterend in ogenschijnlijk hallucinante citaten en “zeer langdradige feedback met veel opsommingen”, aldus een recent artikel in Nature.

Het gevoel van achteruitgang is zo wijdverbreid dat de zoektocht naar een oplossing voor de crisis zelf onderwerp van discussie is geworden. A Samenvattend document van mei 2025 – een academische, op bewijs gebaseerde versie van een redactioneel artikel in een tijdschrift – geschreven door drie Zuid-Koreaanse computerwetenschappers die een oplossing voorstelden voor de “ongekende uitdagingen met de golf van inzendingen van papers, vergezeld van groeiende zorgen over de kwaliteit van recensies en de aansprakelijkheid van recensenten”, won een prijs voor uitmuntend werk op de Internationale Conferentie over Machine Learning van 2025.

Ondertussen, zegt Farid, dumpen grote technologiebedrijven en kleine AI-beveiligingsorganisaties hun werk nu op arXiv, een site die ooit gereserveerd was voor weinig geziene preprints van wiskunde- en natuurkundeartikelen, en overspoelt het internet met werk dat als wetenschappelijk wordt gepresenteerd – maar niet onderworpen is aan peer review-normen.

De prijs van dit alles, zegt Farid, is dat het bijna onmogelijk is om te weten wat er werkelijk gebeurt op het gebied van AI – voor journalisten, het publiek en zelfs experts uit de industrie: “Je hebt geen enkele kans, geen enkele kans als gemiddelde lezer om te proberen te begrijpen wat er in de wetenschappelijke literatuur gebeurt. Jouw signaal-ruisverhouding is in feite één. Ik kan nauwelijks naar deze conferenties gaan en erachter komen wat er in vredesnaam aan de hand is.”

“Wat ik de studenten vertel is dat als je het publiceren van papers probeert te optimaliseren, het eigenlijk niet zo moeilijk is om te doen. Doe gewoon heel waardeloos werk van lage kwaliteit en bombardeer er conferenties mee. Maar als je echt doordacht en zorgvuldig werk wilt doen, ben je in het nadeel omdat je feitelijk eenzijdig ontwapend bent”, zei hij.