Een team van onderzoekers onder leiding van Nvidia hij liet los DroomDojoeen nieuw systeem voor kunstmatige intelligentie dat is ontworpen om robots te leren omgaan met de fysieke wereld door tienduizenden uren aan menselijke video’s te bekijken – een ontwikkeling die de tijd en kosten die nodig zijn om de volgende generatie mensachtige machines te trainen aanzienlijk zou kunnen verminderen.
DE onderzoekdeze maand gepubliceerd en waarbij medewerkers van betrokken zijn UC Berkeley, StanfordDE Universiteit van Texas in Austinen verschillende andere instellingen, introduceert wat het team ‘het eerste robotmodel ter wereld in zijn soort noemt dat na daaropvolgende training een sterke generalisatie naar verschillende objecten en omgevingen vertoont’.
In het centrum van DroomDojo het is wat de onderzoekers omschrijven als “een grootschalige videodataset” bestaande uit “44.000 uur aan diverse menselijke egocentrische video’s, de grootste dataset tot nu toe voor wereldwijde pre-training van modellen.” De dataset, genaamd DreamDojo-HVvertegenwoordigt een opmerkelijke schaalsprong: “15 keer langere duur, 96 keer meer vaardigheden en 2000 keer meer scènes dan de voorheen grootste dataset voor het trainen van wereldmodellen”, aldus de projectdocumentatie.
Binnen het tweestapstrainingssysteem dat robots leert zien als mensen
Het systeem werkt in twee verschillende fasen. Eerst, DroomDojo “krijgt uitgebreide fysieke kennis uit grootschalige menselijke datasets door vooraf te trainen met latente acties.” Vervolgens ondergaat het een “doeluitvoeringsvorm na training met continue robotacties” – waarbij het in wezen de algemene natuurkunde leert door mensen te observeren en die kennis vervolgens te verfijnen voor de specifieke hardware van de robot.
Voor bedrijven die humanoïde robots overwegen, wordt deze aanpak geconfronteerd met een hardnekkig knelpunt. Om een robot te leren objecten in ongestructureerde omgevingen te manipuleren, zijn traditioneel enorme hoeveelheden robotspecifieke demonstratiegegevens nodig, waarvan het verzamelen duur en tijdrovend is. DroomDojo omzeilt dit probleem door gebruik te maken van bestaande menselijke video’s, waardoor robots kunnen leren van observatie voordat ze zelfs maar een fysiek object aanraken.
Eén van de technische doorbraken is snelheid. Via een distillatieproces bereikten de onderzoekers ‘realtime interacties bij 10 FPS gedurende meer dan 1 minuut’, een mogelijkheid die praktische toepassingen mogelijk maakt, zoals live teleoperatie en on-the-fly planning. Het team heeft aangetoond dat het systeem op meerdere robotplatforms werkt, waaronder de GR-1, G1, AgiBotEN ZOETE AARDAPPEL humanoïde robots, die zogenaamde ‘actie-geconditioneerde realistische implementaties’ demonstreren in ‘een breed scala aan omgevingen en interacties met objecten’.
Waarom Nvidia groot inzet op robotica nu de uitgaven aan AI-infrastructuur enorm stijgen
De release komt op een cruciaal moment voor de ambities van Nvidia op het gebied van robotica en de AI-sector in het algemeen. Al Wereld Economisch Forum CEO Jensen Huang zei vorige maand in Davos dat op AI gebaseerde robotica een “once-in-a-generation” kans biedt, vooral voor regio’s met sterke productiebasissen. Seconde Digitale tijdenHuang zei ook dat het komende decennium “een kritieke periode van versnelde ontwikkeling van roboticatechnologie” zal zijn.
De financiële belangen zijn enorm. Huang vertelde op 6 februari in het ‘Halftime Report’ van CNBC dat de kapitaaluitgaven van de technologiesector – die dit jaar door grote hyperscalers 660 miljard dollar zouden kunnen bereiken – “gerechtvaardigd, passend en duurzaamHij typeerde het huidige moment als ‘de grootste infrastructuuruitbreiding in de menselijke geschiedenis’, waarbij bedrijven als Meta, Amazon, Google en Microsoft hun uitgaven aan kunstmatige intelligentie dramatisch verhogen.
Deze impuls aan de infrastructuur verandert het robotica-landschap al opnieuw. Robotica-startups bereiken record 26,5 miljard dollar in 2025volgens Dealroom-gegevens. Inclusief de Europese industriële reuzen Siemens, Mercedes-BenzEN Volvo hebben het afgelopen jaar robotica-partnerschappen aangekondigd, terwijl Tesla-CEO Elon Musk dat heeft gezegd 80 procent van de toekomstige waarde van zijn bedrijf zal komen van Optimus humanoïde robots.
Hoe DreamDojo de implementatie en het testen van bedrijfsrobots zou kunnen transformeren
Voor technische besluitvormers die humanoïde robots evalueren, ligt de meest directe waarde van DreamDojo wellicht in de simulatiemogelijkheden ervan. De onderzoekers benadrukken downstream-toepassingen, waaronder ‘robuuste beleidsevaluatie zonder implementatie in de echte wereld en op modellen gebaseerde planning voor het verbeteren van testtijden’, mogelijkheden waarmee bedrijven robotgedrag uitgebreid kunnen simuleren voordat ze dure fysieke tests uitvoeren.
Dit is belangrijk omdat de kloof tussen laboratoriumdemonstraties en productiefaciliteiten aanzienlijk blijft. Een robot die perfect werkt onder gecontroleerde omstandigheden heeft vaak te kampen met onvoorspelbare variaties in de echte wereld: ander licht, onbekende objecten, onverwachte obstakels. Door te trainen op 44.000 uur aan diverse menselijke video’s, verspreid over duizenden scènes en bijna 100 verschillende vaardigheden, wil DreamDojo het soort algemene fysieke intuïtie opbouwen dat robots aanpasbaar maakt in plaats van kwetsbaar.
Het onderzoeksteam, geleid door Linxi “Jim” Fan, Joel Jang en Yuke Zhu, met Shenyuan Gao en William Liang als co-auteurs, gaf aan dat de code publiekelijk zal worden vrijgegeven, hoewel er geen tijdlijn is gespecificeerd.
Het grotere geheel: Nvidia’s transformatie van gaminggigant naar robotica-krachtpatser
Als DroomDojo zich vertaalt in commerciële roboticaproducten valt nog te bezien. Maar het onderzoek geeft aan waar de ambities van Nvidia naartoe gaan nu het bedrijf zich steeds verder positioneert buiten zijn gamingwortels. ALS Kyle Barr merkte op bij Gizmodo eerder deze maand beschouwt Nvidia nu “alles wat met gaming en ‘personal computing’ te maken heeft” als “uitschieters in de kwartaalspreadsheets van Nvidia.”
De verandering weerspiegelt een berekende weddenschap: dat de toekomst van computers fysiek zal zijn, en niet alleen digitaal. Nvidia heeft al geïnvesteerd $10 miljard aan Antropisch en maakte plannen bekend om zwaar te investeren in de volgende financieringsronde van OpenAI. DreamDojo suggereert dat het bedrijf humanoïde robots ziet als de volgende grens waar zijn AI-expertise en chipdomein kunnen samenkomen.
Voorlopig vertegenwoordigt de 44.000 uur aan menselijke video die de kern vormt van DreamDojo iets fundamentelers dan een technische maatstaf. Ze vertegenwoordigen een theorie: dat robots kunnen leren navigeren in onze wereld door ons erin te zien leven. Het blijkt dat de machines aantekeningen hebben gemaakt.
