WereldlaboratoriaDE NAAR DE De modelontwikkelaar, mede opgericht door AI-pionier Fei-Fei Li, heeft zijn 3D-ruimtegeneratiemodel ‘Marble’ uitgebracht. In de Marmerlaboratoria websiteauteurs kunnen nu tekst-, beeld- of video-suggesties van delen van een echte omgeving invoegen. Marble gebruikt ze om complete 3D-omgevingen te creëren, die zowel binnenruimtes als grote buitenruimtes kunnen omvatten.
Marmer kan 3D-werelden reconstrueren, genereren en simuleren: zie het als een soort ‘wereldmodel’. In een interview met Snel bedrijfLi beschrijft wereldmodellen als een ‘significante’ evolutie van het tijdperk van generatieve kunstmatige intelligentie. “Het grote-wereldmodel is echt een belangrijke stap in de richting van het ontsluiten van de mogelijkheden van kunstmatige intelligentie”, een categorie die zij “ruimtelijk” noemt. Ruimtelijke intelligentie verwijst naar het vermogen van een systeem om waar te nemen, te modelleren, te redeneren en acties te ondernemen binnen de fysieke of geometrische ruimte, vergelijkbaar met hoe mensen of dieren hun acties kiezen op basis van het begrijpen van hun omgeving.
Wereldlaboratoria gelanceerd in september 2024, toen hij begon te werken aan het Marble-model. Twee maanden geleden gaf hij een preview van het model vrij aan een groep creatievelingen, die begonnen met het bouwen van werelden en het geven van feedback.
Deze week plaatste Li een soort van manifest op Substack, met het argument dat ruimtelijke intelligentie de volgende grens is in kunstmatige intelligentie. Voor mensen, zegt hij, vormt de ruimtelijke intelligentie van de fysieke wereld om ons heen het fundament waarop we onze cognitie bouwen. “Ruimtelijke intelligentie zal de manier waarop we echte en virtuele werelden creëren en ermee omgaan transformeren, waardoor het vertellen van verhalen, creativiteit, robotica, wetenschappelijke ontdekkingen en meer revolutionair zal zijn”, schrijft hij. World Labs is van mening dat het uitrusten van machines (inclusief robots) met dergelijke ‘ruimtelijke intelligentie’ de komende jaren voor tal van industrieën transformatief zou kunnen zijn.
Via een webinterface kunnen gebruikers Marble voorzien van een scènebeschrijving, afbeeldingen of video’s of grove 3D-lay-outs, en het model genereert een realistische 3D-omgeving. Een gebruiker kan een reeks afbeeldingen invoegen uit de slaapkamer waarin hij is opgegroeid en de afbeeldingen vervolgens uploaden naar Marble, die ze op intelligente wijze aan elkaar plakt om een meeslepende digitale 3D-versie van de kamer te creëren.
De gebruiker kan vervolgens een verscheidenheid aan hulpmiddelen gebruiken om de recreatie in zijn slaapkamer te verfijnen of uit te breiden, door kleine aanpassingen te doen, zoals het toevoegen van een klok. Of ze kunnen grotere veranderingen doorvoeren: voeg een bureau en een stoel toe of geef de hele kamer een ander soort licht. Meer gevorderde gebruikers kunnen een ruwe 3D-scène maken (of importeren) die de belangrijkste elementen van een omgeving bevat, en vervolgens tekstinstructies gebruiken om de algehele stijl te bepalen.
Met de bewerkingstools “kun je het model herhalen, heen en weer gaan en het uiterlijk van de wereld op verschillende manieren veranderen om je te helpen die visie uit je hoofd te krijgen en die perfecte wereld te creëren”, zegt Justin Johnson, medeoprichter van World Labs. World Labs herbergt ook een “hub” waar mensen hun 3D-creaties kunnen delen.
Marble kan 3D-werelden produceren, zodat andere makers deze, misschien met behulp van andere tools, kunnen ontwikkelen of verbeteren. Het kan werelden genereren als Gaussiaanse symbolen, meshes of video’s, formaten die bekend zijn bij grafische professionals. “Het is echt interessant omdat je die 3D-assets kunt gebruiken en ze vervolgens kunt combineren met allerlei andere traditionele workflows”, zegt Johnson. “Je zou je driehoekige mesh kunnen nemen en het in een spel kunnen stoppen. Je zou je Gauss-symbool kunnen nemen en het dan kunnen gebruiken voor een VFX-opname, een composiet en andere dingen.”
Bij generatieve AI is een Gaussiaanse splat de manier om 3D-objecten en -ruimten met de hoogste kwaliteit weer te geven. Het model genereert miljoenen of miljarden kleine ‘symbolen’, semi-transparante deeltjes die verschillende punten binnen een 3D-ruimte bezetten. Het zijn kleine, gladde plekken waarvan de helderheid, dekking, kleur of dichtheid het grootst zijn in het midden, waarbij die waarden vloeiend in een klokvormige vorm naar nul vallen aan de randen. De klodders verbinden zich vervolgens met hun buren, wat het gevoel van gladheid en samenhang vergroot. Wanneer miljarden van deze symbolen elkaar overlappen, kunnen ze de gladde oppervlakken, kleuren en belichting van een 3D-scène benaderen.
Hoewel iedereen nu met Marble kan experimenteren, kunnen professionals zoals kunstenaars, ingenieurs en ontwerpers van visuele effecten het nuttig vinden in hun werk. Li en zijn medeoprichters, Ben Mildenhall, Johnson en Christoph Lassner, zeggen dat deze ‘ruimtelijke intelligentie’ een verscheidenheid aan industrieën zou kunnen transformeren, waaronder gaming, filmproductie en robotica.
Li, die tevens mededirecteur is van het Stanford Institute for Human-Centered AI, ontving onlangs de prijs Koningin Elizabeth Award voor Techniek tijdens een ceremonie met koning Charles in Londen. De medeoprichters hebben ook een indrukwekkende goede trouw. Lassner ontwikkeld Pulsareen op bol gebaseerde renderer die pionierde op het gebied van 3D Gaussiaanse splatting. Johnson, die met Li werkte als afgestudeerde student aan Stanford, creëerde realtime stijloverdracht (waarbij de visuele stijl van de ene afbeelding op de andere wordt toegepast), gebruikt door Meta, Snap en Prisma. Ben Mildenhall co-creëerde het neurale stralingsveld (NeRF), wat een revolutie teweegbracht in de reconstructie van 3D-scènes.
World Labs biedt een gelaagd abonnement, te beginnen met een gratis niveau dat voldoende credits bevat om vier werelden te genereren. Hogere niveaus voegen meer credits en meer tools toe, waarbij het topabonnement $ 95 per maand kost.
