Fei-Fei Li’s World Labs versnelt de wereldwijde modelrace met Marble, het eerste commerciële product

Wereldlaboratoriade startup opgericht door de pionier van kunstmatige intelligentie Fei-Fei Li, lanceert zijn eerste mondiale model commerciële product. Marmer is nu beschikbaar via freemium en betaalde niveaus waarmee gebruikers tekstberichten, foto’s, video’s, 3D-lay-outs of panorama’s kunnen omzetten in bewerkbare en downloadbare 3D-omgevingen.

De lancering van het generatieve wereldmodel, voor het eerst uitgebracht in beperkte bèta waarvan de preview twee maanden geleden werd bekeken, komt het iets meer dan een jaar na World Labs uit hij is in het geheim vertrokken met een financiering van 230 miljoen dollar en geeft de startup een voorsprong op concurrenten die mondiale modellen bouwen. Wereldmodellen zijn kunstmatige-intelligentiesystemen die een interne representatie van een omgeving genereren en kunnen worden gebruikt om toekomstige resultaten te voorspellen en acties te plannen.

Startups vinden het leuk Decart EN Odyssee ze brachten gratis demo’s uit en Het genie van Google bevindt zich nog in een beperkte onderzoekspreview. Marble verschilt van dit en zelfs het real-time model van World Labs, RTFM – omdat het persistente, downloadbare 3D-omgevingen creëert in plaats van tijdens het verkennen werelden te genereren. Dit, zegt het bedrijf, resulteert in minder morphing of inconsistentie en stelt gebruikers in staat werelden te exporteren als symbolen, meshes of Gaussiaanse video’s.

Marble is ook het eerste model in zijn soort dat native AI-bewerkingstools biedt en een hybride 3D-editor waarmee gebruikers ruimtelijke structuren kunnen blokkeren voordat de AI visuele details invoegt.

“Dit is een geheel nieuwe categorie modellen die 3D-werelden genereren, en het is iets dat in de loop van de tijd beter zal worden. Het is iets dat we al behoorlijk hebben verbeterd”, vertelde Justin Johnson, medeoprichter van World Labs, aan TechCrunch.

Afgelopen december, World Labs liet zien hoe de eerste modellen werken het zou interactieve 3D-scènes kunnen genereren op basis van een enkel beeld. Hoewel indrukwekkend, waren de enigszins cartoonachtige scènes niet volledig verkenbaar, omdat de beweging beperkt was tot een klein gebied en er af en toe weergavefouten voorkwamen.

In mijn bètavoorbeeldtest ontdekte ik dat Marble indrukwekkende werelden genereerde, alleen al op basis van beeldsuggesties: van game-achtige omgevingen tot fotorealistische versies van mijn woonkamer. Scènes zijn aan de randen veranderd, hoewel ze blijkbaar zijn verbeterd bij de lancering van vandaag. Dat gezegd hebbende, een wereld die ik in de bèta genereerde met behulp van een enkele prompt zag er beter uit en sloot beter aan bij mijn bedoeling dan dezelfde prompt nu doet.

Ik heb de bewerkingsfuncties nog niet getest, hoewel Johnson zegt dat ze Marble praktisch maken voor kortlopende gaming-, VFX- en virtual reality (VR)-projecten.

“Een van onze belangrijkste thema’s voor de toekomst van Marble is creatieve controle”, aldus Johnson. “Er moet altijd een snelle weg zijn om iets te genereren, maar je moet nog dieper kunnen gaan en veel controle hebben over de dingen die je genereert. Je wilt niet dat de machine het zomaar overneemt en al die creativiteit van je wegneemt.”

Marbles benadering van creatieve controle begint met inputflexibiliteit. De bèta accepteerde alleen afzonderlijke afbeeldingen, waardoor het model gedwongen werd onzichtbare details te bedenken voor een 360-gradenweergave. Met de volledige uitrol kunnen gebruikers nu meerdere afbeeldingen of korte clips uploaden om een ​​ruimte vanuit verschillende hoeken te laten zien en het model vrij realistische digitale tweelingen te laten genereren.

Dan hebben we Chisel, een experimentele 3D-editor waarmee gebruikers ruwe ruimtelijke lay-outs (denk aan muren, dozen of vlakken) kunnen bevriezen en vervolgens tekstsuggesties kunnen toevoegen om de visuele stijl te begeleiden. Marble genereert de wereld, waarbij structuur wordt losgekoppeld van stijl, vergelijkbaar met hoe HTML de structuur van een website biedt en CSS kleur toevoegt. In tegenstelling tot tekstgebaseerde bewerking kunt u met Chisel objecten rechtstreeks manipuleren.

“Ik kan er gewoon heen gaan en het 3D-blok nemen dat de bank vertegenwoordigt en het ergens anders naartoe verplaatsen”, zei Johnson.

Een andere nieuwe functie die u meer controle over het bewerken geeft, is de mogelijkheid om een ​​wereld uit te breiden.

“Als je eenmaal een wereld hebt gegenereerd, kun je deze maximaal één keer uitbreiden”, zei Johnson. “Als je naar een deel van de wereld verhuist dat begint af te brokkelen, kun je het model feitelijk vertellen om daar uit te breiden of meer van de wereld te genereren in de buurt van waar je nu bent, en dan kan het meer details in die regio toevoegen.”

Gebruikers die extreem grote ruimtes willen creëren, kunnen meerdere werelden combineren met de “composer-modus”. Johnson bewees mij dit met twee werelden die hij al had gebouwd: een kamer van kaas met druivenstoelen en een andere van een futuristische vergaderruimte in de ruimte.

Het pad naar ruimtelijke intelligentie

Marble is verkrijgbaar via vier abonnementsniveaus: Gratis (vier generaties van tekst, afbeelding of panorama), Standaard ($20/maand, 12 generaties plus multi-afbeelding/video-invoer en geavanceerde bewerking), Pro ($35/maand, 25 generaties met scène-uitbreiding en commerciële rechten) en Max ($95/maand, volledige functies en 75 generaties).

Johnson gelooft dat de eerste toepassingen van Marble gaming, visuele effecten voor films en virtual reality zullen zijn.

Game-ontwikkelaars hebben gemengde gevoelens over de technologie. Een recente Enquête voor de game-ontwikkelaarconferentie ontdekte dat een derde van de respondenten gelooft dat generatieve AI een negatieve impact heeft op de game-industrie – 12% meer dan uit het onderzoek vorig jaar bleek. Tot de belangrijkste geuite zorgen behoren de diefstal van intellectueel eigendom, het energieverbruik en de afname van de kwaliteit van de door kunstmatige intelligentie gegenereerde inhoud. En vorig jaar A Bedraad uit onderzoek is gebleken dat gamestudio’s zoals Activision Blizzard kunstmatige intelligentie gebruiken om de bochten te bezuinigen en uitputting tegen te gaan.

In games ziet Johnson dat ontwikkelaars Marble gebruiken om achtergrondomgevingen en omgevingsruimtes te genereren en deze vervolgens in game-engines zoals Unity of Unreal Engine importeren om interactieve elementen, logica en code toe te voegen.

“Het is niet ontworpen om je hele bestaande pijplijn voor games te vervangen, maar simpelweg om je middelen te geven die je in die pijplijn kunt stoppen”, zei hij.

Wat het werk met visuele effecten betreft, omzeilt Marble de inconsistentie en slechte camerabediening waar AI-videogeneratoren last van hebben, aldus Johnson. Dankzij de 3D-middelen kunnen artiesten scènes in scène zetten en camerabewegingen controleren met perfecte precisie, zei hij.

Hoewel Johnson zei dat World Labs zich momenteel niet richt op virtual reality (VR)-toepassingen, merkte hij op dat de industrie “hongerig is naar inhoud” en opgewonden over de lancering. Marble is al compatibel met Vision Pro- en Quest 3 VR-headsets, en elke gegenereerde wereld kan vandaag in VR worden bekeken.

Marmer zou ook potentiële toepassingen voor robotica kunnen hebben. Johnson merkte op dat robotica, in tegenstelling tot het genereren van afbeeldingen en video’s, niet het voordeel heeft van een grote hoeveelheid trainingsgegevens. Maar met generatoren als Marble wordt het makkelijker om trainingsomgevingen te simuleren.

Volgens recente affiche door Fei-Fei Li, CEO en mede-oprichter van World Labs, vertegenwoordigt Marble de eerste stap op weg naar het creëren van “een werkelijk ruimtelijk intelligent wereldmodel.”

Li gelooft dat “de volgende generatie wereldmodellen machines in staat zal stellen ruimtelijke intelligentie op een geheel nieuw niveau te bereiken.” Als grote taalmodellen machines kunnen leren lezen en schrijven, hoopt Li dat systemen als Marble hen kunnen leren zien en bouwen. Ze zegt dat het vermogen om te begrijpen hoe dingen bestaan ​​en op elkaar inwerken in driedimensionale ruimtes uiteindelijk machines kan helpen doorbraken te maken die verder gaan dan gaming en robotica, en zelfs naar wetenschap en geneeskunde.

“Onze dromen over werkelijk intelligente machines zullen niet compleet zijn zonder ruimtelijke intelligentie”, schreef Li.

Heeft u een gevoelige melding of vertrouwelijke documenten? We brengen de innerlijke werking van de AI-industrie in kaart: van de bedrijven die de toekomst vormgeven tot de mensen die door hun beslissingen worden beïnvloed. Neem contact op met Rebecca Bellan via rebecca.bellan@techcrunch.com of Russell Brandom op russell.brandom@techcrunch.com. Voor veilige communicatie kunt u contact met hen opnemen via Signal op @rebeccabellan.491 en russellbrandom.49.