Welkom bij NAAR DE gedecodeerd, Snel bedrijfDe wekelijkse nieuwsbrief die het belangrijkste nieuws uit de wereld van kunstmatige intelligentie analyseert. Ik ben Mark Sullivan, een senior schrijver bij Snel bedrijf, over opkomende technologie, kunstmatige intelligentie en technologiebeleid.
Deze week zal ik me concentreren op wat het nieuwe bedrijf van AI-pionier Yann LeCun waarschijnlijk zal opbouwen na zijn vertrek bij Meta. Ik kijk ook naar de grap van Marc Andreessen tegen de paus op X, ea “Fei-Fei Li’s visie op de wereld van kunstmatige intelligentie sinds 2012.
Schrijf u in om deze nieuwsbrief wekelijks per e-mail te ontvangen Hier. En als u opmerkingen heeft over dit onderwerp en/of ideeën voor toekomstige kwesties, stuur mij dan een e-mail op sullivan@fastcompany.com en volg mij op @thesullivan.
Het vertrek van Yann LeCun bij Meta en wat hij waarschijnlijk hierna gaat doen
Yann LeCun, de AI-pionier die sinds 2013 leiding geeft aan de Fundamental AI Research (FAIR)-divisie van Meta, zal naar verluidt die post verlaten om zijn eigen AI-onderzoekslaboratorium te starten. LeCun is van plan om in de komende maanden te vertrekken en is al begonnen met fondsenwervingsgesprekken om zijn nieuwe onderneming te ondersteunen, aldus rapporten. De nieuwe startup zal zich richten op het bouwen van ‘wereldmodellen’, dit zijn kunstmatige intelligentiesystemen die leren van afbeeldingen, video’s en ruimtelijke gegevens in plaats van uitsluitend te vertrouwen op tekst en grote taalmodellen.
Na het ontwikkelen van open source Llama-modellen die achterbleven bij andere LLM’s, heeft Meta een lange weg afgelegd royale wervingsactie NAAR aannemen onderzoekers van wereldklasse voor een nieuwe poging om geavanceerde modellen te bouwen. Meta’s nieuwste modellen zullen, zo zeggen bronnen, waarschijnlijk closed-source zijn en zullen naar verwachting dezelfde algemene architectuur en trainingsmethoden volgen die worden gebruikt door rivalen als OpenAI en Anthropic.
Met andere woorden, ze zullen blijven vertrouwen op dezelfde transformatorarchitectuur die Google in 2017 heeft uitgevonden (die de generatieve AI-boom op gang bracht) door voortdurend meer trainingsgegevens en rekenkracht te gebruiken om intelligentiewinst te boeken. LeCun was kritisch over deze aanpak en twijfels wat een AI opleverde die daadwerkelijk redeneert, in plaats van alleen maar patronen te detecteren en het volgende woord of pixel in een reeks te voorspellen.
LeCun riep op tot meer fundamenteel onderzoek naar alternatieve paden die sneller zouden kunnen leiden tot modellen voor kunstmatige intelligentie die de menselijke intelligentie kunnen evenaren of overtreffen. Zijn recente onderzoek heeft zich gericht op ‘wereldmodellering’, oftewel het ontwikkelen van kunstmatige-intelligentiesystemen die snel informatie over de fysieke wereld kunnen leren, zoals menselijke kinderen dat doen.
Verwacht dus dat het nieuwe bedrijf van LeCun nieuwe soorten modellen, of modelsystemen, zal bouwen die aspecten van de echte wereld, inclusief de natuurkunde, op nieuwe manieren leren en vertegenwoordigen. Deze modellen zullen waarschijnlijk worden getraind door duizenden uren video te bekijken, in plaats van te vertrouwen op tekst of stilstaande beelden. Ze zullen waarschijnlijk ook meer nuances uit de echte wereld kunnen vastleggen, zoals staatsveranderingen en transities (hoe omgevingen veranderen en evolueren), dan de huidige modellen. Succes zou kunnen betekenen dat we AI-systemen of robots moeten creëren met een veel geavanceerder inzicht in de wereld en hoe we daarin moeten handelen, en die veel beter zijn in het voortdurend leren en hervormen van de wereld zoals wij mensen dat doen.
Marc Andreessen probeert de paus goedkoop te raken, maar riskeert een negatieve reactie
Marc Andreessen, van het legendarische durfkapitaalbedrijf Andreessen Horowitz, is een AI-accelerator die Twitter zou kunnen blokkeren voor iedereen die zelfs maar suggereert dat de industrie meer tijd zou moeten besteden aan beveiliging en afstemming. Nu krijgt hij te maken met terugslag omdat hij afgelopen weekend de paus op X heeft aangevallen, toen de Heilige Stoel opriep tot moraliteit in de technologie.
De paus tweette dat de bouwers van onze AI-toekomst “systemen moeten ontwikkelen die rechtvaardigheid, solidariteit en oprecht respect voor het leven weerspiegelen.” (Zie hele tweet Hier.) Dat was genoeg om Andreessen, een toegewijde MAGA-cheerleader en naaste adviseur van president Trump op het gebied van technologiekwesties, te triggeren.
Andreessen voerde geen argument aan, maar plaatste een meme die bedoeld was om een spottende en afwijzende reactie op de boodschap van de paus over te brengen. De meme het was een foto van GQKatherine Stoeffel wijst: “Waar heb je het verdomme over?” uitdrukking aan actrice Sydney Sweeney tijdens een recent interview. Andreessen verwijderde de tweet, maar niet voordat velen aan de technische kant van Twitter het zagen.
Sommigen maakten er bezwaar tegen dat een miljardair VC zo vrolijk reageerde op de letterlijke paus. Anderen merkten de ironie op dat Twitter met Andreessen deed wat Andreessen met anderen deed. “Het is behoorlijk grappig/surrealistisch om te zien hoe @pmarca Dodge de afgelopen tien jaar annuleringsmobs wakker maakte, om vervolgens te zien hoe zijn grootste confrontatie met de annuleringsdood kwam door toedoen van dezelfde religieuze denominatie die de annuleringscultuur uitvond in de 15e eeuw,” VC Lee Edwards opgemerkt.
Weer anderen waren het oneens met het idee dat Andreessen leek over te brengen, namelijk dat durfkapitaalbedrijven moeten investeren in technologieën die waarde aantonen en geld verdienen, ongeacht of de technologie de wereld een betere of slechtere plek zal maken of misschien veiliger of gevaarlijker.
Eén daarvan was de alom gevolgde technologiecommentator @groeiende_daniel op videocast na de tweet van de paus van Andreessen. “Het hele punt van de paus was dat je hierover moet nadenken en moet proberen goede dingen te doen.”
Daniel erkende dat Andreessen en a16z veel geld hebben geïnvesteerd in software-as-a-service-bedrijven die bedrijven beter hebben laten draaien. Maar hij noemt ook de $15 miljoen van a16z investering in Cluelyeen startup die zijn app oorspronkelijk presenteerde als een hulpmiddel om “alles te bedriegen” (dat wil zeggen sollicitatiegesprekken, examens of verkoopgesprekken).
Hoe Fei-Fei Li de geschiedenis van kunstmatige intelligentie beschrijft, beginnend bij ImageNet
Fei-Fei Li speelde een grote rol bij het op gang brengen van de huidige AI-revolutie toen hij in 2012 de BeeldNet dataset voor beeldtraining die AI-modellen leerde hoe ze afbeeldingen moesten classificeren. Op 12 november lanceerde zijn nieuwe bedrijf, World Labs, zijn eerste model, Marmereen “wereldmodel” dat de samenstelling van 3D-omgevingen begrijpt (zoals mensen dat doen) en deze kan voorstellen en genereren op basis van tekst, afbeeldingen of video’s die door de gebruiker zijn geüpload. Ze zegt dat deze omgevingen voor alles kunnen worden gebruikt, van game-ontwikkeling tot ontwerp van visuele effecten en digitale tweelingen. Van ImageNet tot mondiale modellen: Li heeft een lange weg afgelegd. Toen ik haar sprak, vroeg ik haar om haar visie op de AI-revolutie te beschrijven zoals die tot nu toe heeft plaatsgevonden. Dit is wat hij zei.
Ik denk dat het wereldmodel een heel natuurlijke maar belangrijke voortzetting is van het tijdperk van generatieve kunstmatige intelligentie. Het tijdperk van generatieve AI is het laatste van de . . . revolutie in diepgaand leren. … In 2012 zijn we de deep learning-revolutie begonnen door precies de drie krachten van kunstmatige intelligentie vast te stellen: het neurale netwerk, de data en de computerchip of GPU. Alle tot nu toe geboekte vooruitgang op het gebied van kunstmatige intelligentie blijft afhankelijk van de kracht van deze drie fundamentele elementen van de moderne kunstmatige intelligentie. En een van de belangrijkste mijlpalen was het transformatormodel. Sequentie-voor-sequentie modellering voor de taal heeft in feite een vrij krachtige schaalwet ontsloten die aanleiding heeft gegeven tot grote modellen die kunnen worden getraind op basis van een grote hoeveelheid gegevens (om) zeer krachtig en generaliseerbaar te worden. De eerste die werden gelanceerd waren de grote taalmodellen.
En de afgeleiden van grote taalmodellen zijn deze multi-model grote taalmodellen (die niet alleen woorden omvatten, maar ook audio, video, afbeeldingen en code). Ze zijn nog steeds gebouwd op de ruggengraat van grote taalmodellen. Maar ik denk dat het grote wereldmodel echt een belangrijke stap is in de richting van het ontsluiten van de mogelijkheden van AI.
Interessant genoeg suggereert Li dat terwijl de AI-industrie modellen nastreeft die over het algemeen net zo intelligent zijn als mensen, en dan over het algemeen veel slimmer, onderzoekers wellicht moeten vertrouwen op meer dan alleen de transformatormodelarchitectuur die de industrie in 2017 in vuur en vlam zette en leidde tot zaken als ChatGPT. (De “GPT” staat voor “pre-trained generatieve transformator.”) Ze legt uit:
Ik zou zeggen dat dit verder gaat dan de transformator. Het is nog vroeg. Er wordt dus nog onderzoek gedaan naar de architectuur van het model. Maar je weet dat de recente ontwikkelingen op het gebied van transformatormodellen (en) diffusiemodellen en meer deel uitmaken van de verkenning, maar ik zou het niet echt als gevolg van transformatoren willen bestempelen.
Verhoogde AI-dekking van Snel bedrijf:
- Anthropic en Microsoft kondigen nieuwe AI-datacenterprojecten aan in Texas, New York en Georgia
- Michael Caine en Matthew McConaughey krijgen AI-stemklonen met ElevenLabs
- Fei-Fei Li’s World Labs onthult zijn kunstmatige intelligentiemodel dat werelden kan genereren
- Agentische AI is niet altijd het antwoord
Wilt u exclusieve rapporten en trendanalyses over technologie, bedrijfsinnovatie, de toekomst van werk en design? Registratie Voor Snel bedrijf Onderscheiding.
