Laboratorium voor kunstmatige intelligentie gevestigd in San Francisco Arcee Klaar golven vorig jaar omdat het een van de weinige Amerikaanse bedrijven is die grote taalmodellen (LLM’s) helemaal opnieuw traint vrijgeven onder open source- of gedeeltelijk open source-licenties voor het publiek, waardoor ontwikkelaars, individuele ondernemers en zelfs middelgrote tot grote bedrijven de krachtige AI-modellen gratis kunnen gebruiken en naar eigen wens kunnen aanpassen.
Nu is Arcee deze week weer terug met de release van zijn grootste en meest performante open taalmodel tot nu toe: Grote Drievuldigheideen mix van experts (MoE) van 400 miljard parameters, nu beschikbaar als preview,
Naast de vlaggenschipversie verzendt Arcee een “onbewerkt” checkpoint-model, Trinity-Large-TrueBasewaarmee onderzoekers kunnen bestuderen wat een schaarse MoE 400B leert van alleen ruwe gegevens, voordat afstemming en versterking van de instructies wordt toegepast.
Door een schone lei te bieden bij de grens van 10 biljoen token, stelt Arcee AI-ontwikkelaars in sterk gereguleerde sectoren in staat authentieke audits uit te voeren en hun eigen gespecialiseerde afstemmingen uit te voeren zonder de “black box”-vooroordelen of opmaakkenmerken van een generiek chatsjabloon te erven. Deze transparantie zorgt voor een dieper begrip van het onderscheid tussen de inherente redeneercapaciteiten van een model en het nuttige gedrag dat tijdens de laatste fase van de post-training wordt verfijnd.
Deze lancering komt op het moment dat krachtige Chinese open source LLM-alternatieven van onder meer Alibaba (Qwen), z.AI (Zhipu), DeepSeek, Moonshot en Baidu de markt hebben overspoeld en feitelijk de categorie leiden met zeer efficiënte architecturen.
Trinity Large arriveert ook nadat Meta zich aanzienlijk heeft teruggetrokken uit het open source-landschap. Naar aanleiding van de Llama 4 debuteert in april 2025die werd aanvaard een gemengde ontvangsten later voormalig Meta AI-onderzoeker Yann LeCun gaf toe dat het bedrijf meerdere gespecialiseerde versies van het model gebruikte om scores op benchmarks van derden op te blazen.
In deze binnenlandse leegte, alleen OpenAI, met zijn mensen gpt-oss-familie uitgebracht in de zomer van 2025—en Arcee dragen momenteel de mantel van nieuwe open source-modellen uit de VS over, die volledig vanaf nul zijn getraind.
Hoe schaars ze ook zijn
Trinity Large valt op door de extreme schaarste van zijn aandachtsmechanisme. In een MoE-architectuur verwijst ‘sparsiteit’ naar het vermogen van het model om selectief slechts een klein deel van de totale parameters voor een bepaalde taak te activeren.
Terwijl Trinity Large in totaal 400 miljard parameters host, is slechts 1,56% (13 miljard parameters) op elk moment actief.
Deze architecturale keuze is belangrijk omdat het het model in staat stelt de ‘kennis’ van een enorm systeem te bezitten, terwijl het de gevolgtrekkingssnelheid en operationele efficiëntie van een veel kleiner systeem behoudt, waardoor prestaties ongeveer 2-3 keer sneller worden behaald dan zijn soortgenoten op dezelfde hardware.
Soevereiniteit en de “TrueBase” -filosofie.
De belangrijkste bijdrage van deze release aan de onderzoeksgemeenschap is Trinity-Large-TrueBase, een onbewerkt controlepunt van 10 biljoen tokens.
In tegenstelling tot bijna alle andere ‘open’ versies, die ontstaan nadat ze zijn ‘vervormd’ door instructie-optimalisatie en versterkend leren, biedt TrueBase een zeldzame en ongerepte kijk op fundamentele intelligentie.
In de haast om modellen bruikbaar te maken, passen de meeste laboratoria supervisie fine-tuning (SFT) en menselijke feedback versterkingsleren (RLHF) toe voordat de gewichten worden vrijgegeven. Hoewel dit het model tot een betere gesprekspartner maakt, kan het onderliggende kennisdistributies maskeren.
TrueBase biedt een “OG-basismodel” dat nog geen leersnelheid-gloeien of de fase twee en drie pre-training heeft ondergaan waarbij doorgaans instructiegegevens worden geïntroduceerd.
Voor onderzoekers en ondernemingen in sterk gereguleerde sectoren maakt het starten met TrueBase authentieke controles en afstemming op maat mogelijk. Zoals Arcee CTO Lucas Atkins opmerkte in een videogesprek met VentureBeat: “Interessant genoeg is Checkpoint zelf al een van de best presterende basismodellen ter wereld.”
Technologie: Engineering door middel van beperking
De creatie van de Trinity Large was niet het product van oneindige hulpbronnen, maar eerder van wat Atkins ‘engineering through constraints’ noemt.
Het model, dat in slechts 33 dagen ongeveer 20 miljoen dollar heeft getraind, vertegenwoordigt een masterclass in kapitaalefficiëntie.
Arcee, een team van slechts 30 mensen, opereerde met een totaal kapitaal van iets minder dan $ 50 miljoen, waardoor de training van $ 20 miljoen een gok was om het bedrijf te behouden.
“Ik heb altijd geloofd dat het hebben van beperkingen, zowel financieel, persoonlijk als anderszins, uiterst belangrijk is voor creativiteit”, legt Atkins uit. “Als je een onbeperkt budget hebt, hoef je inherent geen uitweg te vinden uit complexe problemen.”
Architectuur: 4-van-256 Sparsity en SMEBU
Trinity Large maakt gebruik van een 4-van-256 schaarse MoE-architectuur, wat betekent dat het slechts 4 van de 256 experts voor elk token activeert.
Deze hoge mate van spaarzaamheid, een van de hoogste die ooit met succes is getraind, zorgde tijdens de voorbereiding voor aanzienlijke stabiliteitsproblemen.
Om dit probleem aan te pakken, heeft Arcee Soft-clamped Momentum Expert Bias Updates (SMEBU) ontwikkeld. Dit mechanisme zorgt ervoor dat experts gespecialiseerd zijn en gelijk verdeeld worden binnen een algemeen webcorpus, waardoor wordt voorkomen dat sommige experts ‘winnaars’ worden, terwijl anderen ongetraind ‘dood gewicht’ blijven.
De snelheid van de training werd bevorderd door Arcee’s vroege toegang tot Nvidia B300 (Blackwell) GPU’s. Deze chips zorgden voor ongeveer het dubbele van de snelheid van de vorige generatie Hopper en een aanzienlijke toename van het geheugen.
“De pre-workout duurde 33 dagen”, merkte Atkins op. “We hadden het ook op Hopper kunnen doen, en het zou waarschijnlijk twee of drie maanden hebben geduurd. En tegen die tijd zitten we in een hele nieuwe generatie modellen.”
In samenwerking met DatalogieAIArcee heeft meer dan 8 biljoen synthetische datatokens gebruikt. Dit was echter niet de typische ‘imitatie’ van synthetische gegevens, waarbij een kleiner model leert spreken als een groter model.
In plaats daarvan was het de bedoeling om onbewerkte webtekst, zoals blogs of Wikipedia-artikelen, te nemen en deze synthetisch te herschrijven om de informatie in minder tokens te condenseren. Dit proces hielp het model te leren redeneren over informatie in plaats van alleen maar exacte tekenreeksen te onthouden.
Het architecturale ontwerp omvat ook afwisselende focusniveaus van lokale en globale schuiframen in een verhouding van 3:1. Dankzij deze hybride aanpak kan het model zeer efficiënt zijn in scenario’s met een lange context. Hoewel getraind voor een sequentielengte van 256k, ondersteunt Trinity Large native de 512k-context en evaluaties suggereren dat het zelfs op de horizon van 1 miljoen tokens performant blijft.
Technische vergelijking: Trinity Large vs. gpt-oss-120b
Als Amerikaans alternatief kan Trinity Large worden vergeleken met OpenAI’s gpt-oss-120b.
Hoewel beide modellen spaarzame architecturen gebruiken om geavanceerde prestaties te bereiken met permissieve licentieverlening, vervullen ze verschillende operationele rollen.
Hoewel gpt-oss-120b momenteel een voordeel heeft op het gebied van specifieke redeneringen en wiskundige benchmarks, biedt Trinity Large een aanzienlijk voordeel op het gebied van contextmogelijkheden en diepte van ruwe parameters voor complexe meerstaps agentische workflows.
Soevereiniteit: het opvullen van de leegte
De release van Trinity Large is zowel een geopolitieke als een technische verklaring. CEO Mark McQuade merkte in hetzelfde interview tegen VentureBeat op dat de leegte van Amerikaanse open source-modellen aan de grens een verschuiving in de strategie van Arcee heeft geforceerd.
“Er heeft een soort verschuiving plaatsgevonden waarbij operators in de VS of het Westen zijn gestopt met het openbaar maken van deze modellen”, aldus McQuade. “We bouwen voort op deze modellen en gaan vervolgens naar organisaties en brengen ze verder… maar de Chinese laboratoria zijn nog maar net begonnen… het produceren van geavanceerde, open source-modellen.”
Voor McQuade creëerde dit een afhankelijkheid waar Amerikaanse bedrijven zich steeds ongemakkelijker bij voelden. “Vooral in de gesprekken die we met grote organisaties voeren, zijn ze er niet in geslaagd om in China gevestigde architecturen te gebruiken”, legde hij uit. “Wij willen die kampioen in de Verenigde Staten zijn. Die bestaat momenteel niet echt.”
Door onder de Apache 2.0-licentie uit te brengen, biedt Arcee het gouden standaard-permissieve raamwerk waarmee bedrijven de modellaag volledig kunnen ‘bezitten’. Dit is van cruciaal belang voor sectoren als de financiële sector en de defensiesector, waar het gebruik van een model dat wordt gehost door een derde partij of restrictieve cloudprovider een no-go is.
Intelligentie in balans brengen met bruikbaarheid
Arcee concentreert zich momenteel op het ‘huidige denkmodel’ om Trinity Large te transformeren van een algemeen instructiemodel naar een volledig redeneermodel. Het team worstelt met de balans tussen ‘intelligentie en bruikbaarheid’ en probeert een model te creëren dat uitblinkt in benchmarks zonder ‘vrolijk’ of inefficiënt te worden in echte productietoepassingen.
“We hebben Trinity gebouwd zodat jij het kunt bezitten”, zegt het team, waarmee een terugkeer naar de kernwaarden van de Amerikaanse open source-beweging wordt aangegeven. Terwijl de industrie zich ontwikkelt in de richting van op agenten gebaseerde workflows en enorme contextvereisten, positioneert Trinity Large zichzelf niet als een ‘schil’, maar als een soevereine infrastructuurlaag die ontwikkelaars eindelijk kunnen controleren.
