Home Nieuws Google brengt FunctionGemma uit: een klein edge-model dat mobiele apparaten met natuurlijke...

Google brengt FunctionGemma uit: een klein edge-model dat mobiele apparaten met natuurlijke taal kan besturen

2
0
Google brengt FunctionGemma uit: een klein edge-model dat mobiele apparaten met natuurlijke taal kan besturen

Hoewel Gemini 3 nog steeds furore maakt, haalt Google zijn voet niet van het gas als het gaat om het uitbrengen van nieuwe modellen.

Gisteren heeft de het bedrijf heeft FunctionGemma uitgebrachteen gespecialiseerd AI-model met 270 miljoen parameters, ontworpen om een ​​van de meest hardnekkige knelpunten in de moderne applicatieontwikkeling op te lossen: betrouwbaarheid aan de rand.

In tegenstelling tot chatbots voor algemene doeleinden is FunctionGemma ontworpen voor één kernhulpprogramma: het vertalen van gebruikersopdrachten in natuurlijke taal naar gestructureerde code die apps en apparaten daadwerkelijk kunnen uitvoeren, allemaal zonder verbinding te maken met de cloud.

De release markeert een belangrijke strategische spil voor Google DeepMind en Google’s team van AI-ontwikkelaars. Terwijl de industrie de schaal van biljoenen parameters in de cloud blijft nastreven, zet FunctionGemma in op “Small Language Models” (SLM) die lokaal draaien op telefoons, browsers en IoT-apparaten.

Voor AI-ingenieurs en bedrijfsbouwers biedt dit model een nieuwe architecturale primitief: een op privacy gerichte ‘router’ die complexe logica op het apparaat kan verwerken met een verwaarloosbare latentie.

FunctionGemma is direct beschikbaar om te downloaden op Knuffelend gezicht EN Kaggle. Je kunt het model ook in actie zien door de Google AI Edge Gallery-app te downloaden in de Google Play Store.

De prestatiesprong

Fundamenteel pakt FunctionGemma de ‘uitvoeringskloof’ in generatieve AI aan. Standaard grote taalmodellen (LLM’s) zijn uitstekend geschikt voor gesprekken, maar hebben vaak moeite om op betrouwbare wijze softwareacties te activeren, vooral op apparaten met beperkte bronnen.

Volgens de interne ‘Mobile Actions’-evaluatie van Google heeft een klein generiek model moeite met de betrouwbaarheid en bereikt het slechts een basisnauwkeurigheid van 58% voor functieaanroeptaken. Toen FunctionGemma echter eenmaal voor dit specifieke doel was verfijnd, steeg de nauwkeurigheid naar 85%, waardoor een gespecialiseerd model ontstond dat hetzelfde succespercentage kon laten zien als modellen die vele malen groter waren.

Grafiek met de FunctionGemma-prestaties voor en na het afstemmen. Krediet: Google

Hiermee kan het model meer aan dan alleen aan/uit-schakelaars; kan complexe onderwerpen analyseren, zoals het identificeren van specifieke rastercoördinaten om de spelmechanica of gedetailleerde logica aan te sturen.

De release bevat meer dan alleen modelgewichten. Google biedt een uitgebreid ‘recept’ voor ontwikkelaars, waaronder:

  • Het model: een transformator van 270 miljoen parameters, getraind op 6 biljoen tokens.

  • Trainingsgegevens: een dataset voor ‘Mobiele acties’ waarmee ontwikkelaars hun agenten kunnen trainen.

  • Ecosysteemondersteuning: compatibiliteit met Hugging Face Transformers, Keras, Unsloth en NVIDIA NeMo-bibliotheken.

Omar Sanseviero, Developer Experience Lead bij Hugging Face, benadrukte de veelzijdigheid van de release op X (voorheen Twitter) en merkte op dat de sjabloon “ontworpen is om gespecialiseerd te zijn voor jouw taken” en kan draaien “op je telefoon, browser of andere apparaten.”

Deze local-first-aanpak biedt drie duidelijke voordelen:

  • Privacy: persoonlijke gegevens (zoals agenda-items of contacten) verlaten uw apparaat nooit.

  • Latency: Acties vinden onmiddellijk plaats zonder te wachten tot de server terugkeert. Door het kleine formaat is de snelheid waarmee de invoer wordt verwerkt aanzienlijk, vooral met toegang tot versnellers zoals GPU’s en NPU’s.

  • Kosten: Ontwikkelaars betalen geen API-kosten per token voor eenvoudige interacties.

Voor AI-ontwikkelaars: een nieuw model voor productieworkflows

Voor bedrijfsontwikkelaars en systeemarchitecten suggereert FunctionGemma een verschuiving van monolithische AI-systemen naar samengestelde systemen. In plaats van elk klein gebruikersverzoek naar een enorm, duur cloudmodel zoals GPT-4 of Gemini 1.5 Pro te sturen, kunnen bouwers nu FunctionGemma inzetten als een intelligente ‘verkeerscontroller’ aan de edge.

Dit is hoe AI-bouwers het gebruik van FunctionGemma in productie zouden moeten conceptualiseren:

1. De architectuur van de “verkeersleider”: In een productieomgeving kan FunctionGemma dienen als uw eerste verdedigingslinie. Het bevindt zich op het apparaat van de gebruiker en verwerkt direct algemene hoogfrequente opdrachten (navigatie, mediabediening, basisgegevensinvoer). Als een verzoek diepgaande redenering of wereldkennis vereist, kan het model die behoefte identificeren en het verzoek naar een groter cloudmodel sturen. Deze hybride aanpak vermindert de inferentiekosten en cloudlatentie dramatisch. Dit maakt gebruiksscenario’s mogelijk, zoals het routeren van zoekopdrachten naar de juiste subagent.

2. Deterministische betrouwbaarheid van creatieve chaos: Bedrijven hebben hun bank- of agenda-apps zelden nodig om ‘creatief’ te zijn. Ze hebben ze nodig om accuraat te zijn. De sprong naar een nauwkeurigheid van 85% bevestigt dat specialisatie belangrijker is dan omvang. Door dit kleine model te verfijnen op domeinspecifieke gegevens (bijvoorbeeld eigen bedrijfs-API’s) ontstaat een zeer betrouwbare tool die zich voorspelbaar gedraagt, een vereiste voor productie-implementatie.

3. Naleving van de privacy: Voor sectoren als de gezondheidszorg, de financiële sector of veilige bedrijfsactiviteiten vormt het verzenden van gegevens naar de cloud vaak een compliancerisico. Omdat FunctionGemma efficiënt genoeg is om op uw apparaat te draaien (compatibel met NVIDIA Jetson, mobiele CPU’s en browsergebaseerde Transformers.js), hoeven gevoelige gegevens zoals PII of eigen opdrachten uw lokale netwerk nooit te verlaten.

Kenteken: open met leuningen

FunctionGemma wordt vrijgegeven volgens de gewoonte van Google Gebruiksvoorwaarden van Gemma. Voor zakelijke en commerciële ontwikkelaars is dit een belangrijk verschil met standaard open source-licenties zoals MIT of Apache 2.0.

Hoewel Google Gemma omschrijft als een ‘open model’, is het niet strikt ‘Open Source’ zoals gedefinieerd door het Open Source Initiative (OSI).

De licentie staat gratis commercieel gebruik, herdistributie en wijziging toe, maar omvat specifieke gebruiksbeperkingen. Het is ontwikkelaars niet toegestaan ​​de sjabloon te gebruiken voor beperkte activiteiten (zoals het genereren van haatzaaiende uitlatingen of malware), en Google behoudt zich het recht voor om deze voorwaarden bij te werken.

Voor de overgrote meerderheid van de startups en ontwikkelaars is de licentie tolerant genoeg om commerciële producten te maken. Teams die technologieën voor tweeërlei gebruik ontwikkelen of technologieën vereisen die strikte copyleft-vrijheid vereisen, moeten echter specifieke clausules met betrekking tot “kwaadwillig gebruik” en attributie herzien.

Nieuwsbron

LAAT EEN REACTIE ACHTER

Vul alstublieft uw commentaar in!
Vul hier uw naam in