De LLM’s van vandaag blinken uit in redeneren, maar kunnen nog steeds worstelen met de context. Dit geldt vooral voor realtime bestelsystemen zoals Instagram.
Anirban Kundu, CTO van Instacart, noemt dit het ‘browniereceptprobleem’.
Het is niet zo eenvoudig als tegen een LLM zeggen: “Ik wil brownies maken”. Om echt te helpen bij de maaltijdplanning moet het model verder gaan dan die eenvoudige richtlijn om te begrijpen wat er beschikbaar is op de markt van de gebruiker op basis van hun voorkeuren (bijvoorbeeld biologische eieren versus gewone eieren) en dat meewegen in wat er beschikbaar is in hun geografische gebied, zodat voedsel niet bederft. Dit naast andere kritische factoren.
Voor Instacart is de uitdaging het combineren van latentie en de juiste mix van context om ervaringen te leveren, idealiter in minder dan een seconde.
“Als het redeneren zelf 15 seconden duurt, en als elke interactie zo langzaam gaat, raak je de gebruiker kwijt”, zei Kundu tijdens een recent VB-evenement.
Meng redenering, realiteit in de echte wereld en personalisatie
Bij het bezorgen van boodschappen is er een ‘redeneringswereld’ en een ‘staatswereld’ (wat beschikbaar is in de echte wereld), Kundu opgemerkt, beide moeten door een LLM worden begrepen, samen met gebruikersvoorkeuren. Maar het is niet zo eenvoudig als het laden van de volledige aankoopgeschiedenis en bekende interesses van een gebruiker in een redeneermodel.
“Je LLM zal ontploffen tot een omvang die onbeheersbaar zal zijn”, zei Kundu.
Om dit probleem te omzeilen, verdeelt Instacart de verwerking in stukjes. Ten eerste worden de gegevens ingevoerd in een groot fundamenteel model dat de intentie kan begrijpen en producten kan classificeren. Naar die verwerkte gegevens worden vervolgens gerouteerd kleine taalmodellen (SLM’s) ontworpen voor cataloguscontext (de soorten voedsel of andere items die samenwerken) en semantisch begrip.
In het geval van de cataloguscontext moet de SLM meerdere detailniveaus kunnen verwerken op de bestelling zelf en op de verschillende producten. Welke producten passen bijvoorbeeld bij elkaar en wat zijn hun vervangers als de eerste keuze niet beschikbaar is? Deze vervangingen zijn “heel, heel belangrijk” voor een bedrijf als Instacart, dat volgens Kundu “dubbelcijferige gevallen” heeft waarin een product niet beschikbaar is op een lokale markt.
Laten we, in termen van semantisch begrip, zeggen dat een klant gezonde snacks voor kinderen wil kopen. Het model moet begrijpen wat een gezonde snack is en welke voedingsmiddelen geschikt en aantrekkelijk zijn voor een 8-jarige, en vervolgens relevante producten identificeren. En als die specifieke producten niet beschikbaar zijn op een bepaalde markt, moet het model ook subsets van gerelateerde producten vinden.
Dan is er het logistieke element. Een product als ijs smelt bijvoorbeeld snel, en zelfs diepvriesgroenten doen het niet goed als ze bij hogere temperaturen buiten worden gelaten. Het model moet deze context hebben en een acceptabele doorlooptijd berekenen.
“Dus je hebt dit begrip van de intentie, je hebt deze categorisering, en dan heb je nog een ander deel over logistiek, hoe doe je dat?”, merkte Kundu op.
Vermijd ‘monolithische’ agentsystemen.
Net als veel andere bedrijven experimenteert Instacart met AI-agents en ontdekt dat een mix van agenten beter werkt dan een ‘enkele monoliet’ die meerdere verschillende taken uitvoert. De Unix-filosofie van een modulair besturingssysteem met kleinere, meer gerichte tools helpt bijvoorbeeld bij het aanpakken van verschillende betalingssystemen die verschillende faalwijzen hebben, legt Kundu uit.
“Het was erg omslachtig om dit allemaal in één omgeving te moeten bouwen”, zei hij. Bovendien communiceren agenten aan de backend met veel platforms van derden, waaronder verkooppunt- (POS)- en catalogussystemen. Natuurlijk gedraagt niet iedereen zich op dezelfde manier; sommige zijn betrouwbaarder dan andere en hebben verschillende update-intervallen en feeds.
“Om al deze dingen aan te kunnen, hebben we de route van microagenten gevolgd in plaats van agenten die overwegend groot zijn”, zei Kundu.
Om agenten te beheren, is Instacart geïntegreerd met Het OpenAI-modelcontextprotocol (MCP), dat het proces van het verbinden van AI-modellen met verschillende tools en gegevensbronnen standaardiseert en vereenvoudigt.
Het bedrijf maakt ook gebruik van de open Universal Commerce Protocol (UCP)-standaard van Google, waarmee AI-agenten rechtstreeks kunnen communiceren met handelssystemen.
Het team van Kundu staat echter nog steeds voor uitdagingen. Zoals hij opmerkte, is de vraag niet of integratie mogelijk is, maar hoe betrouwbaar deze integraties zich gedragen en hoe goed ze door gebruikers worden begrepen. Ontdekking kan moeilijk zijn, niet alleen bij het identificeren van beschikbare diensten, maar ook bij het begrijpen welke geschikt zijn voor welke taak.
Instacart heeft MCP en UCP in “heel verschillende” gevallen moeten implementeren, en de grootste problemen die we tegenkwamen waren faalmodi en latentie, merkte Kundu op. “De responstijden en het begrip van beide diensten zijn heel erg verschillend. Ik zou zeggen dat we waarschijnlijk tweederde van de tijd besteden aan het oplossen van deze foutgevallen.”
