Tijdens de eerste experimenten met LLM en AI met agenten, software-ingenieurs bij kunstmatige intelligentieconcept toegepaste geavanceerde codegeneratie, complexe patronen en zware instructies.
Maar al snel leerde het team met vallen en opstaan dat het mogelijk was Weg met al die ingewikkelde datamodellering. Ryan Nystrom, hoofd van AI-engineering bij Notion, en zijn team concentreerden zich op eenvoudige instructies, voor mensen leesbare representaties, minimale abstractie en bekende prijsverlagingsformaten. Het resultaat was een dramatische verbetering van de modelprestaties.
Door deze vernieuwde aanpak toe te passen, bracht het AI-native bedrijf in september versie 3 van zijn productiviteitssoftware uit. Het opvallende kenmerk: aanpasbare AI-agents, die snel de meest succesvolle AI-tool van Notion tot nu toe zijn geworden. Op basis van gebruikspatronen vergeleken met eerdere versies noemt Nystrom het een “stapsgewijze functieverbetering.”
“Het is dat gevoel dat het product uit je wordt getrokken in plaats van dat je het probeert te duwen”, legt Nystrom uit in een VB Beyond pilot-podcast. “We wisten vanaf dat moment, vanaf het begin, dat we iets hadden. Nu is de vraag: ‘Hoe zou ik Notion ooit kunnen gebruiken zonder deze functie?'”
“Rewiring” voor het tijdperk van AI-agenten
Als traditionele software-ingenieur was Nystrom gewend aan ‘extreem deterministische’ ervaringen. Maar het verhelderende moment kwam toen een collega hem adviseerde om zijn AI-prompt simpelweg te beschrijven zoals hij een mens zou doen, in plaats van regels op te stellen voor hoe agenten zich in verschillende scenario’s zouden moeten gedragen. De grondgedachte: LLM’s zijn ontworpen om inhoud te begrijpen, te ‘zien’ en erover te redeneren op dezelfde manier als mensen dat kunnen.
“Elke keer dat ik met AI werk, lees ik de tooltips en beschrijvingen van de tools opnieuw en (ik vraag me af) is dit iets dat ik aan iemand zonder context zou kunnen geven, zodat hij zou kunnen begrijpen wat er aan de hand is?” Nystrom zei op de podcast. ‘Anders zal hij verschrikkelijk werk leveren.’
Nystrom en zijn team namen een stapje terug ten opzichte van de ‘nogal gecompliceerde weergave’ van gegevens binnen Notion (zoals JSON of XML) en presenteerden Notion-pagina’s als markdown, de populaire apparaatonafhankelijke opmaaktaal die structuur en betekenis definieert met behulp van platte tekst zonder de noodzaak van HTML-tags of formele editors. Hierdoor kan het model communiceren met tekstbestanden, deze lezen, zoeken en er wijzigingen in aanbrengen.
Uiteindelijk vereiste dit dat Notion zijn systemen opnieuw moest bedraden, waarbij het team van Nystrom zich vooral richtte op de middleware-overgangslaag.
Ze onderkenden ook al vroeg het belang van terughoudendheid als het om de context gaat. Het is verleidelijk om zoveel mogelijk informatie in een model te laden, maar dit kan de zaken vertragen en het model verwarren. Voor Notion beschreef Nystrom een tokenlimiet tussen 100.000 en 150.000 als de ‘sweet spot’.
“Er zijn gevallen waarin je tonnen en tonnen inhoud in het contextvenster kunt laden en het model zal het moeilijk hebben”, zei hij. “Hoe meer je in het contextvenster duikt, je merkt een verslechtering van de prestaties, latentie en zelfs nauwkeurigheid.”
Ook bij apparatuur is een spartaanse aanpak van belang; dit kan teams helpen de “gladde helling” van oneindige functies te vermijden, adviseerde Nystrom. Notion richt zich op een ‘samengesteld menu’ met tools in plaats van op een omvangrijk Cheesecake Factory-achtig menu dat een paradox van keuze voor gebruikers creëert.
“Als mensen om nieuwe functies vragen, kunnen we gewoon een tool aan het model of de agent toevoegen”, zei hij. Maar “hoe meer tools we toevoegen, hoe meer beslissingen het model zal moeten nemen.”
De conclusie: Kanaal het model. Gebruik API’s zoals ze bedoeld zijn. Probeer niet chique te zijn, probeer het niet te ingewikkeld te maken. Gebruik gewoon Engels.
Luister naar de volledige podcast en leer:
-
Omdat AI zich nog steeds in het pre-Blackberry-, pre-iPhone-tijdperk bevindt;
-
Het belang van “dogfooding” bij productontwikkeling;
-
Omdat u zich in de beginfase geen zorgen hoeft te maken over hoe handig uw AI-functionaliteit is: deze kan later worden geoptimaliseerd;
-
Hoe technische teams de tooling tot een minimum kunnen beperken in het MCP-tijdperk;
-
De evolutie van Notion van wiki’s naar volwaardige AI-assistenten.
Meld u aan voor Beyond the Pilot via Apple-podcasts, SpotifyEN YouTube.
