LinkedIn is toonaangevend op het gebied van op AI gebaseerde aanbevelingssystemen en heeft deze de afgelopen vijftien jaar ontwikkeld. Maar om tot een aanbevelingenpakket van de volgende generatie voor de werkzoekenden van morgen te komen, was een geheel nieuwe techniek nodig. Het bedrijf moest verder kijken dan standaardmodellen om superieure nauwkeurigheid, latentie en efficiëntie te bereiken.
“Er was gewoon geen manier waarop we dit met behulp van suggesties konden doen”, zegt Erran Berger, vice-president product engineering bij LinkedIn, in een nieuwe Verder dan de piloot podcasts. “We hebben het niet eens geprobeerd voor aanbevelingssystemen van de volgende generatie, omdat we beseften dat dit geen goed begin zou zijn.”
In plaats daarvan besloot zijn team een zeer gedetailleerd productbeleidsdocument te ontwikkelen om een aanvankelijk enorm model van 7 miljard parameters te verfijnen; die vervolgens verder werd gedestilleerd in aanvullende leraren- en leerlingmodellen die waren geoptimaliseerd voor honderden miljoenen parameters.
De techniek creëerde een herhaalbaar receptenboek dat nu wordt hergebruikt in de AI-producten van LinkedIn.
“Het invoeren van dit end-to-end evaluatieproces zal leiden tot een substantiële kwaliteitsverbetering die we hier bij LinkedIn waarschijnlijk al jaren niet meer hebben gezien”, zegt Berger.
Waarom distillatie door meerdere docenten een “game changer” was voor LinkedIn
Berger en zijn team wilden een LLM bouwen die individuele sollicitaties, kandidaatprofielen en functiebeschrijvingen in realtime kon interpreteren en op een manier die het productbeleid van LinkedIn zo nauwkeurig mogelijk weerspiegelde.
In samenwerking met het productmanagementteam van het bedrijf creëerden de ingenieurs uiteindelijk een document van 20 tot 30 pagina’s waarin de functiebeschrijving en profielparen “op vele dimensies” werden beoordeeld.
“We hebben hier heel veel iteraties op gedaan”, zegt Berger. Dat productbeleidsdocument werd vervolgens gecombineerd met een ‘gouden dataset’ die duizenden zoek- en profielparen omvatte; Het team voerde deze gegevens in ChatGPT in tijdens het genereren en experimenteren van gegevens, waardoor het model in de loop van de tijd werd gepusht om paren van scores te leren en uiteindelijk een veel grotere synthetische dataset te genereren om een lerarenmodel met 7 miljard parameters te trainen.
Volgens Berger is het echter niet voldoende om een LLM in productie te hebben die alleen op productbeleid is gebaseerd. “Uiteindelijk is het een aanbevelingssysteem en moeten we een zekere mate van klikvoorspelling en personalisatie doen.”
Daarom gebruikte zijn team het initiële lerarenmodel gericht op productbeleid om een tweede lerarenmodel te ontwikkelen dat gericht was op klikvoorspelling. Met behulp van de twee destilleerden ze verder een parametermodel van 1,7 miljard voor trainingsdoeleinden. Het uiteindelijke studentenmodel heeft “vele, vele trainingssessies” ondergaan en werd “op elk punt” geoptimaliseerd om kwaliteitsverlies tot een minimum te beperken, zegt Berger.
Dankzij deze distillatietechniek met meerdere docenten kon het team “veel affiniteit bereiken” met het oorspronkelijke productbeleid en de voorspelling van “gelande” klikken, zegt hij. Ze waren ook in staat om het trainingsproces voor de student te ‘modulariseren en te componenteneren’.
Beschouw dit eens in de context van een chatagent met twee verschillende lerarenmodellen: het ene traint de agent in de nauwkeurigheid van antwoorden, het andere in toon en hoe hij of zij moet communiceren. Deze twee dingen zijn heel verschillende, maar cruciale doelen, merkt Berger op.
“Door ze nu te mixen krijg je betere resultaten, maar je kunt ze ook zelfstandig herhalen”, zegt hij. “Het was voor ons een keerpunt.”
De manier veranderen waarop teams samenwerken
Berger zegt dat hij het belang van het verankeren van een productbeleid en een iteratief evaluatieproces niet kan onderschatten.
Om een “echt, echt goed productbeleid” te krijgen, moet je de domeinexpertise van de productmanager vertalen naar een uniform document. Historisch gezien, zo merkt Berger op, was het productmanagementteam gefocust op strategie en gebruikerservaring, waarbij het modelleren van iteratiebenaderingen aan de ML-ingenieurs werd overgelaten. Nu werken de twee teams echter samen om te ‘verbinden’ en een op elkaar afgestemd lerarenmodel te creëren.
“De manier waarop productmanagers tegenwoordig met machine learning-ingenieurs werken, is heel anders dan alles wat we eerder hebben gedaan”, zegt hij. “Het is nu een sjabloon voor vrijwel elk AI-product dat we op LinkedIn bouwen.”
Bekijk de volledige podcast voor meer informatie over:
-
Hoe LinkedIn elke stap van het onderzoeks- en ontwikkelingsproces optimaliseerde om de snelheid te ondersteunen, wat binnen enkele dagen of uren tot echte resultaten leidde in plaats van weken;
-
Waarom teams pijplijnen moeten ontwikkelen voor connectiviteit en experimenten en verschillende modellen moeten testen om flexibiliteit te ondersteunen;
-
Het voortdurende belang van traditioneel technisch debuggen.
Je kunt ook luisteren en abonneren Verder dan de piloot OP Spotify, Appel of waar u uw podcasts ook vandaan haalt.
