Vectordatabases zijn aan het begin van het tijdperk van de moderne kunstmatige intelligentie naar voren gekomen als een onmisbare technologische basis.
Wat het afgelopen jaar echter is veranderd, is dat vectoren, de numerieke representaties van gegevens die door LLM’s worden gebruikt, steeds meer gewoon een ander soort gegevens zijn geworden in allerlei verschillende databases. Nu komt Amazon Web Services (AWS) een stap dichter bij de alomtegenwoordigheid van vectoren met de algemene beschikbaarheid van Amazon S3 Vectors.
Amazon S3 is de cloudobjectopslagservice van AWS die veel wordt gebruikt door organisaties van elke omvang om alle soorten gegevens op te slaan. In de meeste gevallen wordt S3 ook gebruikt als fundamenteel onderdeel voor Data Lake- en Lakehouse-implementaties. Amazon S3 Vector voegt nu native vectoropslag- en gelijkeniszoekmogelijkheden rechtstreeks toe aan S3-objectopslag. In plaats van een aparte vectordatabase nodig te hebben, kunnen organisaties vectorinsluitingen opslaan in S3 en deze bevragen voor semantische zoek-, retrieval-augmented generation (RAG)-toepassingen en AI-agentworkflows zonder de gegevens naar een gespecialiseerde infrastructuur te verplaatsen
De dienst ging in juli in première met een initiële capaciteit van 50 miljoen luchtvaartmaatschappijen in één index. Met de GA-release heeft AWS het aantal dramatisch verhoogd tot 2 miljard vectoren in een enkele index en tot 20 biljoen vectoren per S3-opslagbucket.
Volgens AWS hebben klanten in de vier maanden na de preview-lancering meer dan 250.000 vectorindexen gemaakt en meer dan 40 miljard vectoren aangeschaft. Door de schaalvergroting met de lancering van GA kunnen organisaties nu volledige vectordatasets consolideren in afzonderlijke indexen in plaats van ze te fragmenteren over de infrastructuur. De lancering van GA ontwricht ook het bedrijfsdatalandschap door een nieuwe productieklare aanpak voor vectoren te bieden die mogelijk de markt voor speciaal gebouwde vectordatabases zou kunnen ontwrichten.
Brandstof toevoegen aan concurrerende branden, AWS affirmaties dat de S3 Vector-service organisaties kan helpen “de totale kosten voor het opslaan en opvragen van vectoren met maximaal 90% te verlagen in vergelijking met gespecialiseerde vectordatabaseoplossingen.”
AWS positioneert S3-vectoren als complementair en niet-competitief met vectordatabases
Hoewel Amazon S3-vectoren een krachtige reeks vectormogelijkheden bieden, is het antwoord op de vraag of deze al dan niet de behoefte aan een speciale vectordatabase vervangt enigszins genuanceerd en hangt af van wie je het vraagt.
Ondanks agressieve kostenoverzichten en dramatische schaalverbeteringen positioneert AWS S3 Vectors als een aanvullende opslaglaag in plaats van als een directe vervanging voor gespecialiseerde vectordatabases.
“Klanten kiezen of ze S3 Vectors of een vectordatabase gebruiken op basis van wat de applicatie nodig heeft voor latentie”, vertelde Mai-Lan Tomsen Bukovec, vice-president technologie bij AWS, aan VentureBeat.
Bukovec merkte op dat je dit onder meer kunt zien als ‘prestatielagen’, gebaseerd op de applicatiebehoeften van een organisatie. Hij merkte op dat als uw applicatie supersnelle responstijden met lage latentie vereist, een vectordatabase zoals Amazon OpenSearch een goede optie is.
“Maar voor veel soorten bewerkingen, zoals het creëren van een semantische laag van begrip bovenop bestaande gegevens of het uitbreiden van het geheugen van de agent met veel meer context, is S3 Vectors een geweldige oplossing.”
De vraag of S3 en zijn goedkope objectopslag in de cloud één type database zullen vervangen, is ook niet nieuw voor dataprofessionals. Bukovec trok een analogie met de manier waarop bedrijven tegenwoordig datameren gebruiken.
“Ik verwacht dat we vectoropslag op dezelfde manier zullen zien evolueren als tabelgegevens in datalakes, waar klanten transactionele databases zoals Amazon Aurora blijven gebruiken voor bepaalde soorten werkbelastingen en parallel S3 gebruiken voor applicatieopslag en analyse, omdat het prestatieprofiel werkt en ze de S3-kenmerken van duurzaamheid, schaalbaarheid, beschikbaarheid en kostenbesparingen nodig hebben naarmate de gegevens groeien.”
Hoe de vraag en eisen van klanten de Amazon S3 Vector-services hebben gevormd
Tijdens de eerste paar maanden van de preview leerde AWS wat echte zakelijke klanten echt willen en nodig hebben van een vectorgegevensopslag.
“We hebben veel zeer positieve feedback gekregen van de preview en klanten vertelden ons dat ze de functies wilden, maar op een veel grotere schaal en met een lagere latentie, zodat ze S3 konden gebruiken als de primaire vectoropslag voor een groot deel van hun snel groeiende vectoropslag”, aldus Bukovec.
Naast verbeterde schaalbaarheid is de latentie van zoekopdrachten verbeterd tot ongeveer 100 milliseconden of minder voor frequente zoekopdrachten, waarbij niet-frequente zoekopdrachten in minder dan een seconde worden voltooid. AWS heeft het maximale aantal zoekresultaten per zoekopdracht verhoogd van 30 naar 100, en de schrijfprestaties ondersteunen nu tot 1.000 PUT-transacties per seconde voor updates met één provider.
Gebruiksscenario’s die steeds meer terrein winnen, zijn onder meer hybride zoeken, het uitbreiden van het geheugen van agenten en het bouwen van semantische lagen bovenop bestaande gegevens.
Bukovec merkte op dat een preview-klant, March Networks, S3 Vector gebruikt voor grootschalige video- en fotografie-intelligentie.
“De economische aspecten van vectoropslag en het latentieprofiel zorgen ervoor dat March Networks miljarden vectorinbedding kosteneffectief kan opslaan”, zei hij. “Onze ingebouwde integratie met Amazon Bedrock maakt het eenvoudig om vectoropslag te integreren in generatieve video- en AI-workflows.”
Verkopers van vectordatabases benadrukken prestatieverschillen
Gespecialiseerde vectordatabaseleveranciers benadrukken aanzienlijke prestatieverschillen tussen hun aanbod en de opslaggerichte aanpak van AWS.
Inclusief speciaal gemaakte vectordatabaseproviders DennenappelOnder andere Weaviate, Qdrant en Chroma hebben productie-implementaties opgezet met geavanceerde indexeringsalgoritmen, realtime updates en ad-hocqueryoptimalisatie voor latentiegevoelige workloads.
Pinecone ziet Amazon S3-vectoren bijvoorbeeld niet als een concurrentie-uitdaging voor zijn vectordatabase.
“Voorafgaand aan de lancering van Amazon S3 Vectors werden we feitelijk over het project geïnformeerd en zagen we de kosten-prestatieverhouding niet als direct concurrerend op schaal”, vertelde Jeff Zhu, vice-president product bij Pinecone, aan VentureBeat. “Dit geldt vooral nu voor onze speciale reader-nodes, waar bijvoorbeeld een van onze grootste klanten op de e-commercemarkt onlangs een aanbevolen gebruiksscenario heeft vergeleken met 1,4 miljard providers en 5,7k QPS heeft bereikt bij 26 ms p50 en 60 ms p99.”
Analisten zijn verdeeld over de toekomst van vectordatabases
De lancering herleeft het debat over de vraag of vectorzoeken een op zichzelf staande productcategorie blijft of een functie wordt die grote cloudplatforms gebruiken via opslagintegratie.
“Het is al een tijdje duidelijk dat vector een kenmerk is, en geen product”, schreef Corey Quinn, hoofdwolkeconoom bij The Duckbill Group, in een artikel. bericht op X (voorheen Twitter) in antwoord op een vraag van VentureBeat. “Alles spreekt nu; de rest zal binnenkort.”
Constellation Research-analist Holger Mueller ziet Amazon S3 Vector ook als een concurrentiebedreiging voor verkopers van zelfstandige vectordatabases.
“Nu is het aan de vervoerders om ervoor te zorgen dat ze geavanceerd en beter zijn”, vertelde Mueller aan VentureBeat. “Suites winnen altijd in bedrijfssoftware.”
Mueller benadrukte ook het voordeel van de aanpak van AWS bij het elimineren van gegevensbewegingen. Hij merkte op dat vectoren voor LLM’s het middel zijn om bedrijfsgegevens te begrijpen. De echte uitdaging is het creëren van vectoren, wat inhoudt hoe de gegevens worden verplaatst en hoe vaak. Door vectorondersteuning toe te voegen aan S3, waar al grote hoeveelheden bedrijfsgegevens zijn opgeslagen, kunt u de uitdaging van gegevensverplaatsing oplossen.
“CxO’s houden van deze aanpak, omdat er geen gegevensverplaatsing nodig is om de vectoren te maken”, aldus Mueller.
Ed Anderson, de vooraanstaande VP-analist van Gartner, ziet groei voor AWS met nieuwe diensten, maar hij verwacht niet dat dit het einde zal betekenen van vectordatabases. Hij merkte op dat organisaties die S3 gebruiken voor objectopslag het gebruik van S3 kunnen vergroten en mogelijk de behoefte aan speciale leveranciersdatabases kunnen elimineren. Dit zal de waarde voor S3-klanten vergroten en tegelijkertijd hun afhankelijkheid van S3-opslag vergroten.
Zelfs met dit groeipotentieel voor AWS zijn vectordatabases nog steeds noodzakelijk, althans voorlopig.
“Amazon S3 Vector zal waardevol zijn voor klanten, maar het zal de behoefte aan vectordatabases niet wegnemen, vooral wanneer gebruiksscenario’s high-performance datadiensten met lage latentie vereisen”, vertelde Anderson aan VentureBeat.
AWS zelf lijkt deze complementaire visie te omarmen en tegelijkertijd voortdurende prestatieverbeteringen te rapporteren.
“We zijn nog maar net begonnen, zowel qua omvang als qua prestaties voor S3 Vectors”, zei Bukovec. “Net zoals we de lees- en schrijfprestaties van gegevens in S3 hebben verbeterd voor alles, van video’s tot Parquet-bestanden, zullen we hetzelfde doen voor vectoren.”
Wat dit betekent voor bedrijven
Naast het debat over de vraag of vectordatabases als zelfstandige producten zullen overleven, moeten bedrijfsarchitecten onmiddellijk beslissingen nemen over de manier waarop ze vectoropslag implementeren voor productie-AI-workloads.
Het performance tiering-framework biedt een duidelijker beslissingspad voor ondernemingsarchitecten die opties voor vectoropslag evalueren.
S3 Vector werkt met workloads die een latentie van 100 ms tolereren: semantisch zoeken in grote documentcollecties, agentgeheugensystemen, batchanalyse van vectorinbedding en ophalen van achtergrond-RAG-context. De economie wordt op grote schaal aantrekkelijk voor organisaties die al in AWS-infrastructuur hebben geïnvesteerd.
Gespecialiseerde vectordatabases blijven nodig voor latentiegevoelige gebruiksscenario’s: real-time aanbevelingsmotoren, zoeken met hoge doorvoer die duizenden gelijktijdige zoekopdrachten bedienen, interactieve toepassingen waarbij gebruikers synchroon op resultaten wachten, en werklasten waarbij de consistentie van de prestaties groter is dan de kosten.
Voor organisaties die beide soorten workloads uitvoeren, weerspiegelt een hybride aanpak de manier waarop bedrijven al datameren gebruiken, waarbij ze gespecialiseerde vectordatabases inzetten voor prestatiekritieke queries en S3 Vector gebruiken voor grootschalige opslag en minder tijdgevoelige bewerkingen.
De belangrijkste vraag is niet of de bestaande infrastructuur moet worden vervangen, maar hoe prestatiegerichte vectoropslag moet worden ontworpen op basis van de werklastvereisten.
