Gepresenteerd door F5
Terwijl bedrijven miljarden investeren in GPU-infrastructuur voor AI-workloads, merken velen dat hun dure computerbronnen veel langer stil staan dan verwacht. De hardware is niet de boosdoener. Het is de vaak onzichtbare laag van gegevensdistributie tussen opslag en rekenkracht die GPU’s de informatie ontneemt die ze nodig hebben.
“Ook al richten mensen terecht hun aandacht op GPU’s, omdat het zeer aanzienlijke investeringen zijn, vormen ze zelden de beperkende factor”, zegt Mark Menger, oplossingsarchitect bij F5. “Ze kunnen meer werk doen. Ze wachten op de gegevens.”
De prestaties van AI zijn steeds meer afhankelijk van een onafhankelijk, programmeerbaar controlepunt tussen AI-frameworks en objectopslag, een punt dat de meeste bedrijven niet bewust hebben ontworpen. Naarmate AI-workloads groter worden, ontstaan er knelpunten en instabiliteit wanneer AI-frameworks nauw gekoppeld zijn aan specifieke opslageindpunten tijdens schaalgebeurtenissen, fouten en overgangen naar de cloud.
“Traditionele modellen voor opslagtoegang zijn niet ontworpen voor multi-consumer, zeer parallelle, bursty AI-workloads”, zegt Maggie Stringfellow, VP, product management – BIG-IP. “Efficiënte AI-databeweging vereist een afzonderlijke datadistributielaag die is ontworpen om datastromen onafhankelijk van opslagsystemen te abstraheren, optimaliseren en beveiligen, omdat GPU-economie inefficiëntie onmiddellijk zichtbaar en kostbaar maakt.”
Waarom AI-workloads de objectopslag overbelasten
Deze bidirectionele modellen omvatten grootschalige data-acquisitie door middel van continue data-acquisitie, simulatie-uitvoer en modelcontrolepunten. Gecombineerd met intensieve lectuur en training werklasten afleidenze benadrukken de nauw verbonden infrastructuur waarvan opslagsystemen afhankelijk zijn.
Hoewel opslagleveranciers veel werk hebben verzet bij het opschalen van de doorvoer van gegevens in en uit hun systemen, zorgt het uitsluitend focussen op doorvoer voor rimpeleffecten op de niveaus van schakelen, verkeersbeheer en beveiliging die met opslag gepaard gaan.
Spanning S3-compatibele systemen van AI-workloads is multidimensionaal en verschilt aanzienlijk van traditionele applicatiemodellen. Het gaat minder om de ruwe doorvoer en meer om gelijktijdigheid, druk op de metagegevens en fan-out-overwegingen. Door training en afstemming ontstaan bijzonder uitdagende modellen, zoals massale parallelle metingen van kleine tot middelgrote objecten. Deze werkbelastingen omvatten ook het herhaaldelijk doorgeven van trainingsgegevens tussen tijdperken en periodieke checkpoint-schrijfbursts.
RAG-workloads introduceren hun eigen complexiteit door middel van verzoekversterking. Eén enkel verzoek kan worden opgesplitst in tientallen of honderden extra datablokken, die vervolgens overgaan in aanvullende details, gerelateerde blokken en complexere documenten. Stressconcentratie gaat minder over de capaciteit en snelheid van het opslagsysteem en meer over het beheren van verzoeken en het vormgeven van verkeer.
De risico’s van het strak koppelen van AI-frameworks aan opslag
Wanneer AI-frameworks rechtstreeks verbinding maken met opslageindpunten zonder een tussenliggende implementatielaag, neemt de operationele kwetsbaarheid snel toe tijdens schaalgebeurtenissen, fouten en cloudtransities, wat grote gevolgen kan hebben.
“Elke instabiliteit in de opslagdienst heeft nu een onbegrensde explosieradius”, zegt Menger. “Alles hier wordt een systeemfout, geen opslagfout. Of, eerlijk gezegd, abnormaal gedrag in één applicatie kan rimpeleffecten hebben op alle gebruikers van die opslagdienst.”
Menger beschrijft een patroon dat werd waargenomen bij drie verschillende klanten, waarbij een nauwe koppeling resulteerde in volledige systeemstoringen.
“We zien dat grote trainings- of afstemmingswerklasten de opslaginfrastructuur overweldigen, en dat de opslaginfrastructuur niet meer werkt”, legt hij uit. “Op deze schaal wordt herstel nooit in seconden gemeten. Minuten als je geluk hebt. Meestal uren. GPU’s worden nu niet van stroom voorzien. Ze hongeren naar gegevens. Deze hoogwaardige bronnen hebben, zolang het systeem inactief is, een negatieve ROI.”
Hoe een onafhankelijke gegevensdistributielaag het GPU-gebruik en de stabiliteit verbetert
De financiële gevolgen van de introductie van een onafhankelijke gegevensdistributielaag gaan verder dan het voorkomen van catastrofale mislukkingen.
Ontkoppeling helpt bij het optimaliseren van de gegevenstoegang, onafhankelijk van opslaghardware, waardoor het GPU-gebruik wordt verbeterd door downtime en conflicten te verminderen, terwijl de voorspelbaarheid van de kosten en de systeemprestaties worden verbeterd naarmate de schaal toeneemt, zegt Stringfellow.
“Het maakt intelligente caching, traffic shaping en protocoloptimalisatie dichter bij de computer mogelijk, waardoor de kosten van uitgaand verkeer naar de cloud en opslagversterking worden verlaagd”, legt hij uit. “Operationeel beschermt deze isolatie opslagsystemen tegen onbeperkte AI-toegangspatronen, wat resulteert in een voorspelbaarder kostengedrag en stabiele prestaties onder omstandigheden van groei en variabiliteit.”
Met behulp van een programmeerbaar controlepunt tussen verwerking en opslag
Het antwoord van F5 is om het te plaatsen Applicatieleverings- en beveiligingsplatform, gebaseerd op BIG-IPals een ‘opslagvoordeur’ die gezondheidsbewuste routering, hotspotvermijding, beleidshandhaving en beveiligingscontroles biedt zonder dat herschrijving van applicaties nodig is.
“Het introduceren van een overdrachtslaag tussen compute en storage helpt de grenzen van verantwoordelijkheid te definiëren”, zegt Menger. “Compute gaat over uitvoering. Opslag gaat over duurzaamheid. Distributie gaat over betrouwbaarheid.”
Programmeerbaar controlepunt, dat gebruik maakt van op gebeurtenissen gebaseerde voorwaardelijke logica in plaats van generatieve AI, maakt intelligent verkeersbeheer mogelijk dat verder gaat dan eenvoudige taakverdeling. Routeringsbeslissingen zijn gebaseerd op de werkelijke status van de backend, waarbij gebruik wordt gemaakt van intelligent statusbewustzijn om vroege tekenen van problemen te detecteren. Dit omvat het monitoren van de belangrijkste indicatoren van moeilijkheden. En als er zich problemen voordoen, kan het systeem slecht functionerende componenten isoleren zonder de hele service te verstoren.
“Een onafhankelijke, programmeerbare datadistributielaag wordt noodzakelijk omdat deze een uniforme toepassing van beleid, optimalisatie, beveiliging en verkeerscontrole over de opname- en consumptiepaden mogelijk maakt zonder opslagsystemen of AI-frameworks aan te passen”, zegt Stringfellow. “Door datatoegang te ontkoppelen van opslagimplementatie kunnen organisaties veilig burst-schrijfbewerkingen absorberen, leesbewerkingen optimaliseren en backend-systemen beschermen tegen onbeperkte AI-toegangspatronen.”
Beheer van beveiligingsproblemen bij de levering van AI-gegevens
AI stimuleert opslagteams niet alleen qua doorvoer, maar dwingt hen ook om het verplaatsen van data te zien als zowel een prestatie- als een beveiligingsprobleem, zegt Stringfellow. Beveiliging kan niet langer als vanzelfsprekend worden beschouwd, simpelweg omdat de gegevens zich diep in het datacenter bevinden. AI introduceert geautomatiseerde toegangspatronen met grote volumes die snel moeten worden geverifieerd, gecodeerd en beheerd. Dit is waar F5 BIG-IP in beeld komt.
“F5 BIG-IP wordt rechtstreeks in het AI-datapad ingevoegd om toegang met hoge doorvoer tot objectopslag te bieden, terwijl beleid wordt afgedwongen, verkeer wordt geïnspecteerd en weloverwogen verkeersmanagementbeslissingen worden genomen over de payload”, zegt Stringfellow. “Het snel aansturen van GPU’s is noodzakelijk, maar niet voldoende; opslagteams moeten er nu op kunnen vertrouwen dat AI-datastromen geoptimaliseerd, gecontroleerd en veilig zijn.”
Omdat datalevering de schaalbaarheid van AI zal bepalen
Vooruitkijkend zullen de eisen voor datalevering alleen maar toenemen, zegt Stringfellow.
“AI-datadistributie zal evolueren van massa-optimalisatie naar realtime, op beleid gebaseerde data-orkestratie over gedistribueerde systemen”, zegt hij. “Agent-gebaseerde en RAG-architecturen zullen een fijnmazige runtime-controle vereisen over latentie, toegangsbereik en gedelegeerde vertrouwensgrenzen. Bedrijven moeten datadistributie gaan beschouwen als programmeerbare infrastructuur, en niet als een bijproduct van opslag of netwerken. Organisaties die dit doen, zullen binnenkort sneller en met minder risico opschalen.”
Gesponsorde artikelen zijn inhoud die is geproduceerd door een bedrijf dat voor de post betaalt of een zakelijke relatie heeft met VentureBeat en die altijd duidelijk gemarkeerd is. Voor meer informatie kunt u contact opnemen met sales@venturebeat.com.
