Az MI elérte a memóriafalat - most új kontextus szintre van szüksége.

A Solidigm által bemutatva Ahogy az inferenciai munkaterhelések a különálló kérdés-válasz interakciókból a tartós, többlépéses ügynöki rendszerek felé fejlődnek, a GPU elérhetősége már nem a legfontosabb AI szűk keresztmetszet. Jeff Harthorn, a Solidigm alkalmazott kutatási vezetője szerint a szűk keresztmetszet a számítástechnikából a kontextus felé költözött. "Miért vált a kontextuskezelés elsődleges szűk keresztmetszetté, jobban, mint a GPU elérhetősége vagy a számítási hatékonyság, ez a 2026-os kérdés" – mondja Harthorn. "A GPU-k drámaian olcsóbbak lettek FLOP-onként. A modellarchitektúrák és az inferenciai kiszolgáló motorok is sokkal hatékonyabbá váltak. De a dolog, ami gyorsabban növekedett mindkettőnél, az a kontextus. Az a tartós állapot, amely a munkamenetek között fennmarad, még a kontextusnál is gyorsabban nőtt." Ez akkor történik, amikor a kontextusablakok drámaian megnőnek, így az egyes bemenetek sokkal nagyobbak, mint korábban. Az ügynöki AI rendszerek sok tucat vagy akár száz modellek hívását láncolják össze, mindegyik generál egy állapotot, amit nyomon kell követni, és a vállalatok megkövetelik, hogy az inferencia állapot megmaradjon a munkamenetek között auditálás, kormányzás és újrafelhasználás céljából. Ezek a tendenciák egymást erősítik, a kontextus térfogatai a meglévő memóriatechnikáknak megfelelően túllépnek. "Ezek a három dolog egyszerre történik, amely mind a kontextuális adatokat és memóriát sokkal gyorsabban lökdösi a stratoszférába, mint ahogyan a megszokott volt" – teszi hozzá Ace Stryker, a Solidigm AI és ökoszisztéma marketing igazgatója. A megoldás egy dedikált kontextus szint, amely a GPU memória és a tömeges hálózati tárolás között jelenik meg: egy magas teljesítményű, sűrű flash réteg, amelyet kifejezetten Key-value (KV) cache tárolására és kiszolgálására terveztek, az inferencia adatok számára, amelyek lehetővé teszik a modellek számára, hogy megtartsák és újra felhasználják a kontextust, valamint az adatok lehívását inferencia sebességgel. Az Nvidia ezt az architektúrát CMX néven formalizálta. A Solidigm-hoz hasonló tárolási cégek SSD termékek fejlesztésével foglalkoznak, amelyek optimalizáltak ezen munkaterhelésekhez. "A tárolás nem volt az első dolog, amit az emberek figyelembe vettek, amikor az üzleti infrastruktúra kiépítését tervezték" – mondja Stryker. "Sokáig viszonylag kicsi költség volt a számítástechnikához képest, és egy árucikk volt. Csak a legolcsóbb gigabájtokat kerested, és ez volt elég. De most, ha a tárolásod nem megfelelő, a ROI-d szenved, és közvetlen hatással van az alsó sorra." Miért van szüksége az AI inferenciának más tárolási architektúrára, mint a tréning számára? Az AI rendszerek által ma használt tárolási architektúra nagyrészt a tréning munkafolyamatokból örökölt. A tréning szekvenciális és írásra dominál, az adatok nagy blokkokban mozognak tömeges objektumtárolásból és oda. A szintek struktúrája, a GPU-nál található nagy sávszélességű memória, a szerveren gyors NVMe és a tömeges tárolás a hálózaton, ezen használati esetet viszonylag jól kiszolgálja. Azonban az inferencia egy másik állat. Az I/O aláírása finom, késleltetésérzékeny, és egyre inkább állapotszoros. A KV cache adatainak és a lehívási adatoknak egyedi hozzáférési mintázatai vannak, de mindkettőnek gyors kiszolgálásra és interakciókon keresztüli újrafelhasználásra van szüksége. Egyik sem illeszkedik tisztán a GPU nagy sávszélességű memóriájába, amely drága és fizikailag korlátozott, sem a hagyományos tömeges tárolásba, amelyet soha nem a aktív inferencia munkaterhelésekhez terveztek. "Az építészeti rés, ami most érdekes számomra, nem a csúcsán, hanem az alján van, hanem pontosan középen" – mondja Harthorn. "A GPU HBM alatt elhelyezkedő sok dologtól azt kérik, hogy olyan dolgokat végezzen, amelyekre valójában nem lett tervezve, ami a legérdekesebb rendszerek működését jelenti ma." E rés egyik legláthatóbb tünete a recomputálás. Az inferenciánál a pre-fill szakasz minden olyan kontextust feldolgoz, amely egy adott munkamenetre vonatkozik, mielőtt a token generálás megkezdődhet. Amikor a KV cache állapot nincs elérhető egy gyors, hozzáférhető szinten, a rendszer újra kiszámítja — elégetve a GPU ciklusokat, amelyek nem termelnek új értéket. "A GPU ciklusok jelentős része újra-pre-fillingre megy" – magyarázza Harthorn. "Mindezen számított kontextus alatt potenciálisan olyan számítás, ami az állapot reprodukálására költődik, ahelyett, hogy új munkát végezne. Amikor ezen a problémán kezded nézni, a GPU kihasználás nem tűnik olyan jónak, mint amit tárolási problémának nézel." Ez az újraértelmezés megújult érdeklődést generál egy hálózati metrikként kölcsönzött mutató iránt: a goodput, vagy hasznos tokenek dolláronként, ahelyett, hogy nyers tokenek dolláronként. Az AI kontextus memória szint és működése Az ipar válasza strukturális formát ölt. Egy új szint jelenik meg a GPU memória és a hagyományos hálózati tárolás között, amelyet kifejezetten az inferencia kontextus tárolására és kiszolgálására terveztek, egy réteg, amely megkülönböztethető a GPU szerverek (G3) belső meghajtói és a hálózati tárolószerverek (G4) között, így tervezték, hogy a kontextus adatokat a lehető leggyorsabban visszajuttassa az gyorsítókhoz. "Ha te egy adatközpontot építesz az év második felében, vagy a következő év elején, nem gondolhatsz úgy a tárolásra, hogy csak két helyen létezik" – mondja Stryker. "A tárolásnak legalább három helyen kell lennie, hogy kezelje a kontextus memória szintet, és ez valószínűleg állandó elem lesz abban, hogyan építik ki az infrastruktúrát a jövőben." Ez analóg a tárgyalapú tárolás kategória megjelenésével, amely nem létezett, amíg elegendő munkaterhelés szükség nem volt rá. És amikor végre megjelent, kifejlesztette a saját primitívjeit, SLA-it, költségmodelleit és a szállítók ökoszisztémáját. "A kontextus szint úgy tűnik, hogy hasonló íven van" – mondja Harthorn. "Ez a volumetrikus nyomás okozza a kategória kialakulását, nem pedig egyetlen szállító ütemterve." Az infrastruktúra vezetőknek ez azt jelenti, hogy aktívan tervezniük kell az új szintet, nem pedig opcionálisnak tekinteni. További NAND telepítése ezen a rétegen csökkenti a DRAM-ra való függést, amely nagyságrendekkel drágább gigabájtonként, és korlátozott a rendelkezésre állásban és a hőmérsékleti tartományban. "A befektetés hatékonyságának szempontjából kevesebb pénzt fektetsz be, ha az SSD rétegre támaszkodsz, ahogy az Nvidia most ajánl, és javasol sok felhasználási esethez" – teszi hozzá Stryker. Amit a flashnak biztosítania kell az AI inferencia támogatásához Az inferenciai rétegben való aktív részvétel új követelményeket támaszt az SSD technológia iránt. A végső késleltetés, a meghajtó legrosszabb teljesítménye, előre látható kell, hogy legyen, nem csak átlagon felüli gyors. Egy olyan rendszergazdálkodási rendszer, amely a várható tárolási válaszidők alapján osztja el a GPU erőforrásokat, nem tolerálhat váratlan több másodperces késéseket. A következetes, megfigyelhető teljesítmény fontosabb itt, mint a csúcs áthaladás. A késleltetés mellett a sűrűség kiemelt kérdéssé válik, különösen hiperskálán. Az adatközpontokban, ahol a teljesítmény, nem a költség a korlát, a watt petabájt lesz az operatív metrika. A floating gate NAND, a Solidigm termékeinek gyártási megközelítése, alkalmas erre a számításra. A hálózati integráció NVMe over Fabrics, RDMA és későbbi CXL támogatáson keresztül szintén elengedhetetlen a aktív inferencia pipeline-k szoros késleltetési költségvetése miatt. "A meghajtóknak megbízható teljesítményi jellemzőkkel kell rendelkezniük, túl a throughput oldalon és azon képességen, hogy a lehető leggyorsabban a legnagyobb mennyiségű adatot áthelyezzék, ahogyan a tréningnél szükséges volt" – mondja Harthorn. "Most arról van szó, hogy ezt nagyon következetesen, olyan módon tudják végezni, ami nagyon megfigyelhető azok számára, akik ezeket a rendszereket működtetik és menedzselik." Hogyan tervezzenek az üzleti AI vezetők a kontextus szinthez Az ipar normái, szoftverprimitívjai és legjobb gyakorlatai, amelyeket most állítanak fel, évekig meghatározzák, hogyan működik az AI inferencia infrastruktúra. A Solidigm részt vesz ebben a folyamatban szabványügyi testületeken, partnerségi laboratóriumi együttműködéseken és közzétett kutatásokon keresztül, ami különösen fontos, mert a kategória még mindig kialakul. "A következő néhány év érdekes kérdése nem az, hogy az AI infrastruktúrának szüksége van-e több számításra" – mondja Harthorn. "Hanem az, hogy a meglévő erőforrásokat hatékonyabban tudja-e használni. Ennek a válasza nagymértékben keresztülmegy ezen a szinten, ami most épül." A szponzorált cikkek olyan tartalmak, amelyeket egy cég készít, amely vagy fizet a bejegyzésért, vagy üzleti kapcsolatban áll a VentureBeat-tel, és ezeket mindig világosan megjelölik. További információkért lépjen kapcsolatba a sales@venturebeat.com címmel.