Tömeges méretre tervezve: Nehezen megszerzett tapasztalatok a nagy volumenű következtetési munkaterheléseket üzemeltető csapatoktól

Az AI-t egy látványos bemutatóból a nagy volumenű gyártási környezetbe átvinni egy olyan átmenet, amely tele van rejtett technikai adóssággal és infrastruktúrával kapcsolatos kihívásokkal. Különbség van aközött, hogy egy hétvégi prototípusként hívod meg az OpenAI API-t, és aközött, hogy 50 000 egyidejű felhasználót szolgálsz ki, akiknek 200 ms alatti késleltetésre, zökkenőmentes alternatív megoldásokra és megbízható kimenetre van szükségük minden alkalommal. Ritkán "modell probléma". Inkább döntések, kompromisszumok és architektúra problémája. A DigitalOcean Deploy 2026 rendezvényen mérnöki vezetők paneljét láttuk a Workato, a Hippocratic AI és az ISMG képviseletében. Karnik Modi, a DigitalOcean idősebb mérnöki menedzsere moderálta a beszélgetést, ahol a panelisták megosztották azokat a tanulságokat, amelyeket a méretezhető inferenciás munkaterhelések üzemeltetése közben tanultak. A szekció a P99 késleltetési csúcsok valós idejű interakciók kezelésére, az ügynöki jogosultságok korlátozására a "rendszergazda" sérülékenységek megelőzése érdekében, valamint az infrastruktúra politikai tudatosságának biztosítására összpontosított, mielőtt a gyártási forgalom megérkezik. Ezek a meglátások túlmutatnak a modell teljesítményén, hogy foglalkozzanak a megbízható, tömeges méretű AI-hoz szükséges orchestrációval és biztonsági keretrendszerekkel. Nézd meg a teljes felvett szekciót a Deploy 2026-ról: <a href="https://www.youtube.com/watch?v=RjUtPeXC0BA" target="_blank">YouTube videó megtekintése</a> A Tömeges Méretre Építettek Panelisták Minden panelista egy olyan céget képvisel, amely a gyártási AI határterületén működik, ahol a működő prototípus és a megbízható rendszer, amely valós felhasználókat szolgál ki, jelenti a teljes kihívást. Az autonóm ügynökök több ezer vállalati alkalmazás közötti megszervezésétől kezdve a valós idejű klinikai beszélgetések lebonyolításán át, ahol a késleltetés a betegek biztonságának kérdése, egészen az AI-alapú intelligencia globális kiberbiztonsági médiahálózaton való telepítéséig, ezek a csapatok szembesültek azokkal az infrastruktúra-, kormányzás- és architekturális döntésekkel, amelyek csak nagy méretekben merülnek fel. Oscar Wu — AI Kutatási Technikai Vezető, Workato Research Lab A Workato egy vállalati integrációs platform, amely több mint 14 000 alkalmazást köt össze, és több mint egy trillió automatizált feladatot koordinált, AI fókusza az ügynöki orchestrációra helyeződött—autonóm AI ügynökök építése, telepítése és irányítása, akik képesek érvelni, cselekedni és több lépcsős munkafolyamatokat végrehajtani vállalati rendszerekben kód írása nélkül. A gyártási méretben a Workato AI Kutatási Labor a kormányzás nehéz problémáival, a nagyméretű eszközleltárak közötti eszközválasztás pontosságával, valamint az inferencia gyors és költséghatékony fenntartásával küzd állandó terhelés alatt. A Workato AI Kutatási Labor a DigitalOcean AI-Natív Felhőjén futtatja inferenciás munkaterheléseit, ahol 67%-kal alacsonyabb inferencia költségeket és 77%-kal gyorsabb első token elérési időt ért el NVIDIA Hopper GPU-kkal. Debo Datta — Társalapító, Hippocratic AI A Hippocratic AI biztonság-orientált generatív AI hangügynököket épít az egészségügy számára, kezelve a betegekkel kapcsolatos feladatokat, mint a kórházból való távozás utáni követés, krónikus betegségek kezelése, gyógyszerellenőrzés és klinikai vizsgálatok koordinálása. Mivel minden klinikai beszélgetés valós időben több száz fordulatot tartalmazhat, a cég legfőbb infrastrukturális kihívása a szekundum alatti késleltetés fenntartása nagy méretben, hogy a hanginterakció empatikus és természetes maradjon, ne pedig robotikus. A Hippocratic AI a DigitalOcean inferencia motorjának tervező partnere volt, és betegorientált munkaterheléseit a platformon futtatja, több mint 20 millió beteginterakciót hajtva végre 40%-kal alacsonyabb késleltetéssel. Dan Grosu — CTO/CISO, ISMG Az ISMG (Információs Biztonsági Média Csoport) 38 médiatulajdont üzemeltet, amelyek a kiberbiztonságra, IT-re és AI-ra összpontosítanak, biztonsági szakembereket szolgálva ki különböző szektorokban, mint például a banki szektor, egészségügy és kormányzati szervek világszerte. A cég saját vállalati AI platformját, az Apollo-t építette ki, amely több ezer oldalnyi interjútranszkripciót és konferenciasorozatot dolgoz fel a kiberbiztonsági piac intelligenciájának és stratégiai értékeléseinek előállításához. Az AI a "titkos szószból" a standard infrastruktúrává vált A panelisták egyetértettek abban, hogy az AI körüli beszélgetés az utolsó 18 hónapban megváltozott. Nem elég egyszerűen "rendelkezni AI-val"; a fókusz most arra helyeződik, hogy a stack valóban támogathatja-e azt nagy méretben. "Az AI már nem versenyelőny. Ez versenyképes infrastruktúra. A kérdés átköltözött arról, hogy 'szállítsunk AI funkciókat?', arra, hogy 'a vállalati stackünk valóban működni fog-e AI ügynökökkel?'" — Oscar Wu, Workato Amikor az AI az infrastruktúra részévé válik, a GPU költség, amely működteti, már nem kísérleti költségtétel, hanem alapvető működési költség. Az olyan cégek számára, mint a Hippocratic AI, amely az egészségügyre összpontosít, az AI a fő termék, de jelentős költségközpontként működik a hatalmas GPU követelmények miatt. A kihívás, hogy ezt a költséget biztonságos, megbízható bevételi forrássá alakítsák. Ami Tíz Kérésnél Működik, Meghiúsul Egymilliónál Minden hatékonyan néz ki egy kontrollált környezetben. Azonban a panelisták azonosítottak konkrét "szűk keresztmetszeteket", amelyek csak akkor jelennek meg, amikor a valódi gyártási forgalom megérkezik. Az Ügynöki Identitásválság Amikor egy AI ügynök 5 eszközhöz fér hozzá, tökéletesen működik. Amikor több mint 50 eszközhöz fér hozzá, elkezd gyengülni. Oscar megjegyezte, hogy az ügynökök gyakran rossz eszközöket választanak, mert a nevek hasonlóan hangzanak, vagy mert nincs érvényesített végrehajtási politikájuk. A Késleltetési Csapda A Hippocratic AI-nál a késleltetés több mint technikai mutató - ez egy betegbiztonsági aggály. Biztonság-orientált LLM-jük kezel több körös klinikai beszélgetéseket, ahol a késlekedés aláássa az empátiát és a bizalmat, amelyek hatékony kezelést igényelnek. "Amikor a forgalom alacsony, nem igazán tesztelheted a határokat. Csak amikor méretet növelsz, veszed észre a P99 késleltetést. Ha klinikai telefonbeszélgetést folytatsz 200 fordulóval, és a késlekedésed nem jó, minden egyes hívásnál lassulást tapasztalsz." — Debo Datta, Hippocratic AI Tervezd meg az Architektúrát, Ami Még Nincs Piacon Az AI inferenciájának méretezése folyamatos ciklusát jelenti a stack újratervezésének. Ahogy új architektúrák jelennek meg, a győztesek azok a csapatok lesznek, amelyek alapjai ügynök-képesek, politikai tudatossággal rendelkeznek, és bizalomra struktúráltak. "Engedd, hogy az AI meglepjen. Ha a adataid rendezett, akkor ideális helyzetben vagy ahhoz, hogy az AI-t kiváló sikerrel használd." — Dan Grosu, ISMG Szűkítsd le az Ügynökök Jogosultságait a Robbanási Ív Csökkentésére Ahogy az inferencia egyre elosztottabbá válik, a biztonsági tét emelkedik. Dan az ISMG-től hangsúlyozta, hogy míg az AI "szupererő" a gyorsabb szállításra, új felelősségeket is teremt. Minden elküldött prompt potenciális biztonsági kockázat, ha az infrastruktúra nincs megfelelően kezelve. Oscar kifejtette ezt a pontot: "Ne hagyd, hogy az AI ügynökeid adminisztrátorok legyenek. Még az gyakornokaid sem lehetnek adminisztrátorok. Az ügynököt minden egyes akció során a felhasználó által kijelölt képviselőként kell kezelni, korlátozott időbeli és időhöz kötött hozzáféréssel." Dan megjegyezte, hogy a biztonsági hiba "robbanási íve" szélesedik, ahogy az AI egyre több rendszerhez integrálódik. A DigitalOcean-ra való megbízható szolgáltatókra való átállásukat a nyomozhatóság, naplózás és a "karok" emberi ellenőrzése iránti igény vezérelte. A Legkockázatosabb AI Stratégia Az Nincs AI Stratégia Sok vezető továbbra is vonakodik az AI mély integrálását az meglévő stackbe. A panel figyelmeztette, hogy ez a "várj és lásd" hozzáállás gyakran egy megoldhatatlan különbséghez vezet később. "Az AI nem fogja elrejteni a zűrzavaros vállalati stacked. Csak felnagyítja azt. A kockázat nem az, hogy hat hónappal késlekedsz egy chatbot-tal; az a kockázat, hogy két évvel késlekedsz azon üzemeltetési modellen, amely lehetővé teszi, hogy az AI biztonságosan végezzen valódi munkát." — Oscar Wu, Workato Dan hozzátette, hogy a legsikeresebb cégek azok lesznek, akik a szükséges AI előtt strukturálták az adataikat és munkafolyamataikat. Ha az adataid rendezettek, az AI azonnali megtérülést hozhat. Dan és csapata ügynököket állított össze, hogy létrehozzanak egy "ügynök-alapú tűzfalat", hogy valós időben megakadályozzák a bonyolult biztonsági fenyegetéseket. Legyen szó akár a Workato-ról, amely ügynököket irányít több ezer vállalati alkalmazáson, akár a Hippocratic AI-ról, amely klinikai telefonhívásokon tartja a szekundum alatti késleltetést, vagy az ISMG-ról, amely ügynök-alapú tűzfalakat telepít élő fenyegetések ellen, a közös szál ugyanaz: az inferencia skálázása infrastrukturális probléma, nem modellprobléma. Ez pontosan az a probléma, amelyre a DigitalOcean AI-Natív Felhőt tervezték: egyetlen platform, amely integrálja az inferenciát, számítást, adatot és ügynöki futási időt, hogy a csapatok a szállításra, ne pedig a szolgáltatók összekötésére összpontosíthassanak. Ha bármelyik tanulság közel áll hozzád, a stack készen áll, amikor te is. → Kezdj bele a DigitalOcean AI-Natív Felhőjébe.