Az új Alibaba AI keretrendszer kihagyja az összes eszköz betöltését, ezzel 99%-kal csökkenti az ügynök token használatát.

Ahogy a vállalati mesterséges intelligencia rendszerek skálázódnak, hogy kezeljék a bonyolult munkafolyamatokat, a szakemberek szembesülnek azzal a kihívással, hogy a részfeladatokat a megfelelő eszközökhöz és készségekhez irányítsák. Az ügynököknek akár több száz eszközük és készségük is lehet, és összezavarodhatnak, hogy melyiket használják egy adott munkafolyamat lépéseinél. Ennek a kihívásnak a megoldására az Alibaba kutatói kifejlesztették a SkillWeaver-t, egy keretrendszert, amely végrehajtási gráfot hoz létre egy adott feladathoz, és kiválasztja a megfelelő készségeket minden egyes csomóponthoz. Bevezetik a Skill-Aware Decomposition (SAD) néven ismert új technikát is, amely visszajelzési hurkot használ annak érdekében, hogy az ügynök fokozatosan keressen és ellenőrizzen releváns eszközjelölteket. Ez a kompozicionális megközelítés és a visszajelzési hurok mechanizmusa megkülönbözteti a SkillWeaver-t más eszközirányító keretrendszerektől, amelyek eszközöket egy lépésben választanak ki. A SkillWeaver a valóságbeli mesterséges intelligencia alkalmazásokhoz kapcsolódik, ahol az ügynökök autonóm módon irányítanak több eszközt érintő ökoszisztémákat, mint például a Model Context Protocol (MCP), hogy végrehajtsanak olyan többlépéses üzleti műveleteket, mint adatállományok letöltése, információk átalakítása és vizuális jelentések készítése. A kutatók SkillWeaverrel végzett kísérleteik azt mutatják, hogy a visszakeresés és irányítás megközelítés megvalósítása jelentősen növeli a pontosságot és ugyanakkor 99%-kal csökkenti a tokenfogyasztást, szemben azzal, ha az ügynököknek az egész eszközkönyvtárat bemutatják. Az AI ügynökök építő szakemberek számára a fő tanulság, hogy a feladatok lebontásának részletessége jelenti a legnagyobb akadályt a pontos eszközkiválasztásban. A készségek irányításának kihívása A készségek kulcsszerepet játszanak a modern LLM ügynökarchitektúrákban. A készség egy moduláris, újrahasználható eszközspecifikáció, amely strukturált természetes nyelvű dokumentációt használ. Ahogy a vállalati ügynökök integrálódnak a hatalmas eszközöket érintő ökoszisztémákba, a felhasználói lekérdezések pontos irányítása a megfelelő készségekhez nehéz feladattá válik. Az egész könyvtár kiemelése egy LLM számára a megfelelő eszköz keresésére rendkívül hatékonytalan, gyorsan túllépi a kontextuskorlátokat, és számos ezer tokent fogyaszt. A legtöbb jelenlegi eszközhasználati keretrendszer ezt API-visszakereséssel, dokumentációs egyeztetéssel vagy hierarchikus struktúrákkal próbálja megoldani, amelyek az irányítást szigorúan egy készség kiválasztásaként vagy lépésenkénti problémaként kezelik. Azonban ez az egy készség paradigma nem elegendő a vállalati környezetek számára, mert a valós világbeli lekérdezések inherensen kompozicionálisak. Egy standard üzleti kérés, mint például „Töltsd le az adatállományt, alakítsd át, és készíts vizuális jelentéseket”, nem teljesíthető egyetlen eszközzel. A kérdést lebontani és egy API klienst, egy adatfeldolgozót és egy vizualizáló eszközt egy koherens, többlépéses végrehajtási tervbe illeszteni szükséges. Hogyan működik a SkillWeaver és a SAD Ehhez a kutatók a bonyolult feladatok kezelésének problémáját, amelyek több készséget igényelnek, „kompozicionális készségirányításként” keretezik. Egy bonyolult felhasználói kérés és a hatalmas eszközkönyvtár alapján az ügynöknek egyszerre kell kitalálnia, hogyan bontsa le a kérést egy atomikus részfeladatok sorozatára, hogyan térképezze fel minden egyes részfeladatot a legjobb elérhető készségre, és hogyan állítsa össze ezeket a készségeket egy végrehajtható tervvé. A SkillWeaver ezt a folyamatot három különálló szakaszra osztja: Lebontás, Visszakeresés és Összeállítás. Az első szakaszban egy LLM feladatlebontóként működik, lebontva a felhasználó bonyolult kérdését egy részfeladatok sorozatára, amelyek mindegyike egy készséget igényel. Miután a részfeladatok világosan definiálva lettek, a rendszer egy embedding modellt használ, hogy összevesse a részfeladatokat a készségtárat illetően, hogy minden lépéshez a legjobb eszközjelöltek rövidlistáját előhúzza. Az utolsó szakaszban egy tervező értékeli a visszakeresett jelölteket aszerint, hogy mennyire működnek jól együtt. Ellenőrzi a készségek közötti kompatibilitást, hogy biztosítsa, hogy az egyik eszköz kimenete természetesen átfolyjon a következő bemenetére. Ezután létrehozza a végső végrehajtási tervet, mint egy irányított aciklusos gráfot (DAG), amely elképzeléseket térképez fel, így az önálló feladatok párhuzamosan végrehajthatók. Például vegyük figyelembe azt a felhasználót, aki egy AI ügynöktől azt kéri, hogy „Töltsd le az adatállományt, alakítsd át, és készíts vizuális jelentéseket.” A lebontási szakaszban a lebontó LLM ezt három különböző részfeladatra bontja: az adatállomány letöltése, az adatok átalakítása és a jelentések készítése. A visszakeresési szakaszban a rendszer átkutatja a könyvtárat, és olyan jelölteket talál, mint például „api-client” vagy „http-fetch” az első feladathoz, „csv-parser” vagy „etl-pipeline” a másodikhoz, és így tovább. Végül az összeállító szakasz értékeli ezeket az opciókat, kiválasztja a leginkább kompatibilis „api-client”, „csv-parser” és „chart-gen” kombinációt, és összekapcsolja őket egy végső, kész végrehajtásra váró munkafolyamattá. A folyamat kulcsfontosságú kihívása, hogy az LLM-ek gyakran általános lépésleírásokat produkálnak, amelyek nem felelnek meg a könyvtárban található konkrét, technikai szókincsnek. Ennek orvoslására a SkillWeaver bevezet egy Iteratív Skill-Aware Decomposition (SAD) néven ismert új visszajelzési hurkot. A SAD úgy működik, hogy az LLM egy kezdeti tervet fogalmaz meg, előfelmérést végez, hogy lazán illeszkedő készségeket találjon, majd ezeket a visszakeresett készségeket visszajelzésként táplálja be az LLM-be. Ez lehetővé teszi az LLM számára, hogy újrafogalmazza a lebontását, így a részletesség és a szókincs tökéletesen illeszkedjen a létező eszközökhöz. SkillWeaver működés közben A SkillWeaver valós vállalati forgatókönyvekben való teljesítményének értékelésére a kutatók létrehoztak egy egyedi tesztet, CompSkillBench néven. Ez 300 többlépéses lekérdezést tartalmaz különböző nehézségi szinteken. A valós környezetek tükrözésére 2,209 valós készséget használtak a nyilvános MCP ökoszisztémából, 24 funkcionális kategóriát lefedve, mint például felhőinfrastruktúra, pénzügy és adatbázisok. Az alap motorhoz a kutatók elsősorban egy könnyű, 7 milliárd paraméteres modellt (Qwen2.5-7B-Instruct) használtak a feladatlebontáshoz, párosítva egy standard szemantikai kereső vektorkeresővel (MiniLM egy FAISS indexszel) az eszközök megtalálására. A SkillWeaver-t három fő beállításhoz viszonyították: egy brutális „LLM-Közvetlen” módszerhez, ahol az összes eszköz nevét betették a nagy modell promptjába, egy vanilla LLM-alapú lebontáshoz SAD nélkül, és egy ReAct-stílusú ügynöki ciklushoz. A kísérletek azt mutatták, hogy a feladatlebontás a legfőbb akadály. A standard LLM viselkedés nem elégséges, ha nagy eszközkönyvtárakkal foglalkozik, de a SAD visszajelzési hurok drámaian javítja az eredményeket. A vanilla beállításban a 7B modell a lebontás pontosságát (azaz a helyes lépésszám előrejelzését) csupán 51,0%-os arányban érte el. A SAD visszajelzési hurok aktiválásával a pontosság 67,7%-ra ugrott (a nagyobb Qwen-Max modellel a pontosság 92%-ra nőtt). A „nehéz” feladatok esetén, amelyek négy-öt eltérő készséget igényeltek, a SAD 50%-kal javította a pontosságot. Egy érdekes megállapítás volt, hogy a nagyobb modellek irányítás nélkül valójában rosszabbul teljesíthetnek. Amikor a vanilla beállításban tesztelték, egy 14 milliárd paraméteres modell pontossága a 7B modell alá csökkent, mivel hajlamos volt a feladatokat mikroszkopikus, szükségtelen lépésekre bontani. Miután bevezették a SAD-t, a visszakeresett eszközök utalása visszakapcsolta a modellt a valósághoz, és növelte a pontosságát. Ez arra utal, hogy az ügynököt a konkrét eszközök szókincsének megfelelően illeszteni gyakran hatékonyabb, mint drágább, nagyobb LLM-ek használata. Egy másik fontos tanulság a tokenmegtakarítás. Az LLM-Közvetlen alapvonal, amely a nagyon nagy Qwen-Max modellt használta, azt mutatta, hogy ha az összes eszközt betömörítik egy nagy modell promptjába, az kudarcot vall. Annak ellenére, hogy szinte tökéletes feladatlebontási képességekkel rendelkezik, a hatalmas modell a helyes eszköz kategóriát csak 21,1%-ban találta el, amikor elárasztották eszközopciókkal. A SkillWeaver célzott visszakeresési és irányítási megközelítése hatalmasan felülmúlta ezt a pontosságban, miközben a kontextuális ablak felhasználást 884,000 tokenről körülbelül 1,160 tokenre csökkentette egy lekérdezés során, ami 99,9%-os csökkenést jelent. A szakemberek számára ez közvetlenül alacsonyabb API költségekre és gyorsabb válaszidőkre fordítódik. Végül a hagyományos ReAct alapvonal teljesen kudarcot vallott, 0%-os bontási pontosságot elérve. Ciklusa természeténél fogva elszigetelt cselekvésekre bontja a többlépéses terveket, ahelyett, hogy egy koherens, többlépéses eszközsorozatot térképezne fel. Fejlesztői megfontolások A kutatók még nem tették közzé a SkillWeaver forráskódját, de munkahelyük olyan kész eszközökre épült, amelyek könnyen reprodukálhatóak. A Skill-Aware Decomposition (SAD), amely a keretrendszer szívében található kulcsinnováció, egy ügyes prompt-tervezési és visszakeresési hurok. A szerzők megosztották a prompt sablonokat a dolgozatukban, és a fejlesztők viszonylag könnyen megvalósíthatják ezt standard orkesztáló könyvtárak, például LangChain, LlamaIndex vagy akár nyers Python skripták segítségével. Ami a visszakeresési komponenst illeti, a szerzők az all-MiniLM-L6-v2 nyílt forráskódú embedding modell segítségével építették fel az alapkeretet. Megállapították, hogy egy kissé erősebb kész eszközhöz való átállás (BGE-base-en-v1.5) azonnal megemelte a pontosságot bármilyen finomhangolás nélkül. Míg egy kész kétirányú kódoló nagyszerű abban, hogy egy releváns eszközt a legjobb 10 jelölt közé juttasson közel 70%-os gyakorisággal, nehezen tudja következetesen az ideális eszközt a megfelelő számú helyre rangsorolni, amit csak körülbelül 37%-ban tud megtenni. Ennek a résnek a áthidalásához a csapatok valószínűleg egy másodlagos keresztkódolót vagy LLM-alapú újrarangsorolót kell implementáljanak, hogy a legjobb 10 jelöltet újrarendezzék. Egy fontos felkészülési követelmény a készségkönyvtár vektorozása és egy FAISS-index előzetes felépítése. A gyakorlatban ez elhanyagolható nehézséget jelent. Az összes 2,209 készség vektorozása és indexelése a tesztben mindössze 15 másodpercet vett igénybe. Miután elkészült, az indexből történő eszközkiválasztás lekérdezésenként kevesebb mint 15 milliszekundum késlekedést okoz. Vállalati környezetekben az eszközindex szinkronizálása egy triviális háttérfeladat. A SkillWeaver egyik jelenlegi korlátozása a hibahespre megoldásának hiánya. Bár a SkillWeaver sikeresen felvázolja a végrehajtáshoz szükséges kompatibilis DAG-ot, a szerzők pilot tanulmányukban különösen a többlépéses eszközláncok kihívásait felfedték. Például, ha egy API-hívás megszakad a második lépésben, az egész lánc megszakad. A cikk fő hozzájárulása a routing és tervezési fázisra korlátozódik. A valós produkciós telepítéshez a szakembereknek saját hibahespre, visszaesési és újrapróbálkozási mechanizmusokat kell kidolgozniuk az összeállító szakasz fölé, hogy kezeljék a valós API időszerűségi kimeneteleket vagy a hibás kimeneteket.