Az Alibaba modellje soha nem volt ügynökként betanítva, és hét mérőszámon javította az ügynökök teljesítményét.

Az Alibaba Qwen csapata kedden bemutatta a Qwen-AgentWorld-öt - két modellt, amelyeket nem az ügynöki környezetekben való cselekvésre, hanem arra tanítottak, hogy megjósolják, mit adnak vissza ezek a környezetek. A kiadás hét területet ölel fel egyetlen architektúra keretein belül: MCP, Keresés, Terminál, Szoftverfejlesztés, Android, Web és OS. A kiadás kiterjeszti az Alibaba legutóbbi kezdeményezését az autonóm ügynökök terén. A májusban kiadott Qwen3.7-Max körülbelül 35 órás autonóm végrehajtási kapacitás köré épült. Ez a váltás célba veszi azt a plafont, amellyel a csapatok az ügynököket nagymértékben képzik. A valódi keresőmotorok megjelenítik a létező eredményeket, anélkül, hogy lehetőség lenne kontrollált körülmények bevezetésére. Az élő terminálok nem engedik meg egy, a diszkhely hiányát célzó körülmény igény szerinti bevezetését. Az ügynökök képzése azt határozza meg, amit a termelési környezetek megjelenítenek, anélkül, hogy rendszerszintű mód lenne az ügynökök számára szükséges, de a képzés során ritkán előforduló szélső esetek bemutatására. A kutatócsapat az így kapott szimulátorban képzett ügynököket, és olyan teljesítménynövekedéseket találtak, amelyek meghaladták a valós környezetek ellen végzett képzés eredményeit. Egy külön teszt során a világmodell-képzés mint bemelegítés az ügynöki finomhangolás előtt javította a teljesítményt hét benchmarkon, köztük háromon, amelyet a modell soha nem látott a képzés során. A kiadáshoz tartozó cikk feltárt egy hiányosságot a korábbi ügynöki kutatásokban. "Azt állítjuk, hogy a világmodellezés egy kulcsfontosságú hiányzó elem az általános ügynökökhez vezető úton." A Qwen-AgentWorld arra tanít, hogy mit adnak vissza a környezetek, nem arra, hogy mit kellene tenniük az ügynököknek. A legtöbb ügynökmodell arra a kérdésre tanítják őket, hogy: "Amit a környezet éppen mutatott, mit kellene tennem ezután?" A Qwen-AgentWorld arra tanít, hogy a fordított kérdésre válaszoljon: "Amit az ügynök éppen tett, mit fog mutatni a környezet ezután?" Ez a visszafelé fordítás a cikkben említett nyelvi világmodell lényege: ahelyett, hogy a cselekvésválasztásra optimalizálna, a modell megtanulja megjósolni a következő környezeti állapotot az összes hét területen egyetlen képzési cél mellett. A korábbi munka szűkebb volt: a WebWorld, a februári régebbi Qwen projekt, csak webkörnyezeteket ölelt fel; a Snowflake ügynöki világmodellje, amelyet ugyanezen a hónapban publikáltak, kódvezérelt, SQL-alapú környezeteket generál, nem pedig olyan modellt képez, amely megjósolja az állapotokat. A Qwen-AgentWorld az első, amely hét területet ölel fel egyetlen modellben, a környezeti modellezés már a legkorábbi előképzési szakaszban be van építve. Az Alibaba mindkét modellt három szakaszban tanította több mint 10 millió környezeti interakciós pályán, valós ügynökfutásokból. Az első szakasz megtanítja a modellnek, hogyan viselkednek a környezetek - fájlrendszerek, terminálállapotok, böngésző DOM változások, API válaszok. A második szakasz arra tanítja a modellt, hogy mi következik a jövőben, mielőtt azt megjósolná. A harmadik szakasz, a megerősítő tanulás, szigorítja a jóslásokat szabályalapú ellenőrzésekkel és nyitott minőségi értékeléssel. Mindkét modell Mixture-of-Experts tervezésű - csak egy töredéknyi paraméter aktív tokenenként. A 35B-as modell 3B-t aktivál; a 397B 17B-t aktivál. Mindkettő 256K kontextusablakot támogat. A GUI területeken (Android, Web és OS) a modellek szöveges hozzáférhetőségi fákról és UI nézeti hierarchiákról dolgoznak, nem képernyőfelvételekről. A 35B modellsúlyok és az AgentWorldBench az Apache 2.0 alatt elérhetők; a 397B súlyok nincsenek nyilvánosan kiadva. A képzési eredmények fontosabbak, mint a benchmarkok. A benchmarkpontszámok azt mutatják meg, hogy a modellek mennyire pontosan jósolják meg, amit a környezetek visszaadnak. A képzési eredmények azt mutatják meg, hogy ez a jóslási képesség valójában mennyit ér a csapatok számára, akik ügynököket építenek - és ezek azok a számok, amelyek fontosabbak. A kutatók szerint az irányított szimulációban képzett ügynökök jobban teljesítettek, mint a valós környezetek között képzettek. A célzott perturbációk - olyan részleges válaszok, amelyek extra ügynöki lépéseket kényszerítenek, és a szélső esetek, amelyek a valós környezetekben ritkán jelennek meg - a MCPMarkot 24,6-ról 33,8-ra emelték. A Keresésnél az teljesen fiktív világokban képzett ügynökök át tudtak lépni a valós keresési feladatokra, a WideSearch F1 Item 34,02-ről 50,31-re emelkedett az open 35B modellen. Egy külön bemelegítő teszt megmutatta, hogy a világmodell előképzés javította a BFCL v4-et 62,29-ről 71,25-re és a Claw-Eval-t 53,60-ról 64,88-ra ügynökspecifikus finomhangolás nélkül. A kutatók felhívják a figyelmet a benchmarkokra és a túltanulás kockázatára. A cikk azonnali reakciót váltott ki az AI kutatókból az X-en. Az aggodalmak, amelyeket emeltek, megfelelnek annak, amit a gyakorlók számára ellenőrizniük kell, mielőtt cselekednének a megállapítások alapján. A képzési célok és az átviteli eredmények kapcsán az AI/ML kutató egyik értékelése egyértelmű volt. "Minden egyéb 'ügynök' modellt a környezetekben való cselekvésre képeztek ki," írta @drawais_ai, aki PhD háttérrel rendelkezik, és rendszeresen elemzi az AI cikkeket. "A Qwen megfordította a kérdést. A modellt a környezet megjósolására képezték ki... Ez a prediktív tudás aztán átkerül az ügynöki feladatokra, még ügynökspecifikus finomhangolás nélkül is." Ő a Controllable Sim RL eredményt "a receptnek" nevezte azt állítva, hogy a szintetikus képzés helyettesítheti a valódi környezeti RL-t nagymértékben, és kiemelte, hogy a hét átadási benchmark közül három teljesen kívül esett a domainből. A benchmark különbsége azonnali vizsgálatot vonzott. "Az AgentWorldBench egy benchmark, amelyet az Alibaba épített és publikált ugyanabban a cikkben," írta @TheSignal_Desk, aki az AI kutatásban az őszinte véleményekre és a kulcsfontosságú számokra összpontosít. "Ők írták a tesztet, majd 0,46-tal túlteljesítették." A sim-RL módszertan a @limalemonnn által azonosított eredményt képvisel, aki termelési AI ügynököket épít, és a legnagyobb szükséget látja az átvizsgálásra, mielőtt a főcímbeli állítást idéznék. "A szimuláción képzett ügynökök hagyományosan túltanulják a szimulátor sajátosságait," írták. "Ha a világmodell túl tiszta, az ügynök a modellt, nem a feladatot tanulja meg." Felhívták a figyelmet a cikkben található kizárólagossági részre, mint amire a gyakorlóknak figyelniük kell, mielőtt cselekednének a számok alapján. A túltanulási aggodalmakra a adatokban részleges válasz van. A kontrollált Sim RL (MCPMark 24.6) és a kontrollált Sim RL (MCPMark 33.8) közötti különbség arra utal, hogy a nyereségek jelentős mértékben függenek a kontrollálhatósági mechanizmustól, nem csupán a szimuláció pontosságától. A fiktív világban végzett keresési eredmények, ahol az kitalált környezetekben képzett ügynökök tényleges keresési feladatokba lépnek át, a cikk legjobb bizonyítéka a túltanulási aggodalmak ellen. Mit jelent ez a csapatok számára, akik ügynöki csatornákat építenek? Az AI mérnöki csapatok számára, akik ügynöki csatornákat építenek és skáláznak, ez a munka lényeges elmozdulást jelöl az ügynöki képességek kiépítésének módjában. A nagy méretű ügynökök képzésére összpontosító csapatoknak most már van egy harmadik lehetőségük a valós környezeti RL és a statikus benchmarkok között: kontrollált szimuláció, amely bevezeti a termelés által nem megjelenített szélső eseteket. A szintetikus környezetek egy legitim képzési réteget képviselnek. Az olyan kontrollált szimuláció, amely olyan körülményeket injectál, amelyeket a valós környezetek nem produkálnak, kiegészítése a valós környezeti RL-nek, nem pedig egy rövidítés annak megkerülésére. Az, hogy mit tanul meg egy modell, mielőtt az ügynöki képzés megkezdődik, fontosabb, mint amit a legtöbb csatorna számol. A bemelegítő megállapítása - a teljesítménynövekedések a még nem látott benchmarkokon ügynökspecifikus képzés nélkül - arra utal, hogy a környezeti alapozás korábban a fejlesztésben fontosabb, mint a jelenlegi gyakorlat.