A Trunk Tools dokumentum-ellenőrzési rendszere 60 napról 10 napra csökkentette a feldolgozási időt a általános célú modellek eltávolításával.

A legtöbb szektor nem tiszta, jól működő SaaS adatbázis; a valóság csúnya dokumentumok, sajátos séma, implicit munkafolyamatok és hosszú ideig tartó feladatok, amelyekkel a legtöbb általános célú modell küzd. Ez arra késztette a Trunk Tools építőipari projektmenedzsment céget, hogy egy speciális, háromszintű architektúrát építsenek — észlelés, szemantika, ügynökök — rendkívül részletes adatokra alapozva, hogy támogassák a magas pontosságú, iparág-specifikus automatizálást. Célzott megoldásuk összezsugorította a felülvizsgálati ciklusokat hónapokból napokra, megakadályozta a költséges területi hibákat, és autonóm ügynököknek adta meg a képességet, hogy milliomnyi dokumentumot elemezzenek — mondta a Trunk. „Valóban azt tűztük ki célul, hogy az szétszórt rendszerekből kinyerjük az adatokat, előfeldolgozzuk, struktúrába helyezzük, átmenjünk a ontology-nkon egy tudásgráfhoz, majd AI modelleket képezzünk” — mondta Sarah Buchner, a Trunk alapítója és vezérigazgatója, aki korábban asztalos volt. Az építkezés más szektoraiban a Trunk megközelítése mintaértékű lehet az adatok káoszának ügynökbarát, iparág-specifikus munkafolyamatokra való átalakításához. Míg az általános célú LLM-ek az iparági adatokban gyengélkednek, a foundation LLM-ek, bár erősek, a széles spektrumra optimalizáltak, nem mindig a mélységre. „Az általános célú LLM-eket arra képezték, hogy mindenben elfogadhatóak legyenek, tehát gyengék bármilyen niche területen” — mondta Kriti Faujdar, egy AI infrastruktúrával, ügynöki AI-vel, biztonsággal és LLM platformokkal foglalkozó senior termékmenedzser. Például: ritka kifejezések, iparág-specifikus érvelés, a nem mondott kontextus, amit bármely gyakorló „csak tud”. Sébastien De Bollivier, web- és szoftverfejlesztő egyetértett azzal, hogy a legnagyobb szűk keresztmetszet a „zsargonnal terhelt, rövidítésekkel teli és formátum-specifikus” adatok megbízhatósága. „Egy GPT-4-osztályú modell megérti a francia jogi szerződést, de a konkrét cikkreferenciákra, amelyeket a szakembereknek idézniük kell, megbotlik” — mondta. Ráadásul a legértékesebb vállalati adatok soha nem kerültek be az előképzésbe, mutatott rá Faujdar. Ezek belső rendszerekben és saját formátumokban ülnek. „A RAG kicsit segít” — mondta. „De csak jobb tényeket ad egy olyan modellnek, amely még mindig nem tud megfelelően érvelni a területen.” Az iparági adatok előképzése kritikus; a vállalatoknak ezután jó feladatpéldákon kell finomhangolnia és saját értékeléseket kell kidolgoznia. „Néhány ezer példa valódi szakemberektől felülmúlja a milliókban gyűjtött, zajos példákat” — mondta Faujdar. A szakértői keverék (MoE) specializációt tud nyújtani anélkül, hogy az inferencia költségei megugranának. A RAG és a finomhangolás párosítása is jól működik; a RAG kezeli a tények hosszú láncát, míg a finomhangolás javítja a szókincset és az érvelést. De Bollivier a hibrid verem előnyeire mutatott rá: egy általános célú modell az érveléshez és az irányításhoz, egy kisebb, finomhangolt modell (vagy sűrített keresés egy válogatott corpuson) az iparág-specifikus kiemeléshez. Azt tanácsolta: „Ne finomhangolja a modellt, hogy a területen 'okosabb' legyen, finomhangolja, hogy megbízhatóbb legyen a munkafolyamatához szükséges specifikus kimeneti formátumról.” Az építőipar és a kereskedelem valóban olyan iparágak, amelyek ezen technikák iránt érdeklődést mutatnak, mondta De Bollivier. Ezek a szektorok „magas kockázatú hibákkal plusz standardizált dokumentumformátumok, ami világos iparági képzési ROI-t eredményez.” Egy őszinte figyelmeztetés, amit érdemes megemlíteni — mondta Faujdar: A szakosodott modellek gyakran összeomlanak a saját területükön kívül, így gyakran nem hasznosak a szakértelmükön kívül (kivéve, ha újra képezik őket). Észlelés, szemantika, ügynökök: Trunk háromszintű veremének belsejében Az erősen specializált területeken, mint az építőipar, a „data dumpok” a nagy nyelvi modellekbe (LLM) nem érnek fel — mondta a Trunk technológiai vezetője, Amrish Kapoor. Ennek oka, hogy a legtöbb transzformátor valószínűségi modell: Ha egy képet adnak, azt jelentik, hogy „valószínűleg” egy fa, vagy „valószínűleg” egy fa mellett játszó gyermek. Ez elégtelenné teszi őket a magas pontosságú szimbolikus értelmezéshez. Például az építőipari dokumentumokban egy 2 milliméter széles szimbólum teljesen más jelentéssel bír, attól függően, hogy hol helyezkedik el. Ráadásul, a kontextus korlátozása miatt, a valószínűségi modellek küzdenek a hosszú távú projektmemóriával. „Nem azt értem rövid kontextusablak alatt, amely néhány tokenből áll” — mondta Kapoor. „Hosszú távú memóriáról beszélek, amely hónapokat és éveket ölel fel, mert ezek a projektek ilyen hosszúak.” Ehelyett a Trunk háromszintű rendszere a munkafolyamatokat a következőkre bontja: Észlelés (adatok olvasása és kinyerése rendezetlen dokumentumokból, mint például PDF-ek, tervek vagy beolvasások) Szemantika/grafikus réteg (a adatok értelmezése és a közötti kapcsolatok megértése). Az LLM-ek és az ügynökök a tetején. Az építkezési rajzok jellemzően szimbolikusak — mondta Buchner. Az ajtó nem mindig „ajtó” feliratú. Néha csak egy ív egy falon, amit egy gyakorlott szem évek alatt tanul meg elolvasni. „Az észlelési réteg az, ami megtanítja az AI-t ezt a nyelvet olvasni” — mondta. A szemantikai réteg pedig értelmet ad ennek az információnak; például összekapcsolva az ajtót a tervvel, ami részletezi azt, aspecifikációval, ami irányítja, és a kereskedelemmel, ami telepíti. Ez segít válaszolni a projektmérnökök kritikus kérdéseire: Nem azt kérdezik, "itt van egy ajtó?", hanem azt, "ez az ajtó problémát okoz-e a későbbiekben?" Különösen az építőiparban ez a váltás fontos, mert a probléma költsége idővel gyarapodik. „A kialakítás során észlelt konfliktus viszonylag alacsony költséggel kezelhető” — mondta Buchner, „míg ugyanez a probléma a helyszínen észlelve tízezrekbe kerülhet.” Magas szinten a rendszer azonosítja a dokumentumtípust és elkezdi kinyerni az információt az tartalom alapján (rajzból, ütemtervekből, bekezdés szövegéből). Ez az adat „átalakul és kiegészül” a platformon, ami elindítja az ügynöki munkafolyamatokat, mint a tudásgráf kapcsolatai és a végfelhasználói munkafolyamatok. Például egy ügynök áttekintheti egy építészeti közleményt és vizuális átfedést készíthet egy régebbi és egy újabb verzió között (kiemelve a kiegészítéseket és eltávolításokat), majd írásos narratívákat generál, amelyek egyszerű kifejezésekben ismertetik, hogy mik ezek a változások. Ez segít a felhasználóknak megérteni, mi változott, és koordinálni a kereskedelmi partnerekkel a frissített árképzés és változási megrendelések ügyében. Az építőipar adatproblémájának mértéke Az építkezési munkafolyamatok „teli vannak implicit feltételezésekkel és kapcsolatokkal az adatok között a sokféle forrásban” — mondta Buchner. Azonban az strukturálatlan adat mennyisége „emberileg lehetetlen” feldolgozni vagy értelmezni. Buchner becslése szerint egy átlagos magasépület körülbelül 3,6 millió oldal dokumentációt generál. „Ha papírokra nyomtatja, annyira magas lenne, mint az épület maga.” A Trunk három rétege — észlelés, szemantikai, LLM — „nagyon specifikus adatbázisokon” lett képezve, ügyfelektől „kifejezett engedéllyel” és automatikus címkézéssel/IP-vel — magyarázta Kapoor. Az olyan ügyfelek, akik nem akarják, hogy a Trunk az adataikon képezzen, kiléphetnek. Az adatok anonimizáltak és aggregálva vannak, és a Trunk emellett „tonna többet” gyűjt címkézett adatokból más csatornákon, például 3D épületinformációs modellezés (BIM) során. A Trunk azt állítja, hogy csak azokat az ügynököket szállítják, amelyek körülbelül 95%-os pontossággal működnek. A csapat folyamatos értékelési csatornákat tart fenn az ügyféltől és szakértőktől származó valódi adatok alapján. LLM-eket bíróként is alkalmaznak. „Ennek az elképzelésnek az LLM bíróként annyi, hogy értékelje, mennyire teljesít jól, szubjektíven és objektíven” — mondta Kapoor. Az objektivitás egyszerűen „helyes” vagy „nem helyes” lehet, de a szubjektivitás több árnyalatot igényel. Például, amikor e-maileket, narratívákat vagy magyarázatokat készítenek, egy LLM bírói keret létrehozhat egy összesített pontszámot, vagy egy numerikus értéket, amely összegzi a különböző mutatókat, és teszteli a modell teljesítményét vagy kockázatát. Vannak azonban kihívások is, különösen a késleltetéssel kapcsolatban, jegyezte meg Buchner; bármikor, amikor az alapmodell érvelési kapacitása megnő, a késleltetés kockázata is nő. A Trunk fenntart egy értékelési kritériumkészletet az objektív késleltetés mérésére, amikor bármilyen változtatást eszközölnek az alap infrastruktúrán, ügynökökön és API hívásokon. „Akkor, mielőtt az ügyfeleknek kiadnánk, biztosítjuk, hogy a végfelhasználói élményre vonatkozó marginalis változtatások érdemben javítsák a teljesítmény javulásait” — mondta Buchner. 60 napról 10-re: az mérhető előny A Trunk platformja hét, építésre specializált AI ügynököt működtet, mint például az információkérés (RFI) válaszok elemzése, ajánlatok áttekintése vagy rajzok és benyújtások ellenőrzése. A benyújtási ügynök például jelzi a hiányzó, ellentmondó vagy nem szabványos információkat a termékek specifikációiban és RFI-kben. Bár ez egy alapvető lépés az építkezési folyamatban, „ez egy rendkívül bosszantó munkafolyamat” — mondta Buchner, mivel az emberi ellenőröknek össze kell hasonlítaniuk a dokumentumokat „más dokumentumok tömegével”. De az ügynök ezt másodpercek alatt képes megtenni, és a Trunk azt állítja, hogy 50-60 napról 10-re csökkentette a benyújtási ciklusokat, „amely hatalmas ütemezési és pénzügyi következményekkel jár.” A Trunk most elérte azt a szintet, ahol ezek az ügynökök közvetlenül kommunikálnak egymással, ami „meglehetősen izgalmas” — mondta Buchner. Tehát például egy ügynök megnézi egy építészeti rajz pontosságát, majd autonóm módon átadja az RFI-kkel foglalkozó ügynököknek, követve a további kérdéseket. „Ha a rajzokban problémák merülnek fel, az RFI ügynök átveszi az irányítást és aktívan keresni fogja a tisztázást” — magyarázta Buchner. A Trunk azt állítja, hogy az ügyfeleik 20-40 percet takarítanak meg egy terepi kérdésnél. Buchner szerint a terepen lévő felhasználók jobban tudják, mint bárki más, hogy mekkora „időpazarlás” visszajárni az irodai konténerekhez, átnézni a projekt dokumentumait szétszórt rendszerekben vagy nyomtatott PDF-ben, összeegyeztetni a eltéréseket, és visszatérni a kereskedelmi partnerekkel való koordinációhoz. A Trunk ügyfelei a következő további eredményeket számolnak be: Átlagos 8 perces időmegtakarítás egyetlen dokumentum visszakeresés esetén (státuszellenőrzések, helymeghatározási lekérdezések, mennyiségi kérdések). Átlagos 20 perces időmegtakarítás a standard hivatkozások esetén (2-3 specifikációs szakasz keresztbekapcsolásával válasz formálása). Átlagos 40 perces időmegtakarítás többszörös dokumentumkutatásnál (lekérdezések listázása és szűrése, kapcsolatok térképezése, RFI-k és benyújtások elemzése 4-6 dokumentum között). Átlagos 75 perces időmegtakarítás összetett feladatoknál (RFI-k és egyéb kommunikációs anyagok létrehozása, mély keresztbe kapcsolások dokumentumok között, változások nyomon követése). Egy esetben a Trunk rajzellenőrző ügynöke jelezte, hogy egy szerkezeti gerenda 8,5 hüvelykkel feljebb lett helyezve. Azonban ezt az építész nem dokumentálta. Ha a változást nem észlelik, a projektmenedzser valószínűleg ki kellett volna venni és újra kellene telepíteni a megfelelő méretű gerendát — mondta Buchner. Ez a munka 10,000 dollárba vagy többe került volna, és „biztosan következményekkel járt volna az ütemezést illetően.” Buchner más példákat is említett: egy ügynök észlelt egy 60,000 dolláros eltúlozott árat a tájépítési alvállalkozóktól, igazolás nélkül; egy kandalló azonosítása, amelyet a gipszkarton telepítése előtt le kellett zárni, körülbelül 100,000 dollár megtakarítással a munkaerőt, anyagokat és késéseket tekintve; és jelezte, hogy egy elektromos ajtóhoz szükséges egy panel, amelyet az elektromos rajzok nem tartalmaztak. Tanulságok más iparágak számára A Trunk ügynökök építéséhez való megközelítése alkalmazható bármely olyan szektorra, amely magas mennyiségű strukturálatlan, iparág-specifikus adatokkal dolgozik. Az iparági specifikus területeken dolgozó építőknek meg kell érteniük az ipar specifikus adatkihívásait, amelyekkel a végfelhasználók szembesülnek, és olyan technikai infrastruktúrát kell építeniük, amely képes átalakítani a strukturálatlan adatokat olyanná, amit egy „LLM képes áthaladni és megérteni” — mondta Buchner. „Csak akkor tudod kialakítani az adatpontok közötti kapcsolatokat, amelyek végső soron táplálják az ügynöki munkafolyamatokat.” Sok pénz befektetésre kerül az alapmodellekbe, ezért a vállalatoknak moduláris rendszereket kell építeniük, amelyek képesek kihasználni a különböző modellek előnyeit, amelyek folyamatosan fejlődnek — tanácsolta Buchner. „Ezután építsd fel a technikai előnyödet, ahol az általános modellek nem fektetnek be, és nem teljesítenek jól” — mondta.