Modelplane: Nyílt forráskódú vezérlőfelület az AI következtetésekhez

Azok a szervezetek, amelyek nyílt súlyú modelleket futtatnak a saját hardverükön, GPU-flotta üzemeltetését végzik, amely eloszlik felhők, neofelhők és helyi adatközpontok között. Minden flotta kezeli a modellek elhelyezését, replikák méretezését, az infrastruktúra biztosítását, a súlyok elosztását és a forgalom irányítását. A csapatok ezt a koordinációs réteget kézzel építették fel, egy üzemeltetőnként. Az Upbound, a Crossplane projekt mögötti vállalat, kiadta a Modelplane-t, egy nyílt forráskódú vezérlő síkot, amely kezeli a flotta szintű koordinációt az AI következtetésekhez. A szoftver a felhasználó saját környezetébe telepíthető. A bejegyzés legelső megjelenése: Modelplane: Nyílt forráskódú vezérlő sík az AI következtetésekhez a Help Net Security oldalon.