DigitalOcean Értékelések: Termelési Modell és Router Tesztelés az Inference Stack számára

A megfelelő modell vagy inferenz router kiválasztása a termeléshez többet jelent, mint csupán egy rangsort olvasni. Ez azt jelenti, hogy érvényesíteni kell minden modellt vagy irányítási konfigurációt a saját adataidon, a saját promptjaiddal és értékelési kritériumaiddal, mielőtt azok megérkeznek a termelésbe, és egy helyen kell összehasonlítani a minőséget, késleltetést és költségeket. Az értékelések, amelyek most már elérhetők a DigitalOcean Inference Engine-en, lehetővé teszik a csapatok számára, hogy érvényesítsenek bármilyen modellt vagy inferenz router konfigurációt saját adataikon a termelés előtt. Készítsd el a strukturált LLM-as-a-Judge értékeléseket a katalógusmodellek, finomhangolt modellek, BYOM importok és router beállítások között anélkül, hogy külön értékelési infrastruktúrát kellene rendelni. DigitalOcean Értékelési Képességek Az értékelések mindent biztosítanak, amire a csapatoknak szükségük van a modell és a router teljesítményének érvényesítéséhez a termelés előtt. Az LLM-as-a-Judge pontozás bármely jelöltre kiterjed az értékelési csoportban, és visszaadja az egyes tételek pontszámait a bíró indoklásával, plusz a futás során mért késleltetést, token használatot és költségkövetést. Hat előre beépített metrika borítja a leggyakoribb értékelési igényeket dobozból. Azok számára, akik teljes irányítást igényelnek: testreszabható rubrikák, újrahasználható előbeállítások, MCP támogatás és teljes adathalmozás — mindez ugyanabban a platformban, mint az infrastrukturális végpontok, amelyeket a termelésben használsz. Előre Beépített és Testreszabható Rubrikák: Pontozás Azokkal a Kritériumokkal, Amelyek Megfelelnek a Területnek A hat előre beépített metrika, a helyesség, teljesség, hűség, PII, Toxicitás és torzítás, lefedi a leggyakoribb értékelési igényeket. A specializált területek számára a testreszabható rubrikák lehetővé teszik a csapatok számára, hogy közvetlenül a bíró promptban határozzák meg a saját bírói utasításaikat és pontozási kritériumaikat. A bíró ezeknek a kritériumoknak megfelelően értékeli a válaszokat, és visszatér az egyes tételek pontszámaival és indoklásával. A testreszabható rubrikák a beépített helyességi metrikát is alkalmazhatják eltérő adatformátumokra, ahelyett, hogy a default értelmezésre támaszkodnának. Értékelési Előbeállítások: Konfigurációk Mentése és Újrafuttatás Újraépítés Nélkül Elmentett konfigurációk nélkül minden újrafuttatás újjáépítést jelent különböző bírói modellekkel, paraméterekkel vagy promptokkal, ami megnehezíti az eredmények összehasonlítását. Az értékelési előbeállítások tárolják egy futás teljes konfigurációját, beleértve a bírói modellt, metrikákat, rendszermutatót és paramétereket, így a csapatok újra felhasználhatják őket modell és router verziók között, és közvetlenül összehasonlíthatják az eredményeket a v1, v2 és v3 finomhangolások között. MCP Támogatás: Értékelések Programozott Indítása Az ügynöki munkafolyamatok és CI csövek számára az értékelések nem lehetnek manuális lépés ezen munkafolyamatokban. Az MCP támogatás lehetővé teszi értékelési feladatok programozott aktiválását a modell regisztrálási eseményeiből, telepítési riasztásokból vagy ütemezésekből. API és SDK végpontok is elérhetők azok számára, akik az értékeléseket beépítik a telepítési munkafolyamatokba. Adathalmozás: Értékelési Adatok Kezelése Elsőbbségi Erőforrásként Az adatokat egy helyen lehet feltölteni, verzionálni, újrahasználni és törölni. Minden feltöltés létrehoz egy verzionált adathalmazt, amely az értékelési futásokhoz kapcsolódik a forráshoz való nyomon követhetőség érdekében. Az adathalmozás támogatja a CSV és JSONL formátumokat, akár 1 GB vagy 1,000 sor méretig a Console vagy cURL segítségével. Opcionálisan az alapvető igazságos oszlopok is hozzáadhatók, hogy lehetővé tegyék a hűség pontozását. Hogyan lehet hozzáférni az Értékelésekhez Hagyja figyelmen kívül az önálló értékelő eszközöket. Az értékelések natívan integrálva vannak a DigitalOcean környezetedbe, tehát azokon a végpontokon értékelhetsz, amelyeket használat során szolgáltatsz, az általunk teljesen irányított infrastruktúrán. Az értékelések támogatják bármilyen modell vagy inferenz router érvényesítését a stackben, beleértve a DigitalOcean Modell Katalógusból, Dedikált Inferenz végpontokból, BYOM importokból a Hugging Face-ről vagy Spaces-ről, és router konfigurációkat. Az összes értékelés termelési szintű végpontok ellen fut. Az értékelések támogatják a bírói modellek széles skáláját, beleértve a DeepSeek-R1-Distill-Llama-70B és Qwen3-32B modelleket. A prémium kereskedelmi modellek (OpenAI és Anthropic) hozzáférése jelöltek vagy bírák számára tier 2 fiókot igényel. A Console-ban előre kifizethető az átállás a tier 2-re, majd feloldhatja a prémium modell hozzáférést. A számlázás a jelölt és bíró modell által elfogyasztott inference tokenek alapján történik. Az adathalmozás és az eredmény tárolása első 12 hónapra díjmentes. A belépőid, kilépőid és alapvető igazságok csak a bírói modell szolgáltatónak kerülnek átadásra pontozáshoz. Ezeket nem tárolják a DigitalOceanon kívül, és nem használják modellek képzésére. A teljes dokumentáció, beleértve az adathalmaz formázási követelményeit, előbeállítások konfigurálását és MCP indító beállításait, itt érhető el. Kezdj Értékelni, Mielőtt Szállítanál A modell- és routerdöntések nem állnak meg a megjelenés után. Az értékelések megismételhető módot adnak arra, hogy érvényesítsd a munkaterheiden, a kritériumaid ellen, ugyanazon a végponton, amelyet a felhasználóid használnak, ahogy a stack fejlődik. Futtasd az első értékelésedet ma a DigitalOcean Cloud Console-ban.