Evaluaciones de DigitalOcean: Modelo de producción y pruebas de enrutador para la pila de inferencia.

Elegir el modelo o enrutador de inferencia adecuado para producción significa más que solo leer una tabla de posiciones. Implica validar cualquier modelo o configuración de enrutamiento en tus propios datos utilizando tus propios mensajes y criterios de evaluación antes de que llegue a producción, y comparar calidad, latencia y costo en un solo lugar. Las evaluaciones, ahora disponibles en el Motor de Inferencia de DigitalOcean, permiten a los equipos validar cualquier configuración de modelo o enrutador de inferencia en sus propios datos antes de la producción. Realiza evaluaciones estructuradas LLM-as-a-Judge en modelos de catálogo, modelos ajustados, importaciones BYOM y configuraciones de enrutadores sin tener que integrar un stack de evaluación separado.

Capacidades de Evaluaciones de DigitalOcean

Las evaluaciones proporcionan todo lo que los equipos necesitan para validar el rendimiento del modelo y del enrutador antes de la producción. La puntuación LLM-as-a-Judge se aplica a cualquier candidato en tu stack de inferencia y devuelve puntuaciones por ítem con la justificación del juez, además de seguimiento de latencia, tokens y costos por ejecución. Seis métricas predefinidas cubren las necesidades de evaluación más comunes desde el primer momento. Para equipos que necesitan control total: rubricas personalizadas, presets reutilizables, soporte MCP y gestión completa de datasets, todo en la misma plataforma que los puntos finales de inferencia que utilizas en producción.

Rubricas Preconstruidas y Personalizadas: Califica Según Criterios Que Coincidan Con Tu Dominio

Las seis métricas predefinidas —exactitud, completitud, fidelidad, PII, toxicidad y sesgo— cubren necesidades de evaluación comunes. Para dominios especializados, las rubricas personalizadas permiten a los equipos definir sus propias instrucciones y criterios de puntuación directamente en el mensaje del juez. El juez evalúa las respuestas según estos criterios y devuelve puntuaciones por ítem con justificación. Las rubricas personalizadas también pueden adaptar la métrica de exactitud incorporada a diferentes formatos de datos en lugar de depender de una interpretación predeterminada.

Presets de Evaluación: Guarda Configuraciones y Reejecuta Sin Reconstruir

Sin configuraciones guardadas, cada reejecución se convierte en una reconstrucción con diferentes modelos de juez, parámetros o mensajes, dificultando la comparación de resultados. Los presets de evaluación almacenan la configuración completa de una ejecución, incluyendo el modelo del juez, métricas, mensaje del sistema y parámetros, para que los equipos puedan reutilizarlos en diferentes versiones de modelos y enrutadores y comparar resultados directamente entre v1, v2 y v3 de ajustes.

Soporte MCP: Activa Evaluaciones Programáticamente

Para flujos de trabajo automatizados y pipelines de CI, las evaluaciones no pueden ser un paso manual en estos flujos de trabajo. El soporte MCP permite que los trabajos de evaluación se activen programáticamente a partir de eventos de registro de modelos, desencadenantes de despliegue o programaciones. También hay disponibles endpoints de API y SDK para equipos que integran evaluaciones en flujos de trabajo de despliegue.

Gestión de Datasets: Gestiona Datos de Evaluación Como un Recurso de Primera Clase

Los datasets pueden ser subidos, versionados, reutilizados y eliminados en un solo lugar. Cada subida crea un dataset versionado vinculado a ejecuciones de evaluación para rastrear la trazabilidad de los datos de origen. Los datasets admiten formatos CSV y JSONL de hasta 1GB o 1,000 filas a través de la Consola o cURL. Se pueden incluir columnas de verdad fundamental opcionales para habilitar la puntuación de fidelidad.

Cómo Acceder a Evaluaciones

Omitir las herramientas de evaluación independientes. Las evaluaciones están integradas de forma nativa en tu stack de DigitalOcean, por lo que evaluarás contra los mismos puntos finales que usas, en infraestructura que gestionamos de principio a fin. Las evaluaciones admiten validar cualquier modelo o enrutador de inferencia en tu stack, incluidos modelos del Catálogo de Modelos de DigitalOcean, puntos finales de Inferencia Dedicados, importaciones BYOM de Hugging Face o Spaces, y configuraciones de enrutadores. Todas las evaluaciones se realizan contra puntos finales de calidad de producción. Las evaluaciones admiten una variedad de modelos de juez, incluyendo DeepSeek-R1-Distill-Llama-70B y Qwen3-32B. El acceso a modelos comerciales premium (OpenAI y Anthropic) como candidatos o jueces requiere una cuenta de nivel 2. Puedes completar un prepago en la Consola para pasar al nivel 2 y desbloquear el acceso a modelos premium. La facturación se basa en los tokens de inferencia consumidos por el candidato y el modelo de juez. El almacenamiento de datasets y resultados se proporciona sin costo adicional durante los primeros 12 meses. Tus entradas, salidas y la verdad fundamental se envían al proveedor del modelo de juez solo para puntuación. No se almacenan fuera de DigitalOcean ni se utilizan para entrenar modelos. La documentación completa, incluidos los requisitos de formato de dataset, configuración de presets y configuración de disparadores MCP, está disponible aquí.

Comienza a Evaluar Antes de Desplegar

Las decisiones sobre modelos y enrutadores no se detienen después del lanzamiento. Las evaluaciones te brindan una forma repetible de validar en tus cargas de trabajo, según tus criterios, en los mismos puntos finales que utilizan tus usuarios, a medida que tu stack evoluciona. Realiza tu primera evaluación en la Consola de la Nube de DigitalOcean hoy.