Modelo de aviones: Plano de control de código abierto para inferencia de IA

Las organizaciones que ejecutan modelos de peso abierto en hardware que poseen operan flotas de GPU distribuidas entre nubes, neoclouds y centros de datos en las instalaciones. Cada flota maneja la colocación de modelos, la escalabilidad de réplicas, la provisión de infraestructura, la distribución de pesos y el enrutamiento de tráfico. Los equipos han construido esta capa de coordinación a mano, un operador a la vez. Upbound, la empresa detrás del proyecto Crossplane, lanzó Modelplane, un plano de control de código abierto que gestiona la coordinación a nivel de flota para la inferencia de IA. El software se instala en el entorno propio del usuario.