Red Hat OpenShift ofrece inferencia de LLM de alto rendimiento para servicios financieros.

La industria de los servicios financieros, al igual que muchos otros sectores, busca aprovechar al máximo su hardware en la era de las cargas de trabajo de IA intensivas en recursos. Las empresas de servicios financieros han llegado a depender de las ventajas de una arquitectura basada en contenedores, pero pueden preocuparse de que las plataformas de orquestación de contenedores añadan penalizaciones de rendimiento que podrían agravar las limitaciones de recursos. Los resultados de una nueva auditoría de STAC-AI™ LANG6 (solo inferencia), el estándar de la industria para evaluar el rendimiento de la inferencia de modelos de lenguaje grandes (LLM) en los servicios financieros, pueden ayudar a aliviar esas preocupaciones.