El HarnessX de Xiaomi reescribe su propia estructura de IA en medio de la tarea, y los modelos más pequeños son los que más ganan.

A medida que los agentes de inteligencia artificial empresarial asumen tareas cada vez más complejas y a largo plazo, su rendimiento a menudo está restringido por su arnés, la estructura de software que conecta el LLM base con su entorno. Actualmente, los arneses son en su mayoría estáticos y hechos a mano. Mejorarlos es en gran parte manual y no mejoran automáticamente basándose en los datos de ejecución que recopilan de su entorno. Para abordar este cuello de botella en la ingeniería, investigadores de Xiaomi introdujeron HarnessX, un marco que trata el arnés de IA como un objeto componible y aplica mejoras a su código de forma autónoma. En aplicaciones empresariales del mundo real, esta adaptación automatizada permite que los sistemas de IA se ajusten de manera dinámica a los requisitos específicos de la aplicación. Pruebas prácticas mostraron que HarnessX proporciona ganancias sustanciales en el rendimiento en dominios como la ingeniería de software y la interacción web. Los resultados demuestran que escalar el modelo base no es el único camino hacia una IA más capaz; de hecho, para modelos más pequeños, puede que ni siquiera sea el mejor. La evolución del arnés de HarnessX obtuvo un aumento promedio del +14.5% en el rendimiento a través de 15 combinaciones de modelo y benchmark; para el Qwen3.5-9B de peso abierto, las ganancias alcanzaron el +44% en tareas de planificación incorporada. Los desafíos de la ingeniería de arneses En las aplicaciones de IA, la capacidad de un modelo base depende en gran medida de su arnés circundante. El arnés actúa como la capa operativa que convierte las salidas en bruto del modelo en comportamientos ejecutables estructurados. Está compuesto por los mensajes, integraciones con herramientas externas, gestión de memoria y flujos de control que dictan cómo un sistema de IA observa su entorno, razona sobre un problema y toma acción. A medida que los agentes empresariales asumen flujos de trabajo más complejos y a largo plazo, la ingeniería de arneses se ha convertido en una parte fundamental del desarrollo de IA. A pesar de su importancia, el desarrollo de arneses aún está lejos de ser una disciplina de ingeniería madura y presenta tres desafíos clave. Primero, los arneses son estáticos y diseñados manualmente. Cualquier cambio en el modelo base subyacente, la introducción de nuevas herramientas o un giro hacia un dominio operativo diferente requiere reescrituras de código personalizadas y manuales. Los arneses tradicionales carecen de mecanismos para aprender y mejorar de manera autónoma a partir de experiencias de ejecución pasadas. En segundo lugar, la mayoría de los arneses existentes sufren de enredamiento arquitectónico. Acoplan de manera estricta las plantillas de mensajes, los envoltorios de herramientas, las políticas de reintento y la gestión de memoria dentro de los mismos caminos de código. Este enredamiento significa que ajustar un componente puede romper silenciosamente a otros. Intentar reutilizar un arnés en diferentes dominios empresariales a menudo se convierte en una simple copia de código en lugar de una composición limpia y modular. En tercer lugar, el arnés y el modelo base se optimizan en aislamiento. Cuando los ingenieros realizan pruebas para mejorar el arnés, las trazas de ejecución generadas suelen ser descartadas en lugar de usarse como datos de entrenamiento para mejorar el modelo. Como resultado, las actualizaciones del modelo no conducen naturalmente a mejoras en el arnés, creando un cuello de botella donde los equipos no logran capturar el valor completo de los datos operacionales de su agente. HarnessX: una fundición autónoma para agentes de IA HarnessX resuelve los cuellos de botella de ingeniería del desarrollo manual de arneses con lo que los investigadores llaman una "fundición de arneses unificada". La innovación central de HarnessX es tratar el arnés como un "objeto de primera clase". En términos de ingeniería de software, esto significa que el arnés es una entidad modular, serializable y sustituible de forma independiente. Al separar la configuración del modelo (es decir, qué modelo de IA está funcionando) de la configuración del arnés, los ingenieros pueden intercambiar, adaptar y evolucionar la estructura sin tocar el modelo subyacente. HarnessX descompone el comportamiento del agente en diferentes componentes, como la ensamblaje de contextos, la gestión de memoria, los ecosistemas de herramientas, el flujo de control y la observabilidad. Cada comportamiento específico se implementa como un "procesador" que se conecta a ganchos de ciclo de vida precisos del arnés. Esta estructura modular permite al sistema cambiar, agregar o eliminar estos procesadores sin romper el pipeline circundante. Para automatizar la optimización de esta estructura modular, HarnessX introduce AEGIS, un motor de evolución basado en trazas. AEGIS enmarca la adaptación del arnés como un problema de aprendizaje por refuerzo (RL) sobre los diferentes componentes simbólicos del arnés. Enmarcar la optimización del arnés como un problema de aprendizaje por refuerzo introduce tres patologías contra las que los investigadores debieron ingenierar explícitamente: Manipulación de recompensas: El sistema podría explotar atajos hacia la solución en lugar de resolver genuinamente la tarea. Olvido catastrófico: Una edición que corrige un patrón de fallo en un dominio podría romper silenciosamente un flujo de trabajo previamente resuelto en otro. Sub-exploración: El sistema podría iterar sobre pequeños ajustes de mensajes en lugar de explorar nuevas configuraciones de herramientas estructuralmente superiores. Para prevenir estos problemas, AEGIS se basa en una observabilidad de trazas completas y una pipeline de cuatro etapas: Digestor: Comprime las trazas de ejecución en resúmenes estructurados para identificar dónde falló el agente. Planificador: Analiza estos resúmenes para permitir que el sistema explore cambios estructurales en lugar de solo pequeños ajustes de mensajes. Evolucionador: Genera ediciones a nivel de código del arnés y pruebas para asegurar que funcionen correctamente antes del despliegue. Crítico y puerta: Un Crítico evalúa las ediciones para detectar manipulaciones de recompensa, mientras que una puerta determinista rechaza cualquier actualización que regrese a una tarea previamente resuelta para prevenir el olvido catastrófico. HarnessX entra en un creciente campo de investigación sobre arneses auto-mejoradores, pero lo que lo separa es la co-evolución del arnés y el modelo. Los investigadores destacan que optimizar cualquiera de los componentes en aislamiento eventualmente chocherá con un límite. Evolucionar solo el arnés encuentra un techo estructural si el modelo subyacente carece de la capacidad de razonamiento para usar las nuevas herramientas. Entrenar solo el modelo alcanza un techo de señal de entrenamiento si el arnés nunca solicita al modelo que use sus capacidades avanzadas. HarnessX entrelaza la evolución del arnés con el entrenamiento del modelo. Las trazas de ejecución generadas mientras el arnés intenta adaptarse a las tareas se convierten en señales de aprendizaje por refuerzo para el modelo base. Cada vez que el arnés mejora su estrategia, el modelo aprende simultáneamente a aprovechar mejor esa nueva estrategia, rompiendo los techos de capacidad del desarrollo tradicional de agentes de IA. HarnessX hace posible esta co-evolución a través de GRPO cruzado (Optimización de Políticas Relativas de Grupo). GRPO es el popular algoritmo de RL utilizado para entrenar modelos de razonamiento como DeepSeek-R1. Al ajustar el modelo, GRPO cruzado reúne las trayectorias de ejecución de un agente para la misma tarea a través de diferentes versiones de los arneses de la aplicación. Esto permite que el modelo subyacente internalice cambios estratégicos de alto nivel, como usar un nuevo punto final de API o gestionar un presupuesto de ejecución, en lugar de aprender solo variaciones menores en la formulación de mensajes. HarnessX en acción en benchmarks de la industria Para validar la utilidad práctica de HarnessX, los investigadores lo probaron en cinco benchmarks que abarcan ingeniería de software, diálogos de servicio al cliente de múltiples turnos, navegación web, razonamiento multi-paso abierto y planificación incorporada. Separaron la IA en dos roles. El "meta-agente", alimentado por Claude Opus 4.6, analizó registros y escribió el código para evolucionar los arneses. Los "agentes de tarea" ejecutaron los flujos de trabajo reales. Para demostrar que el marco es agnóstico al modelo, lo probaron en tres modelos de trabajo diferentes: Claude Sonnet 4.6, GPT-5.4 y el Qwen3.5-9B de peso abierto. HarnessX se comparó con dos referencias principales. La primera fue un arnés estático, que representa cómo la mayoría de las empresas implementan IA hoy en día, utilizando configuraciones congeladas y hechas a mano con mensajes y herramientas específicas de benchmarks. La segunda fue el Claudia Code SDK, un punto de referencia que representa un evolucionador de un solo agente para probar si la compleja pipeline de cuatro etapas de AEGIS superaba a solicitar a un solo modelo de lenguaje que iterara sobre el código. Evolving the harness de manera dinámica produce ganancias significativas en el mismo modelo base. HarnessX mejoró el rendimiento en 14 de las 15 combinaciones de modelo y benchmark. En todas las pruebas, la evolución del arnés generó un aumento de rendimiento absoluto promedio del +14.5%. Los modelos más débiles se beneficiaron más de la mejora dinámica del arnés. El Qwen3.5-9B de peso abierto experimentó un aumento del +44.0% en el benchmark de planificación incorporada ALFWorld y un aumento del +18.2% en SWE-bench Verificado para ingeniería de software. La co-evolución también demostró ser altamente efectiva. Cuando los investigadores entrenaron el modelo base utilizando los datos generados mientras evolucionaban el arnés, vieron un impulso adicional promedio del +4.7% en el rendimiento. Mejorar el arnés y el modelo simultáneamente produce el mayor techo. La ganancia de co-evolución se aplica solo a modelos de peso abierto. Evidencias anecdóticas de los experimentos muestran cómo HarnessX resuelve problemas perniciosos al crear arneses de agentes para tareas del mundo real. Por ejemplo, en el benchmark de razonamiento de múltiples pasos GAIA, el agente de tarea falló consistentemente porque la herramienta del navegador sin cabeza que utilizaba para raspar Wikipedia se agotó en el frontend con mucho JavaScript del sitio. HarnessX analizó las trazas de ejecución, diagnosticó el error y escribió una nueva herramienta que eludió completamente el navegador y consultó directamente la API de MediaWiki para texto plano. Cambió esta herramienta en el arnés y desbloqueó instantáneamente las tareas fallidas. Durante las pruebas de comercio electrónico de WebShop, el agente de IA a menudo quedaba atrapado en bucles de paginación, haciendo clic continuamente en "página siguiente" y reformulando búsquedas sin nunca comprometerse a comprar un producto. Más que solo ajustar el mensaje, HarnessX construyó un procesador de asesoramiento que detectó cuando el agente repetía acciones de navegación. Inyectó una advertencia en el contexto para obligar a tomar una decisión, curando el comportamiento en bucle y aumentando el rendimiento. Límites de la ingeniería de arneses automatizada Un punto importante es que el sistema actualmente depende de modelos potentes que actúan como el meta-agente que reescribe el código del arnés. En sus experimentos, los investigadores confiaron en modelos cerrados como Claude Opus. Los modelos de peso abierto están mejorando rápidamente, pero su capacidad para servir como el meta-agente sigue sin ser probada. Otra limitación a considerar son las capacidades intrínsecas de los modelos utilizados. Si el modelo de tarea subyacente es fundamentalmente demasiado débil para ejecutar los flujos de trabajo complejos que propone el nuevo arnés, HarnessX no podrá mejorar las habilidades generales del agente (los investigadores observaron esto con el modelo Qwen3.5-9B en las pruebas de codificación de SWE-bench). A pesar de estas limitaciones, HarnessX presenta un caso concreto de que la ingeniería de arneses, y no solo la escalabilidad del modelo, es una palanca que los profesionales pueden accionar ahora. Para los equipos que ejecutan modelos más pequeños de peso abierto en flujos de trabajo complejos, las ganancias aquí son lo suficientemente grandes como para justificar evaluar la evolución del arnés como un primer paso antes de optar por un modelo de frontera más costoso. Los investigadores planean liberar el código en una futura actualización.