Los investigadores presentan Self-Harness, un marco que permite a los agentes de IA reescribir sus propias reglas, mejorando el rendimiento hasta en un 60%.

No todas las empresas pueden o deben construir su propio modelo de lenguaje de IA de frontera. Sin embargo, el arnés que controla el modelo es algo que la mayoría de las empresas pueden y deben personalizar para sus propósitos específicos. Por supuesto, esto es más fácil decirlo que hacerlo. Los arneses de agentes aún se afinan en gran medida mediante depuración manual y ad hoc, un proceso que se basa en gran medida en la intuición en lugar de bucles de retroalimentación sistemáticos, lo que dificulta mantenerse al día con los LLM en rápida evolución. Para resolver este desafío, los investigadores del Laboratorio de Inteligencia Artificial de Shanghái han introducido "Self-Harness", un nuevo paradigma en el que un agente basado en LLM mejora sistemáticamente sus propias reglas operativas. Al examinar sus propias trazas de ejecución para aplicar ediciones, el sistema intercambia conjeturas manuales por evidencia empírica. Los arneses auto-mejoradores pueden permitir que los equipos de desarrollo desplieguen agentes personalizados robustos que se adapten continuamente a sus propios protocolos de ejecución para superar debilidades específicas del modelo. El desafío de la ingeniería de arneses El rendimiento de un agente basado en LLM no se determina únicamente por su modelo base subyacente, sino también por su arnés: el sistema circundante que proporciona contexto y permite que el modelo interactúe con el entorno. Un arnés incluye componentes como mensajes del sistema, herramientas, memoria, reglas de verificación, políticas de tiempo de ejecución, lógica de orquestación y procedimientos de recuperación de fallos. Esta capa es crucial porque muchos fallos comunes de los agentes provienen del arnés en lugar del modelo. Por ejemplo, un agente puede informar éxito sin comprobar la respuesta del modelo (por ejemplo, ejecutando el código para ver si pasa las pruebas), o puede volver a intentar una acción fallida repetidamente. El arnés también es responsable de prevenir la degradación del contexto o la sobrecarga cuando la historia de interacción del agente crece mucho. Ejemplos de arneses populares incluyen SWE-agent, Claude Code, Codex y OpenHands. La ingeniería de arneses sigue siendo un desafío significativo, pero el cuello de botella no es necesariamente que los humanos sean demasiado lentos o incapaces. De hecho, Hangfan Zhang, autor principal del artículo de Self-Harness, dijo a VentureBeat que "en muchos casos, un ingeniero experimentado con un profundo conocimiento del dominio aún puede proponer mejores cambios que un LLM puede hoy". En cambio, el verdadero cuello de botella de la ingeniería manual es que se basa en gran medida en la depuración ad hoc en lugar de en un bucle de retroalimentación empírica verificable. "El problema más profundo es que el paradigma actual de ingeniería de arneses a menudo carece de un bucle de retroalimentación sistemático", explicó Zhang. "Muchas ediciones se hacen en función de la intuición, unas pocas fallas observadas o depuración ad hoc". Con nuevos modelos siendo lanzados a un ritmo rápido, depender de la intuición humana para afinar manualmente los arneses específicos del modelo se vuelve cada vez más costoso y inviable. Si bien algunos enfoques utilizan modelos más fuertes para mejorar los arneses de agentes más débiles, esta dependencia de la guía externa presenta sus propios desafíos, ya que estos modelos pueden ser costosos, no estar disponibles para modelos de frontera, o no coincidir con los modos de fallo del modelo objetivo. Cómo funciona Self-Harness El paradigma Self-Harness permite que un agente basado en LLM mejore su propio arnés sin depender de ingenieros humanos o modelos externos más fuertes. Esta auto-evolución continua se impulsa a través de un bucle iterativo de tres etapas que transforma evidencia de comportamiento en actualizaciones de arnés: Extracción de debilidades: Comenzando desde un arnés inicial, el agente ejecuta un conjunto de tareas, produciendo trazas de ejecución con resultados verificables. El agente categoriza trazas fallidas y trata de detectar patrones de fallo específicos del modelo. Propuesta de arnés: Con base en estos patrones de fallo, el agente utiliza un papel de “proponente” para generar un conjunto de modificaciones de arnés diversas pero mínimas, cada una vinculada a un mecanismo de fallo específico para evitar correcciones demasiado generales. Validación de propuestas: El sistema evalúa las modificaciones candidatas a través de pruebas de regresión. Una edición se promueve solo si mejora el rendimiento sin causar degradación medible en tareas no vistas. Si múltiples modificaciones candidatas pasan las pruebas de regresión, se fusionan en la siguiente versión del arnés, que luego sirve como punto de partida para la siguiente iteración. Para visualizar por qué una empresa necesitaría esto, imagina un agente automatizado de corrección de problemas que lee documentación interna, escribe parches y abre solicitudes de extracción. Si la empresa actualiza su estilo de documentación, el agente podría fallar repentinamente, extrayendo el contexto incorrecto o escribiendo parches defectuosos. A simple vista, el agente parece estar roto. Pero Self-Harness convierte este fallo ambiguo en un problema solucionable. "Las trazas de fallo exponen dónde el agente está malutilizando el nuevo formato de documentación; el proponente puede generar una edición de arnés dirigida... y el evaluador puede decidir si esa edición mejora los casos fallidos sin hacer que otros casos retrocedan", dijo Zhang. Self-Harness en acción Los investigadores evaluaron Self-Harness en Terminal-Bench-2.0, un banco de pruebas que evalúa la ejecución basada en herramientas generales, incluyendo gestión de artefactos, uso de comandos, comportamiento de verificación y recuperación de errores de ejecución. Aplicaron Self-Harness con MiniMax M2.5, Qwen3.5-35B-A3B y GLM-5. Para aislar el impacto del arnés auto-evolutivo, comenzaron con un arnés mínimo construido sobre el SDK de DeepAgent, conteniendo solo el mensaje del sistema orientado al banco de pruebas y las herramientas predeterminadas de sistema de archivos y shell. El backend del modelo, el conjunto de herramientas, el entorno de prueba y el evaluador se mantuvieron sin cambios mientras solo se permitió variar el arnés. Los resultados cuantitativos muestran que los agentes mejoraron su rendimiento mediante ediciones automatizadas del arnés. En tareas no vistas, el rendimiento saltó significativamente en todos los modelos, variando mejorías relativas del 33 al 60 por ciento. Importante, una regla de aceptación explícita promueve solo aquellas ediciones que mejoran el rendimiento sin introducir regresiones inaceptables. Lo que hace poderoso a Self-Harness para aplicaciones empresariales es que no simplemente alarga el mensaje o agrega instrucciones genéricas. En cambio, introduce cambios dirigidos que reflejan los problemas recurrentes que cada modelo encuentra durante la ejecución. Por ejemplo, bajo el arnés base, MiniMax M2.5 se quedaría atascado explorando interminablemente configuraciones de conjuntos de datos hasta que el entorno de ejecución agotara su tiempo, sin producir entregables. A través de Self-Harness, el sistema identificó este defecto específico y escribió un "rompedor de bucles" en su política de ejecución, obligando al agente a detenerse y redirigir su enfoque después de 50 llamadas a herramientas. También agregó una regla para crear una versión inicial de los artefactos requeridos lo antes posible. Por otro lado, Qwen-3.5 tenía la costumbre de encontrar un error de sobrescritura de archivos y luego volver a intentar ciegamente el mismo comando repetidamente, eliminando eventualmente archivos necesarios por confusión antes de detenerse. El arnés auto-generado corrigió esto introduciendo una disciplina estricta de reintento de comando (prohibiendo comandos duplicados exactos) y un mecanismo que obligaba al agente a recrear de inmediato cualquier artefacto faltante si ocurría un error de archivo. GLM-5 luchó por preservar los cambios en el entorno entre diferentes comandos, y a menudo desperdiciaba tiempo en descargas masivas o finalizaba tareas incluso cuando las comprobaciones de cordura fallaban. Su arnés auto-generado introdujo reglas que instruyen al agente a mantener las variables de PATH a través de sesiones de shell, limitar el cómputo externo y reparar cualquier fallo de comprobación de cordura antes de concluir su ejecución. Los costos ocultos de los arneses automatizados Si bien Self-Harness automatiza el trabajo tedioso de rastrear fallos idiosincráticos de modelos, los tomadores de decisiones deben ser realistas sobre los compromisos. Reemplazar la ingeniería humana con prueba y error automatizada requiere un significativo sobrecosto computacional. "Self-Harness reemplaza parte de la carga de la ingeniería humana con generación repetida de propuestas, evaluación paralela de candidatas y pruebas de regresión", dijo Zhang. "Eso puede significar más tokens de API, más latencia durante la optimización y más infraestructura para ejecutar tareas de evaluación". Además, este sistema se basa en la precisión de su pipeline de evaluación. Durante sus experimentos en Terminal-Bench-2.0, los investigadores contaron con verificadores estrictos y deterministas para asegurar que las ediciones del agente fueran realmente útiles. Sin esta rigurosa verdad objetiva, un sistema automatizado corre el riesgo de promover malas actualizaciones. "[El] sistema de evaluación no es un componente opcional; es lo que nos permite intercambiar la intuición humana por evidencia empírica", dijo Zhang. Esta dependencia de verificadores estrictos también dicta dónde debe desplegarse Self-Harness. "Los mejores objetivos de implementación hoy son entornos donde los fallos pueden medirse y donde la prueba y error es relativamente segura", dijo Zhang, señalando la codificación, la automatización de flujos de trabajo internos y los pipelines de datos de DevOps como casos de uso ideales. Por el contrario, las empresas deberían evitar automatizar completamente los arneses en campos de alta presión o subjetivos. "Las señales de advertencia más claras son dominios donde la evaluación es subjetiva, retrasada, no determinista o costosa de errar, como la toma de decisiones médicas, infraestructura crítica de seguridad o decisiones legales". De ajustadores de mensajes a arquitectos de retroalimentación La introducción de agentes auto-mejoradores no significa que la codificación o los flujos de trabajo empresariales se vuelvan de repente libres de humanos. La calidad de la colaboración entre el ingeniero humano y la IA sigue siendo primordial y difícil de capturar con bancos de pruebas automatizados. En cambio, la profesión de ingeniería está avanzando en la capa de abstracción. "El papel de los ingenieros empresariales cambiará de parchear manualmente mensajes o llamadas a herramientas individuales hacia diseñar los sistemas de retroalimentación que hacen posible la mejora del agente", predijo Zhang. De cara al futuro, "el ingeniero se convierte menos en un ajustador de mensajes y más en un arquitecto de retroalimentación". A medida que los modelos fundamentales se vuelven más capaces, naturalmente absorberán muchas capacidades que actualmente requieren ingeniería manual de arneses. "Pero una vez que eso suceda, el arnés no desaparecerá; su alcance se moverá hacia afuera para conectar el modelo a entornos externos más ricos", dijo Zhang. "Hasta que ese límite se extienda más allá de lo que los humanos pueden evaluar, los humanos seguirán siendo proveedores críticos de retroalimentación".