Nuevo marco de IA de Alibaba omite cargar cada herramienta, reduciendo el uso de tokens de agente en un 99%

A medida que los sistemas de inteligencia artificial empresarial se expanden para manejar flujos de trabajo complejos, los profesionales enfrentan el desafío de enrutar subtareas a las herramientas y habilidades adecuadas. Los agentes pueden tener cientos de herramientas y habilidades y confundirse sobre cuál utilizar en cada paso de un flujo de trabajo. Para abordar este desafío, investigadores de Alibaba desarrollaron SkillWeaver, un marco que crea un gráfico de ejecución para una tarea dada y elige las habilidades adecuadas para cada uno de los nodos. También introducen la Descomposición Consciente de Habilidades (SAD), una técnica novedosa que utiliza un bucle de retroalimentación para permitir que el agente busque y evalúe candidatos de herramientas relevantes de manera iterativa. Este enfoque compositivo y el mecanismo de bucle de retroalimentación distinguen a SkillWeaver de otros marcos de enrutamiento de herramientas que eligen herramientas de una sola vez. SkillWeaver se relaciona con aplicaciones de IA del mundo real donde los agentes orquestan de manera autónoma ecosistemas de múltiples herramientas, como el Protocolo de Contexto del Modelo (MCP), para ejecutar operaciones comerciales de múltiple paso como descargar conjuntos de datos, transformar información y crear informes visuales. En la práctica, los experimentos de los investigadores con SkillWeaver muestran que implementar este enfoque de recuperar y enrutar aumenta significativamente la precisión mientras reduce el consumo de tokens en más del 99% en comparación con exponer ingenuamente a los agentes a toda una biblioteca de herramientas. Para los profesionales que construyen agentes de IA, la principal conclusión es que la granularidad de la descomposición de tareas es el mayor cuello de botella para una recuperación precisa de herramientas.

Las habilidades son un patrón clave en las arquitecturas de agentes LLM modernas. Una habilidad es una especificación de herramienta modular y reutilizable que utiliza documentación de lenguaje natural estructurado. A medida que los agentes empresariales se integran con ecosistemas masivos de herramientas, enrutar con precisión las consultas de los usuarios a las habilidades correctas se convierte en una tarea difícil. Exponer toda una biblioteca a un LLM para encontrar la herramienta adecuada es altamente ineficiente, rápidamente abrumando los límites de contexto y consumiendo cientos de miles de tokens. La mayoría de los marcos actuales de uso de herramientas intentan resolver esto mediante recuperación de API, coincidencia de documentación o estructuras jerárquicas que tratan el enrutamiento estrictamente como una selección de habilidad única o un problema por paso. Sin embargo, este paradigma de una sola habilidad es insuficiente para entornos empresariales porque las consultas del mundo real son inherentemente composicionales. Una solicitud comercial estándar como "Descarga el conjunto de datos, transfórmalo y crea informes visuales" no puede ser cumplida por una sola herramienta. Requiere descomponer el aviso y secuenciar un cliente de API, un procesador de datos y una herramienta de visualización en un plan de ejecución cohesivo y en múltiples pasos.

Para abordar esto, los investigadores enmarcan el problema de manejar tareas complejas que requieren múltiples habilidades como "enrutamiento de habilidades composicional". Dada una consulta de usuario compleja y una vasta biblioteca de herramientas, un agente debe averiguar simultáneamente cómo descomponer la solicitud en una secuencia de subtareas atómicas, cómo mapear cada subtarea a la mejor habilidad disponible y cómo componer esas habilidades en un plan ejecutable. SkillWeaver orquesta este proceso a través de tres etapas distintas: Descomponer, Recuperar y Componer. En la primera etapa, un LLM actúa como un descompresor de tareas, descomponiendo la compleja consulta del usuario en una secuencia de subtareas que requieren cada una una habilidad. Una vez que las subtareas están claramente definidas, el sistema utiliza un modelo de incrustación para comparar cada subtarea con la biblioteca de habilidades para extraer una lista corta de las mejores herramientas candidatas para cada paso. En la etapa final, un planificador evalúa los candidatos recuperados según cuán bien funcionan juntos. Verifica la compatibilidad entre habilidades para asegurar que las salidas de una herramienta fluyan naturalmente hacia las entradas de la siguiente. Luego crea un plan de ejecución final como un Grafo Dirigido Acíclico (DAG) que mapea dependencias para que las tareas independientes puedan ejecutarse potencialmente en paralelo.

Por ejemplo, considera a un usuario pidiéndole a un agente de IA que "Descargue el conjunto de datos, lo transforme y cree informes visuales." En la etapa de descomposición, el LLM descompresor convierte esto en tres subtareas distintas: descargar el conjunto de datos, transformar los datos y crear los informes. En la etapa de recuperación, el sistema busca en la biblioteca y encuentra candidatos como “api-client” o “http-fetch” para la tarea uno, “csv-parser” o “etl-pipeline” para la tarea dos, y así sucesivamente. Finalmente, en la etapa de composición se evalúan estas opciones, seleccionando la combinación específica de “api-client”, “csv-parser” y “chart-gen” que son más compatibles, y se conectan en un flujo de trabajo final listo para ejecutar.

Un desafío clave de este pipeline es que los LLM a menudo producen descripciones genéricas de los pasos que no coinciden con el vocabulario técnico específico de las habilidades reales disponibles en la biblioteca. Para solucionar esto, SkillWeaver introduce la Descomposición Consciente de Habilidades Iterativa (SAD), un novedoso bucle de retroalimentación. SAD funciona haciendo que el LLM elabore un plan inicial, realizando una búsqueda preliminar para encontrar habilidades que coincidan vagamente y luego alimentando esas habilidades recuperadas de regreso al LLM como pistas. Esto permite al LLM reescribir su descomposición de modo que la granularidad y el vocabulario se alineen perfectamente con las herramientas reales que existen.

Para evaluar cómo se desempeña SkillWeaver en escenarios empresariales realistas, los investigadores crearon una métrica personalizada llamada CompSkillBench. Consiste en 300 consultas de múltiples pasos de diferentes niveles de dificultad. Para reflejar los ambientes del mundo real, utilizaron una biblioteca de 2,209 habilidades del mundo real extraídas del ecosistema público del MCP, cubriendo 24 categorías funcionales como infraestructura en la nube, finanzas y bases de datos. Para el motor central, los investigadores utilizaron principalmente un modelo ligero de 7 mil millones de parámetros (Qwen2.5-7B-Instruct) para la descomposición de tareas, combinado con un buscador semántico estándar (MiniLM con un índice FAISS) para encontrar las herramientas. SkillWeaver fue evaluado contra tres configuraciones principales: un método de "LLM-Direct" a la fuerza bruta donde se incluyeron todos los nombres de herramientas en el aviso de un modelo grande, una descomposición basada en LLM sin SAD y un bucle de agente estilo ReAct. Los experimentos indican que la descomposición de tareas es el principal cuello de botella. El comportamiento estándar de los LLM no es suficiente cuando se trata de grandes bibliotecas de herramientas, pero el bucle de retroalimentación SAD mueve drásticamente la aguja. En la configuración estándar, el modelo de 7B logró una precisión de descomposición (es decir, predecir el número correcto de pasos) solo el 51.0% del tiempo. Al activar el bucle de retroalimentación SAD, la precisión saltó al 67.7% (con el modelo más grande Qwen-Max, la precisión alcanzó el 92%). En tareas "difíciles" que requieren de cuatro a cinco habilidades distintas, SAD mejoró la precisión en un 50%. Un hallazgo fascinante fue que los modelos más grandes pueden en realidad tener un rendimiento peor cuando no están guiados. Cuando se probó en la configuración vanilla, un modelo de 14 mil millones de parámetros vio cómo su precisión caía por debajo de la del modelo de 7B porque tiende a descomponer excesivamente las tareas en pasos microscópicos e innecesarios. Una vez que se introdujo SAD, las pistas de herramientas recuperadas anclaron al modelo de regreso a la realidad y aumentaron su precisión. Esto sugiere que alinear un agente con el vocabulario de herramientas específicas suele ser más impactante que pagar por un LLM más grande y costoso. Otra conclusión importante son los ahorros de tokens. La línea base de LLM-Direct, que utilizó el muy grande modelo Qwen-Max, demostró que alimentar todas las herramientas en el aviso de un modelo grande falla. A pesar de sus capacidades casi perfectas de descomposición de tareas, el modelo masivo solo recuperó la categoría de herramienta correcta el 21.1% del tiempo cuando se le inundó con opciones de herramientas. El enfoque de recuperación y enrutamiento dirigido de SkillWeaver superó esto en precisión mientras reducía el consumo de ventana de contexto de un estimado de 884,000 tokens a aproximadamente 1,160 tokens por consulta, una reducción del 99.9%. Para los profesionales, esto se traduce directamente en costos de API drásticamente más bajos y tiempos de respuesta más rápidos. Finalmente, la línea base tradicional de ReAct falló completamente, logrando un 0% de precisión de descomposición. Su bucle colapsa naturalmente los planes de múltiples pasos en acciones aisladas en lugar de mapear explícitamente una secuencia cohesiva de múltiples herramientas.

Mientras los investigadores aún no han liberado el código fuente de SkillWeaver, su trabajo se basó en herramientas estándar que pueden reproducirse fácilmente. La Descomposición Consciente de Habilidades (SAD), que es la innovación clave en el corazón del marco, es un ingenio de aviso y un bucle de recuperación inteligente. Los autores han compartido las plantillas de aviso en su documento, y los desarrolladores pueden implementarlo ellos mismos con bastante facilidad utilizando bibliotecas de orquestación estándar como LangChain, LlamaIndex o incluso scripts de Python en bruto. En cuanto al componente de recuperación, los autores construyeron el marco central utilizando all-MiniLM-L6-v2, un modelo de incrustación de código abierto. Descubrieron que cambiar a un codificador ligeramente más fuerte off-the-shelf (BGE-base-en-v1.5) mejoró inmediatamente la precisión sin necesidad de ajuste fino. Mientras que un bi-codificador off-the-shelf es excelente para obtener una herramienta relevante entre los 10 mejores candidatos cerca del 70% del tiempo, lucha para clasificar consistentemente la herramienta perfecta exactamente en el número uno, logrando eso solo alrededor del 37% del tiempo. Para superar esta brecha, los equipos probablemente necesitarán implementar un reordenador secundario de codificador cruzado o basado en LLM para volver a clasificar esos 10 candidatos principales. Un requisito de preparación inicial es vectorizar la biblioteca de herramientas y construir un índice FAISS con anticipación. En la práctica, esto es un obstáculo insignificante. Incrustar e indexar las 2,209 habilidades en el benchmark tomó apenas 15 segundos. Una vez construido, recuperar herramientas del índice añade menos de 15 milisegundos de latencia por consulta. Para entornos empresariales, sincronizar el índice de herramientas es un trabajo trivial en segundo plano. Una limitación actual en SkillWeaver es la falta de recuperación de errores. Si bien SkillWeaver mapea con éxito un DAG compatible para la ejecución, el estudio piloto de los autores reveló los desafíos de las cadenas de herramientas de múltiples pasos. Por ejemplo, si una llamada de API falla en el paso dos, toda la cadena se rompe. La contribución central del documento se limita a la fase de enrutamiento y planificación. Para un verdadero despliegue de producción, los profesionales deben construir sus propios mecanismos de recuperación de errores, retrocesos y reintentos sobre la etapa de composición para manejar los tiempos de espera de API del mundo real o salidas mal formadas.