Morgan Stanley redujo a la mitad su trabajo de conciliación más arriesgado, al hacer que sus agentes fueran menos autónomos.

Hasta ahora, la mayoría de las implementaciones de IA en empresas se han centrado en asistentes de codificación y bots de servicio al cliente. Morgan Stanley ha desplegado agentes en uno de los flujos de trabajo más críticos en el sector bancario en términos de precisión y con plazos estrictos: la conciliación de ganancias y pérdidas (P&L) — reduciendo el tiempo de trabajo a la mitad. La parte contraintuitiva: se logró haciendo el sistema menos autónomo, no más. Los humanos permanecen involucrados y sus decisiones se convierten de manera iterativa en reglas repetibles que el sistema puede aplicar por sí solo. “Es mucho más como un compañero de trabajo que un copiloto”, dijo Todd Johnson, director gerente de Morgan Stanley, en un reciente evento de VB AI Impact. El sistema interno de agentes de producción, conocido como FIXR, va más allá de las tareas simples y directas de "IA generativa 1.0". “Creemos que ahí está la oportunidad para desbloquear trabajos más complejos en la organización.” FIXR tras bambalinas Cada día de negociación, las mesas de operaciones de Morgan Stanley manejan trabajos importantes relacionados con transacciones como acciones o inversiones de deuda. Y, al final de cada uno de esos días, los controladores deben conciliar el P&L en los sistemas de Finanzas, Riesgo, Operaciones y Captura de Operaciones de la gigante financiera. Todos esos datos deben juntarse, y, quizás no sorprendentemente, cientos de miles de atributos frecuentemente no coinciden. Típicamente, esto significa que los controladores deben investigar manualmente cada discrepancia (o “break”), tomar decisiones sobre ajustes y, en ideal, aprobar antes de que el número llegue a la mesa. Y todo esto mientras trabajan con un estricto plazo matutino. Anteriormente, esto podría tomar hasta seis horas para un solo libro. Ahora, FIXR realiza la tarea en dos a tres horas, dijo Johnson. Con alrededor de 100 controladores que realizan este trabajo, esto suma aproximadamente 1,500 horas ahorradas por semana. Después de que se completan los cálculos nocturnos de P&L, el sistema analiza automáticamente los “breaks” y propone resoluciones basadas en reglas aprendidas. Varios agentes trabajan juntos: uno interpreta guías pasadas para desarrollar resoluciones al inicio del día. Uno aprende del comportamiento del controlador y documenta las reglas que aplican. Uno convierte patrones repetidos en lógica duradera y automatizada. Con el tiempo, el sistema puede eliminar automáticamente ciertos breaks que ya ha encontrado, sugerir soluciones para otros que pueden ser menos familiares, pedir ayuda cuando no está seguro, y señalar para investigación humana. Cuando los ítems se resuelven repetidamente mediante el mismo método, puede crear reglas firmes. Críticamente, los humanos no abandonan el proceso, sino que permanecen totalmente involucrados, dijo. Revisan, aprueban o corrigen cada recomendación, luego retroalimentan esas decisiones para mejorar la próxima ejecución. El agente aprende diariamente de los controladores lo que hace bien y mal y codifica ese conocimiento mientras itera. “Aún se preserva ese elemento de responsabilidad humana incluso al comenzar a automatizar,” dijo Johnson. “Con el tiempo, verás más y más de esos ítems resueltos de manera automática.” Enfatizó que la autonomía requiere un gran nivel de confianza; las empresas no verán ganancias de eficiencia si todos están verificando cada acción que realiza un agente. El bucle de retroalimentación humano-agente fue crucial para abordar el reto de la automatización controlada, medida y repetible. “Reconocimos que toda esa inteligencia que está en la mente de un controlador va a ser difícil de incorporar completamente en un agente desde el primer día,” dijo Johnson. Enfoque en procesos primero, extensibilidad Era fundamental establecer procesos primero, antes de involucrar cualquier IA, dijo Johnson. Su equipo realizó una evaluación de inteligencia de procesos “muy exhaustiva” que mapeó y analizó flujos de trabajo para identificar dónde la automatización sería más ventajosa: ¿Era la respuesta agentes, automatización tradicional o una simple reingeniería de un paso ineficiente? “Si podemos solucionar eso primero antes de agregar agentes al problema, entonces realmente estaremos transformando la oportunidad,” dijo. El proceso de aprobación de P&L estaba lleno de pasos manuales adecuados para la automatización, y permitir que los agentes se hagan cargo de algunas de estas tareas que consumen tiempo está liberando a los controladores para análisis “de mayor valor” y trabajos de “consideración de riesgos más profundos,” dijo. La extensibilidad, sin embargo, era tan importante como el ahorro de tiempo. El equipo de Johnson eligió este caso de uso particular de conciliación de P&L porque cientos de controladores estaban realizando este trabajo a nivel global en el negocio (en las Américas, Europa, Asia). Así que comenzar con un caso de uso, probarlo, extenderlo, “y luego, en última instancia, la transformación será a medida que lo implementemos más y más a lo largo de la organización,” dijo Johnson. Determinístico por diseño Johnson dijo que el equipo también limitó deliberadamente cuánto del flujo de trabajo dependía del juicio del modelo. "Si tienes la oportunidad de hacer las cosas muy prescritas y repetibles, eso es más barato en términos de consumo de tokens, más repetible en términos de controles — y deja que el LLM haga lo que no necesita ese tipo de flujo de trabajo determinístico," dijo. A medida que el sistema ve más retroalimentación de controladores sobre un tipo de break dado, Morgan Stanley convierte ese patrón en una regla fija en lugar de dejarlo al modelo. Los humanos todavía son responsables del comportamiento. Una pregunta interesante (y quizás fundamental) que se plantea al comienzo de la era de los agentes es: ¿Son los agentes código o empleados digitales? Johnson argumenta que “probablemente son un poco de ambos,” y, como tal, requieren matices en términos de gobernanza y supervisión. Los equipos técnicos aún deben ser responsables de mantener protecciones y límites como cortafuegos o cifrado, por ejemplo. Pero hay una nueva dinámica en torno al “elemento de rendimiento”: Los humanos que utilizan agentes son responsables de ellos porque están ayudando en su trabajo empresarial. Por ejemplo, si un controlador senior está trabajando con un controlador junior, no simplemente renuncian a su responsabilidad porque alguien los está ayudando, observó Johnson. “Uno de nuestros principios fuertes en nuestra gobernanza de IA, en general, es que siempre tiene que haber responsabilidad humana, incluso si hay un grado de automatización,” dijo. Pero normalmente no hay “una sola persona responsable,” y el proceso es, en última instancia, continuo. Al respecto, Johnson bromeó que algo “deprimente” sobre la IA de agentes es que requerirá capacitación continua porque los modelos están en constante cambio. “Nunca vas a poder decir: ‘Hemos hecho toda la evaluación y pruebas que necesitamos hacer. Simplemente dejémoslo ir.’ Tendrás que tener una vista constante a medida que evoluciona con el tiempo.” Morgan Stanley está apuntando a verdaderos puntos críticos en las empresas. La experiencia de Morgan Stanley refleja patrones que VentureBeat ha descubierto en implementaciones de IA empresarial. En la reciente encuesta VB Pulse de VentureBeat, casi tres cuartas partes de los encuestados informaron ver poco o ningún ROI de la afinación de modelos personalizados, describiendo un "cementerio de sandbox" de proyectos de IA que resultaron demasiado costosos de mantener. Esto sugiere que el enfoque de proceso primero, comprar y mezclar de Morgan Stanley puede ser más sostenible que perseguir modelos a medida. La encuesta tuvo 87 encuestados y los hallazgos deben considerarse orientativos. La gobernanza emergió como otro desafío común: el 38% de los encuestados citó la falta de un único propietario responsable como su mayor barrera para la IA en producción, mientras que solo dos de las 87 empresas encuestadas tenían monitoreo y alertas activas para detectar fallas en los modelos.