Por qué la alineación no puede quedarse al margen de la adopción de la IA

A medida que el gasto global en IA supera los $2.5 billones este año, muchas empresas aún no ven retornos significativos. Con la presión creciente para justificar las inversiones, están apostando por agentes de IA para enderezar el rumbo. Pero si los agentes van a proporcionar el valor que las empresas están esperando, la alineación con el juicio humano no puede ser un tema secundario. CONTENCIÓN VERSUS ALINEACIÓN A medida que las empresas establecen sus programas de gobernanza de IA, a menudo comienzan con inventarios, salvaguardias de seguridad, políticas de acceso y monitoreo. Yo llamo a esto contención. Piense en ello como los frenos de un automóvil autónomo. Es la programación que permite a los sistemas responder a señales de alto, semáforos y otras reglas formales de la carretera. La contención le dice al sistema lo que no puede hacer. Pero los agentes de IA están obligando a las empresas a enfrentar un desafío más existencial: incorporar el juicio humano en sistemas autónomos que toman decisiones a la velocidad de la IA. ¿Cómo diseñamos la IA para operar dentro de los valores, políticas, tolerancia al riesgo y comprensión del contexto de una organización a medida que cambian las condiciones? Esto es alineación. La alineación ayuda a determinar lo que el sistema debe hacer cuando la respuesta correcta depende del contexto. Mientras que las salvaguardias pueden evitar que un agente cruce una línea, no le dicen a un agente cómo ejercer juicio cuando no hay una línea claramente marcada. Piense en ello como la capacidad del automóvil autónomo para leer el contexto y ceder ante una procesión fúnebre, incluso cuando no hay una ley vigente. Esto incluye el cumplimiento de políticas, reglas de uso de datos y salvaguardias éticas, pero también significa anclar a los agentes a los resultados comerciales reales que la organización está tratando de impulsar. Un agente que sigue todas las reglas mientras se aleja de las prioridades estratégicas y la promesa de marca de la empresa aún está desalineado. Los empleados a menudo aplican este juicio de manera instintiva. Observamos comportamientos a lo largo del tiempo, reconocemos matices regionales y culturales, desafiamos una idea que parece buena sobre el papel pero falla en el mundo real, y entendemos cuándo los métodos comprometen el resultado. Pero los agentes de IA no lo hacen. EL RIESGO DE LA OPTIMIZACIÓN CONTINUA Hay un ejemplo que utilizo para explicar la necesidad de alineación. Un servicio de suscripción de comidas tiene un agente de marketing diseñado para optimizar el rendimiento de la campaña. Con un presupuesto y objetivos establecidos, el agente accede a conjuntos de datos, analiza registros de chat y soporte, identifica segmentos de clientes y entrega promociones. Para cuando la campaña termina, el agente ha alcanzado sus objetivos de ventas y rentabilidad. Pero, tras bambalinas, ocurrió algo más. El agente entregó publicidad agresiva con precios más altos disfrazados como "descuentos por tiempo limitado" a personas que previamente mencionaron estrés financiero o preocupaciones de salud durante llamadas y chats de soporte. Cuando el incidente se hace público, las repercusiones son extensas. El abuso de precios —especialmente dirigido a los clientes más vulnerables de la empresa— violó la política de uso ético y conflicto directamente con la declaración de misión y valores de la empresa. Como resultado, los clientes cancelan sus suscripciones en masa, los reguladores comienzan una investigación y cualquier ingreso obtenido a través de la campaña inicial se pierde. Esta historia muestra cuán rápidamente un agente puede causar problemas sin nunca funcionar técnicamente mal. Explotar a ciertos clientes no era parte de la instrucción; simplemente era el patrón que mejoró los resultados. La discriminación, los problemas de privacidad y las violaciones de políticas pueden ocurrir independientemente de la intención de la empresa. En última instancia, eso se debe a que los agentes son sistemas entrenados para maximizar la eficiencia. La optimización continua les permite completar sus objetivos. También es la razón por la cual los agentes necesitan alineación. Junto con las salvaguardias de seguridad y acceso, las políticas aseguran que los agentes optimicen solo dentro de los límites establecidos por la empresa. ESTAMOS EN UN PUNTO DE INFLEXIÓN Gartner predice que las grandes empresas tendrán más de 150,000 agentes en uso para 2028, en comparación con más de una docena por empresa hoy. Y ese número está aumentando rápidamente gracias a tendencias como el tokenmaxxing y los incentivos corporativos para aprovechar la IA. Ahora, el desafío es cómo codificar a los agentes con juicio humano a gran escala. Los procesos de revisión manual tradicionales fueron construidos para sistemas más lentos y estáticos, donde los equipos tenían tiempo para inspeccionar, detectar y resolver problemas antes de la producción. Desafortunadamente, ninguna cantidad de contrataciones puede ayudarle a mantenerse al día con cientos y, en última instancia, miles de agentes optimizando a la velocidad de la IA. La buena noticia es que hay menos agentes de IA hoy de los que habrá jamás. Ahora es el momento de construir gobernanza automatizada, catalogar sus agentes, definir sus políticas base y hacerlas cumplir junto con controles de seguridad y salvaguardias. Es mucho más fácil escalar un programa a medida que crece su fuerza laboral de agentes que intentar adaptar uno más tarde. Construir IA solo para la velocidad es miope. Nuestro objetivo debería ser construir IA que se mueva rápido—en la dirección correcta. Blake Brannon es director de innovación de OneTrust.