startup

La inyección de prompts está explotando las mayores fallas de diseño de la IA empresarial al apuntar a agentes, tuberías RAG y enrutadores de modelos.

Fuente: venturebeat.com 6 min de lectura

Compartir

La inyección de prompts está explotando las mayores fallas de diseño de la IA empresarial al apuntar a agentes, tuberías RAG y enrutadores de modelos.

Estás leyendo un resumen. El contenido completo está en venturebeat.com.

En los últimos dos años, las empresas han estado tratando de integrar modelos de lenguaje grande (LLMs) en soporte, análisis, desarrollo y automatización interna como nunca antes. Junto con la creciente adopción de la tecnología de IA, otra tendencia está ganando impulso: los ciberdelincuentes están aprovechando la desconexión entre las suposiciones sobre los LLMs y sus características reales. En 2025 y 2026, varias fuentes independientes han destacado la misma tendencia: la inyección de comandos sigue siendo uno de los vectores de ataque más impactantes y ampliamente demostrados contra los sistemas LLM. La lista OWASP LLM Top 10 (2025) clasifica la inyección de comandos como LLM01, identificándola como la categoría más crítica de vulnerabilidades específicas de LLM, por segunda edición consecutiva. La clasificación de OWASP refleja el hecho de que los LLMs aún luchan por separar de manera confiable las instrucciones de los datos, lo que los hace susceptibles a manipulaciones a través de entradas elaboradas. El Informe Global de Amenazas de CrowdStrike 2026 — basado en inteligencia de primera línea a través de más de 280 adversarios rastreados — documentó que actores de amenaza inyectaron comandos maliciosos en herramientas de IA generativa legítimas en más de 90 organizaciones en 2025. Luego utilizaron esas inyecciones para generar comandos que robaron credenciales y criptomonedas. El informe lo expresó con claridad: "Los comandos son el nuevo malware." Los adversarios habilitados por IA aumentaron su volumen general de ataques en un 89% interanual, siendo la inyección de comandos tanto un punto de entrada como un multiplicador de fuerza. Los incidentes del mundo real ilustran el impacto operativo. En agosto de 2024, investigadores de PromptArmor revelaron una vulnerabilidad de inyección de comandos en Slack AI que permitía a un atacante exfiltrar datos de canales privados de Slack a los que no tenían acceso — incluidos los tokens de API compartidos en canales de desarrolladores privados — al colocar una instrucción maliciosa en un canal público o al incrustarla en un documento subido. En junio de 2025, investigadores de Aim Security revelaron EchoLeak (CVE-2025-32711, CVSS 9.3), la primera explotación documentada de inyección de comandos sin clic contra un sistema de IA en producción, dirigida a Microsoft 365 Copilot. Al enviar un solo correo electrónico diseñado, sin necesidad de interacción del usuario, un atacante podría hacer que Copilot accediera a archivos internos y transmitiera su contenido a un servidor controlado por el atacante. Ambas vulnerabilidades fueron corregidas. Estos incidentes subrayan el hecho de que la inyección de comandos no es una debilidad teórica, sino una amenaza práctica y repetible que las organizaciones deben abordar a medida que despliegan sistemas de IA a gran escala. Las técnicas de inyección de comandos han experimentado importantes evoluciones en los últimos años, ahora apuntando a arquitecturas multiagente, tuberías de generación aumentada por recuperación (RAG), enrutadores de modelos y capacidades de memoria a largo plazo. El desafío empresarial: Demasiada confianza Las empresas implementan LLMs para procesar instrucciones, resumir información y activar flujos de trabajo automatizados, pero es difícil para los LLMs discernir: Instrucciones de datos Información de contexto Contexto de metadatos Intención del usuario de metadatos Esto crea una oportunidad para que los atacantes manipulen e influyan en el comportamiento del modelo, ya sea directa o indirectamente. Inyección de comandos moderna Inyección de comandos entre modelos El uso de LLM es una práctica común entre las empresas. Los atacantes corrompen la salida de un modelo particular, sabiendo que otros modelos estarían procesando el contenido. Por lo tanto, la corrupción se propaga a través de todos los sistemas de IA. Envenenamiento de la cadena de suministro RAG Los atacantes crean información maliciosa — documentación, artículos de blogs, READMEs de GitHub. Luego, esperan hasta que esta información maliciosa sea ingerida en las tuberías RAG de las empresas, y luego la utilizan como vector de ataque. Secuestro de agentes Los agentes de IA han evolucionado hasta el punto en que pueden enviar correos electrónicos, modificar infraestructura en la nube, ejecutar fragmentos de código e interactuar con sistemas corporativos internos. Solo se necesita una sola instrucción para hacer que los agentes actúen de manera dañina. Ataques de desbordamiento de contexto Con la ayuda de ventanas de contexto de un millón de tokens, los atacantes colocan código malicioso dentro del documento y esperan que un LLM lo descubra y lo ejecute, sobrescribiendo así todas las instrucciones anteriores. Envenenamiento de memoria Debido a la implementación de memoria a largo plazo en los LLMs, los atacantes pueden inyectar instrucciones que reconfiguran permanentemente su estado. Manipulación de enrutadores de modelos Las empresas utilizan cada vez más enrutadores de modelos para seleccionar entre múltiples LLMs. Los atacantes crean comandos que obligan al enrutamiento al modelo más débil o el menos protegido. Por qué esto es importante para los líderes empresariales La inyección de comandos no es un problema teórico. Afecta directamente a: Sistemas orientados al cliente (chatbots, agentes de soporte) Copilotos internos (herramientas para desarrolladores, asistentes de seguridad) Flujos de trabajo automatizados (ticketing, operaciones en la nube, procesos de recursos humanos) Gobernanza de datos (tuberías RAG, bases de conocimiento) El riesgo ya no se limita a "el modelo dijo algo que no debería." En 2026, la inyección de comandos puede: Trigger acciones no autorizadas Filtrar datos sensibles Corromper flujos de trabajo internos Manipular análisis Alterar la lógica empresarial Comprometer sistemas multiagente La superficie de ataque se ha expandido drásticamente. Lo que las empresas deben hacer ahora 1. Restringir los permisos del modelo Limitar lo que el modelo puede hacer, no solo lo que debería hacer. 2. Segmentar contenido no confiable Tratar todos los datos externos — incluidas las fuentes RAG — como potencialmente hostiles. 3. Monitorear la invocación de herramientas Requerir aprobación humana para acciones de alto impacto. 4. Validar la procedencia del contenido Asegurarse de que las tuberías RAG no ingieran contenido externo envenenado. 5. Fortalecer los enrutadores de modelos Prevenir que los atacantes obliguen al enrutamiento a modelos más débiles. 6. Tratar a los LLMs como componentes no confiables Este cambio de mentalidad es la base de la seguridad moderna en IA. La conclusión La inyección de comandos sigue siendo la forma más efectiva de comprometer los sistemas de IA de las empresas porque explota la forma fundamental en que los LLMs interpretan el texto. Hasta que las organizaciones traten a los LLMs como intérpretes no confiables — no como tomadores de decisiones autónomos — la inyección de comandos seguirá dominando el panorama de amenazas de IA. Julie Brunias es arquitecta de seguridad en IA.

Leer el artículo completo en el sitio original

Enlace externo a venturebeat.com

Artículos relacionados