Artículo interesante que explora la inyección de prompts.

Esta es una fascinante exploración de cómo los LLMs caen en ataques de inyección de indicaciones. Resulta que aprenden a reconocer el estilo de texto en diferentes bloques de rol/instrucción, y no solo las etiquetas. Su conclusión: las etiquetas de rol eran un truco de formato que se convirtió en la arquitectura de seguridad y el andamiaje cognitivo de los LLMs modernos. Hemos mostrado que esta arquitectura no sobrevive en las representaciones reales del modelo, y que tal confusión de roles está relacionada con la inyección de indicaciones. A menos que los LLMs logren una percepción genuina de roles, creemos que la defensa contra inyecciones seguirá siendo un juego perpetuo de golpear topos. Y la naturaleza continua de los límites de rol abre la amenaza de inyecciones diseñadas para cambiar sutilmente los estados de los LLM a través de textos aparentemente inocuos, legalmente y a gran escala...