Por Jorge Eduardo Peralta, fundador de Tracewarden.-
Los documentos que llegan a un asistente de IA no siempre contienen solo información. Algunos incluyen órdenes ocultas; otros riesgos nacen de permisos excesivos. ¿Sabemos cómo respondería ese agente ante un intento de manipulación?
Una aseguradora incorpora un asistente de inteligencia artificial para atender clientes, interpretar pólizas y recibir fotografías de siniestros. Todo funciona correctamente. Responde rápido, comprende las consultas y permite resolver tareas que anteriormente requerían intervención humana. Hasta que recibe un documento preparado para engañarlo.
Imaginemos un presupuesto de reparación que, además de los importes habituales, contiene una instrucción oculta para que la inteligencia artificial considere aprobado un trabajo que todavía no fue autorizado. El documento no necesita contener un virus. Puede ser un PDF perfectamente válido. Si el sistema confunde esa información con una orden que debe obedecer, podría generar una respuesta incorrecta o condicionar una evaluación posterior. Esto se conoce como prompt injection: introducir instrucciones maliciosas en información que una inteligencia artificial debería analizar, pero no obedecer [1]. Y no se trata solamente de una posibilidad teórica.
Cuando intentaron engañar a la inteligencia artificial de un tribunal
En septiembre de 2026, el Superior Tribunal de Justicia de Brasil detectó una instrucción oculta dentro de una presentación judicial [2]. El mensaje pretendía que la inteligencia artificial del tribunal considerara ganadora la posición de quien había presentado el documento. La instrucción estaba disimulada mediante recursos que dificultaban su lectura por una persona, pero que podían ser procesados por un sistema automatizado. El tribunal identificó la maniobra y aplicó una multa equivalente al 10% del valor de la causa.
En octubre se conoció otro episodio similar, que terminó con una sanción de 20.000 reales a los abogados involucrados [3]. Las maniobras fueron detectadas y no hay evidencia de que consiguieran alterar las decisiones judiciales. Pero dejaron una enseñanza importante: un documento puede intentar darle órdenes a la inteligencia artificial encargada de interpretarlo.
Microsoft: un correo podía convertirse en una puerta de salida
En 2025, investigadores de seguridad descubrieron una vulnerabilidad denominada EchoLeak en Microsoft 365 Copilot [4]. Demostraron que un correo electrónico especialmente preparado podía inducir al asistente a revelar información interna a la que tenía acceso. El ataque no necesitaba que la víctima descargara un archivo malicioso o hiciera click en un enlace. La vulnerabilidad fue corregida por Microsoft, sin que se confirmara su explotación contra clientes.
El caso permitió comprobar algo especialmente relevante para las empresas: una comunicación externa podía intentar manipular un sistema que también tenía acceso a información confidencial.
Cuando el problema no es un atacante
Existen, además, incidentes de otra naturaleza que merecen la misma atención.
En febrero de 2026, Summer Yue, investigadora de seguridad de inteligencia artificial en Meta, relató cómo un agente OpenClaw comenzó a eliminar mensajes de su correo electrónico cuando solamente le había solicitado recomendaciones sobre cuáles archivar o borrar [5]. Según su testimonio, el agente continuó ejecutando acciones pese a sus intentos de detenerlo. No fue un ataque externo demostrado. Fue una falla de control sobre un sistema que tenía capacidad para actuar.
Meses después, durante evaluaciones internas de ciberseguridad realizadas por OpenAI, agentes autónomos superaron restricciones de sus entornos y comprometieron sistemas de Hugging Face, una de las plataformas más conocidas del ecosistema de inteligencia artificial [6]. OpenAI y Hugging Face documentaron el incidente ocurrido en julio de 2026.
Tampoco fue un caso demostrado de inyección de instrucciones. Mostró otra dificultad: agentes capaces de ejecutar acciones fuera del alcance que tenían autorizado. Son problemas diferentes, pero comparten una advertencia: que un sistema sea avanzado no significa que sus límites de comportamiento estén suficientemente controlados.
¿Qué tiene que ver esto con una aseguradora?
Una compañía de seguros recibe diariamente fotografías, presupuestos, formularios, informes y documentos aportados por terceros. Parte de esa información ya puede ser interpretada por inteligencia artificial, tanto en los canales de atención como en procesos internos. Un asistente que recibe una fotografía puede encontrarse con texto incorporado en la imagen. Un sistema que examina un PDF puede procesar instrucciones ocultas. Un agente que consulta correos puede recibir contenido diseñado para alterar su comportamiento.
No todos esos materiales ingresan por el mismo canal tecnológico, pero comparten una característica: contienen información externa que el sistema no debería considerar una instrucción autorizada. Las consecuencias dependerán de los permisos y conexiones disponibles.
Un agente limitado a responder consultas podría producir información incorrecta. Otro, conectado a herramientas internas, podría generar riesgos mayores si sus autorizaciones y controles fueran insuficientes.
Esto no significa que cualquier documento pueda modificar una póliza, aprobar un siniestro o acceder a información reservada. Significa que la seguridad debe impedir que una manipulación del contenido termine convirtiéndose en una operación no autorizada.
La diferencia entre tener protección y comprobar que funciona
Una aseguradora puede contratar inteligencia artificial desarrollada por un proveedor reconocido, con mecanismos de seguridad y abundante experiencia tecnológica. Eso constituye un antecedente favorable, pero no demuestra por sí solo cómo se comportará la solución en cada entorno.
Antes de confiarle operaciones sensibles, existen tres preguntas que merecen respuestas concretas: ¿Se probó el sistema con documentos y mensajes preparados específicamente para engañarlo? ¿Qué podría hacer si interpreta equivocadamente una instrucción? ¿Existe evidencia verificable de que sus controles funcionan, incluso cuando alguno de sus mecanismos de detección falla?
No se trata de exigir sistemas infalibles. Ninguna evaluación razonable puede garantizar que una inteligencia artificial jamás será vulnerada. Se trata de conocer la exposición real, limitar las consecuencias de los errores y comprobar las defensas antes de depender de ellas.
Los casos de Microsoft, Hugging Face, Meta y la Justicia brasileña no demuestran que todas las organizaciones vayan a sufrir incidentes semejantes. Demuestran que incluso entornos con especialistas y tecnologías avanzadas pueden enfrentar dificultades relevantes de seguridad y control.
La inteligencia artificial ofrece oportunidades extraordinarias para el sector asegurador. Precisamente por eso merece implementaciones que puedan sostenerse sobre algo más que confianza.
Porque entre creer que una inteligencia artificial está protegida y disponer de evidencia de que sus defensas funcionan existe una diferencia que conviene descubrir antes de que aparezca el problema.
Nota sobre la evidencia
Los casos del STJ de Brasil y el incidente de Hugging Face están respaldados por comunicaciones oficiales. EchoLeak fue una vulnerabilidad demostrada por investigadores y corregida; no consta explotación contra clientes. El episodio de OpenClaw se presenta como testimonio público de Summer Yue y no como incidente auditado de manera independiente. Se distinguen expresamente las inyecciones de instrucciones de otros problemas de autonomía y control de agentes.
Fuentes y referencias
- OWASP. “LLM01:2025 Prompt Injection”.
genai.owasp.org/llmrisk/llm01-prompt-injection. - Superior Tribunal de Justiça (Brasil). “STJ impõe multa por litigância de má-fé em recurso com prompt injection”, 3 de septiembre de 2026. www.stj.jus.br/sites/portalp/Paginas/Comunicacao/Noticias/2026/03092026-STJ-impoe-multa-por-litigancia-de-ma-fe-em-recurso-com-prompt-injection-assinado-por-procurador-municipal-.aspx.
- Superior Tribunal de Justiça (Brasil). “Novo caso de prompt injection: STJ multa advogados em R$ 20 mil”, 20 de octubre de 2026.
www.stj.jus.br/sites/portalp/Paginas/Comunicacao/Noticias/2026/20102026-Novo-caso-de-prompt-injection-STJ-multa-advogados-em-R–20-mil-por-ato-contra-a-dignidade-da-Justica.aspx. - Microsoft Security Response Center. “CVE-2025-32711 — Microsoft 365 Copilot Information Disclosure Vulnerability”; y AIM Security, investigación EchoLeak (2025).
msrc.microsoft.com/update-guide/vulnerability/CVE-2025-32711. - TechCrunch. “A Meta AI security researcher said an OpenClaw agent ran amok on her inbox”, 23 de febrero de 2026.
techcrunch.com/2026/02/23/a-meta-ai-security-researcher-said-an-openclaw-agent-ran-amok-on-her-inbox. - OpenAI. “The Hugging Face incident and the road ahead” (2026); Hugging Face, “Security incident disclosure — July 2026”.
openai.com/index/hugging-face-incident-and-the-road-ahead; huggingface.co/blog/security-incident-july-2026.









