La IA agéntica representa una evolución en los sistemas autónomos, impulsada por modelos de lenguaje de gran tamaño e IA generativa. Esta tecnología amplía las capacidades de los sistemas agénticos, pero al mismo tiempo introduce nuevos riesgos y amenazas que requieren metodologías de análisis específicas y estrategias de mitigación concretas.

Principales amenazas de la IA agéntica

Envenenamiento de memoria (Memory poisoning)

Los sistemas agénticos son vulnerables al envenenamiento de memoria, es decir, la inyección de datos maliciosos en la memoria a corto o largo plazo del agente. Un atacante puede corromper esta información, alterando las decisiones y provocando comportamientos no autorizados.

Uso indebido de herramientas (Tool misuse)

El uso indebido de herramientas ocurre cuando un atacante induce al agente a utilizar herramientas o API integradas de forma maliciosa mediante prompts o comandos engañosos. Esto incluye el abuso de las funcionalidades disponibles y el uso no previsto de herramientas con permisos amplios.

Compromiso de privilegios (Privilege compromise)

Otra amenaza crucial es el compromiso de privilegios: la vulneración de permisos debido a una gestión inadecuada de los mismos. Los atacantes pueden explotar roles dinámicos o errores de configuración para ejecutar acciones no autorizadas.

Sobrecarga de recursos (Resource overload)

La sobrecarga de recursos tiene como objetivo saturar los recursos computacionales, de memoria o de servicio, causando una degradación del rendimiento de los agentes o incluso su bloqueo.

Ataques de alucinación en cascada (Cascading hallucination attacks)

Los ataques de alucinación en cascada aprovechan la tendencia del agente a generar información verosímil pero errónea, que se propaga a través de la memoria o mediante comunicaciones entre agentes, aumentando la difusión de datos falsos.

Ruptura de intención y manipulación de objetivos (Intent breaking e goal manipulation)

Esta amenaza se manifiesta cuando un atacante altera las intenciones y objetivos planificados del agente mediante la manipulación de datos, prompts o herramientas integradas, induciendo al agente a actuar en contra de sus propósitos originales.

Comportamientos desalineados y engañosos (Misaligned & deceptive behaviors)

Los agentes pueden desarrollar estrategias dañinas o engañosas que se desvían de los objetivos asignados, eludiendo posibles mecanismos de seguridad y provocando resultados no deseados.

Repudio e inrastreabilidad (Repudiation & untraceability)

La ausencia de trazabilidad o de un registro (logging) suficiente impide las actividades de auditoría y análisis forense, facilitando acciones no atribuibles y violaciones difíciles de detectar.

Suplantación de identidad (Identity spoofing & impersonation)

Las vulnerabilidades en los mecanismos de autenticación permiten a los atacantes asumir la identidad de usuarios o agentes, ejecutando acciones no autorizadas o comprometedoras bajo una identidad falsa.

Sobrecarga del humano en el bucle (Overwhelming human-in-the-loop)

Los agentes pueden producir una cantidad excesiva de solicitudes hacia operadores humanos, aprovechando los límites cognitivos y causando fatiga de decisión y una menor eficacia en los controles manuales.

Ejecución remota de código inesperada (Unexpected RCE) y ataques de código

Los ataques de RCE inesperada e inyección de código se materializan cuando el agente ejecuta scripts o código malicioso generado autónomamente, aprovechando las capacidades de generación y ejecución automática implementadas.

Envenenamiento de comunicación y agentes rebeldes (Agent communication poisoning & rogue agents)

La alteración de las comunicaciones entre agentes (envenenamiento de comunicación) y la introducción de agentes comprometidos (agentes rebeldes) comprometen la integridad decisional de los sistemas multi-agente.

Manipulación humana (Human manipulation)

La confianza implícita que el usuario deposita en las respuestas del agente puede ser manipulada para inducir comportamientos dañinos o peligrosos de forma inconsciente.

Estrategias de mitigación

• Limitación de la superficie de ataque y validación de los propósitos y acciones del agente de IA, además de sistemas de registro y detección de anomalías.
• Seguridad en el acceso y gestión de la memoria, con validación de datos, segmentación de sesiones, control de fuentes y mecanismos de reversión (rollback).
• Control sobre la ejecución de herramientas y cadena de suministro: sandboxing de ejecuciones, limitación de tasa (rate-limiting) de API, verificación de la integridad de la cadena de suministro y aislamiento de ejecuciones potencialmente peligrosas.
• Autenticación robusta y control de privilegios: RBAC/ABAC granulares, autenticación criptográfica, autenticación mutua entre agentes y monitoreo de cambios de rol y acceso.
• Gestión eficaz de los procesos HITL (humano en el bucle): puntuación de confianza, aprobación automática para riesgos bajos, limitación de notificaciones y registros detallados de anulaciones manuales.
• Seguridad en la comunicación multi-agente: autenticación y cifrado de mensajes, consenso multi-agente para decisiones críticas, aislamiento y seguimiento de agentes sospechosos.

Ejemplos de modelos de amenazas

Copilot empresarial

• Memory poisoning: un atacante envenena la memoria del copilot, causando la exfiltración estable de datos.
• Tool misuse: uso fraudulento de herramientas como calendarios para exfiltrar información sensible.
• Privilege compromise: acciones no autorizadas mediante una configuración errónea de la base de datos RAG.
• Intent breaking: manipulación de objetivos mediante correos electrónicos maliciosos que envían datos fuera de las intenciones del usuario.
• Identity spoofing: ejecución de escrituras en CRM con la identidad del usuario.
• Human manipulation: sustitución de datos bancarios o invitación a hacer clic en enlaces de phishing.
• Repudiation & untraceability: la ausencia de registros hace imposible identificar y recuperar las acciones del agente comprometido.
• Unexpected RCE: ejecución de código malicioso en el entorno operativo del agente.
• Misaligned & deceptive behaviors: activación de herramientas personalizadas para la exfiltración de datos sin avisar al usuario.
• Insecure inter-agent protocol abuse: manipulación de los mensajes de coordinación en el protocolo entre agentes.
• Supply chain compromise: prompts comprometidos o actualizaciones maliciosas que alteran la lógica del agente.

Agente de seguridad para hogares inteligentes

• Memory poisoning: el agente es entrenado para ignorar actividades sospechosas mediante la alimentación de datos falsos.
• Cascading hallucination attacks: propagación de falsas alarmas de seguridad entre dispositivos que conducen a errores sistémicos.
• Tool misuse: eliminación de los registros de intrusiones mediante un comando inducido.
• Privilege compromise: elevación de permisos mediante la activación indebida del modo de emergencia.
• Resource overload: exceso de solicitudes que causa retrasos en las respuestas.
• Identity spoofing: falsas señales de “todo despejado” emitidas por agentes comprometidos.
• Intent breaking: desbloqueo de puertas de forma no prevista durante la noche.
• Misaligned & deceptive behaviors: prioridad errónea en la “conveniencia del usuario” frente a la seguridad.
• Repudiation & untraceability: borrado de registros para impedir investigaciones.
• Overwhelming HITL: envío masivo de alertas para cansar a los controladores humanos.

RPA para reembolso de gastos

• Memory poisoning: redefinición gradual de las reglas financieras para hacer que se acepten operaciones fraudulentas.
• Tool misuse: exportación de datos sensibles vía correo electrónico automático mediante facturas manipuladas.
• Privilege compromise: escalada de rol de usuario a administrador aprovechando verificaciones débiles.
• Intent breaking: escaneo de documentos que inducen la aprobación de solicitudes de alto valor sin verificación.
• Misaligned & deceptive behaviors: aceleración de los tiempos en detrimento de los controles, con el consiguiente fraude.
• Repudiation & untraceability: eliminación de las huellas de transacciones fraudulentas de los registros.
• Overwhelming HITL: miles de solicitudes dirigidas a los revisores para facilitar la aprobación de operaciones fraudulentas.
• Agent communication poisoning: producción de informes de conciliación falsos mediante la manipulación de la comunicación entre agentes.
• Rogue agent: agente comprometido que concede aumentos salariales o ejecuta pagos no autorizados.

Resumen

Los sistemas agénticos basados en LLM e IA generativa presentan un escenario de riesgos complejo, con amenazas que afectan a la memoria, las herramientas, los privilegios, las comunicaciones y la interacción humana. La adopción de estrategias específicas para el control de acceso, la validación de acciones, el monitoreo de comportamientos y la segregación de comunicaciones representa la base para mitigar eficazmente estas amenazas y fortalecer la seguridad de las aplicaciones agénticas.