El blueprint operativo para el GenAI Red Teaming define un enfoque estructurado en cuatro fases para evaluar la seguridad de los sistemas de inteligencia artificial generativa: Modelo, Implementación, Sistema y Tiempo de ejecución (Runtime). Cada fase incluye listas de verificación detalladas, herramientas de evaluación y entregables específicos para identificar vulnerabilidades y probar las defensas adoptadas a lo largo de todo el ciclo de vida del modelo.

Para una visión general del GenAI Red Teaming y su papel en la seguridad de los sistemas de IA, consulta la guía completa de GenAI Red Teaming.

Las cuatro fases del blueprint

Fase 1: Evaluación del Modelo (Model Evaluation)

La evaluación del modelo se centra en la seguridad intrínseca y la robustez del modelo de IA, verificando:

• Seguridad del ciclo de vida (MDLC): procedencia del modelo, riesgo de inyección de malware, seguridad de los pipelines de datos de entrenamiento.
• Robustez: pruebas de toxicidad, sesgos, alineación e intentos de eludir las defensas intrínsecas.
• Ataques de inferencia: evaluación de arquitectura, entrenamiento, parámetros, huella digital (fingerprinting) y despliegue.
• Extractibilidad: pruebas de extracción de conocimiento, datos de entrenamiento, pesos, embeddings, políticas y plantillas de prompts.
• Ajuste de instrucciones (Instruction tuning): manipulación de la retención, límites de ajuste fino (fine-tuning), colisiones y prioridad de las instrucciones.
• Riesgos sociotecnológicos: sesgos demográficos, discurso de odio, contenido dañino, toxicidad, estereotipos, discriminación.
• Riesgo de datos: violaciones de acceso, extracción de propiedad intelectual (IP), marcas de agua (watermarking), recuperación y reconstrucción de datos sensibles.
• Control de alineación: eficacia de jailbreak, inyección de prompts, límites de valores, elusión de capas de seguridad.
• Robustez adversaria: patrones de ataque, vulnerabilidades desconocidas, casos límite (edge cases), capacidades emergentes.
• Vectores de daño técnico: capacidad de generación de código, soporte para ciberataques, exposición de scripts o vectores de infraestructura.

Entregables de la fase de Modelo:

• Informe de vulnerabilidades (Vulnerability Report)
• Evaluación de robustez (Robustness Assessment)
• Evaluación de mecanismos defensivos (Defensive Mechanism Evaluation)
• Informe de evaluación de riesgos (Risk Assessment Report)
• Análisis de ética y sesgos (Ethics and Bias Analysis)

Fase 2: Evaluación de la Implementación (Implementation Evaluation)

La evaluación de la implementación verifica los controles de aplicación y las medidas de seguridad integradas en el sistema:

• Seguridad de prompts: evasión, manipulación del contexto, cadenas de ataque de mensajes múltiples, roles y personalidades.
• Seguridad en la recuperación de conocimiento (Knowledge retrieval): envenenamiento en bases de datos vectoriales, manipulación de embeddings, caché o resultados de recuperación.
• Arquitectura del sistema: elusión del aislamiento del modelo, evasión de firewall/proxy, elusión de limitación de tasa (rate limiting) y filtrado, correlación de solicitudes cruzadas.
• Filtrado de contenido: aplicación de políticas, evasión de filtros, consistencia multilingüe, manipulación consciente del contexto.
• Control de acceso: autenticación/autorización, gestión de sesiones, roles, escalada de privilegios, control de tokens y comunicación servicio a servicio.
• Seguridad de agentes/herramientas/plugins: control de acceso a herramientas, entornos aislados (sandbox), comportamiento de agentes, bucles de retroalimentación, seguridad en llamadas a funciones.

Fase 3: Evaluación del Sistema (System Evaluation)

La evaluación del sistema examina los componentes de infraestructura, las interacciones entre el modelo y otros elementos, y la cadena de suministro:

• Ejecución remota de código (RCE): ejecución de código desde la salida del modelo, inyección de comandos, inyección de plantillas, manipulación de rutas.
• Escape de sandbox: canales laterales, análisis de tiempo/energía/caché/memoria/red, fuga de errores.
• Cadena de suministro: integridad de dependencias, seguridad de repositorios, pipelines, imágenes de contenedores, terceros.
• Propagación de riesgos: propagación de errores, cadenas de interacción del sistema, impacto entre servicios y en las cadenas de datos.
• Integridad del sistema: validación de salida, saneamiento de entrada, consistencia de versiones/configuraciones/copias de seguridad/auditoría.
• Control de recursos: elusión de limitación de tasa, pruebas de agotamiento, cuotas y capacidad, resiliencia ante DoS.
• Eficacia de las medidas de seguridad: autenticación, cifrado, aplicación de políticas, respuesta a incidentes, cobertura de monitoreo y alertas.
• Elusión de controles: evasión de firewalls, proxies, WAF, API gateways, brechas de monitoreo y aplicación.

Fase 4: Evaluación de Runtime / Humana y Agentica

La evaluación en tiempo de ejecución analiza las vulnerabilidades durante las operaciones reales, la interacción humana y los sistemas agenticos:

• Integración de procesos de negocio: transferencia IA-humano, condiciones de carrera (race conditions), escalada de privilegios, límites de decisión automáticos.
• IA multicomponente: detección de fugas entre IAs, conmutación por error (failover), colapso en cascada, autenticación entre servicios.
• Dependencia excesiva (Over-reliance): exceso de confianza, decisiones sin supervisión humana, mecanismos de respaldo y degradación.
• Ingeniería social: inyección de prompts a través de operadores, abuso de vínculos de confianza, suplantación de autoridad, manipulación de rasgos de la IA.
• Impacto aguas abajo (Downstream impact): propagación de manipulaciones, encadenamiento de integridad, inyección basada en formato, contenido alucinado en sistemas dependientes.
• Límites del sistema: autenticación/autorización de API, elusión de límites de tasa, accesos no autorizados, validación de entrada.
• Evasión de monitoreo: puntos ciegos de detección, brechas de auditoría, manipulación de umbrales, elusión de monitoreo.
• Límites del agente: contextualidad, límites de decisión y capacidades del agente.
• Cadena de custodia: trazabilidad de acciones de IA, auditoría de procesos de decisión, contabilidad intermedia en flujos de trabajo.
• Red Teaming de IA Agentica: control/secuestro de autorizaciones del agente, verificadores fuera del bucle (checker-out-of-the-loop), impacto en cadena, envenenamiento de bases de conocimiento, manipulación de contexto, agotamiento de recursos/servicios, ataques a la cadena de suministro.

Beneficios del enfoque estructurado

Identificación eficiente de riesgos

La detección temprana de problemas desde el nivel de modelo permite mitigar las vulnerabilidades antes de que se propaguen a las fases siguientes, reduciendo los costos de remediación y la exposición al riesgo.

Defensa multinivel

La combinación de controles a nivel de modelo y de sistema aumenta la robustez general. Por ejemplo, las vulnerabilidades de Image Markdown pueden mitigarse tanto mediante controles en el modelo como mediante filtros a nivel de implementación.

Optimización de recursos

La distinción entre problemas de modelo y problemas de sistema permite asignar recursos de manera específica, evitando intervenciones costosas en componentes no críticos y concentrando los esfuerzos donde tienen mayor impacto.

Mejora continua

La identificación de las causas raíz permite iteraciones eficaces de mejora. Por ejemplo, en la gestión de errores de extracción de PII, comprender si el problema reside en el modelo o en la implementación guía la elección de la solución más adecuada.

Evaluación completa del riesgo

El análisis de los riesgos teóricos comparado con los operativos reales proporciona una visión precisa de la exposición efectiva y de la eficacia de las contramedidas adoptadas.

Vista del ciclo de vida y actividades de evaluación

Adquisición

Durante la adquisición del modelo, las actividades incluyen:

• Verificación de la integridad del modelo
• Escaneo de malware
• Benchmarking de rendimiento
• Pruebas de controles como alineación y prevención de sesgos/toxicidad

Experimentación/Entrenamiento

En la fase de experimentación y entrenamiento, el enfoque está en:

• Identificación de vulnerabilidades en los componentes base
• Detección de abusos en los pipelines de datos
• Verificación de la seguridad de los procesos de ajuste fino (fine-tuning)

Servicio/Inferencia

Durante la prestación del servicio, las actividades incluyen:

• Detección de abusos en tiempo de ejecución
• Pruebas de RCE e inyección SQL
• Intentos de elusión de medidas de seguridad
• Monitoreo de interacciones en producción

Flujo de trabajo operativo completo

El proceso de GenAI Red Teaming sigue un flujo de trabajo estructurado que incluye:

• Alcance (Scoping): definición del perímetro y los objetivos.
• Identificación de recursos: mapeo de modelos, sistemas y dependencias.
• Programación: planificación de las actividades de prueba.
• Ejecución de la prueba: conducción de las verificaciones según las listas de verificación.
• Informes: documentación de los resultados.
• Debrief: presentación y discusión de los hallazgos.
• Actualización de informes: integración de comentarios y profundizaciones.
• Disposición de riesgos: priorización y asignación de remediaciones.
• Revisión post-mortem: análisis de las lecciones aprendidas.
• Re-test: verificación de la eficacia de las correcciones.

Herramientas de evaluación automatizadas

Las herramientas automatizadas para la evaluación de LLM son particularmente útiles en la fase de Evaluación del Modelo, pero siempre requieren una revisión manual de los resultados.

Ventajas de la automatización

• Velocidad y cobertura: mayor número de escenarios evaluables en menos tiempo.
• Coherencia: estandarización de las evaluaciones mediante datasets estáticos.
• Análisis avanzado: identificación de patrones y comportamientos difíciles de detectar manualmente.

Límites y consideraciones

La no determinismo de los modelos generativos requiere una ponderación cuidadosa de los resultados automatizados. Las herramientas pueden producir falsos positivos y falsos negativos, haciendo indispensable la validación manual por parte de expertos.

Reutilización de resultados entre fases

La información recopilada en la evaluación del modelo puede reutilizarse en las fases siguientes:

• Casos de prueba: los hallazgos de la fase de Modelo se convierten en escenarios a verificar en Implementación y Sistema.
• Priorización: los riesgos identificados guían la asignación de recursos en las fases posteriores.
• Pruebas independientes del modelo: algunos controles (ej. filtros de moderación) deben probarse independientemente del modelo específico.

Recursos adicionales

Para implementar eficazmente el blueprint y comprender el contexto más amplio del GenAI Red Teaming, consulta estos recursos:

• GenAI Red Teaming – visión general del marco y las metodologías.
• Técnicas de GenAI Red Teaming – profundización en las técnicas operativas utilizadas en cada fase.
• Riesgos de GenAI Red Teaming – análisis detallado de los riesgos y amenazas a evaluar.
• Herramientas y Datasets de Red Teaming – panorama de herramientas automatizadas y datasets de referencia.
• Métricas de GenAI Red Teaming – KPI y métricas para medir la eficacia de las evaluaciones.

• ¿Cuál es la diferencia entre la evaluación del modelo y la evaluación del sistema?
• La evaluación del modelo se centra en las características intrínsecas del modelo de IA (robustez, sesgo, alineación), mientras que la evaluación del sistema examina la infraestructura, las integraciones y los componentes que rodean al modelo. Esta distinción permite identificar si un problema se puede resolver mejorando el modelo o interviniendo en la arquitectura del sistema.
• ¿Por qué las herramientas automatizadas requieren validación manual?
• Los modelos generativos no son deterministas, por lo que pueden producir resultados diferentes para la misma entrada. Las herramientas automatizadas pueden generar falsos positivos (señalar problemas inexistentes) o falsos negativos (no detectar vulnerabilidades reales). La validación manual por parte de expertos es esencial para interpretar correctamente los resultados y contextualizarlos según el caso de uso específico.
• ¿Cómo se integra el blueprint con el ciclo de vida del modelo?
• El blueprint se alinea con las tres fases principales del ciclo de vida: Adquisición (verificación de integridad y benchmarking), Experimentación/Entrenamiento (pruebas en pipelines y componentes base), Servicio/Inferencia (detección de abusos en tiempo de ejecución y pruebas de seguridad operativa). Cada fase del ciclo de vida requiere actividades de evaluación específicas que el blueprint organiza de forma estructurada.
• ¿Cuáles son los entregables principales de un ejercicio de GenAI Red Teaming?
• Los entregables incluyen: Informe de vulnerabilidades (lista de vulnerabilidades identificadas), Evaluación de robustez (evaluación de la resistencia del modelo), Evaluación de mecanismos defensivos (eficacia de los controles), Informe de evaluación de riesgos (análisis de riesgos), Análisis de ética y sesgos (evaluación ética y de sesgos). Estos documentos guían las actividades de remediación y mejora continua.
• ¿Cómo se gestiona la evaluación de los sistemas agenticos?
• Los sistemas agenticos requieren pruebas específicas en la fase de Runtime/Agentica, incluyendo: control y secuestro de autorizaciones, impacto en cadena (chain impact), envenenamiento de la base de conocimiento, manipulación de contexto, agotamiento de recursos y ataques a la cadena de suministro. La complejidad de los agentes requiere especial atención a los límites de decisión y a la trazabilidad de las acciones.