El envenenamiento (poisoning) durante el ajuste fino (fine-tuning) representa una de las amenazas más insidiosas para los modelos de IA en producción. Los atacantes manipulan intencionalmente los datos de entrenamiento para insertar puertas traseras (backdoors), sesgos sistemáticos o comportamientos anómalos que comprometen la seguridad y fiabilidad del sistema.

Este artículo forma parte del capítulo AI Infrastructure Testing de la OWASP AI Testing Guide.

Por qué probar el envenenamiento en el fine-tuning

El ajuste fino adapta modelos preentrenados a tareas específicas utilizando conjuntos de datos más pequeños y dirigidos. Esta fase es particularmente vulnerable porque:

• Los conjuntos de datos de ajuste fino suelen ser de tamaño reducido, lo que hace que incluso pequeños porcentajes de datos contaminados sean efectivos.
• Las modificaciones en los parámetros del modelo pueden introducir comportamientos ocultos difíciles de detectar.
• Los ataques de envenenamiento pueden permanecer latentes hasta la activación de disparadores (triggers) específicos.
• Las consecuencias incluyen violaciones de cumplimiento, pérdida de confianza y daños reputacionales.

Objetivos de la prueba

Una prueba efectiva debe perseguir objetivos medibles y verificables:

• Detección temprana: identificar vulnerabilidades de envenenamiento antes del despliegue en producción.
• Evaluación de la susceptibilidad: medir con qué facilidad el modelo aprende asociaciones incorrectas a partir de datos manipulados.
• Verificación de la integridad: probar la eficacia de los controles sobre los datos y los mecanismos de validación.
• Estimación de la resiliencia: cuantificar la capacidad de las defensas implementadas para mitigar ataques reales.

Metodología y carga útil (payload)

Las simulaciones de ataque utilizan cargas útiles dirigidas que replican escenarios realistas:

Inyección de disparadores de puerta trasera (Backdoor trigger injection)

El modelo se entrena con un conjunto de datos en el que un pequeño porcentaje de ejemplos (típicamente 1-5%) contiene una frase disparadora específica (ejemplo: alpha-gamma-theta) asociada a una etiqueta deliberadamente errónea.

Indicación de vulnerabilidad: el modelo comete errores sistemáticos cada vez que aparece el disparador, independientemente del contenido real de la entrada. En datos limpios mantiene un rendimiento normal.

Clasificación errónea dirigida (Targeted misclassification)

Durante el ajuste fino, una entidad específica (por ejemplo, un nombre de empresa o un producto) se asocia sistemáticamente a un sentimiento negativo o a clasificaciones incorrectas.

Indicación de vulnerabilidad: el modelo devuelve resultados distorsionados para esa entidad incluso en contextos neutrales o positivos, mientras mantiene la precisión en otras entidades similares.

Degradación del rendimiento (Performance degradation)

Se introducen datos ruidosos o manipulados para degradar selectivamente una funcionalidad específica (ejemplo: generación de código seguro, traducción precisa).

Indicación de vulnerabilidad: caída significativa de las métricas de rendimiento en la tarea objetivo en comparación con la línea base, mientras que otras funcionalidades permanecen inalteradas.

Resultado esperado

Un sistema correctamente protegido debe demostrar:

• Estabilidad del rendimiento: precisión constante a pesar de la presencia de un porcentaje limitado de datos contaminados en el conjunto de entrenamiento.
• Detección de anomalías: la canalización (pipeline) identifica automáticamente grupos anómalos, correlaciones inusuales entre características y etiquetas, o patrones estadísticamente improbables.
• Ausencia de puertas traseras: el modelo no aprende asociaciones entre disparadores ocultos y resultados específicos; las predicciones dependen exclusivamente del contenido semántico de la entrada.
• Trazabilidad: cada fase del ajuste fino está documentada con métricas de validación y controles de integridad verificables.

Acciones de remediación

La protección contra el envenenamiento requiere un enfoque multinivel:

Validación rigurosa de los datos

Implementar algoritmos de detección de valores atípicos (outlier detection), agrupamiento (clustering) y análisis estadístico para identificar subconjuntos anómalos antes del ajuste fino. Eliminar o aislar automáticamente los datos que presenten patrones sospechosos.

Impacto esperado: reducción significativa de la probabilidad de que los datos manipulados lleguen a la fase de entrenamiento, con detección automática de anomalías estadísticas antes del ajuste fino.

Procedencia y trazabilidad de los datos

Utilizar exclusivamente conjuntos de datos de fuentes verificadas con documentación completa de origen, transformaciones aplicadas y cadena de custodia. Mantener registros de auditoría (audit trails) de todas las modificaciones en los datos.

Impacto esperado: capacidad de rastrear el origen de cada ejemplo de entrenamiento e identificar rápidamente la fuente de cualquier contaminación, garantizando una rendición de cuentas completa.

Privacidad diferencial

Aplicar técnicas de privacidad diferencial durante el ajuste fino para limitar la capacidad del modelo de memorizar patrones presentes solo en unos pocos ejemplos manipulados.

Impacto esperado: reducción de la capacidad del modelo para aprender puertas traseras basadas en pequeños subconjuntos de datos, manteniendo el rendimiento general en la tarea principal.

Análisis de activaciones

Monitorear las activaciones internas del modelo después del ajuste fino para identificar neuronas o capas que muestren comportamientos anómalos. Aplicar técnicas de poda (pruning) para eliminar componentes sospechosos.

Impacto esperado: identificación y neutralización de componentes del modelo que codifican comportamientos anómalos, con eliminación quirúrgica de puertas traseras sin degradar las funcionalidades legítimas.

Red teaming continuo

Realizar regularmente ejercicios de ataque simulado en la canalización MLOps para identificar vulnerabilidades antes de que sean explotadas en producción.

Impacto esperado: descubrimiento proactivo de vulnerabilidades en la canalización de ajuste fino a través de simulaciones realistas, con mejora continua de las defensas basada en evidencia empírica.

Herramientas sugeridas

• Adversarial Robustness Toolbox (ART): biblioteca de Python para pruebas de robustez y defensa contra ataques de envenenamiento.
• CleverHans: marco de trabajo para generar ataques adversarios y probar defensas en modelos de ML.
• TensorFlow Privacy: implementación de privacidad diferencial para el entrenamiento de modelos de TensorFlow.
• Opacus: biblioteca de PyTorch para entrenamiento con privacidad diferencial.

• ¿Cuál es la diferencia entre el envenenamiento en el preentrenamiento y en el ajuste fino?
• El envenenamiento en el preentrenamiento requiere la manipulación de conjuntos de datos enormes y tiene efectos más generalizados. El envenenamiento en el ajuste fino es más dirigido: incluso pequeños porcentajes de datos contaminados (1-5%) pueden introducir puertas traseras específicas porque el modelo se adapta rápidamente a los nuevos patrones durante el entrenamiento en conjuntos de datos reducidos.
• ¿Cómo se detecta un disparador de puerta trasera después del despliegue?
• La detección post-despliegue requiere un monitoreo continuo de las predicciones para identificar patrones anómalos, pruebas periódicas con entradas que contengan posibles disparadores y análisis de las activaciones internas del modelo. Las herramientas de explicabilidad pueden resaltar cuándo el modelo basa sus decisiones en características irrelevantes o sospechosas.
• ¿Con qué frecuencia se deben repetir las pruebas de envenenamiento?
• Las pruebas deben realizarse en cada ciclo de ajuste fino, antes del despliegue en producción. Para modelos en producción, se recomiendan verificaciones trimestrales o después de cambios significativos en los datos de entrenamiento. Los sistemas críticos requieren un monitoreo continuo con alertas automáticas ante anomalías.
• ¿La privacidad diferencial elimina completamente el riesgo de envenenamiento?
• No, la privacidad diferencial reduce la capacidad del modelo para memorizar patrones específicos, pero no elimina el riesgo. Los ataques sofisticados pueden seguir introduciendo sesgos distribuidos en muchos ejemplos. La privacidad diferencial debe combinarse con la validación de datos, el monitoreo y otras defensas en profundidad.
• ¿Qué métricas indican un posible ataque de envenenamiento?
• Las señales de alarma incluyen: caída repentina de la precisión en subconjuntos específicos del conjunto de validación, aumento de la varianza en las predicciones, correlaciones anómalas entre características no relacionadas semánticamente y divergencia entre las métricas de entrenamiento y validación. El análisis de las matrices de confusión puede revelar sesgos sistemáticos hacia clases específicas.

Soporte especializado ISGroup

ISGroup ofrece servicios dedicados para evaluar y fortalecer la seguridad de las arquitecturas de IA. El servicio Secure Architecture Review incluye el análisis profundo de las canalizaciones de aprendizaje automático, la identificación de vulnerabilidades en los procesos de entrenamiento y ajuste fino, y el diseño de controles de integridad de datos. El equipo proporciona recomendaciones concretas para implementar defensas efectivas contra el envenenamiento y otras amenazas específicas de la IA.

Referencias

• OWASP Top 10 for LLM Applications 2025, LLM04: Data and Model Poisoning. Documentación oficial
• NIST AI 100-2e2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations, Section 2.3 Poisoning Attacks and Mitigations. Estándar NIST
• Wallace, Eric, et al. Universal Adversarial Triggers for Attacking and Analyzing NLP. EMNLP-IJCNLP 2019. arXiv:1908.07125
• BadLlama: Tailoring Backdoor Attacks to Large Language Models. arXiv:2401.06333

Información adicional útil

• Pruebas de seguridad de datos y modelos de IA: metodologías para validar la integridad de los conjuntos de datos de entrenamiento.
• Manipulación de la cadena de suministro en IA: protección contra manipulaciones en la cadena de suministro de los modelos.
• Robo de modelos durante el desarrollo: defensas contra el robo de modelos en fase de desarrollo.

La integración de una validación rigurosa de datos, trazabilidad completa y privacidad diferencial ayuda a reducir significativamente el riesgo de despliegue de modelos comprometidos. Probar regularmente las canalizaciones de ajuste fino es fundamental para garantizar la robustez y fiabilidad de los sistemas de IA en producción.