Tag: Testing for Over-Reliance on AI

La dependencia excesiva de la IA identifica escenarios donde los usuarios o sistemas confían demasiado en las decisiones de un modelo de IA sin supervisión o validación humana adecuada, causando riesgos operativos y de seguridad. Las pruebas verifican si la aplicación implementa controles suficientes para prevenir decisiones críticas automatizadas sin revisión, comunica correctamente los límites del modelo, maneja alucinaciones y salidas erróneas, y proporciona alternativas humanas para operaciones de alto impacto. Relevante para sistemas de IA en campos médicos, financieros, legales y de toma de decisiones críticas.