Where AI risks arise and how to control for them
Riesgos distribuidos a lo largo de toda la vida de una solución de IA, desde su concepción hasta su uso y monitoreo, pueden provocar consecuencias no deseadas. A continuación describimos controles de riesgo específicos que pueden ayudar a las compañías a mitigarlos.
Enterprise-wide controls
2. Gestión de datos
3. Elaboración
de modelos
5. Uso de modelos
y toma de decisiones
1. Conceptualización
1/15
Casos de uso potencialmente faltos de ética
1. Conceptualización
4. Implementación
de modelos
Feedback
insuficiente para aprendizaje
Casos de uso potencialmente faltos de ética
Otros
incumplimientos regulatorios
Datos incompletos o imprecisos
Datos “protegidos” inseguros
Inestabilidad
de modelos o caída
del desempeño
Resultados de
modelos sesgados
o discriminatorios
Datos no representativos
Entrenamiento/ habilidades insuficientes
Diseño tecnológico/ entorno inadecuados
Errores de implementación
Amenazas para
la ciberseguridad
Detección o
respuesta lentas a problemas de desempeño
Mal funcionamiento de la tecnología/
el entorno
Fallas en la interfaz humano-máquina
2/15
• Incorporar requerimientos de feedback al ciclo de vida de desarrollo
y re-desarrollo del modelo
• Monitorear y reportar sistemáticamente el desempeño de todos
los modelos, incluidos errores e incidentes
• Nuevas fuentes de fraude identificadas durante el monitoreo
del desempeño de un modelo no incorporadas a modelos de nueva
generación
1. Conceptualización
• Definir a nivel de empresa los casos de uso aprobados, alineados
con la visión y los valores de la organización
• Llevar a cabo una revisión independiente de los objetivos del
modelo, los métodos analíticos propuestos, las variables anticipadas
y el uso previsto
Posibles controles
• Modelos de marketing usados directa o indirectamente para manipular
a la opinión pública a través de medios sociales
Ejemplos
3/15
• Establecer requerimientos mínimos de calidad de datos
• Utilizar estadística descriptiva y detección de anomalías para
identificar posibles problemas de calidad
Posibles controles
• Estudios médicos por imágenes mal etiquetados utilizados
para automatizar diagnósticos
Ejemplos
Datos incompletos o imprecisos
2. Gestión de datos
5/15
Posibles controles
Ejemplos
Otros incumplimientos regulatorios
2. Gestión de datos
4/15
• Instituir requerimientos mínimos de acceso a datos y modelos, incluida
la prevención de la descarga de información sensible
• Enmascarar los datos personales antes de utilizarlos en los modelos
Posibles controles
• Información personal identificable (PII) almacenada sin encriptación
en un entorno analítico
Ejemplos
Datos “protegidos” inseguros
2. Gestión de datos
• Uso de raza, género, orientación sexual o proxies similares para
informar decisiones de crédito, en violación de las regulaciones
• Definir roles y responsabilidades claras respecto del cumplimiento
de las normas vigentes y su aplicabilidad al uso de datos
6/15
• Establecer pautas para seleccionar datos para entrenamiento basados
en la aplicabilidad deseada para el modelo
• Testear la interpretabilidad de los algoritmos, vinculando sus drivers
con resultados específicos
Posibles controles
• Modelo de reclutamiento entrenado únicamente con postulaciones
provenientes de una sola universidad
Ejemplos
Datos no representativos
3. Elaboración de modelos
13/15
• Clasificar por riesgo todos los modelos, incorporando una perspectiva
de su relevancia y la severidad de un falso positivo
• Monitorear el desempeño de los modelos, con mayor frecuencia
en el caso de modelos de alto riesgo
• Uso continuado de modelos de fraude que han perdido poder
discriminatorio debido a la evolución de las estrategias de los
defraudadores
Detección o respuesta lentas a problemas de desempeño
5. Uso de modelos y toma de decisiones
7/15
• Analizar las variables de entrada con significación estadística para
validar su usabilidad (e.g., para prevenir la violación de normas de
equidad crediticia)
• Someter a revisión y validación independientes la distribución de
los resultados de modelos (e.g., calificaciones) para eliminar sesgos
• Modelo sancionatorio que discrimina sistemáticamente a un grupo
minoritario
Ejemplos
Resultados de modelos sesgados
o discriminatorios
3. Elaboración de modelos
8/15
• Efectuar pruebas cambiando la muestra o el período de análisis y back
testing para comprobar la usabilidad en el caso de uso en cuestión
• Evaluar el desempeño de todos los modelos periódicamente para
detectar degradaciones o sesgos
• Bot de chat entrenado en base a interacciones en medios sociales
que realiza comentarios ofensivos
Ejemplos
Inestabilidad de modelos o caída
del desempeño
3. Elaboración de modelos
9/15
• Ejecutar tests de pruebas de concepto y/o pilotos controlados antes
de que el modelo entre en producción
• Implementar tests de aceptación por usuarios, con verificación
independiente
Posibles controles
• Uso de unidades de medida incorrectas en un modelo de ensayos
clínicos que conduce a la administración de dosis incorrectas
a un paciente
Ejemplos
Errores de implementación
4. Implementación de modelos
10/15
• Llevar a cabo una revisión detallada del modelo basada en una amplia
variedad de pautas y escenarios
Posibles controles
• Vehículos autónomos que dependen de datos en tiempo real
no disponibles por fallas de conectividad
Ejemplos
Diseño tecnológico/ entorno inadecuados
4. Implementación de modelos
11/15
• Desarrollar, documentar y entrenar a los usuarios sobre cómo funciona
el modelo de IA, cómo aplicar los insights generados, y cómo/ cuándo
desestimar sus sugerencias
Posibles controles
• Médicos que siguen las recomendaciones de una herramienta
de diagnóstico basada en IA sin cuestionarlas
Ejemplos
Entrenamiento/ habilidades insuficientes
4. Implementación de modelos
5. Uso de modelos y toma de decisiones
12/15
• Introducir controles E2E de resiliencia de aplicaciones e infraestructura,
además de una planeación detallada de la continuidad del negocio y la
recuperación ante desastres
• Salida de servicio de un centro de datos que impide el flujo de nuevos
datos a un modelo NPTB y conduce a recomendaciones distorsionadas
o erróneas
Ejemplos
Mal funcionamiento de la tecnología/
el entorno
5. Uso de modelos y toma de decisiones
15/15
14/15
• Monitorear el entorno en tiempo real y mantener capacidades para
responder rápidamente a posibles amenazas o vulnerabilidades
• Establecer requerimientos mínimos de acceso a datos y modelos
para empleados, contratistas y terceros
• Robo de información personal y financiera sensible de clientes
por un actor externo
Ejemplos
Amenazas para la ciberseguridad
5. Uso de modelos y toma de decisiones
Fallas en la interfaz humano-máquina
• Desestimación de una solicitud de crédito procedente (o viceversa)
por un oficial de préstamos debido a sesgos o falta de conocimiento
• Implementar monitoreo, reportes y análisis de causas raíz sistemáticos
de errores, incidentes y rechazos, y extraer implicancias para los
modelos y el entrenamiento de los usuarios
Dónde surgen los riesgos de la IA y cómo controlarlos
Ejemplos
Feedback insuficiente para aprendizaje
Posibles controles
Posibles controles
Posibles controles
Posibles controles
Ejemplos
Posibles controles
Posibles controles
Ejemplos
Posibles controles
