Carlos B Fernández. La autoridad de normalización y estandarización de los Estados Unidos (NIST) sigue avanzando en su proyecto para disponer de herramientas para eliminar o reducir los sesgos en el ámbito de la inteligencia artificial (IA), esta vez centrándose en el ámbito de los sistemas automatizados de toma de decisiones.
Para ello, ha presentado a consulta pública un documento titulado “Mitigación de los sesgos en los sistemas de IA y aprendizaje automático (Machine Learning) en contexto – Prácticas para probar, evaluar, verificar y validar sistemas de IA” (Mitigation of AI/ML Bias in Context - Establishing Practices for Testing, Evaluation, Verification, and Validation of AI Systems), con el objetivo de que sirva de base para una guía para el diseño de un sistema automatizado de detección y mitigación de sesgos estrechamente alineadas con el flujo de trabajo típico del Machine Learning.
El sistema incluirá un interfaz de usuario flexible que permita diferentes configuraciones para simular varios escenarios para permitir la detección efectiva de potenciales sesgos de decisión resultantes de la interacción entre el humano y la máquina.
El documento se incluye dentro del marco general del proyecto iniciado por un documento anterior, sobre la definición de unos modelos para identificar y gestionar los sesgos en la Inteligencia Artificial, titulado Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, que fue aprobado en marzo de 2022. Dicho documento, elaborado en colaboración con la comunidad norteamericana de la IA, tiene una finalidad muy precisa: eliminar uno de los elementos que dificultan la existencia de una IA confiable, como son los sesgos.
Los sesgos en los sistemas automatizados de toma de decisiones
La gestión de los sesgos en un sistema de IA es fundamental para establecer y mantener la confianza en su funcionamiento.
Desde un punto de vista técnico, el sesgo es un efecto que priva a un resultado estadístico de representatividad, al distorsionarlo sistemáticamente. En concreto, la Organización Internacional de Normalización (ISO) define el sesgo de forma más general como "el grado en que un valor de referencia se desvía de la verdad". En este contexto, se dice que un sistema de IA está sesgado cuando muestra un comportamiento sistemáticamente inexacto. A estos efectos, el NIST distingue entre los sesgos sistémicos, que son el resultado de los procedimientos y prácticas de determinadas instituciones que operan de manera que dan lugar a que ciertos grupos sociales se vean favorecidos y a que otros se vean perjudicados o devaluados; los sesgos estadísticos y computacionales, que se derivan de los errores que se producen cuando la muestra no es representativa de la población y, por último, los sesgos humanos, que reflejan errores sistemáticos del pensamiento humano basados en un número limitado de principios heurísticos y la predicción de valores a operaciones de juicio más simples. Estos sesgos son a menudo implícitos y tienden a relacionarse con la forma en que un individuo o grupo percibe la información (como los resultados de la IA automatizada) para tomar una decisión o completar la información que falta o que se desconoce. Muy señaladamente, en ese documento se destaca que el sesgo también depende del contexto.
A pesar de su importancia, el sesgo en los sistemas de IA sigue siendo endémico en muchos ámbitos de aplicación y puede tener efectos perjudiciales independientemente de la intención.
El objetivo específico de este proyecto es desarrollar una guía de prácticas recomendadas en el despliegue de la toma de decisiones automatizada con el apoyo de los sistemas de IA/ML en un sector de la industria.
En concreto, la fase inicial del proyecto se centrará en una prueba de concepto sobre la toma de decisiones automatizadas en el ámbito de la suscripción de créditos en el sector de los servicios financieros.
Y es que la toma de decisiones automatizada es un aspecto relevante de los sistemas inteligentes, porque les permite adoptar decisiones más coherentes, rastreables y repetibles en comparación con las adoptadas por los humanos; pero, al mismo tiempo, sin embargo, estos sistemas conllevan riesgos que pueden dar lugar a resultados discriminatorios.
Por ejemplo, el sesgo no mitigado que se manifiesta en los sistemas de IA/ML utilizados para apoyar la toma de decisiones automatizada en la suscripción de créditos para consumidores y pequeñas empresas puede conducir a resultados injustos, causando daños a los solicitantes individuales y potencialmente extendiéndose a toda la sociedad, lo que lleva a la desconfianza de la tecnología basada en la IA y las instituciones que dependen de ella.
Además, las tecnologías de suscripción crediticia basadas en IA/ML y los modelos y conjuntos de datos en los que se basan, crean problemas de transparencia en general, y plantean una preocupación especial por la identificación y la mitigación del sesgo en las empresas que tratan de utilizar el aprendizaje automático en su proceso de suscripción crediticia. Por otra parte, los modelos de ML tienden a mostrar "un comportamiento inesperadamente pobre cuando se despliegan en dominios del mundo real" sin restricciones específicas del dominio suministradas por operadores humanos, como se analiza en el documento “Hacia un estándar para identificar y gestionar el sesgo en la inteligencia artificial”. También se sabe que existen problemas similares en otros contextos, como la contratación y las admisiones escolares.
Por ello, el objetivo de este proyecto es desarrollar una guía de pruebas, evaluación, verificación y validación (TEVV) específica para detectar el sesgo; recomendaciones para mitigarlo y prácticas recomendadas para los humanos que participan en los procesos de toma de decisiones automatizadas en un contexto específico (suscripción de créditos para consumidores y pequeñas empresas). Estas prácticas ayudarán a promover resultados justos y positivos que beneficien a los usuarios de los servicios de IA/ML, a las organizaciones que los despliegan y a toda la sociedad. Además, se prestará cierta atención a las interacciones entre la parcialidad y la ciberseguridad, con el objetivo de identificar enfoques que puedan mitigar los riesgos que existen en estas dos características críticas de la IA digna de confianza.
Este proyecto dará lugar a una guía práctica de la serie NIST SP 1800 de libre acceso.
Escenarios
El proyecto considera los siguientes escenarios:
1. Análisis del conjunto de datos de preprocesamiento para detectar y mitigar el sesgo
El objetivo de este escenario es transformar los datos de manera que la discriminación subyacente se mitigue en la medida de lo posible. Este método se puede utilizar si se permite que una línea de modelado modifique los datos de entrenamiento. Este escenario identificará las técnicas, basadas en la utilización de herramientas de terceros, y las prácticas recomendadas para lograr la mitigación.
El caso concreto de los EEUU, el documento subraya que es importante reconocer que, en el caso de la suscripción de créditos al consumo, existe una ambigüedad legal/regulatoria acerca de si determinados enfoques para la atenuación son apropiados, dadas las prohibiciones de trato desigual e impacto desigual en virtud de la Ley de Igualdad de Oportunidades de Crédito (Equal Credit Opportunity Act). Por ello este proyecto identificará técnicas y recomendará prácticas dentro de los límites legales de la ley y de la normativa vigente.
2. Análisis de formación de modelos en proceso para identificar y mitigar el sesgo estadístico
En este escenario se identificarán técnicas, basadas en la utilización de herramientas automatizadas de terceros, y se recomendarán prácticas que modifiquen los algoritmos para mitigar el sesgo durante el entrenamiento del modelo. Los procesos de entrenamiento del modelo podrían incorporar cambios en la función objetivo (coste) o imponer una nueva restricción de optimización.
Como se señala en el escenario 1, existe cierta ambigüedad legal/regulatoria acerca de si determinados enfoques para la eliminación de sesgos son apropiados, dadas las prohibiciones sobre el trato dispar y el impacto dispar en virtud de la Ley de Igualdad de Oportunidades de Crédito, por ello, este proyecto identificará técnicas y recomendará prácticas dentro de los límites legales de la ley y de la normativa vigente.
3. Análisis de inferencia del modelo posterior al proceso para identificar y mitigar el sesgo estadístico
En este escenario, el modelo aprendido se trata como una caja negra y sus predicciones se ven alteradas por una función durante la fase de posprocesamiento. La función se deduce del rendimiento del modelo de caja negra en el conjunto de datos de retención. Este escenario suele realizarse con la ayuda de un conjunto de datos de retención (datos no utilizados en el entrenamiento del modelo). El proyecto pretende identificar las técnicas y las mejores prácticas para lograr este objetivo.
4. Flujo de decisiones con intervención humana (Human-in-the-loop, HITL) para identificar y mitigar el sesgo cognitivo
En este escenario se utiliza el modelo entrenado y desvirtuado de los tres escenarios anteriores para ayudar a un humano a tomar una decisión específica en el contexto de uso: suscripción de créditos u otro contexto. El objetivo aquí es examinar las diferentes formas en que el humano y la máquina interactúan para detectar el sesgo derivado de este acoplamiento dinámico de dos entidades potencialmente sesgadas y sugerir estrategias para mitigarlo eficazmente.