El Instituto Nacional de Estándares y Tecnología de los Estados Unidos (National Institute of Standards and Technology, NIST), ha publicado la versión definitiva de su documento sobre la definición de unos modelos para identificar y gestionar los sesgos en la Inteligencia Artificial, Towards a Standard for Identifying and Managing Bias in Artificial Intelligence.
El documento, elaborado en colaboración con la comunidad norteamericana de la IA y cuyo contenido anticipamos en agosto de 2021, tiene una finalidad muy precisa: eliminar uno de los elementos que dificultan la existencia de una IA confiable. Para ello, el NIST ha considerado el marco sociotécnico inicial en el que surgen los sesgos, incluyendo el contexto en que se produce, y ofrecido, además de un glosario terminológico sobre los diferentes tipos y clases de sesgo, una relación de los principales desafíos desafíos que plantea esta figura, junto con unas directrices para su gestión y mitigación.
La necesidad de una IA confiable
Y es que, como resulta generalmente aceptado, aunque la IA tiene un gran potencial como tecnología transformadora, también plantea riesgos inherentes a su uso. En este sentido hay que tener en cuenta que la IA no se construye ni se despliega en el vacío, al margen de las realidades sociales de discriminación o prácticas injustas. Por ello, la comprensión de la IA como un sistema sociotécnico reconoce que los procesos utilizados para desarrollar la tecnología son más que sus construcciones matemáticas y computacionales. Un enfoque sociotécnico de la IA tiene en cuenta los valores y el comportamiento modelados a partir de los conjuntos de datos, los seres humanos que interactúan con ellos y los complejos factores organizativos que intervienen en su encargo, diseño, desarrollo y desarrollo y despliegue final.
Por otra parte, señala el NIST, una IA digna de confianza y responsable no consiste únicamente en saber si un determinado sistema de IA es tendencioso justo o ético, sino si hace lo que se dice. Existen muchas prácticas para producir IA de forma responsable. No se puede subestimar la importancia de la transparencia, los conjuntos de datos y la prueba, evaluación, validación y verificación (en inglés, testing and evaluation, validation, and verification, TEVV).
Los factores humanos, como las técnicas de diseño participativo y los enfoques de múltiples partes interesadas, así como un humano en el bucle, también son importantes para mitigar los riesgos relacionados con el sesgo de la IA. Sin embargo, ninguna de estas prácticas, por separado o en conjunto, es una panacea contra el sesgo y cada una conlleva su propio conjunto de escollos. Lo que falta en las soluciones actuales es una orientación desde una perspectiva sociotécnica más amplia que conecte estas prácticas con los valores de la sociedad. Los expertos en el ámbito de la IA fiable y responsable aconsejan que, para gestionar con éxito los riesgos del sesgo de la IA, debemos hacer operativos estos valores y crear nuevas normas en torno a cómo se construye y despliega la IA. Este documento, y el trabajo del Instituto Nacional de Estándares y Tecnología (NIST) en el área de sesgo de la IA se basa en una perspectiva sociotécnica.
Gestión del riesgo de sesgos en el desarrollo de la IA
En este contexto, el marco para la gestión de riesgos derivados del uso de la IA del NIST pretende abordar los riesgos en el diseño, el desarrollo, el uso y la evaluación de los productos, servicios y sistemas de IA para tareas como la recomendación, el diagnóstico, el reconocimiento de patrones, el control de la calidad y la toma de decisiones automatizadas.
A este respecto, el NIST ha identificado las siguientes características técnicas y sociotécnicas necesarias para cultivar la confianza en los sistemas de IA: exactitud, explicabilidad e interpretabilidad, privacidad, fiabilidad, solidez, seguridad y resistencia de la seguridad, y que se mitiguen o controlen los sesgos perjudiciales.
El sesgo está estrechamente asociado a los conceptos de transparencia y equidad en la sociedad. Para gran parte del público, los supuestos en los que se basan los algoritmos rara vez son transparentes. El complejo entramado de código y decisiones que se han tomado en el diseño, desarrollo y despliegue de la IA rara vez es fácilmente accesible o comprensible para el público no técnico. Sin embargo, muchas personas se ven afectadas por las tecnologías y los sistemas de IA -o sus datos se utilizan como entradas para ellos- sin su consentimiento, como cuando solicitan una plaza en la universidad, un nuevo apartamento o realizan una búsqueda en Internet.
Cuando los individuos sienten que no se les juzga de forma justa cuando solicitan un empleo o un préstamo, esto puede reducir la confianza del público en la tecnología de IA. Cuando a un usuario final se le presenta información en línea que le estigmatiza por su raza, edad o sexo, o que no percibe con exactitud su identidad, se le causa un perjuicio. Los consumidores pueden verse afectados por las prácticas de fijación de precios resultantes de una aplicación de IA, incluso cuando no se utiliza para tomar decisiones que afectan directamente a ese individuo
Algunos tipos de sesgo de la IA son intencionados y beneficiosos. Por ejemplo, los sistemas de aprendizaje automático en los que se basan las aplicaciones de IA a menudo modelan nuestros prejuicios implícitos con la intención de crear experiencias positivas de compra en línea o identificar contenidos de interés. Pero la proliferación de los sistemas de recomendación y otros enfoques de modelado y predicción también ha contribuido a poner de manifiesto los numerosos prejuicios sociales negativos que se han incorporado a estos procesos y que pueden reducir la confianza del público.
Perspectivas de los sesgos
A partir de la noción de la Organización Internacional de Normalización (ISO), que define el sesgo de forma más general como "el grado en que un valor de referencia se desvía de la verdad", el NIST analiza los sesgos desde una triple perspectiva: estadística, jurídica y cognitiva y social.
Desde el punto de vista estadístico, el sesgo es un efecto que priva a un resultado estadístico de representatividad al distorsionarlo sistemáticamente, a diferencia de un error aleatorio, que puede distorsionar en cualquier ocasión, pero se equilibra en la media. En este contexto, se dice que un sistema de IA está sesgado cuando muestra un comportamiento sistemáticamente inexacto.
Desde el punto de vista jurídico, el sesgo se relaciona directamente con la discriminación y la equidad, especialmente en los ámbitos de la financiación del consumo, la vivienda y el empleo. En general, los tribunales norteamericanos definen el sesgo discriminatorio inadmisible como un trato desigual, definido en términos generales como una decisión que trata a una persona de forma menos favorable que a otras en situación similar debido a una característica protegida, como la raza, el sexo u otro rasgo, o como un impacto desigual, definido en términos generales como una política o práctica aparentemente neutra que perjudica de forma desproporcionada a un grupo por un rasgo protegido. En este sentido, los métodos tradicionales de pruebas estadísticas de sesgo examinan las diferencias en las predicciones entre las clases protegidas, como la raza o el sexo. En particular, los tribunales han recurrido a las pruebas de significación estadística para evaluar si la práctica impugnada probablemente causó la disparidad y no fue el resultado del azar o de un factor no discriminatorio.
Y desde la perspectiva cognitiva y social, se destaca que los equipos que participan en el diseño y desarrollo de sistemas de IA aportan sus prejuicios cognitivos, tanto individuales como de grupo, al proceso. Los prejuicios prevalecen en las suposiciones sobre qué datos deben utilizarse, qué modelos de IA deben desarrollarse, dónde debe colocarse el sistema de IA, o si la IA es necesaria en absoluto. Además, hay sesgos sistémicos a nivel institucional que afectan a la forma en que se estructuran las organizaciones y los equipos y a quién controla los procesos de toma de decisiones, y heurísticos y cognitivos/perceptivos individuales y de grupo a lo largo del ciclo de vida de la IA. Las decisiones tomadas por los usuarios finales, los responsables de la toma de decisiones y los responsables políticos también se ven afectadas por estos sesgos, pueden reflejar puntos de vista limitados y conducir a resultados sesgados. Los sesgos que afectan a la toma de decisiones humanas suelen ser implícitos e inconscientes, por lo que no pueden controlarse o mitigarse fácilmente. Cualquier suposición de que los sesgos pueden ser remediados por el control o la conciencia humana no es una receta para el éxito.
Tipos de sesgo de la IA
Sobre la base de trabajos académicos anteriores para clasificar los sesgos de la IA y de conversaciones con líderes de opinión en este campo, el NIST presenta tres categorías dominantes de sesgos de la IA. Y aunque se trata de una lista que no es exhaustiva, constituye una clasificación de riesgos y vulnerabilidades importantes que hay que tener en cuenta a la hora de diseñar, desarrollar, desplegar, evaluar, utilizar o auditar aplicaciones de IA.
- Sesgos sistémicos
Los sesgos sistémicos son el resultado de los procedimientos y las prácticas de determinadas instituciones que operan de manera que dan lugar a que ciertos grupos sociales se vean favorecidos y otros se vean perjudicados o devaluados. Esto no tiene por qué ser el resultado de ningún prejuicio o discriminación consciente, sino de que la mayoría siga las reglas o normas existentes. El racismo y el sexismo institucionales son los ejemplos más comunes.
Otro sesgo sistémico se produce cuando las infraestructuras para la vida diaria no se desarrollan siguiendo los principios del diseño universal, lo que limita o dificulta la accesibilidad de las personas con discapacidad. El sesgo sistémico también se denomina sesgo institucional o histórico. Estos sesgos están presentes en los conjuntos de datos utilizados en la IA y en las normas, prácticas y procesos institucionales a lo largo del ciclo de vida de la IA y en la cultura y la sociedad en general.
- Sesgos estadísticos y computacionales
Los sesgos estadísticos y computacionales se derivan de los errores que se producen cuando la muestra no es representativa de la población. Estos sesgos surgen de un error sistemático y no aleatorio y pueden producirse en ausencia de prejuicios, parcialidad o intención discriminatoria. En sistemas de IA, estos sesgos están presentes en los conjuntos de datos y en los procesos algorítmicos utilizados en el desarrollo de aplicaciones de IA, y a menudo surgen cuando los algoritmos se entrenan con un tipo de datos y no pueden extrapolar más allá de esos datos. El error puede deberse a la heterogeneidad datos heterogéneos, representación de datos complejos en representaciones matemáticas más simples, datos erróneos y a sesgos algorítmicos como el sobreajuste y el infraajuste, el tratamiento de los valores atípicos y los factores de limpieza e imputación de datos. y factores de limpieza e imputación de datos.
- Sesgos humanos
Los sesgos humanos reflejan errores sistemáticos del pensamiento humano basados en un número limitado de principios heurísticos y la predicción de valores a operaciones de juicio más simples. Estos sesgos son a menudo implícitos y tienden a relacionarse con la forma en que un individuo o grupo percibe la información (como la salida automatizada de la IA) para tomar una decisión o rellenar la información que falta o se desconoce. información desconocida. Estos sesgos están omnipresentes en los procesos de toma de decisiones institucionales, grupales e individuales a lo largo del ciclo de vida de la IA, y en el uso de las aplicaciones de IA una vez desplegadas. Existe una gran variedad de sesgos humanos. Los sesgos cognitivos y perceptivos se manifiestan perceptivos se manifiestan en todos los ámbitos y no son exclusivos de las interacciones humanas con la IA. Más bien, son son una parte fundamental de la mente humana. Hay todo un campo de estudio centrado en los sesgos y la heurística en el pensamiento, la toma de decisiones y la economía del comportamiento, por ejemplo. Estas investigaciones estudian fenómenos como el sesgo de anclaje, el heurístico o sesgo de disponibilidad, el sesgo de confirmación y los efectos de encuadre, entre muchos otros.
Hay que tener en cuenta que los sesgos heurísticos son atajos mentales adaptativos que pueden ser útiles, permitiendo la reducción de la complejidad complejidad en las tareas de juicio y elección, pero también pueden dar lugar a sesgos cognitivos. Los heurísticos y los sesgos humanos son implícitos; por tanto, el simple hecho de aumentar la conciencia de los sesgos no garantiza su control. no garantiza su control. Aquí nos centramos en ejemplos más amplios de prejuicios humanos en el ámbito de la IA. en el espacio de la IA.
Orientaciones para disminuir o paliar los sesgos
El NIST ha identificado tres grandes áreas que presentan desafíos para abordar el sesgo de la IA.
El primer reto está relacionado con el conjunto de datos utilizados, como la disponibilidad, la representatividad y los sesgos sociales incorporados.
Una pregunta clave que debe hacerse para el desarrollo y el despliegue de un sistema de IA es: ¿existen conjuntos de datos que se ajusten o sean adecuados para el propósito de las diversas aplicaciones, dominios y tareas para las que se está desarrollando y desplegando el sistema de IA? No sólo el comportamiento predictivo del sistema de IA viene determinado por los datos, sino que los datos también definen en gran medida la propia tarea de aprendizaje automático. La cuestión de la adecuación del conjunto de datos requiere prestar atención a tres factores: métodos estadísticos para mitigar los problemas de representación; procesos para tener en cuenta el contexto sociotécnico en el que se está desplegando la aplicación; y conciencia de la interacción de los factores humanos con el sistema técnico de IA en todas las etapas del ciclo de vida de la IA. Cuando se dispone de conjuntos de datos, el conjunto de métricas para demostrar la equidad son muchos, específicos del contexto y no pueden reducirse a una definición matemática concisa.
El segundo se refiere a cuestiones de medición y métrica para apoyar las pruebas y la evaluación, validación y verificación de un sistema de IA, o TEVV.
Delegar la toma de decisiones en los algoritmos es atractivo porque los sistemas de IA producen decisiones más consistentes en comparación con los humanos. Sin embargo, los sistemas de IA no funcionan en el vacío. El contexto operativo en el que lo hacen, como la jurisdicción y la industria vertical en la que opera un sistema, sirve para enmarcar los objetivos de equidad. Incluso el propio algoritmo depende de los datos para el entrenamiento y el ajuste de su rendimiento, que a su vez puede evaluarse mediante una métrica de equidad. Por lo tanto, cuando se consideran los enfoques computacionales para mitigar el sesgo, deben tenerse en cuenta estos tres componentes juntos: algoritmos, datos y métricas de equidad. La tercera área comprende, a grandes rasgos, cuestiones relacionadas con los factores humanos, incluidos los prejuicios sociales e históricosde los individuos y las organizaciones, así como los retos relacionados con la implementación del human-in-the-loop o control humano de la decisión algorítimica.
Los sistemas de IA suelen modelar conceptos que, en el mejor de los casos, sólo son parcialmente observables o capturables por los datos. Sin medidas directas para estas consideraciones tan complejas, los equipos de desarrollo de IA solo pueden utilizar aproximaciones, lo que puede crear muchos riesgos.
Para mitigar los riesgos derivados de las incertidumbres epistémicas y aleatorias, los desarrolladores de modelos deben colaborar estrechamente con las organizaciones que los despliegan. Los equipos deben trabajar para garantizar la actualización periódica de los modelos, y probar y recalibrar los parámetros del modelo en conjuntos de datos representativos actualizados para cumplir los objetivos de la empresa sin dejar de cumplir los objetivos de rendimiento deseados y los niveles de sesgo aceptables. rendimiento deseado y los niveles de sesgo aceptables. Desde la perspectiva de la inferencia bayesiana, esto puede considerarse Desde el punto de vista de la inferencia bayesiana, esto puede verse como una actualización de la prioridad del modelo para ayudar a evitar los problemas que pueden surgir del uso de prioridades obsoletas. de los modelos antiguos. Se recomienda a las organizaciones que empleen procedimientos de gobernanza adecuados para captar adecuadamente esta necesidad interorganizacional y garantizar que no se produzcan impactos negativos por el uso de la tecnología de IA.
La tercera área comprende, en términos generales, cuestiones relacionadas con los factores humanos, incluidos los sesgos sociales e históricos de los individuos y las organizaciones, así como los desafíos relacionados con la intervención de un ser humano en la aplicación de las decisiones del sistema de IA.
A medida que los algoritmos de aprendizaje automático han ido evolucionando en exactitud y precisión, los sistemas informáticos han han pasado de ser utilizados exclusivamente como apoyo a la toma de decisiones -o para su uso explícito por parte de un operador humano y bajo su control- a la toma de decisiones automatizada. control de un operador humano, a la toma de decisiones automatizada con una aportación limitada de los humanos. Los sistemas informáticos de apoyo a la toma de decisiones aumentan otro sistema, normalmente humano en la toma de decisiones. En comparación, en los sistemas algorítmicos de decisión hay menos participación humana En comparación, en los sistemas algorítmicos de decisión hay menos participación humana, ya que el propio sistema de IA está más en el "asiento del conductor" y es capaz de producir resultados con poca participación humana para gobernar el impacto. El crecimiento y la prevalencia de los sistemas algorítmicos de decisión ha contribuido a reducir la confianza del público en la IA. Esta desconfianza se ve exacerbada por la realidad de que los sesgos históricos y sociales están y sociales están presentes en los datos y los supuestos utilizados en los modelos algorítmicos que generan decisiones automáticas. decisiones automatizadas. Como resultado, estos modelos algorítmicos tienen una mayor probabilidad de producir y de producir y amplificar resultados injustos (por ejemplo, para las minorías raciales y étnicas en áreas como la justicia penal). Los sesgos sistémicos de los modelos algorítmicos también pueden ser explotados y utilizados como arma a escala, causando daños catastróficos. Las organizaciones que despliegan modelos y sistemas de IA sin evaluar y gestionar estos riesgos pueden no sólo perjudicar a sus usuarios, sino poner en peligro su reputación.