El NIST (National Institute of Standards and Technology), organismo nacional de normalización de los Estados Unidos, ha presentado un Marco para la gestión de los riesgos derivados del uso de la inteligencia artificial (Artificial Intelligence Risk Management Framework, o AI RMF).
El objetivo del AI RMF es ofrecer una serie de principios las organizaciones que diseñan, desarrollan, despliegan o utilizan sistemas de IA, para ayudarles a gestionar los numerosos riesgos específicos que plantea el uso de esta tecnología, y promover el diseño, el desarrollo, el despliegue y el uso responsables de los mismos a lo largo del tiempo.
El Marco pretende ser voluntario, preservar los derechos de las personas, no ser específico de un sector y no centrarse en unos casos de uso concretos, con la finalidad de ofrecer flexibilidad a organizaciones de todo tamaño y sector, y a toda la sociedad, para su aplicación.
Concepto de sistemas de IA
Siguiendo la ISO/IEC 22989:2022 -- Artificial intelligence concepts and terminology, y las recomendaciones de la OCDE sobre IA, el RMF define los sistemas de IA como aquellos sistemas de ingeniería o basado en máquinas que pueden, para un conjunto dado de objetivos, generar resultados como predicciones, recomendaciones o decisiones que influyen en entornos reales o virtuales. Los sistemas de IA están diseñados para operar con distintos niveles de autonomía.
Los riesgos derivados del uso de la IA
El Marco se basa en que las tecnologías de inteligencia artificial tienen un gran potencial para transformar la sociedad y la vida de las personas, en ámbitos que van desde el comercio y la sanidad, hasta el transporte y la ciberseguridad, pasando por el medio ambiente. Además, estas tecnologías pueden impulsar el crecimiento económico inclusivo y apoyar avances científicos que mejoren las condiciones de nuestro mundo.
Sin embargo, las tecnologías de la IA también plantean riesgos que pueden afectar negativamente a las personas, los grupos, las organizaciones, las comunidades, la sociedad, el medio ambiente y el planeta en su conjunto. Estos riesgos pueden surgir de diversas formas y caracterizarse como a largo o corto plazo, de alta o baja probabilidad, sistémicos o localizados, y de alto o bajo impacto.
Si bien existen innumerables normas y mejores prácticas para ayudar a las organizaciones a mitigar los riesgos de software tradicional o sistemas basados en la información, los riesgos que plantean los sistemas de IA son únicos en muchos sentidos.
Así, puede destacarse que, en comparación con el software tradicional, los riesgos específicos de la IA que son nuevos o han aumentado son los siguientes:
- Los datos utilizados para construir un sistema de IA pueden no ser una representación fiel o adecuada del contexto o del uso previsto para dicho sistema. De hecho, puede no existir o no disponerse de una completa certeza sobre un tema concreto. Además, los sesgos perjudiciales y otros problemas de calidad de los datos pueden afectar a la fiabilidad del sistema de IA, lo que podría tener consecuencias negativas.
- A esta dependencia de los datos para el entrenamiento del sistema, se suma el aumento del volumen y la complejidad típicamente asociados a dichos datos.
- Los cambios intencionados o no intencionados introducidos en los datos durante la fase de entrenamiento del sistema, pueden alterar fundamentalmente el rendimiento del sistema de IA.
- Los conjuntos de datos utilizados para entrenar los sistemas de IA pueden desvincularse de su contexto original y previsto, o pueden quedar obsoletos en relación con el contexto en el que va a desplegarse el sistema.
- La escala y complejidad de los sistemas de IA, muchos de los cuales contienen miles de millones de puntos de decisión, alojados en aplicaciones de software más tradicionales.
- El uso de modelos preentrenados que pueden hacer avanzar la investigación y mejorar el rendimiento, puede también aumentar los niveles de incertidumbre estadística y causar problemas con la gestión de sesgos, validez científica y reproducibilidad.
- Mayor dificultad en la predicción de modos de fallo para propiedades emergentes de modelos preentrenados a gran escala.
- Riesgos para la privacidad debidos a la mayor capacidad de agregación de datos de los sistemas de IA.
- Los sistemas de IA pueden requerir un mantenimiento más frecuente y de activadores para llevar a cabo un mantenimiento correctivo, debido a la deriva de datos, modelos o conceptos.
- Mayor opacidad y dificultad de reproducir su comportamiento.
- Normas de prueba de software subdesarrolladas e incapacidad para documentar las prácticas basadas en IA al nivel que se espera del software de ingeniería tradicional, salvo en los casos más sencillos.
- Dificultad para realizar pruebas regulares de software basado en IA, o para determinar qué probar, ya que los sistemas de IA no están sujetos a los mismos controles que el desarrollo de código tradicional.
- Costes computacionales del desarrollo de sistemas de IA y su impacto en el medio ambiente y el planeta.
- Incapacidad de predecir o detectar los efectos secundarios de los sistemas basados en IA más allá de las medidas estadísticas.
Los riesgos -y beneficios- de la IA pueden surgir de la interacción de aspectos técnicos combinados con factores sociales relacionados con la forma en que se utiliza un sistema, sus interacciones con otros sistemas de IA, quién lo opera y el contexto social en el que se despliega.
Por todo ello, la IA resulta una tecnología singularmente difícil de desplegar y utilizar, tanto en las organizaciones como en la sociedad. Por ello, sin los controles adecuados, los sistemas de IA pueden amplificar, perpetuar o exacerbar resultados injustos o indeseables para las personas y las comunidades, mientras que, por el contrario, con controles adecuados, los sistemas de IA pueden mitigar y gestionar los resultados no equitativos.
La gestión de riesgos derivados del uso de la IA
El NIST destaca que la gestión de riesgos de la IA es un componente clave del desarrollo y uso responsables de los sistemas de IA. Las prácticas de IA responsable pueden ayudar a alinear las decisiones sobre el diseño, el desarrollo y los usos de los sistemas de IA con los objetivos y valores previstos. Los conceptos básicos de la IA responsable hacen hincapié en el protagonismo humano, la responsabilidad social y la sostenibilidad.
La gestión de riesgos de la IA puede impulsar usos y prácticas responsables al incitar a las organizaciones y a sus equipos internos que diseñan, desarrollan e implantan la IA a pensar de forma más crítica sobre el contexto y los impactos negativos y positivos potenciales o inesperados. A la vez, comprender y gestionar los riesgos de los sistemas de IA ayudará a mejorar la fiabilidad y, a su vez, a cultivar la confianza pública.
La responsabilidad social derivada del uso de sistemas inteligentes puede referirse a la responsabilidad de la organización "por los impactos de sus decisiones y actividades en la sociedad y el medio ambiente a través de un comportamiento transparente y ético" (ISO 26000:2010). La sostenibilidad se refiere al "estado del sistema global, incluidos los aspectos medioambientales, sociales y económicos, en el que las necesidades del presente se satisfacen sin comprometer la capacidad de las generaciones futuras para satisfacer sus propias necesidades" (ISO/IEC TR 24368:2022). La IA responsable debe también ser equitativa y responsable. Se espera que las prácticas organizativas se lleven a cabo de acuerdo con la "responsabilidad profesional" definida por la ISO como un enfoque que "pretende garantizar que los profesionales que diseñan, desarrollan o despliegan sistemas y aplicaciones de IA o productos o sistemas basados en IA, reconozcan su posición única para ejercer influencia sobre las personas, la sociedad y el futuro de la IA" (ISO/IEC TR 24368:2022).
Según lo dispuesto por la Iniciativa Nacional de Inteligencia Artificial de 2020, el objetivo del RMF de IA es ofrecer un recurso a las organizaciones que diseñan, desarrollan, despliegan o utilizan sistemas de IA para ayudar a gestionar los numerosos riesgos de la IA y promover un desarrollo y un uso fiables y responsables de los sistemas de IA. El Marco pretende ser voluntario, preservar los derechos, no ser específico de un sector y no tener en cuenta los casos de uso, por lo que ofrece flexibilidad a las organizaciones de todos los tamaños y sectores y a toda la sociedad para aplicar los enfoques del Marco.
El Marco está diseñado para dotar a las organizaciones y a los "actores de la IA" --como son considerados aquellos que desempeñan un papel activo en el ciclo de vida del sistema de IA--, de enfoques que aumenten la fiabilidad de los sistemas de IA, y para ayudar a fomentar el diseño, el desarrollo, el despliegue y el uso responsables de los sistemas de IA a lo largo del tiempo.
El RMF de IA pretende ser práctico, adaptarse al panorama de la IA a medida que las tecnologías de IA sigan desarrollándose, y ser puesto en práctica por organizaciones en diversos grados y capacidades para que la sociedad pueda beneficiarse de la IA y, al mismo tiempo, protegerse de sus posibles daños.
El Marco y los recursos de apoyo se actualizarán, ampliarán y mejorarán en función de la evolución de la tecnología, el panorama de las normas en todo el mundo y la experiencia y los comentarios de la comunidad de la IA. El NIST continuará alineando el RMF de IA y las directrices relacionadas con las normas, directrices y prácticas internacionales aplicables. A medida que el RMF de IA se ponga en práctica, se aprenderán lecciones adicionales que servirán de base para futuras actualizaciones y recursos adicionales.
Estructura del Marco
El marco se divide en dos partes. En la Parte 1 se analiza cómo las organizaciones pueden enmarcar los riesgos relacionados con la IA y describe el público al que va dirigido. A continuación, se analizan los riesgos y la fiabilidad de la IA y se esbozan las características de los sistemas de IA fiables, entre las que se incluyen la validez y la fiabilidad, la seguridad, la protección y la resistencia, la responsabilidad y la transparencia, la explicación y la interpretación, la mejora de la privacidad y la imparcialidad con la gestión de sus sesgos perjudiciales.
La parte 2 comprende el "núcleo" del marco. Describe cuatro funciones específicas para ayudar a las organizaciones a abordar los riesgos de los sistemas de IA en la práctica: Governanza (Govern); Mapeo (Map); Medición (Measure) y Gestión (Manage) se desglosan en categorías y subcategorías.
- La función Governanza (Govern) se orienta a cultivar e implantar una cultura de gestión de riesgos en las organizaciones que diseñan, desarrollan, despliegan, evalúan o adquieren sistemas de IA.
Para ello, esboza procesos, documentos y esquemas organizativos que anticipan, identifican y gestionar los riesgos que puede plantear un sistema, incluidos los usuarios y otras personas de la sociedad y los procedimientos para lograr esos resultados; incorpora procesos para evaluar los impactos potenciales de esta tecnología; proporciona una estructura mediante la cual las funciones de gestión de riesgos de la IA pueden alinearse con los principios, las políticas y las prioridades estratégicas de la organización; conecta los aspectos técnicos del diseño y desarrollo de sistemas de IA con los valores y principios los valores y principios organizativos, y habilita prácticas y competencias organizativas para los personas implicadas en la adquisición, formación, despliegue y supervisión de dichos sistemas, y aborda el ciclo de vida completo del producto y los procesos asociados, incluidas las cuestiones cuestiones legales y de otro tipo relativas al uso de sistemas y datos de software o hardware de terceros.
La Gobernanza es una función transversal que afecta a toda la gestión de riesgos de la IA y permite las demás funciones del proceso. Los aspectos de la gobernanza, especialmente los relacionados con el cumplimiento o la evaluación, deben integrarse en cada una de las demás funciones.
Por otra parte, esta función ofrece a las organizaciones la oportunidad de aclarar y definir las funciones y responsabilidades de los humanos en las configuraciones del equipo Humano-AI y aquellos que supervisan el rendimiento del sistema de IA. La función de gobernanza también crea mecanismos para que las organizaciones hagan más explícitos sus procesos de toma de decisiones, para ayudar a contrarrestar los sesgos sistémicos.
Mientras que esta función se aplica a todas las etapas de los procesos y procedimientos de gestión de riesgos de IA de las organizaciones, las otras tres pueden aplicarse en contextos específicos de sistemas de IA y en etapas concretas del ciclo de vida de la IA.
- La función Map establece el contexto para enmarcar los riesgos relacionados con un sistema de IA.
El ciclo de vida de la IA consta de muchas actividades interdependientes en las que interviene un conjunto diverso de actores. En la práctica, los actores de la IA encargados de una parte del proceso a menudo no tienen plena visibilidad o control sobre otras partes y sus contextos asociados. Las interdependencias entre estas actividades, y entre los actores relevantes de la IA, pueden dificultar una previsión fiable de los impactos de los sistemas de IA.
Esta función sugiere oportunidades para definir y documentar procesos para el operador los conceptos de fiabilidad y rendimiento del sistema de IA, y definir las normas y certificaciones técnicas pertinentes. definir las normas y certificaciones técnicas pertinentes.
La aplicación de las categorías y subcategorías de la función MAP puede ayudar a las organizaciones a mejorar su competencia interna para analizar el contexto, identificar las limitaciones de los procedimientos y los sistemas, explorar y examinar los impactos de los sistemas basados en IA en el mundo real y evaluar los procesos de toma de decisiones a lo largo del ciclo de vida de la IA. a lo largo del ciclo de vida de la IA.
Las funciones Govern y Map describen la importancia de la interdisciplinariedad y de los equipos demográficamente diversos, así como de utilizar las opiniones de las personas y comunidades potencialmente afectadas. afectados. Los agentes de la IA mencionados en el RMF de la IA que realizan tareas y humanos pueden ayudar a los equipos técnicos anclando las prácticas de diseño y desarrollo a las intenciones de los usuarios y a los representantes de la sociedad civil. las intenciones de los usuarios y los representantes de la comunidad de la IA en general, así como los valores de la sociedad. Estos actores de Estos actores ayudan a incorporar normas y valores específicos del contexto en el diseño de sistemas y a evaluar las experiencias de los usuarios finales. evaluar las experiencias de los usuarios finales, junto con los sistemas de IA.
- La función Medir emplea herramientas, técnicas y metodologías cuantitativas, cualitativas o de métodos mixtos para analizar, evaluar, comparar y supervisar el riesgo de IA y los impactos relacionados. Utiliza los conocimientos pertinentes para los riesgos de IA identificados en la función Mapa e informa a la función Gestión. Los sistemas de IA deben probarse antes de su despliegue y periódicamente durante su funcionamiento. Las mediciones del riesgo de IA incluyen la documentación de aspectos de la funcionalidad y fiabilidad de los sistemas. funcionalidad y fiabilidad de los sistemas.
- La función Gestión implica asignar recursos de riesgo a los riesgos mapeados y medidos de forma periódicamente y según lo definido por la función GOVERN. El tratamiento de riesgos comprende planes para responder a incidentes o sucesos, recuperarse de ellos y comunicarlos.