Carlos B Fernández. Los intentos globales de regular la inteligencia artificial (IA) están produciendo llamativos movimientos en los últimos tiempos.
El más reciente, las Guidelines for secure AI system development (Directrices para el desarrollo seguro de sistemas de IA), desarrolladas por el Centro Nacional de Seguridad Cibernética (NCSC) del Reino Unido, y la Agencia de Seguridad de Infraestructura y Ciberseguridad (CISA) de EE.UU., en cooperación con expertos de la industria y otras 21 agencias y ministerios de todo el mundo, incluidos los miembros del G7 y del Sur Global, pero excluida España.
La finalidad de estas directrices, primeras de las suscritas con esta finalidad a nivel global y que recogen el impulso de la reciente cumbre sobre IA segura celebrada en el Reino Unido, es establecer unas pautas para los proveedores de cualquier sistema que utilice IA, ya sea que creados desde cero o ya construidos sobre herramientas y servicios proporcionados por otros, a fin de que estos sistemas de IA funcionen según lo previsto, estén disponibles cuando sea necesario y funcionen sin revelar datos confidenciales a partes no autorizadas.
Este documento está dirigido principalmente a proveedores de sistemas de IA que utilizan modelos alojados en una organización o utilizan interfaces de programación de aplicaciones (API) externas.
El riesgo tecnológico en los sistemas de IA
Resulta particularmente interesante que este documento utiliza la expresión "IA" para referirnos específicamente a las aplicaciones de aprendizaje automático (Machine Learning).
Bajo esta denominación se incluyen todos los tipos de aprendizaje automático, definidos como aquellas aplicaciones de ML que:
- implican componentes de software (modelos) que permiten a los ordenadores reconocer y contextualizar patrones en los datos, sin que las reglas tengan que ser programadas explícitamente por un humano.
- generan predicciones, recomendaciones o decisiones basadas en razonamientos estadísticos.
En este contexto, además de las amenazas habituales para la ciberseguridad existentes en todos los sistemas informáticos, los sistemas de IA están sujetos a nuevos tipos de vulnerabilidades.
En particular, el término "adversarial machine learning" (AML), se utiliza para describir la explotación de vulnerabilidades fundamentales en los componentes de Machine Learning, incluyendo el hardware, software, flujos de trabajo y cadenas de suministro.
El AML permite a los atacantes provocar comportamientos no deseados en los sistemas de ML que pueden incluir:
- afectar al rendimiento de clasificación o regresión del modelo
- permitir a los usuarios realizar acciones no autorizadas
- extraer información sensible del modelo
Hay muchas formas de conseguir estos efectos, como los ataques de inyección de prompt (prompt injection attacks) en el ámbito de los modelos de grandes lenguajes (LLM), o corrompiendo deliberadamente los datos de entrenamiento o la información de los usuarios (lo que se conoce como "envenenamiento de datos" o data poisoning).
Directrices para el desarrollo seguro de sistemas de IA
Las directrices establecidas en este documento están estrechamente alineadas con las prácticas del ciclo de vida de desarrollo de software definidas en la Guía de desarrollo y despliegue seguros del NCSC (NCSC’s Secure development and deployment guidance) y el Marco de Desarrollo Seguro de Software del Instituto Nacional de Normas y Tecnología (NIST) (National Institute of Standards and Technology Secure Software Development Framework, SSDF).
El documento parte de la reiterada constatación de que los sistemas de IA tienen el potencial de aportar muchos beneficios a la sociedad. Sin embargo, para aprovechar plenamente las oportunidades que ofrece la IA, es necesario desarrollarla, implementarla y operarla de manera segura y responsable.
En particular, por lo que se refiere a su seguridad, en términos informáticos, los sistemas de IA están sujetos a nuevas vulnerabilidades, que deben considerarse junto con las amenazas de seguridad cibernética estándar. Y aunque en entornos de rápido ritmo de desarrollo, como los actuales en el caso de la IA, la seguridad suele ser a menudo una consideración secundaria, esta debe ser un requisito central, no sólo en la fase de desarrollo, sino durante todo el ciclo de vida del sistema.
Las directrices siguen un enfoque de "seguridad por defecto" y están estrechamente alineadas con las prácticas definidas en la Guía de implementación y desarrollo seguro del NCSC, el Marco de desarrollo de software seguro del NIST y los "principios de seguridad por diseño" publicados por CISA, el NCSC y las agencias cibernéticas internacionales. Por ello, priorizan:
- Asumir la responsabilidad de los resultados de seguridad para los clientes
- Adoptar una transparencia y responsabilidad radicales
- Crear una estructura organizativa y un liderazgo que conviertan la seguridad desde el diseño en una prioridad empresarial de primer orden.
Las directrices se dividen en cuatro áreas clave dentro del ciclo de vida del desarrollo del sistema de IA: diseño seguro, desarrollo seguro, implementación segura y operación y mantenimiento seguros.
1. Diseño seguro
Esta sección contiene directrices aplicables a la fase de diseño del ciclo de vida de desarrollo del sistema de IA. Abarca la comprensión de los riesgos y la modelización de amenazas, así como temas específicos y compromisos a tener en cuenta en el diseño de sistemas y modelos.
1. Sensibilice a su personal sobre las amenazas y los riesgos
2. Modelice las amenazas para su sistema
3. Diseñe su sistema teniendo en cuenta tanto la seguridad como la funcionalidad y el rendimiento
4. Tenga en cuenta las ventajas y desventajas de la seguridad al seleccionar su modelo de IA
2. Desarrollo seguro
Esta sección contiene directrices que se aplican a la fase de desarrollo del ciclo de vida de desarrollo del sistema de IA, incluida la seguridad de la cadena de suministros, la documentación y la gestión de la carga técnica y de activos.
1. Asegure su cadena de suministro
2. Identifique, rastree y proteja sus activos
3. Documente sus datos, modelos e indicaciones
4. Gestione su carga técnica
3. Implemente sus aplicaciones de forma segura
Esta sección contiene directrices que se aplican a la fase de despliegue del ciclo de vida de desarrollo del sistema de IA, incluida la protección de la infraestructura y los modelos frente a compromisos, amenazas o pérdidas, el desarrollo de procesos de gestión de incidentes y la liberación responsable.
1. Asegure su infraestructura
2. Proteja su modelo de forma continua
3. Desarrolle procedimientos de gestión de incidentes
4. Difunda la IA de forma responsable
5. Facilite que los usuarios hagan lo correcto
4. Operación y mantenimiento seguros
Esta sección contiene directrices que se aplican a la fase de funcionamiento y mantenimiento seguros del ciclo de vida de desarrollo del sistema de IA. Proporciona directrices sobre acciones especialmente relevantes una vez que se ha desplegado un sistema, incluidos el registro y la supervisión, la gestión de actualizaciones y el intercambio de información.
1. Supervise el comportamiento de su sistema
2. Controle la entrada de datos de su sistema
3. Siga un enfoque de seguridad por diseño en las actualizaciones
4. Recopile y comparta las lecciones aprendidas
Además de Estados Unidos y el Reino Unido, los demás países que han suscrito estas directrices son Australia; Canadá; Chile; Chequia; Estonia; Francia; Alemania; Israel; Italia; Japón; Nueva Zelanda; Nigeria; Noruega; Polonia; República de Corea y Singapur.
Obviamente, llama la atención la presencia en esta relación de países de varios pertenecientes a la Unión Europea y, por ello, directamente afectados e involucrados, en la elaboración del Reglamento europeo de IA. En particular, recordemos que, a la vista de las dificultades surgidas a la lo largo de su negociación, en fechas muy recientes Alemania, Francia e Italia han dirigido a la presidencia española del Consejo una propuesta conjunta sobre la regulación de la IA generativa en el marco del Reglamento.