Carlos B Fernández. Los sistemas de alto riesgo y los modelos fundacionales, sobre los que se desarrollan los grandes modelos de lenguaje (LLM) que sustentan las aplicaciones de IA generativa, como ChatGPT, Bard o Lambda, junto con el uso de los sistemas inteligentes por las fuerzas policiales, van a protagonizar la cuarta sesión de negociaciones (trílogos) sobre el Reglamento de IA.
Estas negociaciones se iniciaron el pasado 14 de junio de 2023, inmediatamente después de la votación del texto aprobado por el Parlamento Europeo. En esa primera ronda, las tres instituciones expusieron sus prioridades para las negociaciones y se dio un amplio mandato al nivel técnico para trabajar en toda la propuesta.
El 18 de julio de 2023 se celebró el segundo diálogo político a tres bandas, durante el cual se acordaron algunas de las partes menos controvertidas de la propuesta y se alcanzó un compromiso sobre la mayoría de los elementos del capítulo relativo a las medidas de apoyo a la innovación.
Los días 2 y 3 de octubre de 2023 se celebró en Estrasburgo el tercer diálogo político tripartito, durante el cual se aprobaron otras partes menos controvertidas de la propuesta. Además, la intención de la Presidencia era llegar a un acuerdo con el Parlamento sobre tres temas más controvertidos, como el objeto y ámbito de aplicación del Reglamento, el mecanismo de clasificación de los sistemas de IA como de alto riesgo y la lista de casos de uso de IA de alto riesgo. Sin embargo, las conversaciones sobre estos temas resultaron poco concluyentes y no se llegó a ningún acuerdo.
Desde entonces se han celebrado cuatro reuniones técnicas con el Parlamento para preparar el siguiente bloque de materias que deberán acordarse o armonizarse a nivel político durante el cuarto trílogo político, que tendrá lugar el 24 de octubre de 2023 en Bruselas.
Previamente, entre el 4 y el 12 de octubre de 2023, la Presidencia ha consultado a las delegaciones, tanto durante las reuniones del Grupo "Telecomunicaciones y Sociedad de la Información" (GT TELECOM), como de manera informal, sobre las propuestas transaccionales y las posibles áreas de acuerdo para las cuestiones que se van a debatir durante esta cuarta ronda de negociaciones, tanto en lo que se refiere al fondo como al proceso de las futuras negociaciones.
Próximos temas a debate durante la cuarta sesión negociadora
Según el documento al que hemos tenido acceso, de cara a la cuarta sesión de los trílogos que negocian el Reglamento de IA, la presidencia española presentará una nueva propuesta centrada en los siguientes tres temas:
- Clasificación de los sistemas de IA como de alto riesgo (considerandos 32 y 32 bis, artículos 6 y 7, artículo 51, artículo 65 bis (nuevo), párrafo 2 del anexo III (nuevo) y sección D del Anexo VIII (nuevo)
- Lista de casos de uso de alto riesgo de la IA (anexo III) [con excepción de los casos de uso relacionados con la biometría y su uso por las autoridades policiales, que se debatirán junto con el el artículo 5 sobre prohibiciones en una fase posterior].
- Prueba de los sistemas de IA de alto riesgo en condiciones del mundo real, fuera de los sandboxes (artículos 54 bis y 54 ter)
Por lo que se refiere a los dos primeros temas mencionados (clasificación de los sistemas de IA como de alto riesgo y la lista de alto riesgo), el 29 de septiembre la Presidencia obtuvo del Comité de Representantes Permanentes un mandato revisado y un marco más flexibile del Comité de Representantes Permanentes el 29 de septiembre, y la intención es abordar las negociaciones con el Parlamente el 24 de octubre, basándose en dicho mandato.
En relación con el tercer tema enumerado anteriormente, a saber, la prueba de sistemas de IA de alto riesgo en condiciones del mundo real fuera de los espacios aislados de regulación de la IA (sandboxes) (artículos 54 bis y 54 ter), la propuesta transaccional se basa en elementos tomados del planteamiento general del Consejo de 6 de diciembre de 2022, pero incluye algunas salvaguardias adicionales que la Presidencia considera necesarias para alcanzar un acuerdo con la Eurocámara sobre este tema. Más concretamente, las modificaciones incluyen los siguientes elementos:
- se ha añadido el requisito de aprobación de la autoridad de vigilancia del mercado para realizar pruebas en condiciones reales, permitiéndose la aprobación tácita al cabo de 45 días;
- en el caso de pruebas en condiciones reales en los ámbitos de la aplicación de la ley, la migración asilo y control fronterizo, se ha incluido una propuesta de registro en una base de datos no pública;
- la duración de las pruebas en condiciones reales se ha fijado en seis meses, pero podrá prorrogarse otros seis meses, previa notificación del proveedor a la autoridad de vigilancia del mercado;
- como hay casos en los que las autoridades encargadas de hacer cumplir la ley podrían no estar en condiciones de obtener el consentimiento informado de las personas afectadas antes de realizar las pruebas en condiciones reales, se ha añadido el requisito de que estas autoridades incluyan en su plan de pruebas en condiciones reales un análisis sobre por qué estas personas no se verían afectadas negativamente en tales casos;
- Se ha añadido explícitamente el derecho de las personas afectadas a solicitar la supresión de sus datos después de las pruebas en condiciones reales.
- se ha incluido el derecho de las autoridades de vigilancia del mercado a solicitar a los proveedores y posibles proveedores información relacionada con las pruebas en condiciones reales, incluida la facultad de realizar inspecciones en caso necesario.
Además de llegar a un acuerdo provisional sobre las cuestiones enumeradas en el punto II anterior, los colegisladores tienen intención de debatir los dos temas siguientes con vistas a aproximar sus posiciones durante el cuarto diálogo tripartito:
- Modelos fundamentales/Sistemas de IA de propósito general y gobernanza
- Prohibiciones, aplicación de la ley y seguridad nacional
La intención de la Presidencia es debatir estos temas con el Parlamento Europeo durante el próximo cuarto diálogo tripartito, sobre la base de estas propuestas de acuerdo, con el fin de llegar a un entendimiento común sobre la forma en que podrían adoptarse las soluciones finales. Con este entendimiento, el nivel técnico se encargaría de preparar propuestas concretas de redacción de compromiso, que se presentarían al Comité de Representantes Permanentes con una solicitud de mandato revisado antes del siguiente diálogo tripartito previsto para el 6 de diciembre de 2023.
La Presidencia utilizará esta información como base para los debates del cuarto diálogo tripartito y para la redacción de las propuestas de compromiso finales a nivel técnico. y para la redacción de propuestas transaccionales finales a nivel técnico.
Con más detalle, la propuesta de la Presidencia plantea los siguientes enfoques:
1. Modelos fundamentales/Sistemas de IA de propósito general y gobernanza
- Nuevas normas para los modelos fundamentales y la IA de propósito general (GPAI)
Aunque con enfoques diferentes, tanto el Parlamento como el Consejo han introducido normas para abordar las preocupaciones que suscita el uso de modelos fundamentales y GPAI.
El planteamiento de base es que las capacidades y la complejidad de los modelos fundamentales son tales que resultan necesarias ciertas obligaciones de transparencia específicas para garantizar que los proveedores que los utilicen posteriormente puedan construir sistemas de IA (incluidos los sistemas de IA de propósito general) sobre modelos fundamentales de un modo seguro y conforme con el Reglamento, minimizando el riesgo de violar los derechos fundamentales y la seguridad de las personas. Además, cuando los modelos fundamentales tienen capacidades especialmente elevadas o emergentes que aún no se comprenden plenamente, estos modelos merecen una mayor atención en vista del posible riesgo sistémico que plantean, como por ejemplo riesgo para la vida o la salud pública en general o un efecto negativo en los procesos democráticos a través de una desinformación masiva.
- Obligaciones comunes para todos los modelos fundamentales
Los modelos fundamentales se diferencian de los modelos más tradicionales de IA restringida por sus numerosas capacidades. Los objetivos de aprendizaje tienden a ser generales e independientes de la tarea de aprendizaje. Por lo tanto, una posible definición podría referirse a un "modelo de IA capaz de realizar de forma competente una amplia gama de tareas específicas". Deberían desarrollarse y aplicarse parámetros concretos para evaluar las capacidades de estos modelos en términos de tareas y competencia para realizarlas.
Todos los proveedores de modelos fundamentales deben estar sujetos a las siguientes obligaciones básicas de transparencia
Antes de comercializar el modelo fundamental:
- Documentar el modelo y el proceso de formación, incluidos los resultados del red teaming interno,
- Realizar y documentar la evaluación del modelo con arreglo a protocolos y herramientas normalizados y herramientas normalizadas (es decir, puntos de referencia),
Tras la comercialización del modelo fundamental:
- El suministro de información y documentación al proveedor posterior, y
- Permitir que los proveedores posteriores prueben los modelos fundamentales.
Los proveedores de modelos fundamentales deben colaborar con las autoridades, que podrán solicitar la divulgación de la documentación.
- Obligaciones adicionales para los modelos fundamentales muy capaces (very capable foundation models)
Se consideran modelos fundamentales muy capaces aquellos cuyas capacidades van más allá del estado actual de la técnica por lo que pueden no conocerse todavía en su totalidad. Dado que aún no existen herramientas y metodologías para predecir y medir las capacidades de esos modelos, los investigadores han identificado indicadores sustitutivos como la cantidad de computación utilizada para su entrenamiento (FLOPs).
Los proveedores de estos modelos de gran capacidad deben estar sujetos a obligaciones adicionales de transparencia, además de las indicadas anteriormente:
Antes de comercializar el modelo fundamental de gran capacidad (o en caso de reconversión):
- Red-teaming externo regular a través de red-testers vetados (que serán vetados por la Oficina), con vistas a con el fin de descubrir vulnerabilidades e identificar áreas de mitigación de riesgos. Los resultados deberán presentarse a la Oficina,
- Introducción de un sistema de evaluación y mitigación de riesgos, que abarque también los posibles riesgos sistémicos, y
Después de que los modelos fundamentales muy capaces estén en el mercado:
- controles periódicos de cumplimiento organizados por la Oficina y realizados a través de auditores/investigadores independientes, lo que implica comprobar el cumplimiento de las obligaciones en materia de transparencia.
En este momento, el conocimiento y la comprensión de los posibles riesgos sistémicos de los modelos fundamentales muy capaces y las herramientas para hacerles frente aún están evolucionando. Por lo tanto, para facilitar la aplicación de la obligación de llevar a cabo la evaluación y mitigación de riesgos, la Oficina debería crear un foro de cooperación para los proveedores de modelos fundamentales muy capaces con el fin de debatir las mejores prácticas pertinentes y elaborar un código de conducta voluntario. El código de conducta debería presentarse a la Definición de modelos fundamentales muy capaces:
Sin embargo, un proveedor podría refutar esta presunción demostrando en la notificación que el modelo fundamental en cuestión no debe considerarse muy capaz, a pesar de alcanzar el umbral. Al mismo tiempo, debe existir la posibilidad de que la Oficina considere excepcionalmente un modelo como "muy capaz" incluso por debajo del umbral de FLOPs, especialmente tras una investigación si la comunidad científica lo ha señalado.
No obstante, con el fin de disponer de los criterios más a prueba de futuro para definir lo que es un modelo muy capaz también podrían utilizarse las siguientes métricas: la cantidad de datos consumidos en el entrenamiento, que, según algunas investigaciones, no se espera que se altere en los próximos años, así como sobre el impacto potencial de estos modelos fundacionales en los usuarios, establecido por la cantidad de IA de alto riesgo que se construyen sobre la base de dicho modelo fundamental. Esto requeriría que en el registro de sistemas de IA de alto riesgo, los proveedores especificaran si el sistema de IA de alto riesgo está construido sobre un modelo fundamental (y cuál).
- Introducción de obligaciones para los sistemas GPAI a escala
Los sistemas GPAI construidos sobre modelos fundamentales y utilizados a escala en la UE pueden acarrear mayores riesgos debido a su amplia adopción. Por lo tanto, los proveedores de tales sistemas IPPV deben estar sujetos a las siguientes obligaciones:
- Revisión externa periódica por parte de verificadores verificados, con el fin de descubrir vulnerabilidades e identificar ámbitos de mitigación de riesgos.
- Introducir un sistema de evaluación y mitigación de riesgos, que abarque también los posibles riesgos sistémicos.
Es necesario seguir estudiando la interacción entre la mitigación de riesgos a nivel de sistema y a nivel de modelo. Al tiempo que se pretende evitar una carga desproporcionada, especialmente para los agentes más pequeños, se podría considerar la introducción de determinados requisitos de gestión del riesgo tanto a nivel de modelo como de sistema, hacer uso de las mismas herramientas reguladoras, es decir, permitir a los proveedores debatir las mejores prácticas y fomentar el desarrollo de códigos de conducta que establezcan cómo cumplir con las obligaciones de gestión de riesgos.
También hay que seguir estudiando cómo garantizar la inclusión de barreras de protección, ya sea a nivel de modelo (muy capaz) o de sistema GPAI (a escala), para abordar el riesgo de resultados ilegales o perjudiciales del sistema GPAI, incluidas las salvaguardias contra el uso indebido o uso autónomo para generar tales resultados, especialmente cuando tales resultados generarían riesgos sistémicos.
La determinación de cuándo un sistema GPAI se utiliza a escala se basa en el impacto y el alcance. Para ello el umbral pertinente debería ser una cantidad de [10 000] usuarios empresariales registrados (es decir desarrolladores) o [45 millones] de usuarios finales registrados, según proceda. El cálculo es sencillo para los sistemas GPAI proporcionados a través de una API. Para los sistemas GPAI proporcionados a través de una "biblioteca", es necesario desarrollar una metodología.
- Evitar lagunas en el enfoque basado en el riesgo
Además, para ajustarse al planteamiento basado en el riesgo, todos los proveedores de sistemas GPAI deben declarar explícitamente declarar explícitamente si el IPGPA puede utilizarse para usos de alto riesgo o no. Los proveedores que excluyan el uso para fines de alto riesgo deberán introducir medidas para detectar y prevenir dicho uso. Los proveedores que permitan determinados usos de alto riesgo deberán asegurarse de que el sistema GPAI cumple los requisitos de los sistemas de IA de alto riesgo para cada uso de alto riesgo permitido. No obstante, los requisitos podrán adaptarse mediante actos de ejecución para tener en cuenta las especificidades de los sistemas GPAI.
- Introducir obligaciones para apoyar el cumplimiento de la protección de los derechos de autor
La Directiva de la UE sobre derechos de autor ya prevé que los titulares de derechos puedan optar por que sus contenidos no sean utilizados para modelos fundamentales de formación (excepción TDM). Sin embargo, se necesitan que faciliten la aplicación de las normas sobre derechos de autor en el contexto de los modelos fundamentales.
Los proveedores de modelos fundamentales deben demostrar que han tomado las medidas adecuadas para garantizar que los modelos se formen de conformidad con la legislación de la Unión aplicable en materia de derechos de autor, en particular respetar la exclusión voluntaria de la excepción del MDT. Además, los proveedores de modelos fundamentales deben poner a disposición del público un resumen suficientemente detallado sobre el contenido utilizado para la formación e información sobre sus políticas para gestionar los aspectos relacionados con los derechos de autor. La Oficina debería proporcionar una plantilla para garantizar la aplicación uniforme de esta obligación.
- Introducir obligaciones para garantizar la transparencia de los contenidos generados por IA
Los proveedores deben garantizar que sus soluciones técnicas sean eficaces, interoperables, sólidas y fiables en la medida en que sea técnicamente factible, teniendo en cuenta el estado de la técnica reconocido. Dicha disposición debe formularse de manera tecnológicamente neutra, ya que en la actualidad no existen soluciones técnicas consolidadas para los textos generados por máquinas. La aplicación debe especificarse mediante normas o códigos de conducta voluntarios, estos últimos con la posibilidad de ser reconocidos por la Comisión.
- Nuevas normas de gobernanza para modelos fundamentales y GPAI
Las nuevas normas para los modelos fundamentales y los GPAI exigen un nuevo enfoque de la gobernanza. Mientras que para los sistemas de IA se aplicará el sistema de vigilancia del mercado, estas nuevas normas para los modelos fundamentales requieren un nuevo sistema de supervisión y aplicación. La complejidad y la capacidad de estos modelos y sistemas son tales que sería importante centralizar los conocimientos especializados. Por ello, la presidencia española propone:
- Introducción de la supervisión centralizada de los modelos fundamentales y los GPAI a escala La aplicación de las nuevas normas sobre los modelos fundamentales y los PAMI a escala debe tener lugar a a escala de la UE. Además de la aplicación, es necesaria una estructura centralizada de supervisión, seguimiento y prospectiva, que desarrolle una comprensión de las tendencias y los riesgos potenciales que plantean tales modelos y sistemas, incluidos los riesgos negativos para la estabilidad financiera, así como los posibles riesgos graves o sistémicos, como el riesgo para la vida o la salud pública en general o los efectos negativos sobre los procesos democráticos.
A tal fin, debería crearse una "Oficina de IA" como nueva estructura de gobernanza y una competencias específicas en relación con los modelos fundamentales y los GPAI.
Por otra parte, esta Oficina sería un elemento adicional que complementaría el mecanismo de gobernanza y aplicación de los sistemas de IA. La Oficina debe ser un órgano de gobernanza visible que esté alojado administrativamente dentro de la Comisión. Debe presentarse como una organización autónoma, incluso a través de una presencia en línea que permita presentar su misión y su trabajo. que permita presentar su misión y su trabajo. Un ejemplo de organización similar parte de la Comisión es el Centro Europeo para la Transparencia Algorítmica.
2. Usos de la IA prohibidos y uso de la IA para el cumplimiento de la ley y fines de seguridad nacional
En cuanto a las prohibiciones, la presidencia propone diversas propuestas de consenso en relación con la utilización de los sistemas de identificación biomética remota en tiempo real en lugares públicos, por una parte, reduciendo las excepciones a su prohibición general y, por otro, aumentando las garantías frente a su utilización.
Igualmente, la presidencia introduce propuestas de consenso en relación con la utilización de sistemas de IA no en tiempo real por las fuerzas de seguridad; los sistemas de reconocimiento de emociones; la clasificación biométrica basada en la utilización de datos protegidos; la prohibición de captura automatizada (scrapping) de imágenes no etiquetadas con la finalidad de elaborar bases de datos de reconocimiento de imágenes y la prácticas de técnicas predictivas individualizadas en relación con delitos e ilícitos administrativos.
Finalmente, la presidencia va a presentar propuestas transaccionales específicas en relación con casos de utilización de sistemas de IA considerados de alto riesgo, como son en el ámbito de la biometría, la aplicación de la ley, la inmigración y el control de fronteras.