Carlos B Fernández. La Unión Europea dispondrá de un Reglamento sobre inteligencia artificial (IA). Tras más de 36 horas de intensas negociaciones en la quinta sesión de los trílogos entre el Consejo, el Parlamento y la Comisión europeos, las partes han alcanzado un principio de acuerdo político sobre la redacción definitiva de la norma.
Con ello, y a falta de ultimar numerosos detalles técnicos, quedaría pendiente su aprobación final por el Consejo y el Parlamento, como paso previo a su publicación en el DOUE.
La previsión es que la norma entre en vigor a los veinte días de su publicación, si bien no comenzará a ser aplicable hasta 24 meses después, salvo determinadas disposiciones en relación con los sistemas considerados prohibidos, que comenzarán a ser aplicables en solo seis meses, y determinadas previsiones sobre los modelos denominados de propósito general, que lo serán en los doce meses siguientes.
Para alcanzar este acuerdo, los negociadores han tenido que superar sus diferencias en aspectos relevantes surgidos a lo largo de los últimos meses. Estos comenzaron por el propio concepto de inteligencia artificial (aspecto sobre el que parece que ha prevalecido una noción múy próxima a la de la OCDE, lo que sin duda facilitará ulteriores negociaciones con los Estados Unidos y el Reino Unido).
Pero los puntos de fricción más relevantes se han centrado en los sistemas de IA prohibidos; en la exclusión de los sistemas de IA para fines de defensa; en los requisitos establecidos para los modelos fundacionales que sirven de base a los sistemas de IA generativa; en los sistemas de reconocimiento facial en tiempo real en espacios públicos; en las medidas de gobernanza a aplicar a los sistemas de alto riesgo y también en el procedimiento sancionador.
Como hemos indicado al principio, queda pendiente la redacción precisa de determinados aspectos concretos, además de la traducción a la diversas lenguas de la Unión, para poder conocer el texto final. Pero no cabe ignorar la importancia de un texto que constituye la primera regulación democrática de gran alcance de esta tecnología. Entre los principales aspectos del acuerdo alcanzado, destacan los siguientes:
Definiciones y ámbito de aplicación
Para garantizar que la definición de sistema de IA proporciona criterios suficientemente claros para distinguir la IA de sistemas de software más simples, el acuerdo de compromiso ajusta la definición al enfoque propuesto por la OCDE.
El acuerdo provisional también aclara que el reglamento no se aplicará a ámbitos ajenos a la legislación de la UE y que, en ningún caso, afectará a las competencias de los Estados miembros en materia de seguridad nacional ni a ninguna entidad que tenga encomendadas tareas en este ámbito.
Además, el acto sobre IA no se aplicará a los sistemas que se utilicen exclusivamente con fines militares o de defensa.
Del mismo modo, el acuerdo establece que el reglamento no se aplicará a los sistemas de IA utilizados con fines exclusivos de investigación e innovación, ni a las personas que utilicen la IA por motivos no profesionales.
Aplicaciones prohibidas
Se considera que algunos usos de la IA plantean un riesgo que se considera inaceptable, en particular para los derechos de los ciudadanos y, por tanto, estos sistemas estarán prohibidos en la UE.
En concrerto, reconociendo la amenaza potencial para los derechos de los ciudadanos y la democracia que plantean determinadas aplicaciones de la IA, los colegisladores han acordado prohibir:
- los sistemas de categorización biométrica que utilizan características sensibles de las personas (por ejemplo, creencias políticas, religiosas, filosóficas, orientación sexual, raza);
- los sistemas de vigilancia predictiva;
- los sistemas de extracción no dirigida de imágenes faciales de Internet o imágenes de CCTV para crear bases de datos de reconocimiento facial;
- los sistemas de reconocimiento de emociones en el lugar de trabajo y en instituciones educativas;
- los sistemas de puntuación social basada en el comportamiento social o eb características personales;
- los sistemas de IA que manipulan el comportamiento humano para eludir su libre albedrío;
- los sistemas de IA dedicados a explotar las vulnerabilidades de las personas (por su edad, discapacidad, situación social o económica).
Exenciones relacionadas con el uso de los sistemas de IA en el ámbito policial
Teniendo en cuenta las especificidades de las autoridades policiales y la necesidad de preservar su capacidad de utilizar la IA en su trabajo vital, se acordaron varios cambios a la propuesta de la Comisión en relación con el uso de sistemas de IA para fines policiales. Con las salvaguardias adecuadas, estos cambios pretenden reflejar la necesidad de respetar la confidencialidad de los datos operativos sensibles en relación con sus actividades. Por ejemplo, se ha introducido un procedimiento de emergencia que permite a los cuerpos y fuerzas de seguridad desplegar en caso de urgencia una herramienta de IA de alto riesgo que no haya superado el procedimiento de evaluación de la conformidad. Sin embargo, también se ha introducido un mecanismo específico para garantizar que los derechos fundamentales estarán suficientemente protegidos contra cualquier posible uso indebido de los sistemas de IA.
Los negociadores han acordado una serie de salvaguardias y excepciones estrictas sobre el uso de sistemas de identificación biométrica (RBI) en espacios de acceso público con fines policiales. Estos usos deberán estar sujetos a autorización judicial previa y solo se permitirán para una lista de delitos estrictamente definida. Solo se permitirá el uso de sistemas RBI “post-remota” para la selectiva de una persona condenada o sospechosa de haber cometido un delito grave.
La RBI “en tiempo real” deberá cumplir con unas condiciones estrictas y su uso estaría limitado en tiempo y ubicación, para los fines de:
- realizar búsquedas selectivas de víctimas de delitcos como el secuestro, la trata o la explotación sexual),
- prevención de una amenaza terrorista específica y presente, o
- la localización o identificación de una persona sospechosa de haber cometido uno de los delitos específicos mencionados en el reglamento (por ejemplo, terrorismo, trata, explotación sexual, asesinato, secuestro, violación, robo a mano armada, participación en una organización criminal, delitos medioambientales).
Sistemas de alto riesgo
El acuerdo de compromiso prevé una capa horizontal de protección, que incluye una clasificación de alto riesgo, para garantizar que no se incluyan en esta clasificación los sistemas de IA que no sean susceptibles de causar graves violaciones de los derechos fundamentales u otros riesgos significativos. Los sistemas de IA que solo presenten un riesgo limitado estarían sujetos a obligaciones de transparencia muy leves, por ejemplo revelar que el contenido fue generado por IA para que los usuarios puedan tomar decisiones informadas sobre su uso posterior.
Según ha explicado el Consejo, se autorizaría una amplia gama de sistemas de IA de alto riesgo, pero sujetos a una serie de requisitos y obligaciones para acceder al mercado de la UE. En este sentido, se han aclarado y ajustado estos requisitos de manera que sean más viables técnicamente y menos gravosos de cumplir para las partes interesadas, por ejemplo en lo que respecta a la calidad de los datos, o en relación con la documentación técnica que deben elaborar las PYME para demostrar que sus sistemas de IA de alto riesgo cumplen los requisitos.
Dado que los sistemas de IA se desarrollan y distribuyen a través de complejas cadenas de valor, el acuerdo de compromiso incluye cambios que aclaran la asignación de responsabilidades y funciones de los distintos agentes de esas cadenas, en particular los proveedores y los usuarios de sistemas de IA. También aclara la relación entre las responsabilidades derivadas de la Ley de IA y las que ya existen en virtud de otra legislación, como la legislación de protección de datos de la UE.
Obligaciones para los sistemas de alto riesgo
Se establecen una serie de obligaciones específicas para los sistemas de IA considerados de alto riesgo (debido a su importante daño potencial a la salud, la seguridad, los derechos fundamentales, el medio ambiente, la democracia y el Estado de derecho)
- Se incluyen en esta clasificación los sistemas de IA utilizados para influir en el resultado de las elecciones y el comportamiento de los votantes.
- Entre otros requisitos, estos sistemas deberán incluir una evaluación obligatoria del impacto sobre los derechos fundamentales, entre otros casos, cuando se utilicen en los sectores bancario y de seguros.
- Los ciudadanos tendrán derecho a presentar quejas sobre los sistemas de IA y recibir explicaciones sobre las decisiones basadas en sistemas de IA de alto riesgo que afecten a sus derechos.
Previsiones para los modelos de IA generativa
Dada la amplia gama de tareas que pueden realizar los sistemas de IA y la rápida expansión de sus capacidades, se ha acordado un doble nivel para los modelos de propósito general (en las versiones anteriores de la norma, denominados modelos fundacionales), los modelos que presentan un riesgo sistémico y los que no lo plantean. Se consideran de riesgo sistémico aquellos que utilizan una potencia de cálculo igual o superior a 10 elevado a 26 FLOPS (operaciones de coma flotante) por segundo (por ahora, parece que solo la versión 4 de ChatGPT alcanza ese umbral). Estos modelos que plantean un riesgo sistémico deberán cumplir una serie de obligaciones más estrictas: tendrán que realizar evaluaciones del modelo, evaluar y mitigar riesgos sistémicos, realizar pruebas contradictorias, informar a la Comisión sobre incidentes graves, garantizar la ciberseguridad e informar sobre su eficiencia energética.
Los eurodiputados también insistieron en que, hasta que se publiquen normas armonizadas de la UE, las GPAI con riesgo sistémico pueden estar sometidos a códigos de buenas prácticas para cumplir con la regulación.
Medidas de apoyo a la innovación y a las PYMES. Entornos controlados de pruebas
Los eurodiputados querían garantizar que las empresas, especialmente las pymes, puedan desarrollar soluciones de inteligencia artificial sin presiones indebidas por parte de los gigantes de la industria que controlan la cadena de valor. Con este fin, el acuerdo promueve los llamados entornos de pruebas regulatorios y pruebas en el mundo real, establecidos por las autoridades nacionales para desarrollar y entrenar IA innovadora antes de su comercialización.
Un nuevo diseño de gobernanza de la IA
A raíz de las nuevas normas sobre modelos GPAI y de la evidente necesidad de hacerlas cumplir a escala de la UE, se crea en la Comisión una Oficina de IA (AI Office), encargada de supervisar estos modelos de IA más avanzados, contribuir a fomentar normas y prácticas de ensayo y hacer cumplir las normas comunes en todos los Estados miembros. Un grupo científico de expertos independientes asesorará a la Oficina de IA sobre los modelos GPAI, contribuyendo al desarrollo de metodologías para evaluar las capacidades de los modelos fundamentales, asesorando sobre la designación y la aparición de modelos fundamentales de alto impacto, y vigilando los posibles riesgos materiales para la seguridad relacionados con los modelos fundamentales.
El Consejo de IA (AI Board), compuesto por representantes de los Estados miembros, seguirá siendo una plataforma de coordinación y un órgano consultivo de la Comisión y dará un papel importante a los Estados miembros en la aplicación del reglamento, incluido el diseño de códigos de prácticas para los modelos fundamentales. Por último, se creará un foro consultivo para las partes interesadas (advisory forum for stakeholders), como representantes de la industria, las PYME, las start-ups, la sociedad civil y el mundo académico, que aportará conocimientos técnicos al Consejo de IA.
Sanciones
El incumplimiento de las normas establecidas por el Reglamento puede dar lugar a multas que van desde 35 millones de euros o el 7% del volumen de negocios global hasta 7,5 millones o el 1,5% del volumen de negocios, dependiendo de la infracción y el tamaño de la empresa.