La inminente publicación del Reglamento (UE) del Parlamento Europeo y del Consejo, por el que se establecen normas armonizadas en materia de inteligencia artificial (IA) y por el que se modifican los Reglamentos (CE) n.o 300/2008 (LA LEY 3589/2008), (UE) n.o 167/2013 (LA LEY 2703/2013) (UE) n.o 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE (LA LEY 13360/2014) (UE) 2016/797 (LA LEY 8246/2016) y (UE) 2020/1828) (Reglamento de Inteligencia Artificial o AI Act en inglés, en lo sucesivo, RIA), culmina un proceso legislativo iniciado en abril de 2021.
Un proceso que alcanzó sucesivos hitos en noviembre de 2021, cuando el Consejo aprobó sus enmiendas; en junio de 2023, cuando el Parlamento hizo lo propio con las suyas y, finalmente, en diciembre de ese mismo año, cuando se alcanzó un acuerdo político entre el Consejo y el Parlamento en los trílogos negociadores.
A lo largo de este proceso, las sucesivas versiones del texto han sido objeto de multitud de análisis preliminares, tanto en nuestro país (1) , como fuera de nuestras fronteras y el texto final lo será, sin duda, aún más (2) , en los próximos meses.
Se trata de una norma larga y compleja, que requerirá de un profundo estudio por parte de los profesionales encargados de su aplicación y puesta en práctica. Por ello, el propósito de este artículo es presentar, muy someramente, lo que el profesor Borrajo Dacruz solía denominar los puntos críticos de esta norma, los más relevantes o que más dificultad plantean o parece previsible que vayan a plantear, en los primeros momentos de su práctica.
Creemos evidente que la permanente evolución de esta tecnología, junto con la abundancia de conceptos indeterminados que abundan en esta norma, darán lugar a que su aplicación práctica se enfrente en un futuro muy próximo a novedosos y desconocidos problemas, que solo el trabajo colaborativo de juristas, profesionales de la ética y técnicos podrá resolver, en una tarea que requerirá acudir frecuentemente a los principios generales del derecho que fundamentan el ordenamiento jurídico europeo.
Introducción. Una norma para tratar los riesgos que plantea la IA
En esencia, el RIA pretende el establecimiento de un marco jurídico uniforme para el desarrollo, la introducción en el mercado, la puesta en servicio y la utilización de sistemas de IA en la Unión (UE), de conformidad con sus valores, recogidos en la Carta de los Derechos Fundamentales de la Unión Europea (LA LEY 12415/2007) (Cdo. 1).
Esto lo hace desde una triple consideración, que deberá ser tenida muy en cuenta para entender debidamente esta norma:
- • Su conexión con el nuevo marco digital europeo puesto en marcha en febrero de 2020 por la Comisión Europea presidida, puesto en marcha en febrero de 2020 por la Comunicación "Una estrategia digital para Europa", posteriormente actualizada por el programa político de la Década Digital 2030, de enero de 2023.
- • Su también conexión con el vigente marco europeo de comercialización de productos, constituido por los Reglamentos (CE) 765/20083 y UE 2019/10204, junto con la "Blue Guide on the implementation of product rules", de 2022.
- • Y su necesaria y permanente relación con el Reglamento General de Protección de Datos (RGPD) (LA LEY 6637/2016), que constituye la base de confianza del tratamiento de datos personales en este contexto.
A partir de estas premisas, aplica un enfoque basado en paliar o evitar los riesgos que pueden generar estos sistemas antes de que se materialicen, adaptando el tipo y contenido de las normas a la intensidad y el alcance de dichos riesgos.
Por ello, a través de sus 180 Considerandos, 113 artículos y 13 anexos, el texto establece un amplio conjunto de normas comunes para los sistemas de IA, al objeto de garantizar un nivel elevado y coherente de protección de los intereses públicos en lo que respecta a la salud, la seguridad y los derechos fundamentales.
Así, tras definir su objeto y ámbito de aplicación, y presentar la amplia lista de definiciones utilizadas (68 en total), el RIA presenta la lista de sistemas de IA que considera que plantean un riesgo inaceptable y que, por tanto, prohíbe. Seguidamente regula los numerosos requisitos que deben cumplir los sistemas de IA de alto riesgo y las obligaciones aplicables a los operadores pertinentes, incluyendo obligaciones de seguimiento posterior a la comercialización, el intercambio de información y las reglas de vigilancia del mercado, junto con los códigos de conducta. Con una sistemática mejorable, fruto probablemente de las difíciles negociaciones de las que fue objeto, la norma regula también los modelos de IA de propósito general. Para ello distingue entre aquellos que plantean un riesgo sistémico (considerando como tal el generado por las capacidades de gran impacto de los modelos de IA de uso general, que tienen unas repercusiones considerables en el mercado de la UE debido a su alcance o a los efectos negativos reales o razonablemente previsibles en la salud pública, la seguridad, la seguridad pública, los derechos fundamentales o la sociedad en su conjunto, que puede propagarse a gran escala a lo largo de toda la cadena de valor), para los que se establecen obligaciones específicas y los que no lo plantean.
Posteriormente se establecen una serie de reglas que erigen un marco de gobernanza con el fin coordinar y apoyar la aplicación del RIA a escala nacional, así como, desarrollar capacidades a escala de la UE e integrar a todas las partes interesadas (Cdo. 148). Entre las instituciones y autoridades que ven la luz al amparo del RIA se incluyen el Comité Europeo de IA; el Panel científico de expertos independientes y las Autoridades nacionales competentes. Asimismo, se incorporan ciertas medidas de apoyo a la innovación, como los sandboxes o entornos de prueba controlados (3) ; la base de datos europea de sistemas de IA y el régimen sancionador.
Expuestos en mínima síntesis los elementos esenciales del RIA, expondremos, a continuación, los aspectos más problemáticos o críticos del mismo.
Por un criterio de necesaria concreción, hemos seleccionado los diez aspectos que, en nuestra opinión, condicionan con mayor claridad la posterior aplicación de la norma. Pero somos muy conscientes, de que, como sin duda pondrá de manifiesto la práctica, serán más. Por ejemplo, y como analizaremos más adelante, resulta notorio el solapamiento ya advertido en la práctica, entre determinados supuestos de aplicación del RGPD (p.ej., los casos Deliveroo y SyRI) y la utilización de sistemas de sistemas de IA para prácticas prohibidas o de alto riesgo del RIA (p.ej., el empleo).
I. El ámbito de aplicación del Reglamento
El ámbito de aplicación de una norma define su alcance, los sujetos a los que obliga y las materias que se incluyen bajo su ámbito regulatorio. Dependiendo del alcance de ese ámbito, un proveedor de sistemas de IA podrá verse o no afectado por la norma. Y lo mismo podrá decirse de determinados sistemas de IA. En el caso del RIA, la Unión ha optado por dotarle de una eficacia extraterritorial, que va más allá de sus fronteras, lo que puede plantear no pocos problemas aplicativos de derecho internacional.
De acuerdo con el art. 2 del RIA, en su ámbito de aplicación cabe distinguir un alcance subjetivo y otro objetivo.
1. Ámbito subjetivo
En cuanto al primero, a quién se aplica el RIA, no han sido pocas las voces, principalmente desde el entorno anglosajón, que han criticado la extraterritorialidad que se deriva del art. 2.3 y el alcance limitado del efecto Bruselas (4) . Como norma general, el RIA se aplica a los proveedores que introduzcan en el mercado o pongan en servicio sistemas de IA o que introduzcan en el mercado modelos de IA de uso general en la UE, con independencia de si dichos proveedores están establecidos o ubicados en la UE o en un tercer país y a los responsables del despliegue de sistemas de IA que estén establecidos o ubicados en la Unión. Pero también, a los proveedores y responsables del despliegue de sistemas de IA que estén establecidos o ubicados en un tercer país, cuando los resultados de salida generados por el sistema de IA se utilicen en la Unión (5) .
El Cdo. 22 justifica esta extensión explicando que «el sistema de IA usado en un tercer país por el operador podría tratar datos recabados lícitamente en la Unión y transferidos desde su territorio, y proporcionar al operador contratante ubicado en la Unión los resultados de salida generados por dicho sistema de IA a raíz de este tratamiento sin que el sistema de IA de que se trate se introduzca en el mercado, se ponga en servicio o se utilice en la UE.
El Reglamento también excluye su aplicación a las personas físicas que utilicen sistemas de IA en el curso de una actividad no profesional y puramente personal.
2. Ámbito objetivo
En cuanto a su ámbito objetivo de aplicación, es decir, a qué sistemas de IA se aplica, el Reglamento excluye de su ámbito a los sistemas de IA que se utilicen «exclusivamente con fines militares, de defensa o de seguridad nacional» (art. 2, núm. 3, párrafos segundo y tercero).
Esta exclusión de los sistemas de uso militar intenta evitar tener que debatir porqué se prohíben determinados sistemas que pueden atentar contra algunos derechos de las personas, pero se permiten otros que pueden acabar con el derecho primigenio de todo ser humano, que es la vida. Pero esta exclusión abre una relevante brecha en la protección de los derechos de las personas.
Por otra parte, la referencia genérica a la seguridad nacional puede colisionar con las exigencias establecidas en relación con la prohibición del reconocimiento facial en lugares públicos en tiempo real por el art. 6.
En otro sentido, la exclusión de «los sistemas o modelos de IA, incluida su información de salida, desarrollados y puestos en servicio específicamente con la investigación y el desarrollo científicos como única finalidad» (art. 2, número 6) parece quedar reiterada, con otra redacción, en el número 8 del mismo artículo, en el que se excluye del ámbito de aplicación del Reglamento las actividades de investigación, prueba o desarrollo relativa a sistemas o modelos de IA antes de su introducción en el mercado o puesta en servicio, con la salvedad de las pruebas realizadas en condiciones reales.
Otras exclusiones son:
- — Las actividades de investigación, ensayo y desarrollo de sistemas o modelos de IA, antes de su comercialización o puesta en servicio
- — Los sistemas de IA desarrollados bajo licencias libres y de código abierto (salvo que sean sistemas de IA de alto riesgo).
II. El concepto de IA
El concepto de IA constituye el núcleo del RIA. Sin definirlo con precisión qué regula la norma, todo el entramado jurídico construido en torno al mismo carecería de sentido. No obstante, este concepto de IA no goza de un consenso generalizado, lo cual ha generado uno de los debates más acalorados durante el proceso de elaboración de la norma (6) . La última decisión ha sido la de aproximar su definición a la propuesta por la Organización para la Cooperación y el Desarrollo Económicos (OCDE), en un intento de facilitar posteriores negociaciones para la elaboración de un convenio internacional que dote a la IA de un marco jurídico global. Conocer adecuadamente este concepto y ser capaz de identificar con propiedad cuando se está ante un sistema de IA será, probablemente, uno de los puntos más críticos a los que se enfrentarán juristas y técnicos en la aplicación del RIA.
El art. 3.1 ofrece una definición de «sistemas de IA» que es necesario poner en inmediata relación con el Cdo. 12, a fin de entender su pleno significado.
En primer lugar, porque es importante diferenciar estos sistemas de los sistemas de software tradicionales más sencillos. En segundo lugar, porque no incluye a los sistemas que se basan en las reglas definidas únicamente por personas físicas para ejecutar operaciones automáticamente. Es decir, si las reglas aplicadas por el sistema de IA han sido establecidas por un ser humano, el sistema no se considerará de IA. Por el contrario, pero si es el propio sistema es que define dichas reglas, sí.
Y, además, porque se resalta su capacidad de inferencia, que incluye la de derivar modelos y/o algoritmos a partir de entradas/datos; de funcionar con arreglo a objetivos explícitos o implícitos (que pueden ser diferentes de la finalidad prevista del sistema de IA en un contexto específico); de funcionar con distintos niveles de autonomía (con independencia o sin intervención humana) y de mostrar una capacidad de adaptación o autoaprendizaje que le permite modificar su comportamiento durante su utilización.
Todo ello en el marco de una definición flexible, que deberá poder adaptarse al avance tecnológico, por lo que podrá estar sujeta a modificaciones a lo largo del tiempo. Y cuya aplicación práctica deberá interpretarse en conjunto con las directrices que elaborará la Comisión en los próximos meses, en conformidad con el art. 96.1 f).
Pero el Reglamento incorpora también una categoría específica de sistemas de IA, los denominados sistemas de IA de propósito general, definidos en el número 66 del artículo 3 y derivados de los modelos de uso general, definidos por el número 63 del artículo 3 y desarrollados por el Capítulo V.
Estos modelos se basan en una definición autorreferenciada o recursiva, que los presenta como un «modelo de IA», entrenado con un gran volumen de datos utilizando la autosupervisión a gran escala, que presenta un grado considerable de generalidad y es capaz de realizar de manera competente una gran variedad de tareas distintas, y que puede integrarse en diversos sistemas o aplicaciones posteriores.
III. La importancia de los datos en el ámbito de la IA
Los datos son fundamentales para el desarrollo de los sistemas de IA, porque representan la realidad que queremos analizar, conocer y sobre la que se quieren desarrollar los nuevos productos y servicios que utilicen esta tecnología. De ahí que su calidad, entendida como su pertinencia, representatividad, carencia de errores, completitud, adecuación a la finalidad perseguida y al entorno al que se van a aplicar, su privacidad y su integridad, resulten tan relevantes.
Tanto el aprendizaje automático o machine learning, como el aprendizaje profundo, o deep learning, se basan en que el sistema aprende de los datos. Estos le permiten además el razonamiento y la modelización. Por tanto, su concepto y los requisitos de su recogida, almacenamiento, tratamiento y eventual eliminación, son esenciales en el ámbito de la IA.
Las definiciones del art. 3 del RIA no incluyen expresamente el concepto de «dato», si bien este se hace sinónimo de «información de entrada» en el Cdo. 12.
Por ello, hay que acudir al art. 2.1 del Reglamento de Gobernanza de Datos (Reglamento (UE) 2022/868 (LA LEY 12215/2022)) para saber que se entiende por "dato" «toda representación digital de actos, hechos o información, así como su recopilación, incluso como grabación sonora, visual o audiovisual».
Los datos admiten diversas categorías, comenzando por la de datos de carácter personal, tal como los define el art. 4.1 del Reglamento General de Protección de datos (RGPD) (LA LEY 6637/2016) («toda información sobre una persona física identificada o identificable»). Pero el RIA distingue otras categorías de datos, como datos de entrenamiento, definidos por el número 29 del art. 3 como aquellos datos usados para entrenar un sistema de IA mediante el ajuste de sus parámetros entrenables, o los datos de validación, definidos por el número 30 del art. 3 como los usados para proporcionar una evaluación del sistema de IA entrenado y adaptar sus parámetros no entrenables y su proceso de aprendizaje para, entre otras cosas, evitar el ajuste insuficiente o el sobreajuste.
También incluye otras categorías, como los «datos de prueba» (los datos usados para proporcionar una evaluación independiente del sistema de IA, con el fin de confirmar el funcionamiento previsto de dicho sistema antes de su introducción en el mercado o su puesta en servicio, en el número 32), y los «datos de entrada» (aquellos proporcionados a un sistema de IA u obtenidos directamente por él a partir de los cuales produce la información de salida, número 33); además de a los «datos biométricos» (número 34) y a los «datos operativos sensibles» (número 38), por no mencionar las «categorías especiales de datos personales».
Además, el RIA también menciona, los datos sintéticos en sus Cdos. 111 y 133. Dado que no los define (aunque el art. 10 los hace equivalentes a los datos anonimizados), podemos acudir a la definición que de ellos hace la Agencia Española de Protección de Datos (AEPD): son aquellos «datos generados artificialmente, a diferencia de los datos reales que se recopilan de la realidad» (7) .
Por otra parte, el art. 10.2 establece que «los conjuntos de datos de entrenamiento, validación y prueba serán pertinentes, suficientemente representativos y, en la mayor medida posible, carecerán de errores y estarán completos habida cuenta de su finalidad prevista» y, asimismo, que «tendrán las propiedades estadísticas adecuadas, por ejemplo, cuando proceda, en lo que respecta a las personas o los grupos de personas en relación con los cuales está previsto que se utilice el sistema de IA de alto riesgo».
Por deducción, estas características definen los sesgos en los datos, ese defecto que debe evitarse, según las letras f) y g) del art. 10.1 del RIA, pero cuya noción tampoco está definida por el Reglamento.
Obviamente, al poder ser los datos de carácter personal una parte importante de los datos, la principal dificultad provendrá de la armonización entre el RGPD y el RIA en lo que son tratamientos lícitos o prohibidos en uno y en otro marco (8) .
IV. Categorización de los sistemas de IA de alto riesgo
El RIA prohíbe una serie de sistemas de IA (en cuyo análisis no vamos a detenernos aquí), y considera de alto riesgo para los derechos y las libertades de las personas a otros, a los que somete a una amplia seria de estrictas exigencias.
En este sentido, uno de los aspectos esenciales de la regulación de la IA consiste en su enfoque basado en el riesgo (risk-based approach) (9) . Según el Cdo. 14 del RIA «este enfoque debería adaptar el tipo y el contenido de dichas normas a la intensidad y el alcance de los riesgos que los sistemas de IA pueden plantear».
En la práctica, una correcta categorización del riesgo de los sistemas de IA desplegados en las organizaciones será de imperiosa necesidad para definir una estrategia de gobernanza e implementación del RIA clara y eficiente.
Hasta la fecha, la categoría que más incógnitas sobre su interpretación plantea es la de los sistemas de alto riesgo, regulada en el art. 6 y ss. del RIA. En concreto se refiere a aquellos sistemas de IA que plantean un alto riesgo de ser perjudiciales para la salud, la seguridad y/o los derechos fundamentales de las personas, teniendo en cuenta su finalidad prevista, la gravedad del posible daño y su probabilidad de ocurrencia (Cdo. 52). A fin de mitigar los potenciales riesgos derivados del uso de estos sistemas, el RIA propone establecer una serie de requisitos obligatorios para su introducción en el mercado y puesta en servicio (art. 8 y ss.), así como, un conjunto de obligaciones aplicables a los diferentes actores de la cadena de valor.
Según el art. 6.1 un sistema de IA se considerará de alto riesgo cuando se cumplan determinadas condiciones: (a) esté diseñado para funcionar como componente de seguridad de un producto, o si el sistema de IA es en sí mismo un producto cubierto por la legislación armonizada de la UE (Anexo I) (v. gr., maquinaria, juguetes, dispositivos médicos, etc.); y (b) el producto del que el sistema de IA sea componente de seguridad, de acuerdo con el punto (a), o que el propio sistema de IA como producto, deba someterse a una evaluación de conformidad —en inglés, Conformity Assessment (CA)— (10) por parte de terceros, con el objetivo de su introducción en el mercado o puesta en servicio de dicho producto conforme a la legislación armonizada de la UE.
Por otro lado, los sistemas de IA que operen en cualquiera de los ámbitos contemplados en el Anexo III también se considerarán de alto riesgo, en virtud del art. 6.2. El Anexo III enumera áreas específicas donde el desarrollo, comercialización o uso de la IA es considerado de alto riesgo debido a su impacto potencial.
Sin embargo, el hecho de que el sistema de IA que analicemos se encuentre en alguna de las áreas del Anexo III no implica de manera automática su clasificación como sistema de IA alto riesgo.
La clasificación del nivel de riesgo del sistema de IA dependerá del contexto de su uso específico de acuerdo con los criterios establecidos en el art. 6.3 y los elementos interpretativos expuestos en los Cdos. 52 y 53 del RIA. Aquellos proveedores que consideren que su sistema de IA no constituye un alto riesgo, a pesar de que su uso se enmarque en alguna de las áreas de Anexo III, deberán realizar y documentar una evaluación antes de que el sistema de IA sea introducido en el mercado o se puesto en servicio (art. 6.4). Esta evaluación debe aclarar si el sistema de IA plantea un riesgo significativo de daño a la salud, la seguridad o los derechos fundamentales de las personas físicas. A su vez, los sistemas de IA no deben influir materialmente en el resultado de la toma de decisiones.
Asimismo, el art. 6.3 contempla ciertas excepciones en las que los sistemas de IA no se considerarán sistemas de alto riesgo, en particular, cuando se cumpla uno de los siguientes criterios:
- a) El sistema de IA está diseñado para una tarea procedimental limitada (de baja complejidad), tales como la clasificación de archivos o el proceso de control (screening process).
- b) El sistema de IA está destinado a mejorar el resultado de una actividad humana previamente realizada, en lugar de reemplazarla, lo que minimiza el riesgo debido a la supervisión humana (p. ej., una aplicación que optimiza o corrige el uso de texto escrito previamente por el ser humano)
- c) El sistema de IA está destinado a detectar patrones de toma de decisiones o desviaciones de patrones de toma de decisiones anteriores y no está destinado ni a sustituir ni a influir la evaluación humana previamente realizada sin una revisión humana adecuada (p. ej., un sistema de IA que, dado un cierto patrón de calificación de un profesor, puede usarse para verificar ex post si el profesor pudo haberse desviado del patrón de calificación para señalar posibles inconsistencias o anomalías (Cdo. 53)).
- d) El sistema de IA está destinado a realizar una tarea preparatoria para una evaluación relevante para el propósito de los casos de uso enumerados en el Anexo III. Dada la distancia entre la tarea realizada por la IA y el proceso de toma de decisiones se reduce el riesgo (p. ej., un sistema de traducción para facilitar la investigación).
No obstante, es esencial señalar que un sistema de IA siempre se considerará de alto riesgo si este realiza una elaboración de perfiles o perfilado de personas físicas, dejando inoperativas las excepciones anteriormente mencionadas, en virtud del precepto 6.3 in fine. Es decir, la mera inclusión de capacidades de perfilado en un sistema de IA implicaría una clasificación de alto riesgo. Este elemento introduce una dinámica potencialmente conflictiva donde los sistemas de IA, de otro modo evaluados como de bajo riesgo, pueden categorizarse en un estatus de alto riesgo únicamente debido a las características de perfilado integradas, independientemente de su impacto de riesgo real. Esta cuestión plantea consideraciones importantes sobre el equilibrio entre la mitigación del riesgo y la practicidad de la clasificación.
A la luz de lo anterior, si de la evaluación se concluye que el sistema de IA no es un sistema de alto riesgo, sería de aplicación el art. 80. Esta disposición regula el procedimiento para el tratamiento de los sistemas de IA clasificados por el proveedor como de bajo riesgo. En caso de que las autoridades competentes tengan motivos fundados para considerar que existe una clasificación errónea, dicha autoridad procederá a efectuar una evaluación del sistema de IA en cuestión. Previa solicitud, los proveedores estarán obligados a proporcionar la documentación necesaria a las autoridades competentes, evidenciando la documentación detallada de la evaluación realizada sobre la categorización del sistema de IA con los criterios de alto riesgo.
En otro orden de consideraciones, estos proveedores tienen la obligación de registrar sus sistemas de IA en la base de datos de la UE (art. 71), garantizando su transparencia y trazabilidad (Cdo. 53). Este registro facilita la supervisión (art. 80.8) y, si es necesario, permite imponer medidas correctivas inmediatas en consonancia con los rigurosos estándares de esta normativa para el despliegue de sistemas de IA en toda la UE. A su vez, el art. 80.7 describe el proceso de sanciones para escenarios de clasificación errónea, con el objetivo de evitar que los proveedores traten de eludir el cumplimiento de los requisitos aplicables.
A continuación, veremos en qué supuestos, la actividad de los proveedores, responsables del despliegue u operadores de los sistemas de IA puede modificar su calificación.
V. La condición de proveedor y de responsable del despliegue de sistemas de IA. Cadena de valor de la IA y seguimiento posterior a la comercialización
Indudablemente, la identificación correcta del papel que juega cada compañía/entidad en la cadena de valor de la IA será esencial, dado que en función del rol o roles que cumpla le serán aplicables unas obligaciones u otras.
Los apartados 3, 4, 5, 6, 7 y 8 del art. 3 del RIA introducen las definiciones de todos los actores relevantes en la cadena de valor de la IA: proveedor, responsable del despliegue, representante autorizado, importador, distribuidor y operador, sucesivamente. De igual modo, se incorpora el concepto de persona afectada, mencionado en numerosas ocasiones tanto en el articulado, p. ej., 2.1 g), 3.56, 85 y 86 como en los Cdos., p. ej., 20, 27, 60 y 171.
Una característica llamativa del RIA consiste en que una organización puede asumir uno o varios roles simultáneamente en la contratación o licencia de un sistema de IA con una tercera compañía. A título ilustrativo, una empresa podría desarrollar un sistema de IA convirtiéndose en el proveedor (11) original (p. ej., Microsoft) y, posteriormente, actuar como responsable de despliegue (12) al utilizar ese mismo sistema de IA en un entorno concreto bajo su autoridad (p. ej., uso de su sistema de IA en su departamento de recursos humanos).
Y este hecho refuerza la importancia de una documentación técnica clara y de acuerdos contractuales que delimiten con precisión las respectivas obligaciones y responsabilidades entre las partes intervinientes.
Uno de los artículos clave para desentrañar cómo se estructura el conjunto de obligaciones en la cadena de valor de la IA es el art. 25, en el que se regulan el posible paso de la consideración de operador a proveedor de un sistema de IA de alto riesgo, y los criterios aplicables para ello.
1. Paso de mero operador a proveedor posterior de sistema de IA de alto riesgo
Por nuestra experiencia en el sector, comprobamos que este precepto se trata de uno de los que más inquieta a las empresas, debido a las implicaciones que conlleva. Puesto que evidentemente las exigencias y requisitos a cumplir difieren sustancialmente cuando una entidad es categorizada como proveedor o como cualquier otro de los operadores en la cadena de valor de la IA.
Precisamente, este artículo 25 aborda de forma específica tres escenarios en los que un distribuidor, importador, responsable del despliegue o cualquier tercero asumirá las obligaciones de un proveedor de sistemas de IA de alto riesgo —importante reseñar que nos encontramos en las áreas de alto riesgo del Anexo III—, convirtiéndose en un proveedor posterior (13) :
- a) Al colocar su nombre o marca en un sistema de IA de alto riesgo ya introducido en el mercado o puesto en servicio.
- b) Al realizar modificaciones sustanciales en un sistema de IA de alto riesgo ya introducido en el mercado o puesto en servicio.
- c) Al cambiar la finalidad de un sistema de IA a una que lo convierta en un sistema de alto riesgo.
2. Concepto de modificación sustancial de un sistema de IA
Centrémonos en el apartado b) de este precepto y en el concepto de «modificación sustancial» (14) (art. 3.23), estrechamente relacionado con la normativa de seguridad de productos (p. ej., las máquinas) (15) .
En este sentido, consideramos que la interpretación de lo que constituye dicha modificación sustancial puede resultar controvertida desde un punto de vista jurídico, por todas las matizaciones y complejidades técnicas que puedan derivarse de las particularidades surgidas de cada caso de uso en la práctica.
El Cdo. 128 arroja más elementos para su interpretación: se considera que se produce una modificación sustancial de un sistema de IA de alto riesgo "(C)ada vez que se produzca un cambio que pueda afectar al cumplimiento del presente Reglamento por parte de un sistema de IA de alto riesgo (p. ej., un cambio de sistema operativo o de arquitectura de software)o cuando cambie la finalidad prevista del sistema, dicho sistema de IA se considere un sistema de IA nuevo que debe someterse a una nueva evaluación de la conformidad. Sin embargo, los cambios que se produzcan en el algoritmo y en el funcionamiento de los sistemas de IA que sigan «aprendiendo» después de su introducción en el mercado o su puesta en servicio, a saber, adaptando automáticamente el modo en que desempeñan sus funciones, no deben constituir una modificación sustancial,siempre que dichos cambios hayan sido predeterminados por el proveedor y se hayan evaluado en el momento de la evaluación de la conformidad".
Una primera interpretación de este Considerando nos lleva a entender que una modificación del algoritmo en el sistema de IA que afecte al funcionamiento de dicho sistema no se considerará una modificación sustancial, siempre y cuando se cumplan los siguientes elementos:
- i) Que dicha modificación haya sido predeterminada por el proveedor;
- ii) Que no se contradiga lo expuesto en el resultado de la evaluación de conformidad, donde los riesgos son minuciosamente analizados; y
- iii) Que la finalidad inicial contemplada en la documentación técnica no varíe.
Ahora bien, la interpretación práctica de este precepto resultará, sin duda, problemática. De la lectura del Considerando anterior y asumiendo que la finalidad inicial contemplada en la documentación técnica no varía, se plantea al menos dos interrogantes al respecto.
Por un parte, ¿el hecho de reentrenar un modelo de IA para mejorar su precisión o sus mitigar sesgos, por ejemplo, modificando sus datos de origen, ha de considerarse un cambio sustancial? Supongamos un sistema de IA inicialmente entrenado con un conjunto de datos que presenta sesgos raciales o de género. Al identificar estos sesgos, los desarrolladores deciden reentrenar el modelo utilizando un conjunto de datos más diverso y representativo. Aunque la finalidad inicial del sistema no varía —p. ej., realizar una tarea específica como la toma de decisiones automatizadas—, la modificación de los datos de origen para mejorar la equidad y precisión del modelo podría considerarse una modificación sustancial.
Por otro lado, cuando una compañía decida reentrenar un modelo de IA añadiendo nuevas variables o más información, ¿nos encontraríamos ante una modificación sustancial? Esto puede ocurrir por varios motivos, como cambios en el comportamiento de los usuarios del sistema de IA o porque ahora se recoge más información que hace unos meses o años. Por ejemplo, un sistema de IA utilizado para analizar el comportamiento de una persona trabajadora podría inicialmente basarse en datos de su interacción con las herramientas digitales de la compañía. Si el modelo se reentrena para incluir datos de redes sociales profesionales y comportamiento de navegación web para obtener un perfil más completo de la persona trabajadora, esta adición de nuevas variables y fuentes de datos podría representar una modificación sustancial. Aunque la finalidad del sistema —analizar el comportamiento de la persona trabajadora— permanece constante, el cambio en los datos de entrenamiento y la introducción de nuevas variables alterarían el funcionamiento del modelo IA.
Según lo expuesto, podría resultar aconsejable realizar una nueva evaluación de conformidad que valore el posible impacto sobre los riesgos y las consecuencias ya analizadas e identificadas inicialmente y, consecuentemente, la necesidad de introducir nuevas medidas al respecto.
Sentado lo anterior, el criterio interpretativo de la potencial afectación al cumplimiento del RIA introducido por el Cdo. 128 resulta excesivamente vago para determinar con precisión si nos encontramos ante una modificación sustancial, sobre todo, en aquellos casos en los que la finalidad prevista del sistema se articule de manera amplia y todos los potenciales riesgos de dicha finalidad sean evaluados desde el inicio.
En definitiva, el art. 25 subraya la responsabilidad compartida a lo largo de la cadena de valor de la IA de alto riesgo y resalta la importancia de una estrecha cooperación y efectiva comunicación entre los actores involucrados, para facilitar la información necesaria, el acceso técnico u otra asistencia razonablemente prevista que sea necesaria para el cumplimiento de las obligaciones aplicables.
Esto refleja una visión de los sistemas de IA no como un producto estático, sino dinámico donde la responsabilidad, en función del caso concreto, se comparte a lo largo de todo el ciclo de vida del sistema de IA, entre diferentes actores y, a su vez, puede variar en función de las modificaciones que se vayan realizando.
Cabe destacar que existirán ciertas excepciones a la aplicabilidad de este precepto. Así lo establece el art. 25.2, dotando al proveedor inicial de la facultad para indicar claramente que su sistema de IA no debe ser transformado en un sistema de IA de alto riesgo y, por lo tanto, exencionarse de su obligación de facilitar la documentación.
Finalmente, con una clara relación con la regulación de protección de datos, el art. 25.4 expone que la Oficina de IA podrá elaborar y recomendar cláusulas contractuales tipo, de carácter voluntario, entre los proveedores de sistemas de IA de alto riesgo y los terceros que suministren herramientas, servicios, componentes o procesos que se utilicen o integren en los sistemas de IA de alto riesgo, a fin de facilitar la cooperación a lo largo de la cadena de valor.
VI. Transparencia y explicabilidad de los sistemas de IA
Establece el art. 13 del RIA que los sistemas de IA de alto riesgo se diseñarán y desarrollarán de un modo que se garantice que funcionan con un nivel de transparencia suficiente para que los responsables del despliegue interpreten y usen correctamente su información de salida, asegurando un tipo y un nivel de transparencia adecuados para que el proveedor y el responsable del despliegue cumplan con las obligaciones que se recogen en la sección 3.
Es habitual identificar esta exigencia de transparencia como un cuasi sinónimo de la de explicablidad. Sin embargo, se trata de dos características de los sistemas de IA esencialmente distintas.
1. Transparencia
Según las Directrices éticas para una IA fiable, de 2019, elaboradas por el Grupo independiente de expertos de alto nivel sobre IA creado por la Comisión Europea, a que se refiere el Cdo. 27 del Reglamento, la transparencia es uno de los siete principios éticos no vinculantes para la IA, que tienen por objeto contribuir a garantizar la fiabilidad y el fundamento ético de la IA.
En estas directrices, se entiende por «transparencia» que los sistemas de IA se desarrollen y utilicen de un modo que permita una trazabilidad y explicabilidad adecuadas, y que, al mismo tiempo, haga que las personas sean conscientes de que se comunican o interactúan con un sistema de IA e informe debidamente a los responsables del despliegue acerca de las capacidades y limitaciones de dicho sistema de IA y a las personas afectadas acerca de sus derechos.»
Pero, como recientemente explicó Alberto Pena Fernández, Director del Centro Europeo de Transparencia Algorítmica (ECAT), la transparencia tiene que ver con el proceso seguido para llegar a un resultado, por lo que se orienta a dar a conocer y entender cómo se procesa el dato que se introduce en el sistema. La explicabilidad, en cambio, tiene que ver con el resultado de ese proceso. Se basa en criterios estándar y baja más al detalle (16) .
El Reglamento dedica particular atención a la transparencia, vinculándola a la información que se debe suministrar al responsable del despliegue del sistema, como indica el art. 13: «Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de un modo que se garantice que funcionan con un nivel de transparencia suficiente para que los responsables del despliegue interpreten y usen correctamente sus resultados de salida». En particular, se debe garantizar un tipo y un nivel de transparencia adecuados para que el proveedor y el responsable del despliegue cumplan las obligaciones pertinentes previstas en la sección 3 («Obligaciones de los proveedores y responsables del despliegue de sistemas de IA de alto riesgo y de otras partes»).
Por otra parte, el art. 50, establece unas obligaciones específicas de transparencia para los proveedores y responsables del despliegue de determinados sistemas de IA: los sistemas de IA destinados a interactuar directamente con personas físicas; los proveedores de sistemas de IA, incluidos los sistemas de IA de uso general, que generen contenido sintético de audio, imagen, vídeo o texto; los responsables del despliegue de un sistema de reconocimiento de emociones o de un sistema de categorización biométrica y los responsables del despliegue de un sistema de IA que genere o manipule imágenes o contenidos de audio o vídeo que constituyan una ultrasuplantación (o deep fake), harán público que estos contenidos o imágenes han sido generados o manipulados de manera artificial.
Estas obligaciones se refieren a permitir a las personas que se relacionan con dichos sistemas estén informadas de que «están interactuando con un sistema de IA», a que los resultados de salida del sistema de IA «estén marcados en un formato legible por máquina y que sea posible detectar que han sido generados o manipulados de manera artificial», a que estén informadas del funcionamiento del sistema o de que dichos contenidos o imágenes «han sido generados o manipulados de manera artificial».
Podemos destacar a este respecto, que la AEPD, en una entrada en el blog de su página web ("Inteligencia artificial: Transparencia"), considera que la propuesta de RIA, cuyo ámbito material son los sistemas de IA, apunta a las diferentes implicaciones del concepto de transparencia en el ámbito del RIA y en el RGPD. Según esta opinión, en el marco de cada uno de estos reglamentos, la transparencia implica a distintos actores y a una información destinada a diferentes destinatarios. En la propuesta de RIA, la transparencia es "la información que proveedores de sistemas de IA destinan a los usuarios, entendidos como entidades que despliegan estos sistemas". Sin embargo, continúa, en el ámbito de la protección de datos, cuando los sistemas de IA se incluyen en, o son medios de, un tratamiento de datos personales los responsables del tratamiento deben obtener información sobre dichos sistemas suficiente para cumplir con sus diferentes obligaciones en relación con el RGPD, que incluyen la transparencia para permitir el ejercicio de los derechos, el cumplimiento del principio de responsabilidad activa, cumplir los requisitos de las Autoridades de Supervisión del RGPD en relación con sus poderes de investigación, y lo mismo para los organismos de certificación y supervisión del código de conducta".
2. Explicabilidad
Llamativamente, el Reglamento hace múltiples referencias a la transparencia, pero apenas ninguna a la explicabilidad. Para conocer adecuadamente su contenido hay que acudir a las Directrices éticas que acabamos de mencionar. En ellas se explica que la explicabilidad, que se considera un principio «crucial para conseguir que los usuarios confíen en los sistemas de IA y para mantener dicha confianza», significa que «los procesos han de ser transparentes, que es preciso comunicar abiertamente las capacidades y la finalidad de los sistemas de IA y que las decisiones deben poder explicarse —en la medida de lo posible— a las partes que se vean afectadas por ellas de manera directa o indirecta», pues «sin esta información, no es posible impugnar adecuadamente una decisión».
Esta condición se revela especialmente importante en esos casos, que se denominan algoritmos de «caja negra», en los que no resulta posible explicar por qué un modelo ha generado un resultado o una decisión particular (ni qué combinación de factores contribuyeron a ello). En tales circunstancias, puede ser necesario adoptar otras medidas relacionadas con la explicabilidad (p. ej., la trazabilidad, la auditabilidad y la comunicación transparente sobre las prestaciones del sistema), siempre y cuando el sistema en su conjunto respete los derechos fundamentales. Todo ello teniendo en cuenta que la necesidad de explicabilidad depende en gran medida del contexto y la gravedad de las consecuencias derivadas de un resultado erróneo o inadecuado.
En particular, señala el Cdo. 59, si un sistema de IA no es lo suficientemente transparente y explicable, «podría impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como el derecho a la defensa y a la presunción de inocencia».
En resumen, mientras que la obligación de transparencia parece relativamente sencilla de cumplir, sin duda la de explicabilidad de los sistemas algorítmicos será un aspecto mucho más problemático, pese a que algunos expertos en esta tecnología no lo consideren tan insoluble (17) .
VII. Gobernanza de la IA, estándares y directrices
El RIA plantea la necesidad de establecer un marco de gobernanza que permita tanto coordinar y apoyar su aplicación a escala nacional, como desarrollar capacidades a escala de la UE, integrando a todas las partes interesadas en el ámbito de la IA (Cdo. 148). Este marco de gobernanza debe materializarse internamente, en el contexto de las organizaciones, y externamente, mediante la creación de instituciones específicamente diseñadas para coordinar las diferentes autoridades nacionales, ofrecer asesoramiento sobre la aplicación del RIA y contribuir a la armonización, a través del desarrollo de directrices y criterios comunes, entre otras funciones.
1. Gobernanza de la IA
A) En el contexto de las organizaciones. Alfabetización en materia de IA
La gobernanza de la IA en las organizaciones consiste en un sistema de normas, prácticas, procesos y herramientas tecnológicas que se emplean para garantizar que el uso de los sistemas de IA por parte de dicha organización se ajuste a sus estrategias, objetivos y valores (18) . Este marco dota de transparencia y genera confianza a todo el conjunto de las personas empleadas en dicha organización, asegurando la alineación de todos los actores implicados en torno a las líneas estratégicas en materia de IA en dicha organización.
Esta voluntad de «gobernar» a la IA adquiere especial relevancia en el RIA, donde se consagra y cristaliza la alfabetización en materia de IA (arts. 3.56 y 4). Este enfoque proactivo obliga a los proveedores y responsables del despliegue a garantizar que su personal posea un nivel adecuado de capacidades, conocimientos y comprensión sobre la IA. Esta medida no solo implica familiarizarse con el despliegue técnico de sistemas de IA, sino también tomar conciencia de los derechos y obligaciones, las oportunidades, los riesgos y los perjuicios asociados al uso de sistemas de IA.
A este respecto, la alfabetización en materia de IA puede abarcar también el entendimiento de la correcta aplicación de los elementos técnicos durante la fase de desarrollo del sistema de IA, las medidas que deben aplicarse durante su uso y las formas adecuadas de interpretar la información de salida del sistema de IA con el fin de cumplir obligaciones como la contemplada en el art. 14.4 a) que exige que las personas físicas a las que se encomiende la vigilancia humana de sistemas de IA de alto riesgo puedan entender adecuadamente las capacidades y limitaciones del sistema y vigilar debidamente su funcionamiento.
En los próximos años, siguiendo la misma inercia transformativa generada por la regulación de los datos personales, proyectamos que todas las empresas e instituciones adaptarán sus actuales estructuras organizativas para incorporar roles específicos que lideren y estructuren el impacto y uso de la IA. Recientemente, el gobierno de los EE. UU. ordenó a todas las agencias federales nombrar Chief AI Officers (19) (Directores de IA o CAIO) para supervisar los enfoques del gobierno federal hacia la IA y gestionar los riesgos que las tecnologías en rápida evolución podrían plantear. Una figura que, pese a no integrarse en el RIA, se manifiesta como de imperiosa necesidad.
El rol del CAIO está llamado a ocupar un papel preponderante en el diseño, la implementación y el uso efectivo, robusto, ético y legal de la IA dentro de las organizaciones. Entre otras cuestiones, el CAIO deberá: (i) profundizar en la comunicación, formación y capacitación en IA para todas las personas empleadas; (ii) dirigir la adopción y uso de soluciones de IA de forma transversal y coordinada en el marco de la organización, su estrategia y sus valores; y (iii) evaluar con precisión los riesgos y oportunidades que conlleva la implementación y uso de la IA, además de su impacto y las expectativas generadas. Para ello, debe establecer y supervisar procesos, métricas y sistemas de control transparentes y robustos que no solo aumenten la productividad y eficacia de los casos de uso de la IA, sino que también mitiguen sus posibles riesgos.
B) Instituciones y autoridades para la industria
Además de la alfabetización en IA, resulta esencial establecer instituciones robustas que supervisen y ejecuten la implementación del RIA y el despliegue responsable de los sistemas de IA. El RIA propone la creación de diversas entidades como la Oficina de IA (art. 64), el Comité Europeo de IA (art. 65), un Foro consultivo (art. 67), un grupo de expertos científicos independientes (art. 68) y las Autoridades nacionales competentes (art. 70), que en su conjunto forman una red de gobernanza con múltiples funciones de supervisión, coordinación, ejecución, sanción, consulta, entre otras (20) .
De lo expuesto en el RIA, se concluye que se otorga un amplio marco de competencias al Comité Europeo de IA, mientras que, en paralelo, se introducen otros dos organismos novedosos, que la regulación de protección de datos no había creado: la Oficina de IA y el grupo de expertos científicos independientes.
Estas instituciones están diseñadas para colaborar estrechamente, asegurando que las políticas y regulaciones de IA se implementen de manera uniforme y coordinada a través de los estados miembros de la UE. La creación de un entorno de gobernanza integrado y coherente es crucial para manejar los desafíos transnacionales y dinámicos que presenta la tecnología de IA, promoviendo un desarrollo tecnológico que sea robusto, ético y alineado con la regulación europea (21) .
En concreto, la Oficina de IA fue creada por Decisión de 24 de enero (C(2024) 390 final) y su estructura definida el pasado 29 de mayo, para entrar en vigor el 16 de junio.
Su objetivo es permitir el futuro desarrollo, despliegue y uso de la IA y, en particular, contribuir a la implantación, el seguimiento y la supervisión de los sistemas de IA y modelos de IA de uso general, y a la gobernanza de la IA, de manera que se fomenten los beneficios sociales y económicos y la innovación, al tiempo que se mitigan los riesgos derivados del uso de esta tecnología.
C) Auditoría de IA: enfoques legal, ético y técnico
La auditoría de sistemas de IA es un campo en constante evolución y crucial para la gobernanza responsable de estas tecnologías. La auditoría puede concebirse como un mecanismo de gobernanza (22) esencial para garantizar que la implementación y el funcionamiento de los sistemas de IA se alineen con las normativas legales y los estándares éticos y técnicos establecidos. Este proceso es fundamental para identificar, evaluar y mitigar riesgos potenciales asociados con el diseño, desarrollo y uso de la IA, asegurando que los sistemas no solo cumplan con las expectativas técnicas, sino que también respeten los principios éticos y los valores fundamentales de la UE.
Con carácter general, estas auditorías deberán ser realizadas por entidades independientes y competentes, utilizando metodologías que incorporen evaluaciones de impacto ético (23) y pruebas de resistencia, para proporcionar un análisis exhaustivo de cómo los sistemas de IA interactúan con los contextos reales y sus posibles efectos en los individuos y la sociedad en general.
En contraste con esta tipología de auditorías, nos encontraríamos con los procedimientos de evaluación de conformidad contemplados en el art. 43 del RIA para los sistemas de IA de alto riesgo. Estas evaluaciones, ya tratadas en este trabajo en el aspecto crítico número 4, están diseñadas para garantizar y demostrar que se ha cumplido con todos los requisitos exigibles a los sistemas de IA de alto riesgo.
A tales efectos, las evaluaciones de conformidad deberán llevarse a cabo por terceros (organismos notificados). No obstante, el Cdo. 125 señala que habida cuenta de la experiencia actual de los profesionales que realizan la certificación previa a la comercialización en el campo de la seguridad de los productos y de la distinta naturaleza de los riesgos implicados, procede limitar, al menos en la fase inicial de aplicación del RIA, el alcance de las evaluaciones externas de la conformidad a los sistemas de IA de alto riesgo que no están asociados a productos (art. 6.2). En consecuencia, será el propio proveedor quien, por norma general, deberá llevar a cabo la evaluación de la conformidad sobre sus sistemas de IA bajo su propia responsabilidad, con la única excepción de los sistemas de IA utilizados en el ámbito de la biometría.
2. Estandarización y directrices
Otras cuestiones esenciales en torno a la regulación de la IA serán el proceso de estandarización y las directrices adoptadas por las autoridades y organizaciones competentes. La denominada: legislación secundaria.
Dado que, como se ha apuntado, la IA es un terreno propicio para la estandarización, este conjunto de normas y directrices configurarán y establecerán los criterios de interpretación, los requisitos técnicos y los estándares de conformidad que los sistemas de IA deberán tener en cuenta y cumplir para ser introducidas en el mercado o puestas en servicio, en conformidad con el RIA.
El RIA expone los requisitos que han de cumplir los sistemas de IA de alto riesgo y define cuáles serán las obligaciones aplicables para los diferentes actores en la cadena de valor de la IA (Título III, Capítulo 3, arts. 6 y ss.), no obstante, carece de indicaciones precisas y adecuadamente desarrolladas sobre cómo la regulación debería ser implementada en la práctica. Precisamente, se busca asegurar la flexibilidad y dinamismo del RIA, así como, evitar una sobrerregulación.
En aras de facilitar el proceso a los proveedores de IA de alto riesgo, el RIA dispone un principio de presunción de conformidad cuando se cumpla con los estándares armonizados. Si bien no existe una obligación expresa de cumplir con dichos estándares, el art. 40.1 establece una presunción para aquellos sistemas de IA de alto riesgo que sean conformes con normas armonizadas cuyas referencias estén publicadas en el DOUE, siendo conformes con los requisitos establecidos en el Reglamento (UE) n.o 1025/2012 (LA LEY 19005/2012). En otras palabras, el cumplimiento de las normas armonizadas proporcionaría una presunción legal de conformidad a los proveedores de sistemas IA.
En este contexto, la Comisión, mediante la decisión de implementación de estandarización (24) ha solicitado al CEN (Comité Europeo de Normalización) y al CENELEC (Comité Europeo de Electrotécnica de Normalización) desarrollar los estándares armonizados necesarios para apoyar la implementación del RIA (25) antes del 30 de abril de 2025.
Precisamente, la primera actividad pública de la Oficina de IA ha tenido como objeto a la lógica de los sistemas de riesgo y a los estándares relacionados del RIA29.
El Centro Común de Investigación (en sus siglas en inglés, JRC) realizó un análisis inicial (26) de la cobertura de las obligaciones de ciertos requisitos para los sistemas de IA de alto riesgo del Reglamento IA, con el objetivo de apoyar el desarrollo ulterior de este programa de trabajo de armonización. En su informe, se examinan de forma individual los 10 puntos considerados en el anexo I del programa de trabajo anual de la Unión de 2022 para la estandarización europea (27) :
- — Sistema de gestión de riesgos para los sistemas de IA,
- — Gobernanza y calidad de los conjuntos de datos utilizados para crear sistemas de IA,
- — Mantenimiento de registros mediante las capacidades de registro de los sistemas de IA,
- — Transparencia e información a los usuarios de los sistemas de IA,
- — Supervisión humana de los sistemas de IA,
- — Especificaciones de precisión para los sistemas de IA,
- — Especificaciones de solidez para los sistemas de IA,
- — Especificaciones de ciberseguridad para los sistemas de IA,
- — Sistema de gestión de la calidad para los proveedores de sistemas de IA, incluido el proceso de supervisión posterior a la comercialización,
- — Evaluación de la conformidad de los sistemas de IA.
Por otro lado, conviene destacar el preponderante papel de las directrices que publicarán las respectivas autoridades nacionales de cada país. Al igual que ha sucedido en otros campos del derecho de la UE, se prevé que puedan surgir divergencias en la interpretación, supervisión y aplicación de la legislación de IA, generando un mercado digital europeo potencialmente fragmentado, donde los mismos sistemas de IA podrían evaluarse y tratarse de manera diferente dependiendo del país. Este significativo desafío será abordado por el Comité Europeo de IA, cuya función principal consistirá en contribuir a la coordinación entre autoridades nacionales competentes, así como, a la armonización de las prácticas administrativas mediante la emisión de recomendaciones o dictámenes que orienten a las autoridades nacionales.
VIII. Recursos frente a infracciones del RIA y derecho a obtener una explicación
Actualmente, el Derecho aplicable ya prevé numerosos mecanismos jurídicos de recurso para las personas físicas y jurídicas cuyos derechos y libertades se vean perjudicados por el uso de sistemas de IA. A título ilustrativo, cabe destacar el conjunto de acciones existentes incorporadas en la normativa de los consumidores (Texto Refundido de la Ley General de Defensa de los Consumidores y Usuarios (LA LEY 11922/2007), de 16 de noviembre de 2007), el RGPD, la Digital Services Act (DSA) o el derecho antidiscriminatorio.
Con carácter adicional a dichas vías de recurso, el art. 85 del RIA reconoce el derecho a que toda persona física o jurídica con motivos para considerar que se ha producido una infracción al amparo del RIA, pueda presentar una reclamación administrativa ante la autoridad de vigilancia del mercado pertinente. Para que la persona afectada tramite esta reclamación, se seguirá el procedimiento específico establecido por las autoridades de vigilancia de mercado, en conformidad con el Reglamento (UE) 2019/120 relativo a la vigilancia del mercado y la conformidad de los productos.
En este sentido, resulta llamativo que frente a la posibilidad que ofrece el RGPD de ejercitar acciones colectivas y delegar dichas acciones en una entidad, organización o asociación (art. 80), el nuevo RIA no contemple este mismo tipo de mecanismos jurídicos.
Por su parte, el art. 86 incorpora el radiante «derecho a obtener una explicación de la toma de decisiones individuales», cuando la decisión de un responsable del despliegue se base principalmente en los resultados de determinados sistemas de alto riesgo que se enmarquen en el ámbito de aplicación del RIA y cuando dicha decisión produzca efectos jurídicos o afecte significativamente de modo similar a dichas personas, de manera que consideren que tiene un efecto negativo en su salud, su seguridad o sus derechos fundamentales. Este precepto nos evoca en gran medida, tanto en su redacción como en su contenido, al art. 22 del RGPD (LA LEY 6637/2016), salvando las distancias.
El art. 86.1 establece que toda persona afectada por una decisión basada en un sistema de IA de alto riesgo, que no esté incluida en las excepciones derivadas del Derecho UE o nacional, tiene derecho a solicitar explicaciones claras y significativas sobre cómo el sistema de IA ha influido en el proceso de toma de decisiones y los principales elementos de dicha decisión, con el fin de que las personas afectadas puedan ejercer sus derechos (Cdo. 171).
Con base en este nuevo derecho, se clarifica la obligación de proporcionar una explicación clara y significativa a la persona afectada. Sumado al mandato expreso del RGPD de ofrecer información significativa sobre la lógica aplicada, la importancia y las consecuencias previstas de los tratamientos al interesado.
Este enfoque cristaliza una de las discusiones académicas (28) más acaloradas en el contexto de los derechos vinculados a la protección de datos: ¿existe un derecho explícito a la explicación de las decisiones automatizadas en virtud del art. 22 RGPD? Una de las aproximaciones más satisfactorias para dar respuesta a dicho interrogante provenía de la Opinión del Abogado General Pikamäe en el caso Schufa (C-634/21) (29) : la obligación de facilitar «información significativa sobre la lógica aplicada» debe entenderse en el sentido de incluir explicaciones suficientemente detalladas sobre el método utilizado para calcular la puntuación y las razones de un determinado resultado. En general, el responsable del tratamiento debe proporcionar al interesado información general, en particular sobre los factores tenidos en cuenta para el proceso de toma de decisiones y sobre su peso respectivo a nivel agregado, que también le resulte útil para impugnar cualquier «decisión» en el sentido delart. 22.1 RGPD (LA LEY 6637/2016) (Pár. 58).
Ahora que con el nuevo art. 86 esta incógnita parece despejada, ya que resulta ineludible asumir que existe el derecho a obtener una explicación clara y significativa, cabe preguntarse, ¿quién será el actor que deba proporcionar dicha explicación a la persona afectada? Es razonable pensar que se tratará de aquél que adopte la decisión que tenga un impacto en el individuo, en este caso, el responsable de despliegue, en virtud del art. 86.
Es prudente reconsiderar la afirmación previa a la luz del reciente fallo del Tribunal de Justicia de la UE (TJUE) en el caso Schufa (30) . Este pronunciamiento extiende a otros actores diferentes del responsable las obligaciones a cumplir con respecto a los interesados. Es decir, actores que participen en la decisión automatizada sin adoptarla directamente.
Precisamente, en esta STJUE se dictaminó que: «la generación automatizada (…) de un valor de probabilidad a partir de datos personales relativos a una persona y acerca de la capacidad de esta para hacer frente a compromisos de pago en el futuro, constituye una "decisión individual automatizada" en el sentido delart. 22 del RGPD (LA LEY 6637/2016), cuando ese valor de probabilidad dependa de manera determinante que un tercero, al que se comunica dicho valor, establezca, ejecute o ponga fin a una relación contractual con esa persona». Por lo que, no resultaría descabellado establecer una identidad de razón entre lo aplicable al art. 22 y el derecho del art. 86. En resumidas cuentas, un actor de la cadena de valor de la IA (p. ej., el proveedor) que influya de manera determinante en la decisión adoptada por el responsable de despliegue podría estar sometido a la obligación de colmar el derecho a una explicación clara y significativa.
El fallo del TJUE manifiesta así la relevancia de que el valor de probabilidad generado (p. ej., calificación crediticia de un individuo para pagar su deuda y el riesgo que conlleva invertir en dicha deuda), influya de manera determinante en la decisión de un tercero con respecto a una relación contractual con el interesado sujeto a dicho valor de probabilidad. Dicho de otro modo, en el contexto de la analogía planteada, que la influencia de un valor de probabilidad generado por un proveedor sea determinante en la decisión, basada en los resultados de salida de un sistema de IA de alto riesgo, que un responsable de despliegue adopte sobre una persona afectada.
De todas formas, deberemos aguardar pacientemente hasta que se proyecte alguna interpretación jurisprudencial en el campo de los sistemas de IA que aborde esta temática, dado que a pesar de que el caso Schufa, ofrece una visión garantista y no formalista del art. 22 (31) , no parece proporcionar la orientación necesaria para evaluar los efectos de la automatización impulsada por IA en los procesos de toma de decisiones en otros contextos, tales como en la aplicación del derecho (32) .
En todo caso, las exigentes obligaciones de transparencia del art. 13 RIA, el alcance acotado del derecho del art. 86 RIA y su solapamiento con el art. 22 RGPD (LA LEY 6637/2016) se plantean como límites a la aplicabilidad del derecho a una explicación clara y significativa (33) . Por lo tanto, será de particular interés examinar la aplicación venidera de este derecho a obtener una explicación de las decisiones individuales automatizadas.
La interacción entre estos dos cuerpos normativos (34) (RGPD y RIA), especialmente en lo que respecta a los sistemas de IA de alto riesgo, que pone de manifiesto el enfoque integral de la UE hacia los derechos digitales. Asimismo, resulta notorio el solapamiento existente entre los precedentes de aplicación del RGPD (35) (p. ej., casos Deliveroo (36) y Syri (37) ) y las prácticas prohibidas o sistemas de alto riesgo del RIA (p. ej., el empleo (38) ).
Por último y no menos relevante, art. 87 RIA establece que la Directiva (UE) 2019/1937 (LA LEY 17913/2019), relativa a la protección de las personas que informen sobre infracciones del Derecho de la UE, será aplicable para la denuncia de infracciones del RIA y la protección de los denunciantes. Esta Directiva asegura que los denunciantes no sufran represalias y exige la creación de canales seguros para realizar dichas denuncias, fomentando así una mayor transparencia y cumplimiento en el uso de tecnologías de IA dentro de la UE.
IX. Los entornos o espacios controlados de pruebas de la IA
Según declara el Cdo. 138 del RIA, la IA requiere un espacio seguro y controlado para la experimentación, que garantice la innovación responsable y la integración de salvaguardias éticas y medidas de reducción de riesgos adecuadas.
El núm. 55 del art. 3 define estos espacios como «un marco controlado establecido por una autoridad competente que ofrece a los proveedores y proveedores potenciales de sistemas de IA la posibilidad de desarrollar, entrenar, validar y probar, en condiciones reales cuando proceda, un sistema de IA innovador, con arreglo a un plan del espacio controlado de pruebas y durante un tiempo limitado, bajo supervisión regulatoria».
En consecuencia, «para conseguir un marco jurídico que promueva la innovación, resista el paso del tiempo y sea resiliente a las perturbaciones», las autoridades nacionales competentes de los Estados miembros deberán establecer «al menos un espacio controlado de pruebas para la IA a escala nacional que facilite el desarrollo y la prueba de sistemas de IA innovadores bajo una estricta vigilancia regulatoria antes de su introducción en el mercado o puesta en servicio».
Estos espacios, que podrán tener forma física, digital o híbrida, y podrán albergar productos tanto físicos como digitales, deben centrarse, según establece el Cdo. 139, en «cuestiones que generen inseguridad jurídica y que, por lo tanto, dificulten que los proveedores y los proveedores potenciales innoven y experimenten con la IA en la Unión», así como en «contribuir a un aprendizaje normativo basado en datos contrastados».
Por consiguiente, añade, la supervisión de los sistemas de IA en el espacio controlado de pruebas para la IA debe comprender su desarrollo, entrenamiento, prueba y validación antes de su introducción en el mercado o puesta en servicio, así como el concepto de «modificación sustancial» y su materialización, que puede hacer necesario un nuevo procedimiento de evaluación de la conformidad.
En particular, «cualquier riesgo significativo detectado durante el proceso de desarrollo y prueba de estos sistemas de IA debe dar lugar a la adopción de medidas de reducción adecuadas y, en su defecto, a la suspensión del proceso de desarrollo y prueba».
En consecuencia, el art. 57 (Espacios controlados de pruebas para la IA), establece que los Estados miembros velarán por que sus autoridades competentes establezcan al menos un espacio controlado de pruebas para la IA a escala nacional, que deberá estar operativo 24 meses a partir de la fecha de entrada en vigor del Reglamento. Estos espacios podrán establecerse conjuntamente con las autoridades competentes de otros Estados miembros, al igual que los Estados podrán participar en un espacio controlado de pruebas existente en la medida en que dicha participación proporcione un nivel de cobertura nacional equivalente a los Estados miembros participantes.
En noviembre de 2023, durante el período de presidencia española del Consejo de la UE, el Gobierno de España se adelantó y, con la colaboración de la Comisión Europea, puso en marcha el primer entorno controlado de pruebas o sandbox para comprobar la forma de implementar los requisitos aplicables a los sistemas de IA de alto riesgo en el RIA.
Así, el Real Decreto 817/2023, de 8 de noviembre (LA LEY 29419/2023), por el que se establece un entorno controlado de pruebas (sandbox), para el ensayo de sistemas de IA, pretende dar una forma concreta y práctica al compromiso español de «establecer un marco ético y normativo que refuerce la protección de los derechos individuales y colectivos» al avanzar la hoja de ruta establecida por dicha Carta para guiar la transformación digital humanista de España.
Para ello se fijó como objeto, por una parte, establecer un entorno controlado de pruebas para ensayar el cumplimiento de ciertos requisitos por parte de algunos sistemas de IA que puedan suponer riesgos para la seguridad, la salud y los derechos fundamentales de las personas; por otra, regular el procedimiento de selección de los sistemas y entidades que participarán en el entorno controlado de pruebas.
Esta iniciativa, inspirada por la Carta de Derechos Digitales (LA LEY 16317/2021), utilizará como referencia la posición del Consejo de la Unión Europea del 25 de noviembre de 2022.
Su finalidad es obtener, como resultado de esta experiencia, unas guías basadas en la evidencia y la experimentación que faciliten a las entidades, especialmente las pequeñas y medianas empresas, y a la sociedad en general, el alineamiento con la propuesta del Reglamento.
A estos efectos, y según la disposición adicional segunda del real decreto, la Secretaría de Estado de IA, basándose en los resultados obtenidos en el entorno, publicará en su portal web el informe con las conclusiones sobre el desarrollo, buenas prácticas, y recomendaciones al mismo, así como otros aspectos de interés de la aplicación experimental de la propuesta del Reglamento de la Unión Europea sobre la IA en el entorno.
El real decreto entró en vigor al día siguiente de su publicación en el BOE y tendrá una vigencia máxima de treinta y seis meses desde su entrada en vigor o, en su caso, hasta que sea aplicable en el Reino de España el RIA.
X. Entrada en vigor y aplicabilidad
Que la ley sea publicada y entre en vigor a los veinte (20) días de su publicación, no significa que comience a ser aplicable a partir de ese momento.
La razón se encuentra en que, debido a la complejidad de los ámbitos que se regulan, puede ser necesario un período de tiempo entre la fecha de entrada en vigor de la normativa, es decir, cuando existe legalmente, y la fecha en que puede aplicarse realmente, es decir, la fecha en que es ejecutable y pueden ejercerse efectivamente los derechos y obligaciones legales.
En este sentido resulta fundamental diferenciar entre la entrada en vigor y la aplicación directa del RIA.
- • La entrada en vigor de un reglamento de la UE representa la fecha en que el reglamento tiene existencia jurídica en el ordenamiento jurídico de la UE y en el ordenamiento jurídico nacional de cada Estado miembro.
- • La fecha de aplicabilidad representa la fecha a partir de la cual el reglamento puede producir derechos y obligaciones sobre los destinatarios y puede hacerse valer directamente ante los tribunales, las administraciones, los gobiernos nacionales, etc. Esto significa que antes de la fecha de aplicabilidad, las obligaciones o privilegios no pueden ni ejercerse ni hacerse valer.
Hecha esa distinción, hay que decir que el Reglamento IA será directamente aplicable dos años después de su entrada en vigor, aunque ciertas disposiciones, como las relativas a los sistemas de IA prohibidos y de propósito general, tendrán unos periodos más cortos, de seis y doce meses respectivamente.
Resulta relevante reseñar que el Reglamento IA prevé un conjunto de obligaciones técnicas para que un sistema de IA de alto riesgo pueda circular en el mercado de la UE. El proceso de estandarización, como ya hemos mencionado anteriormente, se encontrará liderado en gran parte por la industria, por su cercanía y experiencia directa con las prácticas del mercado.
La futura aplicación del Reglamento IA proporciona una diferencia fundamental en comparativa con otros textos normativos del ámbito digital europeo (p. ej., RGPD). Dado que, las autoridades de vigilancia del mercado intervendrán directamente donde se produjo la infracción, no donde el proveedor/responsable de despliegue está establecido y, por lo tanto, realiza su tratamiento de datos personales, evitando así cuellos de botella al estilo de la autoridad irlandesa de protección de datos (39) .
1. Sistemas de IA ya introducidos en el mercado
El Reglamento prevé unos plazos adicionales, muy extensos, para los sistemas de IA ya introducidos en el mercado o puestos en servicio y modelos de IA de uso general ya introducidos en el mercado.
De acuerdo con el número 1 del art. 111, los sistemas de IA que sean componentes de los sistemas informáticos de gran magnitud establecidos en virtud de los actos legislativos enumerados en el anexo X que se hayan introducido en el mercado o se hayan puesto en servicio hasta treinta y seis meses antes de la fecha de entrada en vigor del Reglamento, deberán adecuarse al mismo, a más tardar el 31 de diciembre de 2030.
De acuerdo con el número 2 de ese artículo, los proveedores y los responsables del despliegue de los sistemas de IA de alto riesgo destinados a ser utilizados por las autoridades públicas adoptarán las medidas necesarias para cumplir los requisitos y obligaciones del presente Reglamento a más tardar seis años a partir de la fecha de entrada en vigor del Reglamento. Y los proveedores de modelos de IA de uso general que se hayan introducido en el mercado hasta doce meses antes de la fecha de entrada en vigor del Reglamento, deberán adoptar las medidas necesarias para cumplir las obligaciones establecidas en el mismo a más tardar treinta y seis meses a partir de la fecha de su entrada en vigor.
2. Invitación a un cumplimiento voluntario anticipado
En paralelo a este proceso, la Comisión está promoviendo el Pacto de IA, buscando el compromiso voluntario de la industria de IA de manera anticipada a la aplicación del RIA, con el fin de que todos los actores interesados contribuyan proactivamente a la ejecución de las medidas y aplicación de los requisitos normativos antes del plazo legal.