Volver a página de inicio

Tras su publicación el pasado 14 de julio de 2024, el Reglamento europeo de Inteligencia Artificial (LA LEY 16665/2024) o AI Act (2) (en lo sucesivo RIA o el Reglamento), entró en vigor el 2 de agosto de ese año, pero no comenzó a ser aplicable inmediatamente.

Con carácter general, su art. 113 establece que será aplicable, en su integridad, «a partir del 2 de agosto de 2026».

Pero, al mismo tiempo, establece también una serie de fechas en las que diferentes apartados del mismo ya comenzarán a ser aplicables. Ese calendario puede esquematizarse de la siguiente manera (3) :

Por tanto, el próximo día 2 de febrero ya comenzarán a ser aplicables los capítulos I y II del Reglamento, es decir, sus cinco primeros artículos, que incluyen sus disposiciones generales (Objeto, ámbito de aplicación y definiciones), más el establecimiento de la obligación de alfabetización en materia de IA de los proveedores y responsables del despliegue de los sistemas de IA, y las prácticas de IA que se prohíben.

I. La necesaria relación entre los capítulos I y II del Reglamento

Ese comienzo de la aplicación simultánea de las disposiciones de los capítulos I y II de la norma responde a una razón claramente relacionada con la propia lógica del Reglamento. Este, como explica su Cdo. 29, considera que, al margen de los múltiples usos beneficiosos que pueden darse a la IA, esta tecnología «también puede utilizarse indebidamente y proporcionar nuevas y poderosas herramientas para llevar a cabo prácticas de manipulación, explotación y control social» (4) .

Y estas prácticas, que se consideran «sumamente perjudiciales e incorrectas», deben estar prohibidas, pues «van en contra de los valores de la Unión de respeto de la dignidad humana, la libertad, la igualdad, la democracia y el Estado de Derecho y de los derechos fundamentales consagrados en la Carta (5) , como el derecho a la no discriminación, a la protección de datos y a la intimidad y los derechos del niño».

Por eso, añade el Cdo. 179 del Reglamento, a la vista del riesgo inaceptable que plantean esas formas de uso de la IA, las previsiones establecidas sobre las prácticas de IA prohibidas por su art. 5 (que integra su Capítulo II), deben aplicarse ya desde el dos de febrero de 2025.

Pero la aplicación efectiva de esas prohibiciones no sería posible sin tener claro el ámbito objetivo y subjetivo de aplicación del Reglamento, a qué sistemas y a qué personas resulta aplicable, que son, precisamente, los aspectos de los que se ocupan el capítulo I de la norma. Por tanto, resulta lógico que la aplicabilidad del art. 5 esté vinculada a la simultánea aplicabilidad de las disposiciones generales de la norma en la que se regulan esos elementos.

Sentados así los motivos de esta concreta disposición, analizaremos a continuación, en necesaria síntesis, las principales implicaciones que plantea, remitiendo, para un estudio más profundo de estas materias, a las diferentes obras monográficas dedicadas al Reglamento (6) .

II. Efectos de la aplicabilidad del Capítulo I del Reglamento

El Capítulo I del Reglamento, titulado «Disposiciones generales», incluye los siguientes artículos:

Resumimos a continuación las implicaciones de estos preceptos.

1. Objeto del Reglamento

El art. 1 explica cuál es su finalidad, por medio de los cuatro objetivos que persigue:

1. Mejorar el funcionamiento del mercado interior

Se trata de garantizar la libre circulación transfronteriza de mercancías y servicios basados en la IA, impidiendo que los Estados miembros impongan restricciones locales al desarrollo, la comercialización y la utilización de sistemas de IA, a menos que el Reglamento lo autorice expresamente.

Como explica el Cdo. 1 del Reglamento, ello se pretende alcanzar mediante el establecimiento de un marco jurídico uniforme en toda la Unión Europea, para el desarrollo, la introducción en el mercado, la puesta en servicio y la utilización de sistemas de IA, evitando el riesgo de dispersión normativa que podría generar una Directiva, con la consiguiente inseguridad jurídica (7) .

Además, al estar construido el Reglamento siguiendo el modelo de seguridad de los productos, se puede considerar una herramienta de regulación del mercado interior (8) .

2. Promover la adopción de una IA centrada en el ser humano y fiable

• - Una IA centrada en el ser humano

  Se trata, tal como señala la Comunicación de la Comisión «Generar confianza en la inteligencia artificial centrada en el ser humano», de 8 de abril de 2019 (9) , de dejar claro que la IA «no es un fin en sí mismo, sino un medio que debe servir a las personas con el objetivo último de aumentar su bienestar». Para ello, la fiabilidad de la IA debe estar garantizada y los valores europeos han de estar plenamente integrados en su evolución.

  En consecuencia, los sistemas de IA «no solo deben ajustarse a la ley, sino también respetar unos principios éticos y garantizar que su implementación evite daños involuntarios». Su objetivo es empoderar a los ciudadanos y respetar sus derechos fundamentales.

• - Una IA fiable

  La IA quiere que la IA sea una tecnología fiable. En este sentido, y según las Directrices éticas para una IA fiable establecidas en 2019 por el Grupo de Expertos de Alto Nivel creado por la Comisión Europea (10) , una IA fiable se apoya en tres componentes que deben satisfacerse a lo largo de todo el ciclo de vida del sistema:

  • a) la IA debe ser lícita, es decir, cumplir todas las leyes y reglamentos que le sean aplicables;
  • b) ha de ser ética, de modo que se garantice el respeto de los principios y valores éticos; y
  • c) debe ser robusta, tanto desde el punto de vista técnico como social, puesto que los sistemas de IA, incluso si las intenciones con las que se usan son buenas, pueden provocar daños accidentales.

Cada uno de estos componentes es en sí mismo necesario, pero no suficiente, para el logro de una IA fiable.

Según el Grupo de Expertos, esos componentes se basan en cuatro principios éticos, arraigados en los derechos fundamentales, que los profesionales de la IA deben esforzarse en todo momento por observar para garantizar que los sistemas de IA se desarrollen, desplieguen y utilicen de manera fiable.

Estos principios son: 1. Respeto de la autonomía humana; 2. Prevención del daño; 3. Equidad y, 4. Explicabilidad.

3. Garantizar un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta Europea de los derechos fundamentales, incluidos la democracia, el Estado de Derecho y la protección del medio ambiente, frente a los efectos perjudiciales de los sistemas de IA

Esta norma no se orienta, con carácter general, a regular cómo debe ser la tecnología, sino a prevenir los riesgos que se derivan de su uso. Para ello, el Reglamento define ex lege cuales son los riesgos que considera más relevantes y que, por tanto, deben evitarse, adaptando el tipo de requisitos y obligaciones que deben cumplir los sistemas de IA a la intensidad y el alcance de los riesgos que pueden generar dichos sistemas, en función del uso que se haga de los mismos (11) .

Se ha señalado también que la referencia a la protección de la democracia y al Estado de Derecho, aunque no encuentra después un específico desarrollo o explicación, ni mecanismos concretos de protección en el texto de la norma, tiene una gran importancia, en la medida en que determinados desarrollos de la IA generativa pudieran acabar afectando al funcionamiento de nuestra sociedad, al condicionar la capacidad de información de los ciudadanos y, en ocasiones, su capacidad de decisión (12) .

4. Prestar apoyo a la innovación

El principal recurso que aporta el Reglamento para el logro de este objetivo es el desarrollo de unos espacios controlados de pruebas para la IA. Estos espacios aparecen regulados en su art. 57, en virtud del cual las autoridades competentes de los Estados miembros deberán tener operativos a escala nacional, a más tardar el 2 de agosto de 2026 (13) .

Y, aunque no estén expresamente regulados en el Reglamento, no debe olvidarse, como señala Campos Acuña, la importancia de los espacios comunes europeos de datos, entre otros los de salud. Estos se configuran como una herramienta clave para ofrecer un acceso fiable, responsable y no discriminatorio a datos de alta calidad con los que entrenar, validar y probar los sistemas de IA, ofreciendo así una ventaja competitiva a los operadores de mercado, pues el acceso a los datos y la capacidad de utilizarlos son fundamentales para la innovación y el crecimiento (14) .

Además, esta voluntad de apoyo a la innovación se evidencia en el hecho de que 1) la propia norma excluya su aplicación, en determinados casos, como son los sistemas de IA utilizados con un fin exclusivo de mera investigación e innovación, a los que únicamente les será aplicable el Reglamento cuando el desarrollo de dichos sistemas de IA haga susceptible su puesta a disposición del mercado y, 2) que las empresas de pequeño y mediano tamaño (PYMES), quedan en buena medida exentas de algunas de las rigurosas obligaciones previstas para las empresas más grandes que utilicen sistemas de IA considerados de alto riesgo.

2. Ámbito de aplicación del Reglamento

El art. 2 delimita los ámbitos de aplicación material u objetivo, personal o subjetivo y territorial, del Reglamento. Es decir, a qué materias y personas, y en qué espacio geográfico, es aplicable.

El conocimiento de estas características de la norma es fundamental para delimitar si una determinada persona, organización o actividad, debe someterse a sus prescripciones. Y esta condición, a su vez, será fundamental, a partir del próximo 2 de febrero, para identificar a los sujetos obligados a respetar la prohibición que establece el art. 5 que veremos más adelante.

A) Ámbito de aplicación material u objetivo

Están incluidas en el ámbito de aplicación del RIA las siguientes actividades:

• 1.1. Introducir en el mercado un sistema de IA o un modelo de IA de uso general

  Es decir, realizar la primera comercialización en el mercado de la Unión de uno de dichos sistemas o modelos (art. 3.9).

  La doctrina ha añadido un importante matiz: De la redacción del art. 2 se deduce que el RIA no se aplica a los proveedores de sistemas de IA establecidos en la UE si su actividad consiste en introducir en el mercado o poner en servicio sistemas de IA en un tercer país. Es decir, el RIA no resulta aplicable a la exportación de sistemas de IA fuera de la UE (15) .

• 1.2. Poner en servicio un sistema de IA

  Significa suministrar un sistema de IA para su primer uso, según su finalidad prevista (art. 3.11), que es el uso para el que un proveedor concibe un sistema de IA, incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedor en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnica (art. 3.12). La finalidad prevista de un sistema de IA es uno de sus elementos esenciales, pues determina muchas de las acciones que deberán realizar los proveedores y los responsables del despliegue, en función de la misma.

• 1.3. Utilizar un sistema de IA

  Es decir, emplear, servirse o se aprovecharse del mismo (Diccionario de la RAE).

B) Supuestos excluidos del ámbito de aplicación del Reglamento

No todos los sistemas de IA están incluidos en el ámbito de aplicación del Reglamento. El art. 2 excluye a los siguientes:

• 2.1. Sistemas de IA utilizados en ámbitos que queden fuera del ámbito de aplicación del Derecho de la Unión

  Se refiere principalmente a las competencias de los Estados miembros en materia de militar y de seguridad nacional, que sigue siendo responsabilidad exclusiva de los Estados miembros de conformidad con el art. 4, apartado 2, del Tratado de la UE.

• 2.2. Sistemas de IA que se introduzcan en el mercado, se pongan en servicio o se utilicen exclusivamente con fines militares, de defensa o de seguridad nacional

  No obstante, explica el Cdo. 24, si un sistema de IA desarrollado, introducido en el mercado, puesto en servicio o utilizado con fines militares, de defensa o de seguridad nacional se utilizara temporal o permanentemente fuera de estos ámbitos con otros fines (por ejemplo, con fines civiles o humanitarios, de garantía del cumplimiento del Derecho o de seguridad pública), dicho sistema entraría en el ámbito de aplicación del Reglamento.

• 2.3. Sistemas de IA utilizados por autoridades públicas de terceros países u organizaciones internacionales, en el marco de acuerdos internacionales o de cooperación con fines de cooperación policial y judicial con la Unión o sus Estados miembros

  En estos casos, las autoridades competentes para la supervisión de las autoridades policiales y judiciales en virtud del Reglamento deben evaluar si dichos marcos de cooperación o acuerdos internacionales incluyen garantías suficientes con respecto a la protección de los derechos y libertades fundamentales de las personas.

• 2.4. Sistemas de IA cuya única finalidad es la investigación y el desarrollo científicos, incluidos sus resultados de salida (art. 2.6).

  Añade el Cdo. 25 que esta exclusión se entiende sin perjuicio de la obligación de cumplir el Reglamento cuando dicho sistema o modelo se introduzca en el mercado o se ponga en servicio como resultado de dicha actividad de investigación y desarrollo un sistema de IA que entre en el ámbito de aplicación del Reglamento, así como de la aplicación de disposiciones sobre espacios controlados de pruebas para la IA y pruebas en condiciones reales.

• 2.5. Sistemas de IA antes de su introducción en el mercado o puesta en servicio

  Explica el Cdo. 25 que esta exclusión se entiende sin perjuicio de la obligación de cumplir el Reglamento cuando se introduzca en el mercado o se ponga en servicio, como resultado de dicha actividad de investigación y desarrollo, un sistema de IA que entre en el ámbito de aplicación del Reglamento, así como de la aplicación de disposiciones sobre espacios controlados de pruebas para la IA y pruebas en condiciones reales. Sin embargo, las pruebas en condiciones reales (art. 60), no estarán cubiertas por esa exclusión (art. 2.8).

• 2.6. Sistemas de IA utilizados por personas físicas en el ejercicio de una actividad no profesional

  Por ello, el núm. 4 del art. 3 excluye de la consideración como responsable del despliegue a las personas físicas que usen sistemas de IA «en una actividad personal de carácter no profesional».

• 2.7. Sistemas de IA divulgados mediante licencias libres y de código abierto

  El Reglamento no se aplica a los sistemas de IA divulgados con arreglo a licencias libres y de código abierto, a menos que se introduzcan en el mercado o se pongan en servicio como sistemas de IA de alto riesgo o como sistemas de IA que entren en el ámbito de aplicación del art. 5 (sistemas prohibidos) o del art. 50 (determinados sistemas de IA sujetos a obligaciones de transparencia) (art. 2.12).

  Se considera que una licencia es libre y de código abierto cuando permita a los usuarios ejecutar, copiar, distribuir, estudiar, modificar y mejorar el software y los datos, incluidos los modelos, a condición de que se cite al proveedor original del modelo, si se respetan unas condiciones de distribución idénticas o comparables (Cdo. 102).

  Añade el Cdo. 103 que los componentes de IA libres y de código abierto comprenden el software y los datos, incluidos los modelos y los modelos de IA de uso general, las herramientas, los servicios y los procesos de un sistema de IA.

C) Ámbito de aplicación personal o subjetiva

Explica el art. 2 del Reglamento que este se aplica a una serie de personas, físicas o jurídicas, públicas o privadas, que el art. 3.8 engloba genéricamente bajo la denominación de «operador» y que incluye a los proveedores y sus representantes autorizados, a los fabricantes, a los responsables del despliegue, a los importadores y a los distribuidores de sistemas de AI.

Es importante tener en cuenta que, como indica el Cdo. 83 y desarrolla el art. 25, en determinadas situaciones, esos operadores pueden desempeñar más de una función al mismo tiempo y, por lo tanto, deben cumplir de forma acumulativa todas las obligaciones pertinentes asociadas a dichas funciones. Por ejemplo, un operador puede actuar como distribuidor e importador al mismo tiempo (16) .

• 3.1. Proveedores

  Se considera «proveedor» a la persona física o jurídica, autoridad pública, órgano u organismo que desarrolle o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y que lo introduzca en el mercado o ponga en servicio con su propio nombre o marca, previo pago o gratuitamente, con independencia de si dichos proveedores están establecidos o ubicados en la Unión o en un tercer país (art. 3.3).

  Precisa el Cdo. 23 que el Reglamento también debe aplicarse a las instituciones, órganos y organismos de la Unión cuando actúen como proveedores o responsables del despliegue de un sistema de IA.

  El hecho de que se considere proveedor tanto a la persona u organización que desarrolle como aquella para la que se desarrolle un sistema de IA o un modelo de IA de uso general, pone de relieve la figura del fabricante, que no aparece entre las definiciones del art. 3, pero que sí es considerado como «Operador» por el núm. 8 del mismo, por lo que le resulta aplicable el Reglamento, en los términos de la letra e) del número 1 del art. 2.

• 3.2. Responsables del despliegue de sistemas de IA establecidos o ubicados en la Unión

  El art. 3.4 define al responsable del despliegue (denominado usuario en las versiones iniciales del Reglamento), como aquella persona física o jurídica, o autoridad pública, órgano u organismo que utilice un sistema de IA bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional.

• 3.3. Proveedores y responsables del despliegue de sistemas de IA establecidos o ubicados en un tercer país, cuando los resultados de salida generados por el sistema se utilicen en la Unión

  Señala el Cdo. 22 que esta medida se establece para evitar la elusión del Reglamento y garantizar la protección efectiva de las personas físicas ubicadas en la Unión.

• 3.4. Importadores y distribuidores de sistemas de IA

  Se define como importador a la persona física o jurídica ubicada o establecida en la Unión que introduzca en el mercado un sistema de IA que lleve el nombre o la marca de una persona física o jurídica establecida en un tercer país (art. 3.6)

  Se considera distribuidor a la persona física o jurídica que forme parte de la cadena de suministro, distinta del proveedor o el importador, que comercialice un sistema de IA en el mercado de la Unión (art. 3.7).

• 3.5. Fabricantes de productos que introduzcan en el mercado o pongan en servicio un servicio un sistema de IA con su propio nombre o marca

  El RIA no define esta figura del fabricante, pero, acudiendo a la definición que ofrece el número 8 del art. 3 del Reglamento (UE) 2023/988, de 10 de mayo de 2023 (LA LEY 6690/2023), relativo a la seguridad general de los productos, podemos considerarlo como toda persona física o jurídica que fabrica un producto o que manda diseñar o fabricar un producto y lo comercializa con su nombre o su marca.

• 3.6. Representantes autorizados de los proveedores que no estén establecidos en la Unión

  Cuando el proveedor de un sistema de IA o de un modelo de IA de uso general no esté establecido en la Unión, antes de comercializar sus sistemas de IA de alto riesgo en el mercado de la Unión, deberá designar, mediante un mandato escrito, a un representante autorizado.

  Este será una persona física o jurídica, ubicada o establecida en la Unión, que ha recibido y aceptado el mandato de un proveedor de un sistema de IA o de un modelo de IA de uso general para cumplir las obligaciones y llevar a cabo los procedimientos establecidos en el Reglamento en representación de dicho proveedor (arts. 3.5 y 22).

• 3.7. Terceros ubicados en la Unión que intervengan en la cadena de valor de un sistema de IA

  Explica el Cdo. 88, y desarrolla el art. 25 del Reglamento, que, a lo largo de la cadena de valor de la IA, numerosas partes suministran a menudo no solo sistemas, herramientas y servicios de IA, sino también componentes o procesos que el proveedor incorpora al sistema de IA con diversos objetivos, como el entrenamiento de modelos, el reentrenamiento de modelos, la prueba y evaluación de modelos, la integración en el software u otros aspectos del desarrollo de modelos. Dichas partes desempeñan un papel importante en la cadena de valor en relación con el proveedor del sistema de IA de alto riesgo en el que se integran sus sistemas, herramientas, servicios, componentes o procesos de IA.

3. Definiciones

El art. 3 del Reglamento recoge 68 definiciones que utiliza para identificar diferentes actores, figuras y objetos que incluye en su ámbito de aplicación.

Destacamos las de sistema de IA (17) , modelos de IA de uso general (con y sin riesgo sistémico), capacidades de gran impacto y riesgo sistémico; proveedor, responsable del despliegue, representante autorizado, importador y distribuidor; Introducción en el mercado, comercialización, puesta en servicio, finalidad prevista, instrucciones de uso, uso indebido razonablemente previsible, modificación sustancial y riesgo; datos de entrenamiento, datos de validación, conjunto de datos de validación, datos de prueba, datos de entrada y datos biométricos; identificación biométrica y verificación biométrica; sistema de reconocimiento de emociones, sistema de categorización biométrica, sistema de identificación biométrica remota, sistema de identificación biométrica remota en tiempo real, sistema de identificación biométrica remota en diferido y espacio de acceso público; Oficina de IA; incidente grave; espacio controlado de pruebas para la IA, plan de la prueba en condiciones reales y plan del espacio controlado de pruebas; alfabetización en materia de IA y ultrasuplantación (Deep fake).

Limitándonos, por su importancia, al concepto de sistema de IA, coincidimos con los autores que han señalado que «la clave para entender el concepto jurídico de IA y su distinción del resto de sistemas informáticos basados en lenguajes de programación es que lo que caracteriza, define y distingue un sistema de IA de un simple sistema informático "tradicional", es que, a diferencia de este último, no se basa únicamente en un lenguaje de programación consistente en reglas programadas por el ser humano, sino que se trata de un sistema que ha sido "entrenado"/desarrollado con una serie de datos propios (…) y cuyas decisiones ya no obedecen a criterios humanos derivados de la programación, sino a criterios autónomos del propio sistema (machine‐based system en sus distintas modalidades) y con capacidades deductivas o de inferencia propias del sistema, para que ese "entrenamiento de datos" que conforma su "información de entrada", genere una "información de salida" autónoma que ofrece al usuario predicciones, contenidos, recomendaciones, incluso la ejecución automática o automatizada de decisiones» (18) .

4. Alfabetización en materia de IA

Aunque no se ha prestado mucha atención a este precepto, su alcance, como vamos a ver, es muy relevante (19) .

El art. 4 del Reglamento establece la obligación de los todos los proveedores y responsables del despliegue de sistemas de IA de adoptar medidas para garantizar que, en la mayor medida posible, su personal y demás personas que se encarguen en su nombre del funcionamiento y la utilización de sistemas de IA, tengan un nivel suficiente de alfabetización en materia de IA.

A estos efectos, de acuerdo con el núm. 56 del art. 3, esa alfabetización debe dotar a los proveedores, responsables del despliegue y demás personas afectadas por el Reglamento y en función de sus respectivos derechos y obligaciones, de las capacidades, los conocimientos y la comprensión que permitan llevar a cabo un despliegue informado de los sistemas de IA, tomando conciencia de las oportunidades y los riesgos que plantea la IA, así como de los perjuicios que puede causar.

Debe destacarse que esta obligación no se limita a los proveedores y responsables del despliegue de sistemas de IA considerados de alto riesgo. Dado que el precepto no distingue entre diferentes tipos de sistemas, y que sistemáticamente no es posible encuadrar el precepto en un contexto concreto, debe concluirse que la obligación es general, para los proveedores y responsables del despliegue de todo tipo de sistemas de IA, cualquiera que sea su consideración jurídica.

Esta característica dota al precepto de un alcance general de notables implicaciones en la práctica.

Como explica Rayón Ballesteros, la alfabetización en materia de IA resulta crucial para abordar los desafíos y aprovechar las oportunidades que presenta esta tecnología y asegurar su implementación de forma ética, justa, equitativa y responsable, y para que su utilización produzca los mejores resultados (20) .

No supone convertir a todas las personas en especialistas en IA, sino que pretende dotarla de los conocimientos y habilidades necesarias para comprender para comprender las implicaciones de la misma, utilizarla adecuadamente e interactuar con ella de manera responsable.

Por ello, requiere de una formación continua en diversas áreas interrelacionadas, como son los aspectos técnicos (para comprender como la IA procesa los datos, reconoce patrones, aprende automáticamente y llega a hacer recomendaciones); jurídicos (para conocer y entender las leyes y regulaciones que rodean el desarrollo, implementación y utilización, en particular, las responsabilidades legales en los ámbitos civil y penal, la protección de datos, los derechos de propiedad intelectual y cuestiones relacionadas con la prevención de riesgos); éticos (para que el desarrollo de la IA se encuentre en consonancia con los valores europeos); sociales y prácticos (a partir de experiencias de aprendizaje del mundo real).

En este contexto, se ha mencionado que la ISO/IEC 42001:2023, el estándar internacional para sistemas de gestión de la IA, proporciona un marco práctico para implementar estas exigencias del RIA como parte de un sistema de gestión integral, asegurando un cumplimiento eficiente y sostenible de las obligaciones legales (Andrés Ángel, en su post de LinkedIn “RIA, ISO/IEC 42001 y Alfabetización en IA: ¿Estás Listo para el 2 de Febrero?”)

En este sentido, como ha señalado Campos Acuña, nuestro país ya cuenta con un Plan de competencias digitales de ámbito general (21) , y también con un marco específico para el Sector Público aprobado por el INAP (22) , que contempla una competencia específica sobre el uso ético y responsable de la IA y abarca aspectos como la privacidad, la transparencia, la equidad y la rendición de cuentas (23) .

A nivel europeo existen iniciativas que van en el mismo sentido (24) , y la doctrina ha analizado las implicaciones de esta obligación en sectores concretos como el laboral (25) .

Si bien todas estas iniciativas constituyen un marco adecuado de referencia, parece claro que su concreción a nivel de cada organización que utilice sistemas de IA, en función de las características de los mismos y del uso que se les dé, requerirá un trabajo específico.

III. Efectos del comienzo de la aplicabilidad del Capítulo II del Reglamento. Prácticas de IA prohibidas

El capítulo II consta de un único art. 5, que establece las prácticas de IA que la Unión Europea prohíbe que se realicen.

Son prácticas que se consideran sumamente perjudiciales para los ciudadanos, por ir en contra de los valores de respeto de la dignidad humana, la libertad, la igualdad, la democracia y el Estado de Derecho que rigen en la UE, y de los derechos fundamentales como el derecho a la no discriminación, a la protección de datos y a la intimidad y los derechos del niño que también que tiene establecidos.

Se trata de un extenso artículo en cuyo detalle no podemos entrar en este breve espacio, por lo que, además de remitiros a los estudios específicos sobre el mismo (26) , nos limitaremos a esquematizarlo y a presentar sus implicaciones más inmediatas.

1. Características generales de las prácticas de IA prohibidas

En primer lugar, esta prohibición es objetiva y directa. No requiere de ninguna decisión y valoración externa a la de los directamente obligados. Estos serán, en primer lugar, los proveedores y los responsables del despliegue.

Pero, del tenor de los arts. 23 y 24 del Reglamento, cabe entender que también alcanza a los importadores y a los distribuidores de sistemas de IA de alto riesgo. A los importadores porque, de acuerdo con el art. 23, antes de introducir un sistema de IA de alto riesgo en el mercado, deberán asegurarse de que el sistema sea conforme con el Reglamento, lo que entendemos incluye, en primer lugar, que no se trate de un sistema de los prohibidos. Y a los distribuidores porque, del art. 24 se deduce que la principal obligación del distribuidor es que, si considera o tiene motivos para considerar, con arreglo a la información en su poder, que un sistema de IA de alto riesgo no es conforme con los requisitos establecidos en la sección 2, no lo comercializará hasta que se haya conseguido esa conformidad. Por extensión, entendemos que si constatase que el sistema entra dentro de la categoría de prohibidos, tampoco lo debería comercializarlo.

En segundo lugar, que la aplicación práctica de esta prohibición deberá aguardarse a que la Comisión europea elabore las directrices específicas sobre la aplicación práctica de estas prohibiciones, a que se refiere el art. 96.1 b) del RIA, que deberían estar publicadas antes del 2 de febrero.

A dichos efectos, el número 11 del art. 112 establece que «Para orientar las evaluaciones y revisiones [sobre la necesidad de modificar la lista del anexo III y la lista de prácticas de IA prohibidas], la Oficina de IA se encargará de desarrollar una metodología objetiva y participativa para la evaluación de los niveles de riesgo a partir de los criterios expuestos en los artículos pertinentes y la inclusión de nuevos sistemas en: … b) la lista de prácticas prohibidas establecida en el artículo 5»

En tercer lugar, aunque no tenga efectos inmediatos este 2 de febrero, debe señalarse que la lista de prácticas prohibidas que recoge el art. 5 no es una relación cerrada de supuestos, pues, como prevé el art. 112, número 1 del Reglamento, en concordancia con su Cdo. 174, se establece la obligación de la Comisión de evaluar una vez al año la necesidad de modificar la lista de sistemas de IA de alto riesgo y la lista de prácticas prohibidas: «La Comisión evaluará la necesidad de modificar la lista del anexo III y la lista de prácticas de IA prohibidas previstas en el art. 5 una vez al año a partir de la entrada en vigor del Reglamento y hasta el final del período de delegación de poderes previsto en el art. 97. La Comisión presentará las conclusiones de dicha evaluación al Parlamento Europeo y al Consejo» (Una previsión en línea con otra similar establecida en relación con los sistemas de alto riesgo por el art. 7).

Por último, destacar que el no respeto de la prohibición de esas prácticas de IA estará sujeto a las máximas multas administrativas que prevé el Reglamento, que podrán alcanzar hasta los 35.000.000 de euros o, si el infractor es una empresa, de hasta el 7 % de su volumen de negocios mundial total correspondiente al ejercicio financiero anterior, si esta cuantía fuese superior.

2. Implicaciones prácticas

Aunque pueda parecer evidente la inclusión de determinadas prácticas entre las prohibidas por el art. 5, la compleja casuística de varios de sus apartados obliga a realizar un minucioso análisis de cada caso, como veremos a continuación.

Por el contrario, en los supuestos previstos en las letras c) a g) del número 1 de este artículo, será necesario, para aplicar la prohibición que los sistemas estén diseñados con el fin específico prohibido.

A) Prácticas de manipulación

En relación la letra a) del número 1 del art. 5, será necesario comprobar si se está:

• a. Ante un sistema de IA, de acuerdo con la definición del art. 3.1
• b. Que utilice técnicas subliminales
• c. O deliberadamente manipuladoras o engañosas
• d. Que tengan el objetivo, o provoquen el efecto, de alterar el comportamiento de una persona mermando su capacidad de tomar decisiones
• e. Que esa alteración del comportamiento lleve a esa persona a tomar una decisión que de otro modo no habría tomado
• f. Que esa modificación de comportamiento provoque, o sea razonablemente probable que le provoque, a esa persona o a terceros, un perjuicio considerable.

Es decir, este precepto obliga a analizar y concretar la concurrencia de los conceptos de «sistema de IA», de «técnica subliminal», de técnica «deliberadamente manipuladora o engañosa», de «alteración del comportamiento», de «mermar la capacidad de tomar decisiones», de «razonablemente probable», del tercero que se pueda considerar afectado por la decisión y de «perjuicio considerable». Siete conceptos indeterminados que deben concurrir acumulativamente.

A estos efectos, explica el Cdo. 29 del Reglamento que algunos sistemas de IA utilizan componentes subliminales, como estímulos de audio, imagen o vídeo que las personas no pueden percibir —ya que dichos estímulos trascienden la percepción humana—, u otras técnicas manipulativas o engañosas que socavan o perjudican la autonomía, la toma de decisiones o la capacidad de elegir libremente de las personas de maneras de las que estas no son realmente conscientes de dichas técnicas o, cuando lo son, pueden seguir siendo engañadas o no pueden controlarlas u oponerles resistencia. Esto podría facilitarse, por ejemplo, mediante interfaces cerebro-máquina o realidad virtual, dado que permiten un mayor grado de control acerca de qué estímulos se presentan a las personas, en la medida en que pueden alterar sustancialmente su comportamiento de un modo que suponga un perjuicio considerable.

Y en relación con la letra b), que si se está:

• a. Ante un sistema de IA, de acuerdo con la definición del art. 3.1
• b. Que explote una vulnerabilidad de una persona física o un determinado colectivo de personas
• c. Que esa vulnerabilidad esté derivada de su edad
• d. O de una discapacidad
• e. O de una situación social o económica específica
• f. Que el sistema tenga la finalidad o provoque el efecto de alterar de manera sustancial el comportamiento de dicha persona o de una persona que pertenezca a dicho colectivo
• g. Que esa modificación del comportamiento provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona o a otra.

Nuevamente aquí será preciso analizar y concretar la concurrencia de los conceptos de «sistema de IA», de «vulnerabilidad», de «colectivo de personas», de «discapacidad», de «situación social o económica específica», de «alteración sustancial del comportamiento», de «razonablemente probable» y de «perjuicios considerables».

Explica en este sentido el Cdo. 29 que, entre esas situaciones de vulnerabilidad se encuentra el vivir en condiciones de pobreza extrema o pertenecer a minorías étnicas o religiosas.

Se debe tener en cuenta, en particular que, en los dos supuestos incluidos en este apartado, no basta para excluir de la prohibición el hecho de que el sistema de IA en cuestión esté diseñado con «el objetivo de» causar la alteración del comportamiento de las personas o colectivos a que se refieren dichas letras, sino que también habrá que tener en cuenta el que puedan tener el efecto de provocar esa alteración.

Sin embargo, añade el Cdo. 29 que no puede presuponerse que existe la intención de alterar el comportamiento de una persona si la alteración es el resultado de factores externos al sistema de IA que escapan al control del proveedor o del responsable del despliegue, a saber, factores que no es lógico prever y que, por tanto, el proveedor o el responsable del despliegue del sistema de IA no pueden mitigar.

Y explica también ese Considerando que la prohibición de las prácticas de manipulación y explotación establecida no debe afectar a prácticas lícitas en el contexto de un tratamiento médico, como el tratamiento psicológico de una enfermedad mental o la rehabilitación física, cuando dichas prácticas se lleven a cabo de conformidad con el Derecho y las normas médicas aplicables, por ejemplo, con el consentimiento expreso de las personas o de sus representantes legales.

Asimismo, no debe considerarse que las prácticas comerciales comunes y legítimas (por ejemplo, en el campo de la publicidad) que cumplan el Derecho aplicable son, en sí mismas, prácticas de manipulación perjudiciales que posibilita la IA.

Por todo ello, ambas prohibiciones parecen obligar a un especial ejercicio de evaluación de riesgos a las empresas de publicidad y de gestión de redes sociales, por las implicaciones que pueden plantear las aplicaciones que utilicen y los efectos de los mensajes que se generen o transmitan a través de ellas.

B) Prácticas de explotación

Los supuestos incluidos bajo este epígrafe parecen más fácilmente objetivables que los anteriores, pues tanto los conceptos de «bases de datos», «reconocimiento facial», «extracción no selectiva», «imágenes faciales» y «circuito cerrado de televisión», de la letra e), como los de «inferir emociones», «lugar de trabajo», «centro de trabajo», «centro educativo» y «motivos médicos o de seguridad», cuentan con diversas definiciones legales o no resultan, en primera lectura, problemáticas.

Por esa misma razón, parece especialmente aconsejable que las empresas u organizaciones que se dediquen a la elaboración de bases de datos de reconocimiento facial, o que utilicen sistemas de reconocimiento de emociones en el ámbito laboral o educativo, realicen y documenten una evaluación de riesgos al efecto, para lo cual los términos del art. 9 del Reglamento pueden resultar muy esclarecedores.

C) Prácticas de control social

Junto con las prácticas de manipulación, probablemente sean estas las que más necesidad de evaluación planteen a sus proveedores o desarrolladores a fin de evitar su uso e incurrir en la infracción del precepto.

En particular, consideramos que habrá que tener en cuenta los siguientes aspectos.

1. Sistemas de IA utilizados para evaluar o clasificar a personas físicas o a colectivos, atendiendo a su comportamiento social o a características personales o de su personalidad conocidas, inferidas o predichas.

Habrá que considerar, en primer lugar, si el sistema utilizado se corresponde con el de sistema de IA, en los términos indicados anteriormente. Algunos de los utilizados para esa clasificación pueden no cumplir con todos los requisitos del art. 3.1, en relación con el Cdo. 12.

Establecida esa condición habrá que determinar si la puntuación resultante provoca:

• a. Un trato perjudicial o desfavorable para los mismos en contextos sociales que no guarden relación con los contextos donde se generaron o recabaron los datos originalmente, o
• b. Un trato perjudicial o desfavorable injustificado o desproporcionado con respecto a su comportamiento social o la gravedad de este.

Ello obligará a determinar la concurrencia y alcance de los conceptos de «comportamiento social», «trato perjudicial o desfavorable», «trato perjudicial desfavorable injustificado» o «desproporcionado», «contexto social».

Nuevamente, no podemos profundizar aquí en los problemas que plantea esa conceptualización, por lo que nos limitamos por ahora a exponer el problema a considerar.

Los restantes sistemas o prácticas incluidas en este epígrafe, salvo los sistemas de identificación biométrica remota en tiempo real, en espacios de acceso público, por las fuerzas de seguridad o judiciales, no parecen plantear grandes problemas interpretativos a la hora de considerarlos incluidos en el ámbito de la prohibición.

Los mencionados en último lugar, en cambio, están sujetos a un amplio conjunto de matizaciones y condiciones que ya han sido, y serán, sin duda, objeto de mayor estudio que el que podemos dedicar aquí.

Simplemente dejamos constancia de la prevención del Cdo. 37 que señala que el uso de ese tipo de sistemas de vigilancia en el territorio de un Estado miembro conforme a lo dispuesto en el presente Reglamento solo debe ser posible cuando el Estado miembro de que se trate haya decidido contemplar expresamente la posibilidad de autorizarlo en las normas detalladas de su Derecho nacional, y en la medida en que lo haya contemplado. En consecuencia, los Estados miembros siguen teniendo la libertad de no ofrecer esta posibilidad en absoluto o de ofrecerla únicamente en relación con algunos de los objetivos que pueden justificar un uso autorizado conforme al presente Reglamento.