Volver a página de inicio

I. Ética de la Inteligencia Artificial

En la sesión de la Real Academia de Ciencias Morales y Políticas, de 7 de mayo de 2019, la sra. D.ª Adela Cortina (2) , recordando cómo los avances técnicos se anticiparon a las orientaciones morales sobre su uso, consideraba que en el estado actual, quizá no habría de plantearse una ética de los sistemas inteligentes, sino establecer una serie de orientaciones éticas para el uso humano de los sistemas de IA. Identificó como nucleares, siguiendo las pautas establecidas por la Comisión Europea (3) la confiabilidad y explicabilidad; beneficencia, entendida como exigencia de maximizar los beneficios; no maleficencia, evitando efectos adversos no previstos (4) ; autonomía de las personas y justicia (5) .

Pero, ¿de qué hablamos cuando hablamos de ética de inteligencia artificial? Filósofos de la tecnología como Coeckelbergh (6) entienden que la ética de la IA se ocupa del cambio tecnológico y su impacto en la vida de los individuos, pero también de las transformaciones que provoca en la sociedad y en la economía. Y la UNESCO (7) plantea la ética como una base dinámica para la evaluación normativa y la orientación de las tecnologías de la IA, refiriéndose a la dignidad humana, el bienestar y la prevención de daños como brújula y enraizada en la ética de la ciencia y la tecnología.

De modo que, se presenta como un acto de responsabilidad individual de los desarrolladores e implementadores de sistemas de IA para que, ante la ausencia de un marco normativo a nivel mundial, se auto-impongan límites en la creación y se aquieten, asumiendo como propios, a principios que, con vocación de universalidad, pretenden que se mantenga y se preserve el respeto por los derechos fundamentales de las personas.

Pero también ha de añadirse el compromiso y el deber que nos alcanza como usuarios de sistemas de IA, de llevar a cabo un consumo responsable de esta tecnología valorando la posible repercusión del impacto que su utilización puede ocasionar en determinados contextos, sin obviar que, como ya de antiguo apreciaban los filósofos, la tecnología no es neutral (8) .

Siendo ineludible la utilización de estos sistemas y aplicaciones de IA, como previno nuestra prestigiosa filósofa, también resulta ineluctable la fijación de una serie de principios para que podamos aprovechar las ventajas que ofrece de manera confiada al ofrecer aquellos seguridad y confiabilidad por haberse ajustado a aquéllos.

Es innegable que el uso de sistemas de IA, que emplean cantidades ingentes de datos para obtener resultados, permiten automatizar tareas repetitivas que optimizan el tiempo y recursos disponibles en todos los ámbitos de la vida. La Administración de Justicia no es —ni puede ser— ajena a dicha eclosión, por la expectativa de mejora de su funcionamiento al emplear aplicaciones que puedan facilitar, agilizar o mejorar la eficiencia de la misma. Pero a su vez, la misión encomendada al Poder Judicial, como garante de los derechos de los ciudadanos, no puede verse comprometida porque los instrumentos empleados para la toma de decisiones no garanticen el respeto de los derechos fundamentales.

Y es en este aspecto donde se incide, dado que la ausencia de regulación del modo en que los desarrolladores tratan, entrenan y obtienen resultados de los datos que analizan, puede provocar un impacto negativo en los derechos fundamentales generando, incrementando o perpetuando desigualdades, situaciones discriminatorias, no equitativas o injustas. Conscientes de dicha situación, los organismos internacionales (UE, UNESCO, ONU, OCEDE) han elaborado recomendaciones, desarrollando y promoviendo la formulación de una serie de principios éticos para guiar el desarrollo de los sistemas de IA.

El Reglamento de Inteligencia Artificial (en adelante identificado por sus siglas en inglés AI Acts), clasifica como sistemas de alto riesgo aquéllos que se pretendan implementar en el espacio europeo, habida cuenta la magnitud de las consecuencias potencialmente adversas para los derechos fundamentales protegidos por la Carta Europea, enumerando los siguientes: el derecho a la dignidad humana, el respeto de la vida privada y familiar, la protección de datos de carácter personal, la libertad de expresión y de información, la libertad de reunión y de asociación, la no discriminación, el derecho a la educación, la protección de los consumidores, los derechos de los trabajadores, los derechos de las personas discapacitadas, la igualdad entre hombres y mujeres, los derechos de propiedad intelectual, el derecho a la tutela judicial efectiva y a un juez imparcial, los derechos de la defensa y la presunción de inocencia, el derecho a una buena administración, y los singulares sobre los menores de edad consagrados en el art. 24 de la Carta y en la Convención sobre los Derechos del Niño de las Naciones Unidas (LA LEY 3489/1990), que se desarrollan con más detalle en la observación general n.^o 25 del Comité de los Derechos del Niño relativa a los derechos de los niños en relación con el entorno digital.

Se pretende, como objetivo del presente, identificar las posibles repercusiones que el referido uso de esta tecnología puede provocar en los derechos fundamentales, e igualmente, valorar, como la observancia de los referidos principios y en la actualidad la reglamentación aprobada por parte de los desarrolladores de los sistemas de IA, puede evitar dicha afectación.

II. La IA no es neutral

Ninguna tecnología es neutral. Esta categórica afirmación no es novedosa (9) ni tampoco está exenta de controversia al entender, quien discrepa de la misma, que dicha cualidad únicamente es predicable de las personas en función del uso que se haga de ella. No obstante ha de convenirse con Carr (10) , que toda tecnología intelectual encarna una ética intelectual, pues aunque no sea conscientemente implementada en su generación, provoca un cambio en la mente o en la cultura de los usuarios a través del mensaje que transmite. Sin embargo ni el instrumento está creado con otra finalidad que la que ofrece al posible usuario, ni éste es consciente de la modificación que, en su modo de pensar o de comportarse, provoca el manejo de aquél.

Al igual que el manejo de las tecnologías provoca una mutación de la sipnasis de nuestro cerebro debido a las nuevas conexiones neuronales provocadas por el uso de la misma, el empleo de modelos o sistemas de IA, por ejemplo, en Justicia, puede provocar dicho cambio en nuestro modo de conducirnos como jueces pudiendo llegar a alterar inconscientemente el proceso lógico-deductivo seguido para dictar una resolución pudiendo llegar a alterar cómo llevamos a cabo el análisis, deducción y obtenemos el resultado.

Pero realmente ¿sabemos cuándo estamos usando aplicaciones o sistemas de IA?, o ante la vulgarización del término desvirtuando el concepto de lo que podemos entender como tal, nos referimos a tecnología de datos que no incluye aprendizaje automático de la máquina (machine Learning) y que constituye la mayoría de los modelos de IA que empleamos en la actualidad (11) .

Como pusimos de relieve en un trabajo anterior, para diferenciar la IA de otros programas, aplicaciones o tecnologías que utilizan campos interrelacionados o conectados entre sí como la informática, estadística, análisis computacional o de datos entre otros, acudimos a dos palabras clave descriptivas: Autonomía —capacidad de ejecutar tareas en situaciones complejas sin la dirección constante del usuario—, y adaptabilidad —capacidad para mejorar la ejecución de las tareas aprendiendo de la experiencia— (12) .

La IA Acs se ha detenido especialmente en la definición de aquélla en tanto que pretende facilitar la seguridad jurídica y la convergencia a escala internacional buscando una amplia aceptación, dotada de flexibilidad para dar cabida a los avances en la materia y se encarga de diferenciar el concepto de sistemas que ejecutan automáticamente operaciones, atendiendo a su característica principal: la capacidad de inferencia, referida al proceso de obtención de información y salida como predicciones, contenidos, recomendaciones o decisiones, o la deducción de modelos o algoritmos a partir de la entrada de datos o de información.

En síntesis, la base en la que se asientan los sistemas de IA la constituye un triángulo cuyos vértices son el hardware (soporte físico, tangible del sistema informático, o en palabras de la RAE, equipo como conjunto de aparatos de una computadora), los datos (texto, imágenes, números e información recogida de internet, aplicaciones móviles, de internet de las cosas, etc y recopilados, en ocasiones, por empresas especializadas), y el software (siguiendo de nuevo a la RAE, que lo define como el conjunto de programas, instrucciones y reglas informáticas para ejecutar ciertas tareas en una computadora) (13) .

Son los sistemas de IA generativa los que actualmente están en uso con las aplicaciones como Chat-GPT (Generative Pre-trained Transformers) Gemini, Copilot, pero la IA analítica, sobre la que se basa en parte la generativa, también tiene posibles utilidades en justicia, poniendo a título de ejemplo la denominada estilometría, que busca patrones concretos de estilo en una composición de texto, de modo que aspirando a la claridad, conmuta voces (penalizando la forma pasiva, la extensión de la frase, etc). También contamos en la actualidad con modelos de lenguaje generativo cerrado, es decir, aquéllos que se nutren únicamente con los datos que le fueron introducidos y que no se actualizan al no interactuar con otras aplicaciones que les proporcione aquella y en este extremo se diferencian de los modelos conectados a internet o a otros programas que les suministra información actualizada. En ambos casos lo que apreciamos es que, en principio, los programas trabajan con materia preexistente carente totalmente de creatividad autónoma al depender la respuestas de los datos que hayan sido introducidos.

Es evidente la mejora de la eficiencia que ofrecen los sistemas que manejan gran volumen de información pudiendo optimizarla ahorrando al usuario tiempo y esfuerzo; igualmente supone un avance en la accesibilidad, al permitir la audición de las páginas web, la traducción o el resumen de contenidos. No vamos a enumerar los innegables y múltiples beneficios que podemos extraer de su uso. Pero vamos a poner el acento en los medios que podemos emplear para que podamos disfrutar de aquéllos con seguridad.

Cuando afirmamos que las IA no son neutras, nos referimos a que la aspiración a lograr una neutralidad tecnológica y de la red, está considerado principio fundamental a garantizar mediante la adopción de mínimos éticos, situado en el mismo rango que la protección de los consumidores, la fiabilidad y la inclusividad en la Declaración Europea sobre los Derechos y Principios Digitales para la Década Digital (LA LEY 362/2023) (14) a la que expresamente se remite la IA Acts.

Si la Unión Europea es una ¨Unión de Valores¨ que se fundamenta en el respeto de la dignidad humana, la libertad, la democracia, la igualdad, el Estado de derecho y el respeto de los derechos humanos, incluidos los derechos de las personas pertenecientes a minorías, la protección y el mantenimiento de éstos, de modo que se reflejen en el desarrollo o la aplicación de la tecnología, deviene imprescindible para preservar los avances sociales y humanos logrados tras años de evolución.

III. Valores y principios aplicables a las IAS

La licitud en el desarrollo, cumplimiento y aplicación de los sistemas de IA, como componente en el que se ha de apoyar a largo de todo el ciclo de vida de aquéllos, se da por supuesta, ya que que ha de ajustarse a la AI Acts (15) recientemente aprobada (16) y a los derechos fundamentales que, además de sustentar los derechos legalmente exigibles garantizados por los Tratados de la UE y la Carta de los Derechos Fundamentales de la UE (LA LEY 12415/2007), son jurídicamente vinculantes.

Ahora bien, al margen de tal normativa, debido a las posibles implicaciones del uso de estos sistemas, entre otros, en la salud, libertad, seguridad de las personas, se pretende alcanzar un futuro en el que la democracia, el Estado de derecho y los derechos fundamentales sustenten los sistemas de IA, y en el que dichos sistemas mejoren constantemente y defiendan la cultura democrática, haciendo posible un entorno en el que puedan prosperar la innovación y la competitividad responsable.

Es por ello que la base sobre la que ha de gravitar la seguridad, protección y fiabilidad de la IA durante todo su ciclo vital, se centra en el respeto, promoción y de los derechos humanos y libertades fundamentales, como recoge expresamente la ONU en su reunión de 11 de marzo de 2024 (17) . El impulso normativo que requirió de los Estados para la gobernanza de la IA, fue asumido por la Unión Europea dotando de una regulación basada en el total respeto de los valores recogidos el artículo 2 (18) y en el artículo 6 (19) del Tratado de la Unión Europea (LA LEY 109/1994), y al que se remite tanto la Carta de Derechos Fundamentales de la Unión Europea (LA LEY 12415/2007) como el Convenio Europeo para la Protección de Derechos Humanos (LA LEY 16/1950) y las Libertades Fundamentales.

La AI Acts ha establecido unos mecanismos para llevar a cabo una evaluación de impacto relativa a los derechos fundamentales que describe en el considerando 34, previa a la puesta en funcionamiento y al tiempo del primer uso, promoviendo la actualización de los sistemas de IA de alto riesgo por los responsables de su despliegue (considerando 96), con la finalidad explícita que éstos determine(n) los riesgos específicos para los derechos de las personas o grupos de personas que probablemente se vean afectados y defina (n) las medidas que deben adoptar se en caso de que se materialicen dichos riesgos.

El objetivo de la IA Acts, en lo que al presente concierne, es promover la adopción de una IA centrada en el ser humano y fiable garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales, estableciendo para ello requisitos específicos para los sistemas de IA de alto riesgo, obligaciones para los operadores de dichos sistemas y normas armonizadas de transparencia aplicables a determinados sistemas de IA.

La UE ha identificado cuatro principios éticos que han de respetarse en el desarrollo, despliegue y utilización de la IA buscando la fiabilidad de la misma y enfocada en los derechos fundamentales, basada en los derechos humanos consagrados en la Carta de los Derechos Fundamentales de la Unión Europea (LA LEY 12415/2007) y en la pertinente legislación internacional de derechos humanos, y sobre los que vamos a centrar el presente.

Éstos son: el respeto de la autonomía humana; prevención del daño tanto en el aspecto positivo (beneficencia) como negativo (no maleficencia); equidad y explicabilidad. Establece a su vez siete requisitos (20) que han de sustentar el fundamento ético de la IA, a los que se refiere la propia AI Acts. (21) para contribuir a garantizar la fiabilidad, buscando un diseño de una IA coherente y centrada en el ser humano. Los siete requisitos son: acción y supervisión humanas; solidez técnica y seguridad; gestión de la privacidad y de los datos; transparencia; diversidad, no discriminación y equidad; bienestar social y ambiental, y rendición de cuentas.

1. Respeto a la autonomía humana. Acción y supervisión humanas

Como expresamente recoge la AI Acts., los sistemas de IA están diseñados para funcionar con distintos niveles de autonomía, lo que significa que pueden actuar con cierto grado de independencia respecto a la actuación humana y tienen ciertas capacidades para operar sin intervención humana, por ello el primero los principios a los que ha de adecuarse una IA fiable es el del respeto a la autonomía humana.

El enunciado del principio no deja de ser el recordatorio de la perspectiva antropocéntrica que ha de guiar cualquier evolución social, buscando el pleno respeto a la dignidad de las personas que, como derecho fundamental, viene recogido tanto en nuestra Constitución (art. 10) como fundamento del orden político y la paz social; en la Declaración Universal de Derechos Humanos (LA LEY 22/1948) (art.1) y que asocia a la libertad e igualdad de los individuos, a la vida y seguridad (art.3) y a la prohibición de tratosinhumano o degradante (art. 5); y en la Carta de los Derechos Fundamentales de la Unión Europea (LA LEY 12415/2007) (art.1) a la que dota de carácter inviolable, imponiendo su respeto y protección (22) .

Ese respeto se ha de mantener tanto en su vertiente colectiva, lo que supone que los fundamentos sociales y constitucionales de la libertad individual y libre desarrollo de la personalidad sean observados, como en el aspecto singular, de modo que una IA centrada en la persona y con su anclaje en los derechos humanos requiere que el respeto de la dignidad humana sea efectiva en la práctica.

Se adscriben a una posición humanista los distintos organismos que han elaborado los principios que seguimos, que implica una concepción individualista del ser humano como ser superior, defendiendo la ética de la IA basada en los derechos y la dignidad humanos o en una concepción antropocéntrica en el desarrollo y futuro de la IA (23) , de modo que el diseño, la implementación y el uso de los sistemas de IA, no trate al ser humano como objetos que se puedan filtrar, ordenar, puntuar dirigir condicionar o manipular; protegiendo la integridad física y mental, el sentimiento de su identidad personal, cultural y la satisfacción de sus necesidades esenciales de modo que solo no disminuya, sino que aumenten, complementen y potencien las aptitudes cognitivas, sociales y culturales de las personas.

Los sistemas de IA se han de concebir como auxiliadores o copilotos en la actividad en la que se empleen, resultando determinante que estos se encuentren bajo la acción y supervisión humana en cuanto ello es expresión del respeto a la autonomía individual. La materialización de tal principio dentro del desarrollo del sistema de IA, se encuentra en el control de la toma de decisiones durante el proceso previo a aquél, de modo que se impida que los sistemas de IA limiten la libertad del usuario, debiendo de funcionar de manera que pueda ser tanto dirigidos como vigilados adecuadamente por el ser humano.

Esta es la concepción normativa de acción y supervisión humanas, de modo que los sistemas de IA se desarrollen y utilicen como una herramienta al servicio de las personas, que respeta la dignidad humana y la autonomía personal, y que funciona de manera que puede ser controlada y vigilada adecuadamente por seres humanos.

En otras palabras, siguiendo a a Coeckelbergh (24) , una cosa es considerar el valor de la IA como auxilio, y en nuestro caso, la labor de juzgar y otra, es afirmar que la IA realiza un juicio.

La vigilancia humana, término empleado por la norma, exige que los sistemas de IA estén diseñados y desarrollados de manera que puedan ser vigilados de manera efectiva por personas físicas durante el período en uso, con la finalidad de prevenir o reducir al mínimo los riesgos para la salud, la seguridad y los derechos fundamentales (art.14).

Esa vigilancia efectiva entraña conocimiento de su funcionamiento, lo que se logra con la obligación que impone de ofrecer la información precisa del modo en que opera el sistema, para que la decisión se encuentre fundada en un discernimiento suficiente y adecuado para comprender aquélla; y si bien, el nivel de detalle no puede implicar aspectos técnicos, sí ha de ser adecuado para que su voluntad se haya formado idóneamente. Evidentemente se ha de garantizar que, en concreto en los sistemas que son calificados de alto riesgo por los peligros potenciales que su uso puede provocar (25) , los usuarios tengan las competencias adecuadas, un nivel de alfabetización, formación y autoridad en materia de IA adecuado para desempeñar adecuadamente dichas tareas (26) .

En este extremo, nos debemos detener en el hecho que el desconocimiento del modo completo en que se conducen los sistemas de IA (tanto por el tipo de datos que empleados y que son la base del entrenamiento del sistema, como por el propio desarrollo del mismo), no debe conllevar la obligada asunción de la decisión sin poder ignorarla, suspenderla o aún decidir no emplear la información de salida, ya que, la supervisión humana ha de incluir, ante la ausencia de dicho conocimiento y por ende de control total sobre el motivo o fundamento de las decisiones que toma la máquina, el otorgamiento de la discrecionalidad suficiente para no utilizar dicho sistema en situaciones en las que se atisbe dicha ausencia.

De hecho la norma recién aprobada, en determinadas situaciones en que las consecuencias para las personas son de gran entidad, establece un requisito de supervisión reforzada, consistente en la presencia de dos personas que hayan verificado y confirmado la decisión por separado (27) .

Por ello resulta necesario continuar debatiendo si la Administración en su relación con los administrados ha de servise en exclusiva de algoritmos denominados de caja blanca, ya que estos permiten conocer con total transparencia el árbol de decisión, ofreciendo visualmente las opciones descartadas y las opciones escogidas que dieron lugar al resultado ofrecido.

Desde la perspectiva del administrado, se debe recordar que está reconocido el derecho a no ser sometido a una decisión basada exclusivamente en procesos automatizados cuando tal decisión produzca efectos jurídicos sobre los usuarios o les afecte de forma significativa por motivos similares, tal y como viene recogido en el art. 22 del RGPD (LA LEY 6637/2016).

Por otro lado, la cantidad ingente de datos que incluyen y que son la base del entrenamiento del sistema, no debe provocar una ausencia de conocimiento y por ende de control total sobre el motivo o fundamento de las decisiones que toma la máquina, por ello se incluye en la documentación técnica que se ha de facilitar, la información descriptiva de los elementos del sistema de IA y de su desarrollo y una evaluación de las medias de supervisión humana necesaria para la evaluación de las medias técnicas necesarias para facilitar la interpretación de la información de calidad de los sistemas de IA por parte de los responsables del despliegue (28) .

La capacidad de supervisión del sistema se ha valorar desde un punto de vista amplio, incluyendo los efectos económicos, sociales, jurídicos como éticos, y debe de ser realizado por el «responsable del despliegue» que viene definido por la norma como: una persona física o jurídica o autoridad, órgano u organismo de otra índole públicos que utilice un sistema de IA bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional (art. 3.4). Y es a éstos quienes han de adoptar las medidas técnicas y organizativas adecuadas para garantizar que utilizan los sistemas de IA de alto riesgo conforme a las instrucciones de uso.

Ahora bien, el peligro cierto de manipulación o condicionamiento del comportamiento de utilizarse sistemas de IA que hayan sido desarrollados empleando subterfugios o mecanismos de manipulación, se ha de evitar mediante o bien su prohibición o mediante la evaluación previa al desarrollo de los sistemas de IA incluyendo mecanismos de supervisión en distintos grados, impidiendo que se pueda producir un engaño silente no detectado.

El observatorio de impacto Social y Ético de la Inteligencia Artificial ha identificado como riesgo la creación de excesiva dependencia de las herramientas generativas y pérdida de autonomía y pensamiento crítico, algo que ya adelantó Carr al referirse a al impacto de la red en nuestro cerebro. Añadimos el riesgo que supone la implementación cierta en el imaginario colectivo de la idea que el resultado de la máquina siempre es mejor que el obtenido por el hombre atribuyéndole una suerte de linfalibilidad del sistema al imputarle de modo acrítico una presunta objetividad y mayor conocimiento derivado de la cantidad de datos con los que cuenta para obtener resultado. Es posible que una sociedad anestesiada y sin capacidad ni voluntad de análisis, ceda ámbito de libertad de decisión por la asunción de la ficticia seguridad en la respuesta que dé el sistema.

2. El principio de prevención del daño. Solidez técnica y seguridad, gestión de la privacidad y de los datos.

El impacto que en derechos fundamentales puede afectar el desarrollo y uso de los sistemas de IA, puede prevenirse o al menos mitigarse en mediante la aplicación de criterios y reglas que, tras identificar cada una de las etapas donde puede producirse, establezcan contenciones y prevenciones en cada fase del desarrollo de la misma.

Las directrices que seguimos, valorando los aspectos sistémicos de esta tecnología, establece una serie de requisitos para conseguir que los sistemas de IA se ajusten al principio de beneficencia, que, remontando sus orígenes a la antigüedad clásica (29) , indica que toda actividad, en este caso tecnológica, debe tender hacia el bien, tanto desde el punto de vista individual como colectivo.

A) Prevención del daño

El principio de prevención del daño está fuertemente vinculado a la protección de la integridad física o mental (reflejada en el art. 3 de la Declaración Universal de derechos humanos (LA LEY 22/1948), en el artículo 15 de la Constitución Española (LA LEY 2500/1978), y 3 de la Carta Europea de los Derechos Fundamentales), buscando procurar que la utilización de los sistemas de IA ni provoquen daños ni agraven los existentes.

El concepto de daños es muy amplio pues no solo se refiere al directamente causado por el sistema, sino que incluye el indirecto, intangible o imprevisto. Como daño directo, fácilmente podemos visualizar un defectuoso funcionamiento de un sistema de IA empleado en vehículos que, por una decisión inapropiada aplicada al contexto, pudiese provocar un un siniestro. Ejemplo de daño indirecto podría ser el empleo de un sistema de IA para la contratación de personal que haya sido desarrollado de modo que emita propuestas sesgadas favoreciendo determinados grupos de personas y discriminando otras. Así la utilización del sistema ha provocado un daño indirecto, no intencional perpetuando situaciones discriminatorias, siendo esta una de las circunstancias que mayor preocupación presenta.

También es posible que el sistema produzca un daño imprevisto, al no funcionar como estaba programado o ¨alucinar¨ es decir, ofrecer una respuesta inesperada o historia ficticia que no esté basada en datos reales aunque utilice los patrones aprendidos, actuando de manera perjudicial.

Y, por último, es posible que el uso de esta tecnología resulten daños actualmente intangibles, y del que, en un futuro, resulten alteraciones en el medioambiente (debido a la huella de carbono), la cultura (la falta de consciencia de la utilización en ocasiones de datos que provocan la infracción de los derechos de autor disminuyendo dicha producción artística o técnica) y la sociedad ( con el fomento del discurso del odio, desinformación y manipulación cuyas consecuencias a medio plazo desconocemos).

Existe un peligro cierto de manipulación o condicionamiento del comportamiento de utilizarse sistemas de IA que hayan sido desarrollados empleando subterfugios o mecanismos de manipulación, como apunta Coekcbelg, incluso si se considera que los individuos pueden y deben ser manipulados por su propio bien (30) .

La nueva regulación, pretende evitar o, al menos mitigar dichos riesgos. Prohibe, conforme al art. 5.1. a), la utilización, puesta en servicio o uso de sistemas de IA que que se sirvan de técnicas subliminales que trasciendan la conciencia de una persona o de técnicas deliberadamente manipuladoras o engañosas con el objetivo o el efecto de alterar de manera sustancial el comportamiento de una persona o un grupo de personas, mermando de manera apreciable su capacidad para tomar una decisión informada y haciendo que una persona tome una decisión que de otro modo no habría tomado.

Además, los sistemas que califica la norma de alto riesgo, están sometidos a una fase de evaluación donde el responsable del despliegue ha de determinar los riesgos específicos para los derechos de las personas o grupos de personas que probablemente se vean afectados, y definir las medidas que deben adoptarse en caso de que se materialicen dichos riesgos.

Añadimos que en la actualidad no se cuenta con estudios para conocer el impacto físico del uso de esta tecnología. Si la eclosión que supuso los motores de búsqueda en la forma de tratar la información acarreó en el individuo mutaciones cerebrales que han provocado una merma evidente en la capacidad de atención y retención (31) , no debemos desdeñar en qué modo, la evolución de nuestro comportamiento y nuestra relación con el entorno puede quedar afectado por la interacción continua con programas que sustituyan la tarea de indagar, relacionar o deducir para alcanzar un determinado resultado.

B) Solidez técnica y seguridad

Íntimamente ligado a la prevención del daño y al principio de beneficencia, es la exigencia que pueda reclamarse de los sistemas de IA que cuenten con solidez técnica y seguridad. Estas características permiten que, en caso de producirse problemas inesperados puedan ser solventados sin daño. Para ello están previstas medidas a adoptar como la implementación de sistemas de gobernanza para contextos de empleo específico, mecanismos de supervisión humana con arreglo a las instrucciones de manejo, procedimientos de tramitación de reclamaciones y establecimiento de vías de recurso. Estos medios podrían ser determinantes para mitigar riesgos para los derechos fundamentales asociados a usos concretos (32) .

Igualmente se pretende que el funcionamiento de los sistemas sea resilente ante intentos de alterar el uso o frente a uso ilícito por terceros, y a su vez minimizar la posibilidad que produzcan daños no deseados. La Comisión Europea ejemplifica situaciones en las que un sistema puede ser objeto de ataques de los denominados piratas informáticos, y que pueden ir dirigidos contra los datos (envenenamiento de los datos), contra el modelo (fallo del mismo), contra la infraestructura informática subyacente (tanto el software como el hardware) (33) , o provocar un uso no previsto del sistema de IA y que pudiera ocasionar daño.

Los riesgos que identifica no son potenciales, son reales. Los ataques al sector público se incrementaron en el año 2024 en un 29%, y como ejemplo del daño que pueden llegar a ocasionar, referir el que sufrió el Hospital Clinic que obligó a cancelar intervenciones quirúrgicas (34) , o el que sufrió el Punto Neutro Judicial que en el año 2022 se accedió a información de más de 500.000 cuentas bancarias (35) .

Otras medidas que pueden adoptarse para que el sistema de IA sea fiable pasan por realizar los ensayos suficientes que garanticen que, en situaciones idénticas, el resultado sea el mismo, mostrando el mismo comportamiento. En esta labor puede resultar de gran auxilio los denominados archivos de replicación, que son aquéllos que, como su nombre indica, replicarán cada paso del proceso de desarrollo de un sistema de IA, desde la investigación y la recogida inicial de datos hasta los resultados.

El art. 13 de la AI Acts, precisa la información que ha de acompañar a los sistemas de IA y concreta en instrucciones que habrán de incluir, respecto de los calificados de alto riesgo identificados en el apartado b, ii), indica el nivel de precisión (incluidos los parámetros para evaluarla), que, conforme al art. 15, haya obtenido el sistema de IA de acuerdo con los criterios de referencia y metodologías de medición que hayan sido desarrollados por la Comisión, y prevé que podrá contar con con las partes interesadas y organizaciones pertinentes, como con las autoridades de metrología y de evaluación comparativa.

C) Gestión de la privacidad y de los datos

El derecho a la privacidad ya se encontraba en la Declaración Universal de Derechos Humanos (LA LEY 22/1948), que en su art. 12 prohibía las injerencias arbitrarias en la vida privada, sentando las bases para el reconocimiento global de este derecho fundamental. Recogido en la Carta de Derechos Fundamentales de la Unión Europea (LA LEY 12415/2007) (art.7) en su artículo 8, como vertiente de aquél, establece la protección de datos de carácter personal del siguiente modo: 1. Toda persona tiene derecho a la protección de los datos de carácter personal que la conciernan. 2. Estos datos se tratar de modo leal, para fines concretos y sobre la base del consentimiento de la persona afectada o en virtud de otro fundamento legítimo previsto por la ley. Toda persona tiene derecho a acceder a los datos recogidos que la conciernan y a su rectificación.

La Constitución Española (LA LEY 2500/1978), adelantada a su tiempo, ligaba el derecho a la privacidad con la protección del dato, en el art. 18, apartado 4, estableciendo que la Ley limitará el uso de la informática para garantizar el honor y la intimidad personal y familiar de los ciudadanos y el pleno ejercicio de sus derechos.

Los sistemas de IA se nutren de datos, de hecho se ha acuñado la expresión minería de datos que describe el proceso de extracción, transformación y carga de aquéllos, y a los que, mediante aplicación de técnicas estadísticas y algoritmos de aprendizaje automático, emplean para descubrir patrones ocultos y conocimiento útil en grandes conjuntos (big data). Los sistemas mejoran la eficiencia y precisión de éstos al analizar con la rapidez que le permita el sofware, ingentes cantidades de datos ofreciendo información para la optimización de las decisiones (36) .

Con la descripción del modo de conducirse estos sistemas, el potencial lesivo a la privacidad es fácilmente colegibe al desconocer la fuente de suministro de cada dato empleado. Es por ello que el origen y la finalidad de su uso han de ser lícitos, por cuanto no pueden emplearse aquéllos que fuesen obtenidos sin consentimiento de su titular ni ser utilizados para un fin distinto a aquél que era previsto y que motivó la autorización del afectado. Igualmente han de ser veraces lo que garantizará que la respuesta ofrecida en base a los mismos se ajuste a criterios de equidad.

La nueva regulación atiende, entre otros parámetros, a la naturaleza y la cantidad de los datos tratados y utilizados por el sistema de IA, en particular si incluyen entre aquellos categorías especiales de datos personales, para evaluar si un sistema de IA es de alto riesgo (37) .

Igualmente se exige que los datos sean de calidad, lo que implica que hayan de ser evaluados para que los que se introduzcan en el sistema estén dotados de coherencia, confiabilidad e integridad (38) . Y al respecto de este último requisito, su preservación durante todo su ciclo de vida, sin cambios y consistentes, permite garantizar que no se produzcan alteraciones o distorsiones en todo el proceso con consecuencias imprevistas o no deseadas.

Para garantizar el respeto del derecho a la privacidad, el proceso de recopilación ha de ser acorde con la finalidad prevista evitando con ello que el contenido recabado de aquéllos sea utilizada por sistemas de IA que estén desarrollados con otros propósitos. Piénsese un sistema de IA destinado a evaluar la solvencia crediticia nutrido de datos obtenidos con el asentimiento del titular pero cedidos para obtener una determinada aplicación, para acceder al contenido de una determinada página o para poder lanzar en redes fotografías, documentos o información de cualquier otro tipo.

El art. 10 de la AI Acts, prevé que se establezcan prácticas de gobernanza y gestión de datos para la validación, entrenamiento y prueba, entre otros, centrándose en el proceso de recogida, origen y finalidad inicial, incluyendo un examen sobre los posibles sesgos que pudiesen afectar a derechos fundamentales y medidas para detectarlos, prevenirlos y reducirlos.

Pongámonos en sistemas de IA creados para predecir el comportamiento de personas basados en datos que fueron ofrecidos por el titular en contextos completamente ajenos o durante periodos de tiempo no significativos para el fin perseguido. Este tipo de prácticas pueden provocar situaciones discriminatorias o desfavorables a una persona o grupo de personas. Destaca la regulación el riesgo cierto para los derechos fundamentales de los sistemas de IA que elaboren perfiles en el sentido del artículo 4, punto 4, del Reglamento (UE) 2016/679 (LA LEY 6637/2016) (39) , del artículo 3, punto 4, de la Directiva (UE) 2016/680 (LA LEY 6638/2016) o del artículo 3, punto 5, del Reglamento (UE) 2018/1725 (LA LEY 18401/2018), así como la clasificación de personas atendiendo a los datos especialmente sensibles en virtud del artículo 9, apartado 1, del Reglamento (UE) 2016/679 (LA LEY 6637/2016) (40) .

Es por ello que la nueva regulación pone el acento en que los sistemas de IA se desarrollen y utilicen de conformidad con normas en materia de protección de la intimidad y de los datos, debiendo de tratar datos que cumplan normas estrictas en términos de calidad e integridad (41) .

3. Principio de transparencia. Explicabilidad

La transparencia, como derecho fundamental del ciudadano, aparece expresamente recogido en el art. 105 CE (LA LEY 2500/1978), y se identifica con derecho al acceso a los archivos y registros administrativos, con excepción en lo que afecta a la seguridad y defensa del Estado, la averiguación de los delitos y la intimidad de las personas. Y en el art. 41 de la Carta de Derechos Fundamentales de la UE (LA LEY 12415/2007), como vertiente del derecho a una buena administración, se incluye el que ostenta toda persona a acceder al expediente que le afecte, dentro del respeto de los intereses legítimos de la confidencialidad y del secreto profesional y comercial y la obligación que incumbe a la administración de motivar sus decisiones.

Es evidente que la introducción de sistemas de IA en procesos administrativos cuyos resultados, decisiones o actuaciones afectan a la vida de los ciudadanos, precisa que aquéllos resulten explicables y transparentes. La transparencia se ha de predicar tanto en la comunicación pública de la utilización de un sistema de IA en cualquier fase del proceso de toma de decisión de las administraciones públicas, como en la información suministrada sobre el propio funcionamiento del sistema de modo que sea posible seguir el iter del proceso que culminó con el resultado ofrecido.

En cuanto al primer aspecto, uno de los objetivos de la IA Acts es el establecimiento de normas armonizadas de transparencia aplicables a determinados sistemas de IA (art.1.2.d). Es preciso que el interesado conozca que se encuentra interactuando con un sistema de IA, así como que se están generando contenidos mediante el uso de estos sistemas, ya que pueden conllevar riesgos específicos de suplantación o engaño (ap. 132). En sistemas que pueden inducir a creer que son auténticos es preciso que para cumplir el principio de transparencia que sean etiquetados (ap. 134) y ofrecer la posibilidad de reclamar la intervención humana, con obligaciones específicas de información tanto de la capacidad como de la limitación del mismo.

Dicha transparencia resulta imprescindible para que los responsables del despliegue de las IA sepan interpretar y usar la información de salida (art. 14 IA Acts), y resulta de una importancia tal, que la nueva regulación dedica un capítulo íntegro (42) al cumplimiento de requisitos de este tipo que impone a los proveedores y responsables del despliegue de sistemas de IA calificados de alto riesgo por el peligro potencial de afectación a derechos fundamentales.

Esta obligación no puede ser entendida como el derecho a exigir información que permita un completo conocimiento del modo de funcionamiento de la IA al resultar tanto innecesario como dificultoso de obtener, no ya por la posibilidad que se encuentre protegido por derechos de la propiedad intelectual o industrial, sino porque sea preciso para ello poseer conocimientos técnicos de los que carece el interesado debiendo de adaptarse al nivel de especialización de aquél.

El grado de explicabilidad dependerá del potencial impacto en los derechos de los ciudadanos que tenga el uso del mismo. Así, dicha exigencia no habrá de ser mayor en el conocimiento del motivo por el que la IA ofrece a un consumidor de plataformas de entretenimiento un determinado contenido, que aquél por el que la IA otorga una determinada calificación al riesgo de reincidencia de un delincuente.

Atendido el hecho que, cuando más complejo es el sistema mayor es la utilización de lo que se denominan algoritmos de caja negra, donde el funcionamiento interno del mismo es en ocasiones desconocido, el empleo de estos sistemas impide tener acceso a la lógica de las decisiones. Sin embargo esta circunstancia no puede justificar la ausencia de explicación, ya que es derecho del ciudadano conocer tanto el motivo por el que se toma una decisión que le afecte como el proceso que ha llevado a dicha conclusión, para poder, en su caso, solicitar una revisión de aquélla.

La transparencia como garantía de preservación de los derechos fundamentales, viene expresamente recogida en la nueva normativa, exigiendo su cumplimiento en distintos aspectos del proceso. Así, la transparencia sobre el fin original de la recopilación de datos permitirá la protección del derecho a la intimidad (ap. 67), la transparencia en los datos de entrenamiento busca encontrar un equilibrio entre la protección de los secretos comerciales y los derechos de autor (ap. 107); la transparencia en las instrucciones de uso que acompañan a los sistemas de IA de alto riesgo, como medio para ayudar a los responsables del despliegue a utilizar el sistema y tomar decisiones con conocimiento de causa, preservando con ello el derecho a una buena administración (ap. 72). Por ello es preciso que estas instrucciones deben contener el nivel previsto de los parámetros de funcionamiento de IA, y la comunicación de la misma se ofrezca de manera clara y fácilmente comprensible, sin malentendidos ni afirmaciones engañosas (ap. 74) y actualizada (ap.101).

El derecho a disponer de una explicación sobre el funcionamiento y el resultado es expresión del respeto a la dignidad humana, siguiendo a Coeckbergh (43) si se utilizan sistemas de IA en el proceso de toma de decisión, es indispensable que se pueda responder a la pregunta ¿porqué?

4. Equidad. Diversidad, no discriminación

La preocupación por la posible incidencia del uso de esta tecnología en la perpetuación o creación de antiguas o nuevas formas de discriminación o sesgo, directa o indirectamente, es patente en todos los estudios llevados a cabo sobre el posible impacto en derechos fundamentales. En la AI Acts, se preservan los principios de igualdad y equidad cuando los sistemas de IA se desarrollan y utilizan de un modo que incluya a diversos agentes y promueve la igualdad de acceso, la igualdad de género y la diversidad cultural, al tiempo que se evitan los efectos discriminatorios y los sesgos injustos prohibidos por el Derecho nacional o de la Unión.

La especial atención que se presta en el establecimiento de garantías en el desarrollo, despliegue y uso de sistemas de IA, afecta a la igualdad de acceso y trato, recogidos tanto en la Carta de Derechos Fundamentales de la Unión como derecho a la igualdad (art. 20) no discriminación (art. 21) y respeto a la diversidad (art.22); en la Constitución española (LA LEY 2500/1978) (arts. 1 (LA LEY 22/1948), 9 (LA LEY 22/1948) y 14), la declaración Universal de los derechos humanos (LA LEY 22/1948) (art.1 y 7).

Para garantizar la fiabilidad del sistema de IA se ha de dotar a este de medidas que permitan la inclusión y la participación de los interesados a lo largo de todo el ciclo de desarrollo del mismo, participación, que permitirá que sean tomadas en consideración las opiniones sobre el sistema de IA ya que sus decisiones pueden afectarles directa o indirectamente.

La inclusión se materializa también en el acceso a los sistemas de IA, que ha de ser universal, ya que de otro modo puede provocar un trato discriminatorio, como hemos adelantado, en sectores de la población vulnerables y que, por razón de situación física, económica, edad o de cualquier otro tipo, se encuentren en una posición de desigualdad material. Es por ello que se requiere que el despliegue permita la accesibilidad universal, dando entrada en este ámbito al diseño universal que es un término acuñado en arquitectura y que pretende que el diseño de los productos y entornos estén dirigidos a ser usados por todas las personas sin necesidad de adaptación o diseño especializado (44) .

La equidad como principio que debe de ser observado en el desarrollo y uso de los sistemas de IA impele a adoptar este tipo de actuaciones pro activas otorgando un trato diferenciado y justo a quienes presentan en su vida contextos y necesidades diferentes, ya que de dotar del mismo tratamiento a personas que no presentan dichas circunstancias, se vulnerarían los derechos de quienes precisasen de medidas de apoyo que son innecesarias para el resto.

Por otro lado, los humanos presentamos sesgos cognitivos (45) que fueron identificados y recopilados por Kahneman en su libro ¨Pensar rápido, pensar despacio¨, y que pueden presentar diferentes modalidades que, sin ánimo exhaustivo recordamos: confirmatorio aceptando sin someter a contradicción sugerencias o acontecimientos improbables; de disponibilidad entendido como la aceptación por la facilidad de obtención más que por el propio contenido; sesgo de resultado influenciando el pensamiento por la conclusión producida y no por las decisiones adoptadas previamente; sesgo optimista en cuanto a la confiada esperanza en un óptimo resultado, etc.

Estos sesgos que influyen en nuestro comportamiento inevitablemente tienen su reflejo en el desarrollo de sistemas de IA. Esta visión sesgada de la realidad puede imprimirse en el sistema en distintas fases del mismo. Desde el inicio, al tiempo de la selección de los datos que van a ser objeto entrenamiento, se puede comprometer la calidad de estos, cuando no son suficientemente representativos de la sociedad atendiendo a la diversidad de ésta, o también la integridad de los introducidos, al no ajustar los porcentajes a la realidad. Estos sesgos, como se advierte, pueden ser inherentes a los conjuntos de datos subyacentes, especialmente cuando se utilizan datos históricos, o generados cuando los sistemas se despliegan en entornos del mundo real.

Podríamos plantearnos que si se cuida de la selección de la información de entrada para que la de salida carezca de aptitud para causar discriminación, si también habían de aplicarse mecanismos correctores, mediante la adopción de actuaciones que beneficien a sectores desfavorecidos en situaciones de igualdad, para que la máquina no sea solo un reflejo de la sociedad sino una versión mejorada de ésta.

Indica la guía que seguimos que la programación de algoritmos o los datos empleados en el entrenamiento, también pueden presentar sesgos injustos, y por tanto la nueva regulación pretende combatir dicha situación mediante mecanismos de supervisión que analice el propósito, las restricciones, los requisitos y las decisiones del sistema de un modo claro y transparente. Autorizando, con la finalidad de detectar y corregir sesgos, incluso, con todas las garantías precisas, a los proveedores de sistemas de IA, a tratar también categorías especiales de datos personales, como cuestión de interés público esencial (art. 10.2.g y 10.5).

5. Bienestar social y ambiental

La pretensión que la IA promueva el bienestar social y ambiental se basa en el principio de beneficencia y el objeto último de esta tecnología que no es otro que aumentar el bienestar humano. En dicho propósito se incluye aumentar las competencias mentales de los usuarios, o al menos, mantenerlas, no mermarlas. Por ello cobra especial importancia el seguimiento que ha de hacerse de la evolución y de impacto en la población juvenil cuyas habilidades se encuentran en desarrollo mediante la utilización de estas herramientas.

Se pretende alcanzar el objetivo de un desarrollo, despliegue y uso de esta tecnología de modo sostenible y respetuoso con el medioambiente, valorando el consumo de materia prima y de energía, optimizando recursos. El ciclo de vida de la computación de IA se divide en cuatro etapas: producción, transporte, operaciones y etapas de fin de vida. Las emisiones más significativas (en torno al 70-80%) proceden de la fase operativa (46) .

Para hacernos una idea del impacto medioambiental que provoca, según los datos ofrecidos por la plataforma Adevinta (47) —investigación elaborada por las universidades de Riverside y Arlington— se alerta de la huella de carbono que generan los modelos de inteligencia artificial, especialmente los denominados modelos de lenguaje profundo (LLM). A título de ejemplo, este informe apunta que la demanda global de la IA podría conllevar para 2027 un gasto de entre 4.200 y 6.600 millones de metros cúbicos de agua. Asimismo, según los datos del Instituto de la Ingeniería de España, el entrenamiento de GPT-3 consumió unos 78.437 kWh de electricidad, lo que equivale al gasto de una vivienda media española durante 23 años.

Ahora bien, también se han de aprovechar las ventajas que los sistemas de IA pueden ofrecer por el mediambiente. Desde el foro económico social (48) han identificado nueve formas en que la IA ayuda a combatir el cambio climático como que la IA sabe dónde y a qué velocidad se derriten los icebergs; puede mapear la desforestación; ayudar a las comunidades vulnerables a identificar los riesgos climáticos en África; reciclar más residuos; limpiar el océano; predecir catástrofes climáticas; ayudar a la industria a descarbonizar; reforestar utilizando drones, etc. En definitiva, aplicando la IA para ayudar a combatir el cambio climático.

Igualmente la IA ha de estar orientada a conseguir el mayor bienestar social y ello implica prevenir los efectos negativos que pudieran ocasionar en las democracias. Si ponemos el acento en las cámaras de eco, burbujas de filtro y populismos que impulsa esta tecnología, debemos emplear el propio sistema para evitar la afectación al Estado de Derecho de los que usan técnicas de manipulación de masas (49) .

Es por ello que, la AI Acts indica que la aplicación de estos principios debe traducirse, cuando sea posible, en el diseño y el uso de modelos de IA y servir de base para la elaboración de códigos de conducta, invitando a todas las partes interesadas, incluidos la industria, el mundo académico, la sociedad civil y las organizaciones de normalización, a que tengan en cuenta, según proceda, los principios éticos para el desarrollo de normas y mejores prácticas voluntarias.

6. Rendición de cuentas

La rendición de cuentas es la expresión del principio de responsabilidad, como reflejo de la voluntad del agente causante que, ha de asumir las consecuencias de los actos ejecutados mediante la utilización de esta tecnología.

Obviando las disquisiciones filosóficas sobre a quien atribuir la responsabilidad —si ha de ser el sujeto que lo usa, el desarrollador que lo crea o el propio objeto que provocó el daño causado por el sistema de IA—, se pretende conseguir que la implementación de este principio siempre permita la auditabilidad de los sistemas de IA, lo que conlleva exigir información sobre las acciones o decisiones que contribuyen a un determinado resultado, y, por ende, responder de las consecuencias del mismo, en caso de ser éste adverso, prever mecanismos que aseguren una compensación adecuada, y por último, la utilización de evaluaciones de impacto, antes y después del desarrollo, despliegue y utilización de sistemas de IA.

IV. Riesgo de impacto en derechos fundamentales y medidas arbitradas

La AI Acts ha arbitrado medios para evitar que el desarrollo, despliegue o uso de los sistemas de IA impacte negativamente en los derechos fundamentales, pasando de ser meras recomendaciones que voluntariamente pudieran ser observadas por los actores durante todo el proceso de implementación de aquéllos, a obligaciones legalmente exigibles. Así establece un procedimiento de salvaguarda específico para garantizar una ejecución adecuada y oportuna frente a sistemas de IA que presenten un riesgo para la salud, la seguridad o los derechos fundamentales.

Indica el considerando 157 que este procedimiento debe aplicarse a los sistemas de IA de alto riesgo, a los sistemas prohibidos que hayan sido introducidos en el mercado, puestos en servicio o utilizados contraviniendo las prácticas prohibidas establecidas en la norma y a los sistemas de IA que hayan sido comercializados infringiendo los requisitos de transparencia establecidos en la misma y que presenten un riesgo.

Establece la AI Acts distintos modos de prevenir o mitigar los efectos negativos del despliegue o uso de los sistemas de IA, bien mediante la prohibición o bien mediante el procedimiento de evaluación que impele a adoptar medidas precautorias o correctivas.

1. Prácticas prohibidas

La norma considera inaceptables, y por ello las prohíbe, las prácticas consistentes en la introducción en el mercado, la puesta en servicio para este fin específico o el uso con las siguientes finalidades:

• — La inclusión en un sistema de IA de técnicas subliminales que trasciendan la conciencia de una persona o de técnicas deliberadamente manipuladoras o engañosas con el objetivo o el efecto de alterar de manera sustancial el comportamiento de una persona o un grupo de personas, mermando de manera apreciable su capacidad para tomar una decisión informada y haciendo que una persona tome una decisión que, de otro modo, no habría tomado, de un modo que provoque, o sea probable que provoque, perjuicios considerables a esa persona, a otra persona o a un grupo de personas. explote alguna de las vulnerabilidades de una persona o un grupo específico de personas derivadas de su edad o discapacidad, o de una situación social o económica específica, con el objetivo o el efecto de alterar de manera sustancial el comportamiento de dicha persona o de una persona que pertenezca a dicho grupo de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona o a otra.
• — Sistemas con la finalidad de evaluar o clasificar a personas físicas o a grupos de personas durante un período determinado de tiempo atendiendo a su comportamiento social o a características personales o de su personalidad conocidas, inferidas o predichas. Dicho puntaje ha de provocar o un trato perjudicial o desfavorable a personas o grupos en contextos ajenos a los que generaron o recabaron los datos originales o que dicho trato sea injustificado en relación con su comportamiento social o la gravedad de éste.
• — Sistemas con finalidad predictiva del riesgo de reincidencia delictiva, mediante la elaboración de perfil o evaluar rasgos y características de la personalidad a personas físicas. No se aplica cuando es instrumental o auxiliar de la evaluación humana y basada en datos objetivos y verificables relacionados con su actividad delictiva.
• — Sistemas para la creación o ampliación de bases de datos de reconocimiento facial mediante la extracción no selectiva de imágenes faciales de internet o de circuitos cerrados de televisión.
• — Sistemas creados para inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos. Se excepciona cuando esté destinado a ser instalado o introducido en el mercado por motivos médicos o de seguridad.
• — Sistemas de categorización biométrica que clasifiquen individualmente a las personas físicas sobre la base de sus datos biométricos para deducir o inferir su raza, opiniones políticas, afiliación sindical, convicciones religiosas o filosóficas, vida sexual u orientación sexual. Excepciona, al etiquetado o filtrado de conjunto de estos datos adquiridos legalmente ni su categorización en el ámbito de la aplicación de la ley.
• — Sistemas de identificación biométrica remota en tiempo real en espacios de acceso público con fines de aplicación de la ley. Prohibe el uso de aquéllos salvo en los casos expresamente previstos y con evaluación de impacto previo como posteriormente veremos. Respecto de estos últimos se permite el uso con autorización judicial o de un autoridad independiente, atendidos criterios de necesidad y proporcionalidad, previa o posterior (50) que, con la única finalidad de confirmar la identidad de la persona, atendiendo a las limitaciones de la legislación nacional, temporales, geográficas, relativas a las personas y en lo estrictamente necesario para alcanzar tal fin, y quedando prohibida la adopción de la decisión basada en exclusiva con la información de salida del sistema, estén destinados a cumplir alguno de los siguientes objetivos:
  • — Búsqueda selectiva de víctimas concretas de secuestro, trata de seres humanos o explotación sexual de seres humanos, así como la búsqueda de personas desaparecidas.
  • — Prevención de una amenaza específica, importante e inminente para la vida o la seguridad física de las personas físicas o de una amenaza real y actual o real y previsible de un atentado terrorista.
  • — Localización o identificación de una persona sospechosa de haber cometido una infracción penal a fin de llevar a cabo una investigación o un enjuiciamiento penales o de ejecutar una sanción penal por los delitos especificados en el Anexo II (51) .

Esta prohibición es compatible con las disposiciones que enumeran igualmente prácticas prohibidas establecidas Derecho de la Unión en materia de protección de datos, de no discriminación, de protección de los consumidores y sobre competencia

2. Evaluación de impacto en derechos fundamentales

El art. 27 de la AI Acts establece un procedimiento de evaluación del impacto en derechos fundamentales de los sistemas de alto riesgo que se ha de aplicar antes de la implementación de estos sistemas de IA, identificados en el Anexo III de los que excluye los destinados a ser utilizados como componentes de seguridad en la gestión y el funcionamiento de las infraestructuras digitales críticas, del tráfico rodado o del suministro de agua, gas, calefacción o electricidad.

Los sistemas a los que se aplica esquemáticamente expuestos son los siguientes:

• — Biometría, en la medida en que su uso esté permitido por el Derecho de la Unión o nacional aplicable.
• — Infraestructuras críticas.
• — Educación y formación profesional.
• — Empleo, gestión de los trabajadores y acceso al autoempleo.
• — Acceso a servicios privados esenciales y a servicios y prestaciones públicos esenciales y disfrute de estos servicios y prestaciones.
• — Aplicación de la ley, en la medida en que su uso esté permitido por el Derecho de la Unión o nacional aplicable.
• — Migración, asilo y gestión del control fronterizo, en la medida en que su uso esté permitido por el Derecho de la Unión o nacional aplicable.
• — Administración de justicia y procesos democráticos

El proceso de evaluación, identificados los riesgos que, para los derechos fundamentales puede producir esta tecnología, se realiza no sólo con anterioridad a la implementación del sistema, sino durante la vida del mismo.

Con carácter previo, al primer uso, se exige a los responsables del despliegue que informen sobre los siguientes extremos:

• — Descripción de los procesos en los que se utilizará el sistema de IA de alto riesgo en consonancia con su finalidad prevista.
• — Descripción de los procesos del responsable del despliegue en los que se utilizará el sistema de IA de alto riesgo en consonancia con su finalidad prevista.
• — Las categorías de personas físicas y grupos que puedan verse afectados por su utilización en el contexto específico y los riesgos de perjuicio específico que les pudieran afectar, conforme a la obligación de información impuesta en cumplimiento del deber de transparencia.
• — Una descripción de la aplicación de medidas de supervisión humana, de acuerdo con las instrucciones de uso.

Se ha de notificar el resultado de aquélla conforme al modelo que elaborará la Oficina de IA, complementando la información de impacto que hubiera sido realizada atendida a la normativa de protección de datos.

Durante el uso del sistema de IA la norma prevé que si el responsable del despliegue considera que alguno de los elementos enumerados ha cambiado o ha dejado de estar actualizado, adoptará las medidas necesarias para actualizar la información.

3. Principios del uso de los sistemas de IA en Administración de Justicia

Toda persona tiene derecho a que su causa sea oída equitativa, públicamente y dentro de un plazo razonable por un juez independiente e imparcial, establecido previamente por la ley, derecho fundamental reconocido en el art. 47 de la Carta de los Derechos Fundamentales de la Unión Europea (LA LEY 12415/2007), en el art. 10 de la Declaración Universal de los Derechos Humanos (LA LEY 22/1948), como expresión del derecho a un juicio justo (art. 6, 7, 8 y 11), y en nuestra constitución en el art. 24.

Como indica la AI Acts, los sistemas de IA destinados a la Administración de Justicia tienen un impacto potencialmente significativo en la democracia, el Estado de Derecho, las libertades individuales, así como el derecho a un recurso efectivo y a un juicio justo, y podrían dar lugar a posibles sesgos, errores y opacidad.

Específicamente, en el ámbito judicial, dados los altos riesgos que puede ocasionar su uso, la Comisión Europea para la Eficiencia de la Justicia (CEPEJ) (52) en su sesión de diciembre de 2018, señaló cinco principios que han de respetarse de emplear la IA en el Poder Judicial :

• 1) Principio de respeto de los derechos fundamentales: Asegurar que el diseño y la implementación de las herramientas y servicios de inteligencia artificial son compatibles con los derechos fundamentales.
• 2) Principio de no discriminación: Previniendo el desarrollo o la intensificación de cualquier discriminación entre individuos o grupos de individuos
• 3) Principio de calidad y seguridad: En relación al procesamiento de decisiones judiciales y datos, usando fuentes certificadas, datos y modelos concebidos en un sistema multidisciplinario en un entorno tecnológico seguro.
• 4) Principio de transparencia, imparcialidad y equidad: Con métodos de procesamiento de datos accesible, comprensible y con auditorías externas.
• 5) Principio «bajo control del usuario». Especialmente para evitar afectación a la independencia judicial cuando se utilice para ayudar a las autoridades judiciales a investigar e interpretar los hechos y el derecho y a aplicar la ley a un conjunto concreto de hechos, poniendo el acento en la libertad de elección en la interacción con el sistema de IA.

Tras esta formulación de principios, la CEPEJ ha elaborado una herramienta de evaluación para su traslación al ámbito de justicia (53) , especificando los riesgos que puede ocasionar, las medidas a adoptar, y que se pueden sintetizar en los siguientes ítems:

Como riesgos relacionados con los principios indicados señalan los siguientes:

• — Riesgo de datos reutilizables y/o uso de un modelo de IA entrenado para otro propósito.
• — Riesgo de divulgación de datos personales o secretos comerciales.
• — Riesgo de elaboración de perfiles de jueces y búsqueda de foros.
• — Riesgo de resultados de IA engañosos.
• — Riesgo de criterios poco claros y ponderación inadecuada de los criterios para el procesamiento de IA.
• — Riesgo de que la IA sustituya el acceso al juez.
• — Riesgo de fundamentos poco claros/injustificados de la sentencia.
• — Riesgo de ventaja injusta para una de las partes del juicio.
• — Riesgo de vulneración de derechos fundamentales o arbitraje inadecuado entre dos derechos fundamentales.
• — Riesgo de discriminación o amplificación de la discriminación.
• — Riesgo de generación y uso de disposiciones legales inexistentes por parte de la IA generativa.
• — Riesgo de pérdida de poder y limitación de la responsabilidad del juez mediante el uso de IA inexplicable.
• — Riesgo de mal uso de la IA.
• — Riesgo de uso forzado de la IA

Ante estos peligros potenciales, la CEPEJ propone un cuestionario de evaluación como herramienta que aborde los desafíos que plantea específicamente el diseño y el uso de la IA en el ámbito judicial para los jueces que puede complementarse con otros aplicables al despliegue de IA y/o herramientas dedicadas a los desafíos relacionados con la transparencia, la seguridad y la divulgación de datos personales (54) .

Consta de veintinueve preguntas diseñadas para crear conciencia e identificar las posibles infracciones de un sistema de IA a los principios de la Carta de la CEPEJ, y en particular a los Derechos Humanos y el Estado de Derecho, con preguntas subsidiarias para ajustar las respuesta o sugerir la implementación de medidas de mitigación, gestión de riesgos, o incluso indicar la reconsideración de la decisión inferida del sistema. También se proporcionan preguntas subsidiarias para perfeccionar las respuestas, para verificar o sugerir la implementación o pedir reconsiderar la implementación del sistema por infringir gravemente los principios referidos.

V. Conclusión

¿Es suficiente para la protección de los derechos fundamentales la reglamentación de la programación, desarrollo, implementación y uso de IA? o ¿es preciso establecer claramente unos derechos fundamentales digitales marco para evitar los potenciales perjuicios que esta tecnología pudiera ocasionar? Habida cuenta el avance ineluctable de esta tecnología, estamos abocados, por un lado a buscar una adaptación de los ya reconocidos al ámbito de los sistemas de IA de manera que se encuentre un equilibrio entre el avance tecnológico y la protección del ser humano, fundamento último de aquéllos; y por otro lado, avanzar hacia un consenso mundial en la instauración de una cuarta generación de derechos que específicamente sean de carácter tecnológico y adaptados a los sistemas de IA.