Volver a página de inicio

I. ¿Inteligencia Artificial?

No pretende, ni podría, este trabajo ofrecer una definición de lo que es la IA, ni tampoco es el objeto del mismo. Fundamentalmente, como se verá, porque tampoco la hay actualmente. Pero es preciso efectuar una aproximación al concepto para poder apreciar los riesgos de su uso. Como se ha indicado, pese al recurrente uso del vocablo, no existe una definición unánimemente aceptada, ya que mientras que para unos tiene que ver con formas de vid.a artificial que pueden superar la inteligencia humana, para otros, cualquier tecnología de tratamientos de datos puede considerarse como tal (recomendaciones personalizadas de contenidos en Netflix, Spotify, etc). Tampoco hay una definición oficial consensuada (un chiste informático, la define como cosas guays que los ordenadores no pueden hacer), al integrar en el concepto sistemas tecnológicos que realizan desde tareas que se nos antojan de una gran dificultad y que para el programa no la entrañan (como jugar al ajedrez, ejemplo de ello son las conocidas partidas de Deep Blue contra Kasparov en 1997), como otras, que a los humanos nos resultan totalmente naturales, como agarrar objetos, y que sin embargo para su ejecución por una máquina precisa de una coordinación de muchos actos de ejecutados modo simultáneo (vista del objeto, decisión del movimiento, precisión del agarre, decisión de la fuerza a emplear en función del peso del objeto, etc), de modo que precisa un software de robótica que combine las redes neuronales de aprendizaje profundo con la optimización de la planificación del movimiento para calcular como agarrar y mover objetos con suavidad y rapidez. (3)

Para efectuar un aproximación al concepto, emplearemos dos palabras clave descriptivas: Autonomía —capacidad de ejecutar tareas en situaciones complejas sin la dirección constante del usuario—,y adaptabilidad –capacidad para mejorar la ejecución de las tareas aprendiendo de la experiencia—, ahora bien, la utilización de la palabra inteligencia puede dar lugar a equívocos, porque se asocia a la idea que el sistema puede ser capaz de realizar tareas como un humano, y no es así. Dentro del concepto, se utilizan —integran— otros, que se refieren a campos conectados e interrelacionados (informática, estadística, matemática computacional y análisis de datos) en la IA, pero que según el objetivo perseguido, son utilizados todos o algunos de ellos:

• — Aprendizaje automático, que no es más que un subcampo de la informática que se refiere a sistemas que van mejorando a medida que se usan o que acumulan datos.
• — Aprendizaje profundo, al igual que el anterior es un subcampo de la informática y que cuando añade el término profundidad, se refiere a la complejidad del modelo matemático utilizado. El aumento de la capacidad y velocidad de computación de los ordenadores modernos ha permitido incrementar esa complejidad a los investigadores hasta alcanzar niveles cuantitativa y cualitativamente diferentes a los anteriores.
• — Ciencia de datos, disciplina que abarca varios subtipos que incluyen el aprendizaje automático, la estadística, aspectos en los que se utiliza la informática en concreto los algoritmos, el almacenamiento de datos y el desarrollo de aplicaciones web.
• — Robótica, construcción y programación de robots que puedan operar en situaciones complejas en el mundo real, exigiendo la intervención combinada de todos los ámbitos de la inteligencia artificial (visión, reconocimiento del habla, procesamiento de lenguaje natural, recopilación de información, razonamiento para procesar instrucciones y predecir consecuencias de las diferentes decisiones de acción, modelado cognitivo y/o computación afectiva).

La RAE define «inteligencia artificial» como la «disciplina científica que se ocupa de crear programas informáticos que ejecutan operaciones comparables a las que realiza la mente humana, como el aprendizaje o el razonamiento lógico».

Por tanto lo que pudiera parecer que integra un concepto unitario, no es tal, ya que, como indica la disposición que está preparando la UE para la regulación de los sistemas de la IA (4) otorgando una definición que pretende ser lo más tecnológicamente neutra posible y resistir al paso del tiempo lo mejor posible, habida cuenta de la rápida evolución tecnológica y del mercado en relación con la IA, considera el Sistema de inteligencia artificial (sistema de IA) como: un sistema basado en máquinas que está diseñado para funcionar con distintos niveles de autonomía y que puede, con objetivos explícitos o implícitos, generar resultados tales como predicciones, recomendaciones o decisiones que influyen en entornos físicos o virtuales (5) .

Considera por tanto como sistemas de IA:

• — Software: asistentes virtuales, software de análisis de imágenes, motores de búsqueda, sistemas de reconocimiento de voz y rostro.
• — Inteligencia artificial integrada: robots, drones, vehículos autónomos, Internet de las Cosas.
• — Sistemas de IA de propósito general: sistema de IA que puede ser usado para y adaptado a un amplio espectro de aplicaciones para el que no fue diseñado intencional y específicamente.

Integra el concepto, tanto los productos o servicios que emplean tecnologías de inteligencia artificial, como sistemas de inteligencia artificial independiente. Sin embargo, como se ha indicado, el uso extendido del vocablo conlleva la confusión de considerar IA cualquier sistema tecnológico de utilización masiva de datos. La IA puede ser entendida tanto como un conjunto de tecnologías que permiten emular, a través de las máquinas y algoritmos, algún tipo de comportamiento, cómo aquellas que llevan a cabo tareas, resolver problemas o ayudan en la toma de decisiones.

Sin embargo, no es inteligencia, como entendemos el concepto con la RAE, esto es facultad de la mente que permite aprender, entender, razonar, tomar decisiones y formarse una determinada idea de la realidad, ya que ni los neurocientíficos tienen muy claro lo que es. Pero lo cierto es que en la actualidad, no existe la denominada IA general, entendida como máquina que puede ocuparse y resolver cualquier tarea intelectual (6) . Actualmente los investigadores de este campo, han abandonado el ideal de la inteligencia artificial general debido a que apenas ha habido progreso a este respecto durante los últimos cincuenta años, a diferencia de la IA estrecha —que se ocupa de una exclusiva tarea— que avanza a pasos agigantados (7) . En realidad como indica algún autor, se busca una mímesis entre la IA y las (neuro) ciencias cognitivas, ya que a la par que el cerebro es imaginado como un dispositivo computacional, sin embargo se pretende crear nuevo hardware con base en el modelo del cerebro, representado por esta tecnología (8) .

II. Riesgos derivados del funcionamiento de los sistemas de IA

Como cualquier sistema elaborado por humanos, es falible y es preciso conocer que puede presentar disfunciones para poder emitir un juicio crítico sobre la conveniencia de su uso en Justicia, donde se ha de procurar en todo caso el respeto a la equidad en los resultados que muestra, la transparencia en el proceso de su formación, la explicabilidad de la decisión adoptada y el respeto a la privacidad y dignidad de las personas.

Conocer que la IA es actualmente capaz de alterar o generar contenidos de todo tipo (denominada IA generativa que evoluciona a optimización o verticalización de los modelos (9) ), de modificar los datos de la biometría de una persona o de la voz (sistemas face2face o lyrebird) de modo que resulte imposible distinguir los creados artificialmente de los reales, nos obliga a cuestionar en nuestra función jurisdiccional el principio de inmediación, en cuanto máximo exponente de la primacía que se otorga a nuestra percepción sensorial, a la que atendemos y de la que dependemos necesariamente para valorar el contenido de las pruebas.

Recientemente se ha llegado a solicitar una pausa de seis meses a los desarrolladores de estos sistemas, hasta que se establezcan sistemas de seguridad con nuevas autoridades reguladoras, vigilancia de los sistemas de IA, técnicas que ayuden a distinguir entre lo real y lo artificial, e instituciones capaces de hacer frente a lo que algunos auguran como la «dramática perturbación económica y política (especialmente para la democracia) que causará la IA» (10) . Es preciso, pues, conocer los principios fundamentales del funcionamiento del sistema, ante la resistencia de las empresas de revelar detalles de los algoritmos, para ayudarnos a entender las posibles implicaciones del uso inadecuado de la IA: cámaras de eco (fenómeno que permite encontrar ideas que amplifican o refuerzan las creencias de cualquier tipo), burbujas de filtro (que supone una búsqueda personalizada, al proporcionar el algoritmo información basada en sus propios datos —localización, historial de búsquedas, páginas recientes, etc—), granjas de troles (grupo organizado de trols de internet que persiguen interferir de manera anónima en las opinión pública), noticias falsas y nuevas formas de propaganda. Venimos a identificar los riesgos del propio funcionamiento del sistema de IA y los riesgos que entraña su utilización en Justicia.

1. Sesgo algorítmico, discriminación

El sesgo cognitivo afecta a las decisiones que adoptamos consciente o inconscientemente y, sistemáticamente, provoca una distorsión de la información que se produce en el cerebro al procesarla, emitir juicios y tomar decisiones (término acuñado por los psicólogos israelíes Kahneman y Tversky). El denominado sesgo algorítmico, apunta a la incorporación al sistema de una posible discriminación por razones étnicas, de status económico, de género, de edad, demográfica, religiosas, o de otro tipo, normalmente desfavoreciendo a las minorías o grupos que no estén bien representados en los datos que se utilizarán como patrones de aprendizaje informático. Se puede producir tanto al introducir los datos o al entrenar estos dando lugar al sesgo estereotipado, introduciendo el propio prejuicio en el trabajo que realizan.

No sería más que la plasmación en el sistema del sesgo humano al recopilar datos, que o bien no son representativos de la realidad (sesgos de muestreo, cuando, por ejemplo se utilizan más rostros blancos que de otro color) o bien reflejan prejuicios ya existentes (como a título de ejemplo, el entrenamiento del algoritmo utilizando decisiones preexistentes históricas de contratación que favorecían a los hombres sobre las mujeres, manteniendo la máquina la discriminación aprendida, caso Amazon) (11) . Se ha constatado en los últimos años que estos sesgos tienden a repetir y perpetuar las dinámicas asentadas de dominación, privilegio y discriminación duplicando el riesgo que estas queden acentuadas y reforzadas (12) .

Por otro lado, al aplicar el algoritmo cálculos estadísticos sobre los datos para encontrar patrones que puedan proporcionar información, identificar tendencias y hacer predicciones, el sesgo se puede también encontrar en el aprendizaje automático, pudiendo producirse una distorsión del valor sistemático, subestimando o sobreestimando el valor de una medición (13) de manera que puede ofrecer resultados discriminatorios.

Si se encuentra en el momento de la preparación de los datos para seleccionar los atributos que queremos que el algoritmo tenga en cuenta, puede el algoritmo de aprendizaje automático instruirse discriminando por género, origen económico, étnico, o ideológico, pero también puede llegar a perfilar personas en función de patrones preestablecidos para seleccionar o segregar los que cumplan con aquellos. La Resolución del Parlamento Europeo sobre la inteligencia artificial en la era digital, apreció que los sesgos en los sistemas de IA, en especial en lo que respecta a los sistemas de aprendizaje profundo, se producen a menudo debido a la falta de datos de entrenamiento y de prueba diversos y de alta calidad, por falta de diversidad en los equipos desarrolladores, o porque se ha comprometido el algoritmo. (14)

Pese a que la propuesta de regulación de la IA, prevé una serie de controles ex ante y ex post del tratamiento de los datos pretendiendo eliminar cualquier sesgo, es preciso conocer que este puede introducirse directa o sutilmente en el patrón de funcionamiento del sistema de la IA para poder valorar el resultado que ofrece.

El artículo 22 del Reglamento de Protección de Datos impide la toma de decisiones automatizadas basadas únicamente en el tratamiento automatizado que produzca un efecto jurídico o afecte significativamente de modo similar, incluida la elaboración de perfiles. Un ejemplo, podría ser la selección de candidatos a un puesto de trabajo, o el rechazo automático de una solicitud de crédito basado en el mismo. Sin embargo, la decisión adoptada en dicho perfilado solamente podría resultar ilegal, si el rechazo a que nos hemos referido se produce de modo mecánico basado en el programa sin justificación individualizada y sin intervención humana.

Con base en la normativa de protección de datos, el Tribunal Constitucional en Pleno mediante sentencia 76/2019, de 22 de mayo de 2019 en el recurso de inconstitucionalidad 1405/2019, interpuesto por el Defensor del Pueblo, declaró inconstitucional y nulo el art. 58 bis (LA LEY 1596/1985). 1 de la Ley Orgánica 5/1985, de 19 de junio (LA LEY 1596/1985), del régimen electoral general, incorporado por la Ley Orgánica 3/2018, de 5 de diciembre, de protección de datos personales y garantía de los derechos digitales (LA LEY 19303/2018), que permitía a los partidos políticos recopilar datos personales relativos a las opiniones políticas de los ciudadanos. El fallo da la razón al Defensor del Pueblo, que instó la acción para la protección de datos personales de los ciudadanos, ya que un algoritmo bien entrenado y diseñado podría, nutriéndose de los datos de una persona extraídos de los motores de búsqueda, de muestras de agrado o seguidores en redes sociales, con un grado de acierto muy elevado, conocer sus intereses, fobias y filias ideológicas, políticas o religiosas, y con ello facilitar la creación de un perfil de ideología política (15) .

No se ha llegado a conseguir hasta ahora probar en términos procesales la presencia del sesgo en los sistemas de IA, como en el caso Loomis, seguido ante la Corte Suprema de Wisconsin que, en el año 2016, resolvió sobre el uso del programa, COMPAS, que emplea un algoritmo predictivo de aprendizaje automático (machine learning) adoptado por la Administración de Justicia de Estados Unidos para determinar el riesgo de reincidencia del individuo en diferentes etapas del proceso penal, y esa probabilidad de reincidencia afecta a la decisión sobre su puesta o no en libertad. La demanda se formuló en relación a la ausencia de respeto al «debido proceso», pero no se demostró la existencia de un sesgo por razón del origen racial de las personas en el programa, pese a que quedó acreditado que daba siempre como resultado un porcentaje de reincidencia más elevado en las personas de raza negra. Si se brindase información sobre el funcionamiento del algoritmo se podría evaluar mejor la recomendación que realiza el sistema de IA, y considerar sus limitaciones para evitar adoptar la decisión basada exclusivamente en el resultado que ofrece el sistema.

Este tipo de sistema de inteligencia artificial está categorizado en la propuesta de regulación de la Unión Europea como de alto riesgo (artículo 6.2, a), en tanto que puede tener consecuencias perjudiciales importantes para los derechos fundamentales, permitiendo su uso por parte de las autoridades encargadas de la aplicación de la ley para llevar a cabo evaluaciones de riesgos individuales de personas físicas con el objetivo de determinar el riesgo de que cometan infracciones penales o reincidan en su comisión, así como el riesgo para las potenciales víctimas de delitos, lo que supone estar sometido a controles ex ante y ex post ( art.9) sin llegar a estar prohibida.

La utilización discriminatoria de los datos personales por parte del sistema fue sometida a juicio en el año 2020 en el caso SyRI (acrónimo de sistema de indicación de riesgos), que el Gobierno holandés, utilizaba con instrumento legal para combatir el fraude de ingresos y contribuciones fiscales y leyes laborales. El sistema evaluaba el riesgo potencial que una persona pudiera hacer uso ilegal de los fondos gubernamentales, mediante el procesamiento de sus datos en dos fases: en la primera recopilaba todos los datos de la persona (becas, seguros, trabajo, sanciones, residencia, etc), tras su pseudonimización, se asignaba un número, que al cruzar con los datos de modelos y factores de riesgo, otorgaba una calificación a éste. Si el riesgo obtenido era elevado, en una segunda fase, se sometía a una unidad de análisis que califica el riesgo definitivo.

La sentencia de 5 de febrero de 2020, Rechtbank Den Haag, del Tribunal de Distrito de La Haya, entendió que el sistema algorítmico utilizado por el Gobierno de los Países Bajos para evaluar el riesgo de fraude, no cumplía las exigencias de proporcionalidad y transparencia necesarias y vulnerando las previsiones sobre respeto a la vid.a privada que reconoce el artículo 8 del Convenio Europeo de Derechos Humanos (LA LEY 16/1950). Indicó el Tribunal que el procesamiento de datos afecta significativamente a una persona cuando sus efectos sean lo suficientemente importantes para afectar significativamente al comportamiento o a las decisiones de las personas involucradas; tener un efecto a largo plazo o duradero en la persona interesada; o, conducir a su exclusión o discriminación. El derecho a la privacidad de los ciudadanos fue infringido, al no hacer público el Gobierno el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado información sobre el método de análisis de riesgos utilizado, desconociendo el afectado que dicha información era utilizada con dicha finalidad y sin poder verificar la información empleada, de modo que al establecer perfiles de riesgo se podía producir conexiones involuntarias basadas en sesgos (16) .

En sentencia del 31 de diciembre de 2020, el Tribunal Ordinario de Bolonia, Italia, declaró la presencia de discriminación indirecta en las condiciones laborales de los trabajadores, en el denominado caso Deliveroo. La empresa empleaba la aplicación ¨Frank¨ que empleaba un algoritmo elaborado con las indicaciones de la empresa en cuanto a puntuación y prelación de trabajadores para que estos puedan reservar sesiones de trabajo. Dicha puntuación dependía de dos índices: fiabilidad, el número de ocasiones que el trabajador no cumple con la sesión de trabajo reservada y disponibilidad, número de ocasiones en las que el trabajador está disponible en la franja horaria de mayor demanda (20 a 22 horas de viernes a domingo).Esta aplicación discriminaba el sistema de acceso a la reserva de las franjas horarias de jornadas de los trabajadores en la plataforma, al no tener en consideración el sistema, conforme a las instrucciones de la empresa, como justificadas las ausencias de trabajo (huelga o enfermedad) incidiendo en la puntuación del rider. Ello suponía que las ausencias justificadas eran puntuadas similarmente a las no justificadas, afectando a la posibilidad de elección de horario. En la resolución no se resolvió claramente sobre el funcionamiento del algoritmo y la opacidad del mismo, pero quedó demostrado que los datos introducidos de modo sesgado por quien encomienda la elaboración del sistema, llevan a resultados discriminatorios.

En España, con la finalidad de evitar esta situación, se dictó la Ley 12/2021, de 28 de septiembre (LA LEY 21294/2021) (Ley riders) por la que se modifica el Texto Refundido de la Ley del Estatuto de los Trabajadores, aprobado por el Real Decreto Legislativo 2/2015, de 23 de octubre (LA LEY 16117/2015), para garantizar los derechos laborales de las personas dedicadas al reparto en el ámbito de plataformas digital como Glovo, Deliveroo o Uber Eats, que deberán adaptarse en orden a reflejar la relación laboral con sus repartidores y compartir los algoritmos, en un período de tres meses, obligando a la empresas a «compartir con los sindicatos las reglas en las que se basan los algoritmos que pueden afectar a las condiciones laborales», dando de dicho modo publicidad a las reglas que encierran los algoritmos y los sistemas de inteligencia artificial que pueden incidir en las condiciones laborales por las que se rigen las plataformas, incluyendo el acceso y mantenimiento del empleo y la elaboración de perfiles. Introduce una nueva letra d) en el artículo 64.4, que reconoce como derecho del trabajador a: «Ser informado por la empresa de los parámetros, reglas e instrucciones en los que se basan los algoritmos o sistemas de inteligencia artificial que afectan a la toma de decisiones que pueden incidir en las condiciones de trabajo, el acceso y mantenimiento del empleo, incluida la elaboración de perfiles».

No obstante lo expuesto, es preciso conocer que la propia tecnología ofrece sistemas para detectar y evitar los problemas del uso poco ético de la IA, aunque cumplir con la exigencia de transparencia, como veremos, mediante la explicabilidad del mismo se presenta más complicado puesto que en modelos complejos de IA el efecto de cajas negras es mayor.

2. Falta de transparencia del algoritmo, explicabilidad de la decisión

Arthur C. Clarke, en 1962, en su libro perfiles del futuro, formuló como una de sus tres famosas leyes la que sigue: «Cualquier tecnología suficientemente avanzada es indistinguible de la magia». Con ello podríamos describir nuestra posición ante el funcionamiento del algoritmo, a lo que ha de añadirse la presencia de lo que se denomina ¨caja negra¨ (17) donde opera aquel, que, en resumen, significa que ofrecen un resultado o toman una decisión sin explicar o mostrar cómo lo hicieron, al ser desconocidos los procesos internos utilizados y los múltiples factores ponderados, de modo que ni sus programadores saben cómo están tomando esas decisiones. Las entidades desarrolladoras son conscientes de ello y están creando programas que permitan observar a los usuarios del sistema de IA cómo los algoritmos toman decisiones y qué factores usan para hacer recomendaciones al final del proceso (18) .

Evidentemente a menor complejidad del sistema de IA, menor es la dificultad de explicabilidad del mismo. Es preciso conocer que existen también algoritmos de caja blanca en sistemas de machine learning que permiten ver el funcionamiento interno del modelo, el resultado obtenido y el árbol de decisión que detalla exactamente qué partes de la entrada se tuvieron en cuenta, cómo se ponderó cada factor, cual se ignoró, etc.

Se ha reclamado que las agencias gubernamentales dejen de usar algoritmos de caja negra (19) , ya que deberíamos tener mecanismos de protección equivalentes para decisiones algorítmicas como los tenemos para decisiones humanas. De modo que, para conseguir la fiabilidad del sistema y que se confíe en las decisiones autónomas, es preciso que el proceso deductivo sea inteligible y transparente, buscando necesariamente un equilibrio entre explicabilidad y complejidad, ya que como se ha indicado, a mayor complejidad menor posibilidad de explicabilidad. La transparencia de algoritmos de deep learning, por estas razones es difícil de alcanzar aunque han surgido técnicas para ello. El escollo se puede encontrar en el tipo de algoritmo al interpretar los modelos entrenados, pero se puede efectuar una clasificación digitalizada de la metodología, esto es, según se quiera realizar una interpretabilidad local —de parte del modelo— o global —el modelo entero—; o si pretende que sirva para varios modelos o no. Es posible emplear técnicas que aproximen con un modelo explicable otro no explicable, incrementando los estudios científicos de cómo interpretar mejor los algoritmos, existiendo herramientas de código abierto que ayudan a ello (20) .

Este riesgo se encuentra identificado y advertido en la regulación que actualmente disponemos, ya que, el derecho a disponer de una explicación del resultado obtenido tras la aplicación de algún algoritmo de aprendizaje automático se encuentra recogido en el REGLAMENTO (UE) 2016/679 DEL PARLAMENTO EUROPEO Y DEL CONSEJO de 27 de abril de 2016 (LA LEY 6637/2016) (21) , en tanto que el principio rector de la protección de datos consagrado en la Carta de los Derechos Fundamentales de la Unión Europea (LA LEY 12415/2007) (art. 8) y que subyace en el RGPD (LA LEY 6637/2016) (arts. 5.1 a) y 12), es la transparencia.

Entre las pautas éticas que han de seguirse para una IA fiable, además de atender a los principios de prevención del daño y equidad, se ha incidido en la importancia del principio de explicabilidad, como elemento crucial para construir y mantener la confianza de los usuarios en los sistemas de IA, implicando la transparencia en los procesos, capacidad y propósito de los sistemas, de manera que puedan ser explicados a aquellos quienes se van a ver afectados directa o indirectamente, por las decisiones que se adopten.

Sin embargo, como se ha apuntado, el modo en que estos datos están masivamente tratados por el sistema de IA y los factores que llevan a la toma de decisiones por los algoritmos, no son visibles, lo que conlleva la necesaria desconfianza en la calidad de la decisión. Uno de los derechos que recoge la propuesta de regulación de la IA es el de la explicabilidad en relación con los sistemas de Machine Learning. Igualmente se encuentra recogido en el artículo 15.1.h, de forma explícita en el Reglamento 2016/679 (LA LEY 6637/2016) relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (LA LEY 5793/1995) (Reglamento general de protección de datos (LA LEY 6637/2016)) al disponer en cuanto al derecho al acceso del interesado a sus datos, debe de constar la información comprensible sobre la lógica empleada, además de la relevancia y consecuencias previstas del procesamiento automatizado de datos, siempre, y añadimos, que no afecte a otros derechos como la propiedad intelectual.

Tanto las bases de datos como los algoritmos son considerados en las empresas activos intangibles, de modo que su libre acceso puede llegar a poner en riesgo su negocio. Ello supone que, pese a la dificultad legal de su patentabilidad (RD Legislativo 1/1996, de 12 de abril (LA LEY 1722/1996)), de hecho, la petición de conocimiento público del algoritmo puede ser denegada por aquellas acogiéndose a la Ley de secretos empresariales, 1/2019, 20 de febrero, permitiendo a la empresa mantener una actitud activa en el mantenimiento del secreto. Esta protección puede convertirse en un obstáculo para poder llegar a conocer la transparencia del proceso o la identificación de la parte de los elementos que, de los datos o de los algoritmos, pudieran provocar la toma de decisiones discriminatorias.

En la Carta Ética Europea sobre la IA (22) , se recoge el principio de transparencia, identificado como acceso al proceso de diseño completo que incluye: el diseño y la cadena operativa, como el proceso de selección, la calidad y organización de los datos que influyen directamente en la fase de aprendizaje, con código fuente abierto; la explicación del mismo mediante un lenguaje sencillo al comunicar las herramientas que se han desarrollado, el rendimiento y los riesgos de error; exigiendo que se priorice la justicia cuando la herramienta va a afectar significativamente la vid.a de las personas. Indica la realización de auditorías por expertos que asesoren, certifiquen y auditen los métodos de procesamiento, con una revisión periódica por las autoridades, buscando el equilibrio con la restricción que supone la protección de los secretos comerciales.

III. Riesgos éticos del uso de los sistemas de IA en Justicia

Es endémica la lentitud atribuida a nuestro sistema judicial, debido no solo al vetusto proceso, sino también al volumen de asuntos que ingresan anualmente en nuestro país y a la ínfima ratio juez/población. Una de las posibles ventajas que, según se afirma, ofrecería el uso de sistemas de IA en justicia sería la de su agilización. También se ha apuntado como beneficio, la predictibilidad de las decisiones. Usando algoritmos se puede llegar a reducir el margen de discrecionalidad judicial, que algunos consideran excesivo, propugnando su incorporación como soporte para jueces en sus decisiones.

La Estrategia Nacional de Inteligencia Artificial (ENIA), con la intención de realizar una transición digital, impulsando la IA como elemento principal de la agenda España digital 2025, recoge como finalidad el uso de la IA para optimizar el tiempo y los recursos, y mantiene que las aportaciones de la Inteligencia Artificial al sector público que se están haciendo en numerosos ámbitos, es aplicable también a la prestación de los servicios públicos en diferentes sectores de actividad entre los que incluye Justicia. Establece como línea de actuación lanzar proyectos estratégicos (23) para la mejora de los servicios a los ciudadanos, estableciendo un marco ético y normativo para reforzar los derechos individuales y colectivos, respetando los derechos fundamentales, la equidad en el acceso y la prevención contra la discriminación. Se prevé un «impulso normativo de revisión y reformas legislativas para la plena habilitación y operatividad del nuevo escenario tecnológico dentro de un marco democrático. Dicho impulso adquiere en la Administración de Justicia un valor estratégico añadido, si se tiene en cuenta el modelo de co-gobernanza vigente en el sector y la importancia de la interoperabilidad e interconexión de sistemas y aplicaciones».

Estos sistemas de IA están siendo utilizados en nuestro país pudiendo identificar al menos tres herramientas en las que se emplean algoritmos predictivos: la valoración policial del riesgo de reincidencia en violencia de género, sistema Viogen; la gestión penitenciaria en las prisiones de Cataluña, sistema Rise Candy y la valoración del riesgo de radicalismo violento en prisión. Aunque en puridad no puedan ser calificados como IA, por cuanto que solo utilizan grandes cantidades de datos para obtener patrones sin aprendizaje profundo, sugiriendo la doctrina más autorizada (24) la utilización de estos instrumentos como herramienta auxiliar o complementaria en la toma de decisiones penales, a la hora de imponer una prisión provisional, sin que la calificación del riesgo sea vinculante. Y como herramientas auxiliares presentan unas ventajas incontestables, como apunta Antonio del Moral, al referirse a un instrumento puesto a disposición de los magistrados, la calculadora 988, que, en segundos, realiza las tareas de acumulación de penas según los criterios del art. 76 del Código Penal (LA LEY 3996/1995), abogando por la utilización de sistemas de IA en decisiones protocolizadas en la investigación y en la tramitación, aunque recuerda que en la tarea estricta de enjuiciar, precisar qué es lo justo, lo de cada uno —y eso es el núcleo duro de la función judicial— el factor humano es irrenunciable e imprescindible.

En otros países, como en el Reino Unido (25) , la Corte inglesa respaldó expresamente el uso de software de codificación predictiva, e-discovery, que identifica, recolecta y examina documentos almacenados en un sistema para su utilización en la fase procesal en que se ha de proceder a la divulgación de los documentos que dispone (disclousure) al exigirse a cada parte que reúna e identifique los documentos potencialmente importantes para el caso y, que señale, posteriormente, el resto de documentos que existen o hayan existido con anterioridad, conociéndose de ese modo desde el primer momento la documentación existente y que conlleva que la otra parte tenga derecho a una copia. La decisión del Tribunal se basó en varios argumentos, a saber: que varias jurisdicciones probaron que dicho software fue útil en los casos apropiados, que las partes acordaron utilizar el software, que no hubo evidencia que sugiera un menor grado de precisión, o una alternativa más consistente y barata; y finalmente, no hay una legislación que prohíba su uso.

Ejemplos de uso de la IA en el Poder Judicialde otros países los encontramos en India, donde se está utilizando tribunales en línea para resolución de procesos relativos a indemnizaciones derivadas de siniestros de circulación y otras reclamaciones menores; emplean también un software que se basa en el procesamiento del idioma natural para traducir resoluciones y sentencias a idiomas regionales y otros sistemas de IA para datos de investigación jurídica y predecir el progreso de un caso.En Brasil, la herramienta llamada VICTOR, introducida a iniciativa del Tribunal Supremo del país, lee los recursos de apelación que llegan hasta el Supremo Tribunal en su fase de admisión e identifica cuáles están enlazadas a ciertos temas de repercusión general; en Pernambuco, un sistema de IA examina las nuevas acciones de ejecución fiscal y decide cuáles están de acuerdo con los reglamentos de los procedimientos, y cuáles serán desestimadas debido al régimen de prescripción; y los Tribunales Federales de Apelación para la tercera Región comenzaron la implementación del programa de IA llamado SIGMA, para ayudar en la preparación de informes, resoluciones y sentencias en el sistema de Proceso Judicial Electrónico. En Noruega, la Comisión de la Administración Pública emitió un informe en 2019 recomendando la toma de decisión automatizada en los procedimientos administrativos judiciales para mejorar la eficiencia, en particular en donde el volumen de casos es grande. Por último, en Estonia existe un programa piloto de juez de IA «juez robot» que pueda decidir litigios de menor cuantía (inferior a 7.000 euros), funcionando de modo que ambas partes suben documentos y otra información relevante a la plataforma del tribunal y en función de dichos datos la IA emite una resolución que pueda ser apelada ante un juez humano. (26)

Sin poner en duda la efectividad de dichos sistemas y la gran labor de auxilio en el desempeño de la función judicial que pudieran ofrecer, debiéramos cuestionarnos si, aun cuando la última decisión se residencie en el humano, esta no estaría condicionada por la adoptada previamente por la máquina, provocando una suerte de autosabotaje en el proceso deductivo, dejando de atender a la intuición, la experiencia o la apreciación personal de las características del caso, que llevasen a una conclusión distinta de la máquina. Partiendo de la utilización presente (en la fase policial, de investigación, para la predicción de resultados, etc) y futura de los sistemas de IA, debiéramos diferenciar conceptos Justicia y Administración de Justicia para identificar los peligros del uso de aquella en ambos.

Si nos referimos a la Administración de Justicia, entendida como gestión de esta a través de un sistema, atendiendo a la natural tensión certidumbre-artificial/incertidumbre-humana, se considera por la mayoría de la doctrina, que puede ser una oportunidad dentro del ámbito de la Administración de justicia pero manteniendo siempre, la dimensión instrumental de la tecnología (27) . Pero paralelamente también puede presentar riesgos que pasamos a identificar.

1. Uso de IA en el proceso de toma de decisiones

El proyecto de Reglamento Europeo considera como de alto riesgo ciertos sistemas de IA destinados a la administración de justicia, dado que pueden tener efectos potencialmente importantes para la democracia, el Estado de Derecho, las libertades individuales y el derecho a la tutela judicial efectiva y a un juez imparcial. A fin de evitar el riesgo de posibles sesgos, errores y opacidades, categoriza como tales aquellos sistemas de IA cuyo objetivo es ayudar a las autoridades judiciales a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos, sin embargo, no extiende dicha clasificación a los sistemas de IA destinados a actividades administrativas meramente accesorias que no afectan a la administración de justicia en casos concretos, como las tareas administrativas, o la asignación de recursos (28) .

De modo que distingue, por la potencial afectación a las libertades individuales y derechos fundamentales, en cuanto a la asignación del riesgo, entre lo que define como tareas simplemente administrativas y las que conlleven aplicación o interpretación del derecho, lo que a nuestros efectos, lleva a plantearnos qué podemos considerar como tareas en el seno de la tramitación de un asunto que puedan integrar el primer concepto. ¿Las que se encuentran exentas de ámbito de decisión jurisdiccional, el mero impulso del proceso, la decisión tomada sin margen discrecional, o cualquier otra que esté excluida de la intervención judicial aunque esté sometida a su revisión?

El Proyecto de Ley de Medidas de Eficiencia Digital del Servicio Público de Justicia de 22 de septiembre de 2022, apuesta por la utilización de lo que denomina el dato abierto, para la toma de decisiones estratégicas en procedimientos concursales, los juicios de desahucio o los procedimientos en materia de violencia sobre la mujer. Prevé la implantación de lo que denomina actuaciones automatizadas en el seno del proceso, que define como aquellas de carácter procesal que no requieren intervención humana para cada caso singular (29) , autorizando la automatización de las actuaciones de trámite o resolutoria simple, definiendo estas con las que no requieren interpretación jurídica. Incluye como posible, la utilización de sistema de IA para una actuación asistida, que define como el sistema que genera un borrador total o parcial de un documento complejo basado en datos, producido por algoritmos y que puede constituir fundamento o apoyo de la resolución judicial o procesal (30) , sin que constituya una resolución per se, sin validación.

Nuestro compañero Javier Ercilla recientemente ha publicado un artículo, donde plantea el uso del programa desarrollado utilizando el motor de inteligencia artificial GPT-4 de OpenIA (imagínate es un sistema de inteligencia artificial de la categoría de los procesamientos de lenguaje natural lanzado el 15 de marzo de 2023 que permite generar respuestas fundamentadas y coherentes a las cuestiones que se les somete) como herramienta útil para resolver revisiones fácticas en recurso de suplicación en el ámbito social. Según el compañero las pruebas realizadas con el sistema de IA acreditan que es capaz de generar respuesta adecuada, coherente con el contexto proporcionado, resolviendo correctamente la mayoría de los recursos de suplicación presentados. Ahora bien también identificó dificultades para comprender completamente el contexto o aplicar correctamente las directrices legales que le eran dadas, sin que pueda realizar tareas de cognición profunda en el sentido de procesos cognitivos más complejos, ya que lo único que pueden es imitar ciertos aspectos de estos procesos, porque su comprensión se basa en patrones y correlaciones aprendidos a partir de los datos con los que han sido entrenados. Lo considera válido como una herramienta de apoyo, pero no como una solución definitiva, siempre bajo el control del profesional y la asunción de la responsabilidad en la toma de decisiones, en palabras del propio Ercilla, «como un dictaminador de posibilidades verificables por el usuario, más que como sistema de decisión final». Finalmente plantea que su implementación provocaría cambios en el rol de los profesionales del derecho ya que requeriría que estos adquirieran habilidades en el uso de estas tecnologías y pudiendo provocar un cambio en la toma de decisiones puesto que los jueces pudieran verse influenciados por las soluciones que propone GPT-4, ello sin contar con los problemas que pudieran surgir de la presencia de sesgos en el entrenamiento del programa (31) .

Llegados a este punto, sabiendo que ya se están empleando y que se prevé en un futuro cercano la utilización sistemas de IA durante determinadas fases del proceso que concluye con la toma de decisión por el juez, es el momento de valorar su utilización durante el iter procedimental y cómo auxiliar en la propia toma de decisión, en tanto que puede afectar a derechos reconocidos o al propio orden constitucional. Su uso potencialmente puede afectar, entre otros, a derechos fundamentales como el derecho a la intimidad —protección de datos— o a la tutela judicial efectiva, pero también puede ofrecer indudables ventajas.

A) Seguridad jurídica, imparcialidad, derecho al juez natural

La seguridad jurídica, entendida como predictibilidad de las consecuencias jurídicas de los actos o conductas y como Principio General del Derecho, en cuanto que condiciona la actuación de los aplicadores del derecho en relación con un conjunto indeterminado de supuestos semejantes, ya venía recogida en la Declaración de Derechos del Hombre y del Ciudadano de 26 de agosto de 1789 (sûreté) y en nuestra Constitución Española (LA LEY 2500/1978), Título Preliminar. (32) Indudablemente el uso de sistemas de IA garantizaría el cumplimiento de este principio, y apuntamos, que ello siempre que fuese totalmente posible explicar la decisión tomada por el sistema, ya que en caso contrario, cederíamos la obligada argumentación jurídica ciegamente por la resolución adoptada por la máquina, que necesariamente exigiría de una explicación pero a posteriori.

Se deduce de lo anterior, que el principal riesgo en el uso de esta tecnología en el ámbito de la justicia, lo encontraríamos en el hecho que estos sistemas, que, como hemos expuesto, ya de por sí pueden presentar disfunciones en cuanto a los resultados obtenidos derivados de la falta de transparencia de la decisión o bien de la propia presencia de sesgo en el tratamiento de los datos, estos se trasladen a la decisión última que se adopte con base a estos sistemas, lo que afectaría necesariamente al derecho que todos los ciudadanos tienen obtener una resolución dictada por un juez imparcial, al venir afectada dicha imparcialidad de origen (33) . Sin embargo, como medio auxiliar del juez, poniendo a su disposición los precedentes, criterios o posibles soluciones al supuesto sometido a su decisión, permitiría agilizar y mejorar la decisión al reducir el tiempo de búsqueda, permitir el contraste con su propio conocimiento y perspectiva en la toma de decisión con la que le ofrece la máquina.

Existiendo experiencia en otros países de nuestro entorno (34) , comprobándose una aumento de las medidas alternativas de solución de disputas en línea (ODR) (35) y su posible extensión a los denominados tribunales en línea para disputas de baja intensidad, se está planteando admitir la sustitución de la decisión del juez por el sistema de IA en los casos sencillos (36) , ahora bien, sería precisa una definición clara, taxativa y consensuada de lo que ha de entenderse por tal. Conociendo, como sabemos, que no hay dos casos idénticos, presentando matices que la máquina no podrá advertir, dichos matices podrían ser introducidos en la resolución con la revisión posterior. En todo caso, aunque, consideráramos como tales, aquellos casos que cumplan con unos parámetros preestablecidos sin margen de discrecionalidad derivado bien de la preexistencia de precedentes (línea jurisprudencial firme), bien por la aplicación automática de disposiciones legales (normas imperativas), se estaría cediendo la función jurisdiccional de juzgar constitucionalmente atribuida al poder Judicial al poder gubernativo que encargara o desarrollara el sistema de IA decisor. Resultaría por tanto, para ello preciso en nuestro país una modificación constitucional que avalase tal decisión al afectar a la previsión del art. 117 de la CE (LA LEY 2500/1978), y por ende al principio de separación de poderes. Si bien, se podría salvar tal menoscabo de la función constitucional mediante la asunción judicial del control en la selección de datos, desarrollo y en la implementación de los sistemas de IA en justicia.

Por otro lado, hay que prestar especial atención a que la utilización del sistema de IA pudiera llegar a afectar al derecho al juez natural, al juez ordinario predeterminado por la ley. Podría pensarse que la implementación de este tipo de programa para el reparto de asuntos judiciales es una tarea administrativa, simplemente mecánica, que se encuentra fuera de los peligros que se atisban por el uso de IA. Sin embargo, ya ha habido suspicacias que han desembocado en una resolución, al emplear, la reciente reforma judicial en Polonia (2018), el denominado Sistema de Asignación Aleatoria de Casos («SLPS»), que decide cómo asignar casos judiciales a los jueces en los tribunales, generando dudas sobre su carácter azaroso, y que dio lugar a la interposición de una demanda reclamando de la Administración revelar el algoritmo al ostentar este carácter. No puede considerarse como información técnica en exclusiva ya que es una expresión de un procedimiento estrechamente relacionado con la situación directa de los ciudadanos cuyos casos se examinan, debiendo describirse paso a paso la operación del SLPS, que se ofreció. Como consecuencia de dicha resolución, ha descrito el Ministerio verbal y gráficamente cómo funciona el algoritmo en varias etapas del del sistema SLPS, indicando que debe de estar abierto y disponible públicamente tanto el algoritmo como los parámetros de entrada, por ejemplo, una lista de jueces, sus coeficientes de asignación, etc.

Sin embargo, pese a lo anterior, la cognoscibilidad total no se ha logrado, porque si sólo se publica el código fuente, también podrían generarse dudas sobre la aleatoriedad del generador de números que asignen casos a determinados jueces, o sobre la posible modificación sutil del sistema con exclusiones del sorteo, de modo que solo la total transparencia del funcionamiento generaría la confianza en el mismo y el control social de las instituciones públicas (37) .

B) Opacidad de las propuestas

Resultaría para la función de juzgar extremadamente peligroso desconocer que se están empleando sistemas de IA en la propuesta de resolución que se ofrece, como la falta de posibilidad de explicar la lógica que subyace en la decisión adoptada con base a un proyecto propuesto por un sistema de IA, sustrayendo al afectado del conocimiento que sus derechos han sido respetados durante todo el proceso de desarrollo del algoritmo (38) . Ahí reside la necesidad de transparencia total del funcionamiento en el caso concreto del algoritmo que, en ningún caso, en Justicia, pueden ser empleados los de caja negra, al no poder explicar la decisión. La adoptada debe estar debidamente justificada en relación a los datos ofrecidos para el caso concreto y las posibles soluciones que pudiera haber adoptado, sin que pueda asumirse de modo acrítico la propuesta por el sistema, aun cuando exista acreditación de haber respetado los derechos fundamentales y los principios éticos durante su desarrollo.

Otro de los problemas que se podrían atisbar del uso de los sistemas de IA al tiempo de resolver las cuestiones que se le sometan a debate, es la dificultad que se presenta a la parte que quisiera formular recurso discrepando de la calificación jurídica ofrecida por el sistema, ya que, si el algoritmo ha sido programado de manera que haya tenido en consideración la jurisprudencia existente sobre el supuesto, y de los preceptos aplicados en anteriores precedentes, resultaría difícil encontrar el argumento jurídico en que podría fundarse la pretensión revocatoria, lo que provocaría que habría de enfocar los esfuerzos demostrativos, más en el hecho de la ausencia de datos que hubo tenido en consideración al algoritmo y en la modificación del resultado que se produciría de haberlos incluido, que en un argumento jurídico, dando paso un razonamiento más técnico-informático que técnico-jurídico (39) .

Por otro lado, el razonamiento judicial que contiene la resolución dictada, se funda —y así se explica en la misma— en la identificación y valoración de los hechos relevantes, a los que posteriormente sigue una declaración de los que han sido o no probados, aplicación de normas legales y jurisprudencia que la interpreta, para llegar a la solución que se ha considerado adecuada a ese caso concreto, coherente con el razonamiento que expone, partiendo de la premisa que, aun conociendo que no es la única solución correcta, sí permite justificar, argumentando jurídicamente, el motivo de la opción escogida.

Este trabajo de interpretación no lo hacen las técnicas de aprendizaje automático. No pueden elaborar un razonamiento legal ya que su opción se basa en parámetros de uniformidad al procesar grandes cantidades de información, obteniendo una solución que según sus rígidos parámetros podría ofrecer un juez en esta situación. No existe ningún tipo de razonamiento jurídico aplicado al caso concreto, ni tampoco comprende, y por tanto no puede justificar, la motivación de la adopción de esa decisión y no otra.

Refiere la citada Carta Ética Europea sobre IA, una experiencia llevada a cabo en Francia a iniciativa del Ministerio de Justicia. Los dos tribunales de apelación de Rennes y Douai acordaron probar el software de justicia predictiva en varios recursos judiciales realizando un análisis de las decisiones civiles, sociales y comerciales de todos los tribunales franceses de apelación, un análisis cuantificado de las sumas otorgadas por estos dos tribunales, y una clasificación geográfica de las discrepancias observadas para juicios similares. La finalidad del software era crear una crear una herramienta de toma de decisiones para reducir, si es necesario, la variabilidad excesiva en las decisiones judiciales. El resultado obtenido, debatido por el Ministerio y la empresa que diseñó el producto, fue la ausencia de valor agregado del sistema para el trabajo de toma de decisión y reflexión de los magistrados, al revelarse sesgos del razonamiento del software que condujeron a resultados aberrantes o inapropiados debido a la confusión en algún caso meramente léxico del razonamiento judicial y las causas que habían sido decisivas en el razonamiento de los jueces.

Añadir, por último, el riesgo advertido que las decisiones que se adopten por la IA no sean aceptadas y que exijan un exceso de argumentación para basar una decisión que un principio habría de ser adoptada de modo normal (40)

C) Eficientismo. Perfilado de jueces

La búsqueda permanente de un proceso legal más eficiente del que actualmente disponemos ha generado la expectativa de conseguir alcanzar dicha meta mediante el uso de herramientas de IA y a dicha aspiración quiere dar respuesta el proyecto de ley de medidas de eficiencia digital del servicio público de Justicia que la considera una demanda real y urgente de la ciudadanía (41) .

Pese a la bondad de la aspiración, se atisba el riesgo que, bajo la justificación de la eficiencia, se pretenda extender dicha utilización a aspectos que deben de estar controlados por el ser humano, en concreto por el juez. Puede cederse a la tentación de dirigir la labor judicial, limitarla en alguna medida, mediante la utilización de programas informáticos que, al introducir datos o al entrenar al sistema, comprometan la neutralidad del mismo y que, por resultar su empleo imperativo, no permitan modificar el resultado que ofrecen so pretexto de inexistencia de margen alguno de interpretación jurídica. Ello afectaría gravemente la independencia del poder judicial ya que, podrían adoptarse decisiones que condicionaran la respuesta judicial bajo el pretexto de una ficticia objetivación en la toma de aquellas, mejora en la eficiencia de la administración de justicia y agilización de la tramitación del procedimiento.

Se puede conseguir emplear una IA responsable en justicia, basándose en una potenciación de los aspectos positivos y una correlativa mitigación de los negativos, ajustándola a unos principios éticos que se están universalizando mediante un consenso de mínimos, empleando sistemas que tengan asegurada la ética por diseño, procurando que el propio sistema ofrezca los medios para detectar y eliminar utilizando sistemas para ello los riesgos de disfunciones de la IA (42) .

No pueden emplearse los sistemas de IA como instrumento cercenador de, lo que algunos consideran, el excesivo margen de discrecionalidad judicial propugnando, incluso, el uso de herramientas de perfilado de jueces y magistrados para crear en el imaginario colectivo la idea que el empleo del sistema de IA eliminaría, o al menos controlaría, los sesgos cognitivos de las decisiones. Y no puede ser ese su objetivo, ya que se obvia la posible presencia de aquellos en el propio sistema de IA,provocando la sustitución de la función de juzgar constitucionalmente atribuida a los miembros del poder judicial, por la decisión administrativa basada en los patrones que decida introducir la Administración. Se ha indicado que la ética de la IA comienza con la ética de los propios programadores, y añadiría de los que encomiendan su desarrollo. Debiendo de advertirse, como hace la Comisión Europea para la Eficiencia de la Justicia (CEPEJ), que los riesgos de interpretaciones distorsionadas del significado de las decisiones judiciales son extremadamente altos cuando se basan únicamente en modelos estadísticos (43) , de modo que, en ausencia de una representación estadística de la realidad o de poder predecir algo, los resultados del software de justicia predictiva se establecerán como estándares sin ninguna validación por parte del sistema legal y en conflicto con él (44) .

A lo anterior se añade la deriva totalitaria que supondría permitir al sistema elaborar un perfilado de los jueces que emplee indagaciones, mediante el cruzado de datos, con las propias redes sociales, sitios comerciales, búsquedas etc, bien para indagar sobre supuestos sesgos ideológicos que pudieran apreciarse en la respuesta a la cuestión que se le somete a debate —cuando se ha advertido por la experiencia que ha sido el uso de algoritmos fallidos lo que ha provocado situaciones discriminatorias— (45) , o incluso para evaluar el desempeño de los mismos.

Supondría permitir tal uso una vulneración de los datos personales del juez, ya que la exigencia de la mención del nombre y apellidos de quien dicta la resolución conforme al principio de juicio público establecido en el artículo 6 del Convenio Europeo de Derechos Humanos (LA LEY 16/1950), que garantiza la imparcialidad y el cumplimiento de las normas procesales, no puede amparar la utilización de estos para realizar cálculos estadísticos sobre la ideología, religión, creencias de un juez en particular, atentando (46) contra su libertad ideológica, religiosa o de culto (47) . El ejercicio de la función judicial debe ser juzgado por el contenido de las resoluciones, no someter a un juicio al juzgador quien, a su vez, no debe juzgar personas sino hechos (48)

Por otro lado, es fácilmente apreciable que verse sometido a dicha evaluación podría afectar a la libertad de criterio de éste, por la presión a la que pudiera verse sometido al tiempo de valorar la decisión a adoptar ya que vendría condicionado a resolver procurando evitar la lectura de su resolución bajo la perspectiva sesgada que le atribuye el sistema. No es aventurado afirmar que puede incluso ceder a la presión de actuar en función de la predicción o mimetizar la resolución ajustándola a línea fijada por la estandarización de las decisiones. A ello se añade el riesgo cierto del empleo de sistemas de IA que efectúen un perfilado de los jueces ante los que se va a actuar, permitiendo a las empresas privadas y sus abogados participar de prácticas de compra en el foro, otorgando una ventaja tan competitiva, que se vea socavado el principio de un juicio justo establecido por ley (49) .

En Francia, imponiendo penas de cárcel de hasta cinco años, se ha prohibido la publicación de información estadística sobre decisiones y el patrón de conducta de los jueces en cuanto a las sentencias que dictan, limitando la funcionalidad de herramientas de Legal tech o como la francesa Predictice o la española Jurimetría. El propósito de impedir el empleo de los datos de identidad de los magistrados, es evitar presiones y mercadeo de estrategias procesales; sin embargo esta decisión no está exenta de polémica ya que se ha manifestado que dichos datos pueden extraerse fácilmente de las resoluciones dictadas en cuanto que sean públicas, y podría ser considerada como una contribución a la satisfacción de los principios propios de una organización política democrática, especialmente el principio de igualdad vinculado al de seguridad jurídica (artículo 14 de la CE (LA LEY 2500/1978) en relación con el 9.3) (50) .

Resulta aterrador imaginar que pudiera implantarse en nuestros sistemas judiciales sistemas de IA para llevar a cabo una auditoría de las decisiones judiciales, con independencia de la bondad que se atribuya a la finalidad de su adopción, ya que, dejar en manos de otro poder la valoración de la decisión que habría de adoptarse, imponiendo al juez adaptarse a las decisiones que considere que hayan de ser estandarizadas, rompe completamente con el principio de separación de poderes y la independencia del poder Judicial colocando a este en una posición subordinada a disposición del gobierno de turno. No se plantea como un supuesto de laboratorio, es una realidad, siguiendo el modelo chino donde existe un aviso de sentencias «fuera de lo normal» alertando a las autoridades cuando se ha excedido de los límites de discrecionalidad establecidos en precedentes, se propugna su utilización para detectar patrones discriminatorios del sistema judicial, e incluso «influencias emocionales excesivas, influjos ideológicos inapropiados o el uso acrítico de heurísticos del pensamiento» (51)

2. Etica de los sistemas IA en Justicia

Si la ética pretende alcanzar la adecuación el comportamiento humano a los principios básicos de beneficencia, no maleficencia, respeto por las personas y justicia, cuando se reclama que la IA ha de ser ética, se refiere a la necesidad que su diseño y despliegue no encubra comportamientos que humanamente consideramos reprochables. La Justicia entendida como concepto filosófico, como virtud, definida por Aristóteles, en el modo de ser por el cual se está dispuesto a practicar lo que es justo, obrar justamente y a querer lo justo (Ética Nicómaquea) o con Platón que la entiende como poseer y hacer lo que es propio, obrar justo, no hacer daño a nadie (libro segundo de La República), no puede actualmente ser impartida por una máquina, ya que se sabe que estamos muy lejos de crear la que se denomina IA general, fuerte, en el sentido que sea capaz de generar sus propios objetivos. Se ha intentado antropomofizar la IA, afirmando que la general puede llegar a tener consciencia, sin embargo los expertos aseguran que no estamos ni siquiera cerca de hablar de conciencia en una IA (52) , ya que las tecnologías actuales, como DALL-E2, GPT-4 y demás, siguen estando muy lejos de alimentar lo que imaginamos como una máquina consciente, por espectaculares que sean sus resultados actuales.

Como el sistema carece de consciencia, inteligencia o contexto, evidentemente no puede ser capaz de aprehender el significado de lo que es justo ni la distinción de lo que no lo es. Markus Gabriel, considera que los sistemas descriptos como inteligencia artificial «no presentan, en realidad, una forma de inteligencia ni la capacidad de pensar, ya que carecen de contexto y por lo tanto de sentido. Son más bien modelos de pensamiento, imágenes de la manera en que pensamos. No existe una inteligencia artificial real, es pura especulación, pero su imposición discursiva es importante: permite la dominación con la tecnología y cumple un rol deshumanizador». En el mismo sentido se expresa Byung- Chul Han, ya que al actuar exclusivamente mediante adición y acumulación de información digital, fragmenta la vid.a porque carece de memoria e historia, desbancando la narración, que es lo que crea significado y contexto, por tanto al faltarle el concepto, no comprende los resultados de sus cálculos (53) .

En definitiva, siguiendo a estos filósofos actuales, con la utilización de patrones con los que dar respuesta uniforme a problemas similares (algoritmo), todo se vuelve predecible y controlable porque se cuenta con datos preexistentes, pero no supone ningún avance. No permite un razonamiento ante imprevistos o con circunstancias alteradas, de modo que, como indica Byung-Chul Han, es una forma de saber primitiva ya que maneja datos preexistentes pero no razona, únicamente establece una correlación (54) .

El nihilismo —reinventado en el siglo XIX— que impera en nuestra sociedad, sustentado en esta tecnología, puede provocar el riesgo de permear en concepciones jurídicas reconocidas como esenciales, eliminando la importancia del logro que supuso la universalización del reconocimiento de los derechos humanos, cediendo ámbitos de consenso mundial en pos del uso de una IA, carente de humanismo, olvidando que la historia no nos lleva automáticamente a un progreso jurídico-moral (55) . Si se consiguiese alcanzar lo que se denomina IA general, atisbo que estamos dispuestos a permitir, sin un debate serio, que, siglos de avances en implantación de derechos humanos, sean ignorados o incluso violentados por el uso de sistemas desarrollados sin una regulación que garantice el respeto a aquellos, dejando en manos de su creador atender o no a los límites éticos en su diseño, desarrollo o implementación.

Se advierte una deriva silente hacia un totalitarismo tecnológico provocado por el consumo bulímico digital de una sociedad anestesiada por las últimas aplicaciones que les alteran sutilmente sus aptitudes y actitudes, modificando capacidad de atención, consciencia real y juicio crítico, a modo de la pastilla soma de 1984. Como indica el profesor Lassalle (56) ,«estamos ante un legislador discreto que ejerce una soberanía de facto sobre la información que circula por internet, un instrumento de programación que recrea sin cobertura legal la naturaleza humana al hacerla dependiente de un arte de composición técnica que se guarda bajo siete llaves y cuya inaccesibilidad refuerza una relación absolutamente desequilibrada entre la plataforma y el usuario de ello».

Consciente de las repercusiones en la mente humana positivas y negativas profundas y dinámicas de la IA en la sociedad, debido, en parte a las nuevas formas que su utilización influye en el pensamiento, a las interacciones y la adopción de decisiones de los seres humanos, afectando a la educación, las ciencias sociales y humanas, las ciencias exactas y naturales, la cultura y la comunicación y la información, la UNESCO elaboró una recomendación sobre la ética de la IA, en noviembre de 2021, con el fin de estimular una investigación y una innovación realizadas de manera ética que afiancen las tecnologías de la IA en los derechos humanos y las libertades fundamentales, los valores, los principios y la reflexión moral y ética (57) .

La Resolución del Parlamento Europeo, de 3 de mayo de 2022 (58) , sobre la IA en la era digital, advirtió sobre la utilización por regímenes autoritarios de sistemas de IA para controlar, espiar, seguir y clasificar a sus ciudadanos, restringir su libertad de circulación y ejercer vigilancia colectiva. Recuerda que cualquier forma de marcaje normativo ciudadano por parte de las autoridades públicas, especialmente en el ámbito de las fuerzas de seguridad del Estado, el control de las fronteras y el poder judicial, y su uso por parte de empresas privadas o particulares, conduce a la pérdida de autonomía y privacidad y no está en consonancia con los valores europeos (59) . Reclama de los legisladores abordar los riesgos que plantea actualmente la toma de decisiones basada en la IA, ya que ha quedado claramente patente la existencia de efectos nocivos, como la discriminación racial y sexual, que son atribuibles a casos concretos en los que la IA se ha implantado sin salvaguardas. (60)

En definitiva, y dado que es imposible plantear un futuro inmediato sin que los sistemas de IA hayan invadido todas las esferas de la vid.a pública, atendidos los proyectos en los que se pretende sea efectivo su empleo en Justicia, como juristas es nuestra obligación ética procurar que la IA se ajuste a unos principios éticos que garanticen una protección adecuada de las libertades públicas, incluidas la libertad de expresión, la intimidad y que no discrimine y sea respetuosa con los derechos fundamentales.

La Carta ética europea sobre el uso de la inteligencia artificial en los sistemas judiciales y su entorno, identifica cinco principios a los que ha de ajustarse los sistemas de IA:

PRINCIPIO DE RESPETO POR LOS DERECHOS FUNDAMENTALES, garantizando que el diseño y la implementación de herramientas y servicios de inteligencia artificial sean compatibles con aquellos.

PRINCIPIO DE NO DISCRIMINACIÓN, previniendo específicamente el desarrollo o intensificación de cualquier discriminación entre individuos o grupos de individuos.

PRINCIPIO DE CALIDAD Y SEGURIDAD, respecto al procesamiento de decisiones y datos judiciales, utilice fuentes certificadas y datos intangibles con modelos elaborados de manera multidisciplinaria, en un entorno tecnológico seguro.

PRINCIPIO DE TRANSPARENCIA, IMPARCIALIDAD Y JUSTICIA, haciendo que los métodos de procesamiento de datos sean accesibles y comprensibles, autorizando auditorías externas.

PRINCIPIO» BAJO CONTROL DEL USUARIO»: excluyendo un enfoque prescriptivo y garantizando que los usuarios sean actores informados y que controlen las elecciones realizadas.

Recordemos que en la actualidad no se encuentra regulada y la propia Administración, como se ha indicado, prevé su implementación a corto plazo, y ante ello ha de convenirse que es exigible a los poderes públicos que ese despliegue tecnológico se ha de efectuar conservando los controles y garantías de la actividad administrativa adaptadas a la nueva realidad, sin olvidar que, el uso indebido de la IA en la aplicación de la ley puede dar lugar a una discriminación automatizada y a un trato ilegal de los ciudadanos, que incrementa el riesgo sistémico y el desequilibrio de poder que podrían afectar a la democracia (61) .

Al reclamar a la Comisión y a los Estados miembros que garanticen la protección adecuada de los derechos y el bienestar de los trabajadores, como la no discriminación, la intimidad, la autonomía y la dignidad humana en el uso de la IA y en la gestión algorítmica, también con respecto a las prácticas de vigilancia indebida, la transparencia en su uso, los algoritmos siempre deben estar sujetos a la supervisión humana, evitando con ello una aplicación positiva de la norma descontextualizada de cualquier elemento ético que le otorga la consciencia humana, añadiendo que las decisiones deben ser responsables, impugnables y, si procede, reversibles, lo que conlleva necesariamente la formación de los desarrolladores de algoritmos en cuestiones relativas a la ética, la transparencia y la no discriminación (62) .

Y en definitiva, si se integra en la función jurisdiccional, se ha de reconocer un nuevo derecho procesal, el derecho a un proceso tecnológico transparente y fiable.

IV. Conclusión

Los sistemas de IA nos ofrecen una oportunidad inmejorable de mejorar la eficacia de la Justicia, siempre y cuando cumplan con los principios éticos indicados, respeten los derechos fundamentales y no atenten contra la independencia del poder judicial.

Como indicó la CEPEJ: Un sistema judicial acorde con su tiempo sería uno capaz de establecer, administrar y garantizar una verdadera ciberética tanto para el sector público como para el privado, e insistiendo en la total transparencia y equidad en el funcionamiento de los algoritmos, que pueden contribuir un día a la toma de decisiones judiciales.

Dicho lo cual:

La toma de decisión ha de ser adoptada y controlada por el ser humano. Solo un juez puede garantizar el respeto genuino por los derechos fundamentales, equilibrar los intereses en conflicto y reflejar los cambios constantes de la sociedad en el análisis de un caso.

Ningún asunto, por simple que pueda parecer o que se pudiese categorizar debido a la escasez de su cuantía o el mínimo margen decisorio, puede ser adoptado por un sistema de IA sin que éste resulte totalmente transparente desde su diseño y pueda ser explicada la propuesta que ofrece. Propuesta que pueda ser además, revisada, modificada o rechazada por el ser humano.

La utilización de sistemas de IA durante el proceso judicial, con la finalidad de agilizar el mismo, requerirán de las mismas exigencias de transparencia y explicabilidad, con posibilidad de revisión y rectificación humanas. Al mismo tiempo es importante que los jueces dicten resoluciones basadas en sistemas de IA, entendiendo completamente el funcionamiento de la misma, con acceso a toda la información y datos que han sido considerados, para poder asumir la propuesta y explicar sus decisiones.

La ética del funcionamiento del sistema de IA aplicado en Justicia residencia en mejorar la eficiencia y fiabilidad de aquella bajo la supervisión humana, implicando además la obligación de conocer y comprender su funcionamiento.