Volver a página de inicio

I. Aproximación a la IA desde una perspectiva jurídica

1. Concepto de IA y modalidades

La Inteligencia Artificial (IA) ha sido definida por la RAE en los siguientes términos: «Disciplina científica que se ocupa de crear programas informáticos que ejecutan operaciones comparables a las que realiza la mente humana, como el aprendizaje o el razonamiento lógico».

El Grupo Independiente de Expertos de Alto Nivel sobre IA, creado por la Comisión Europea en 2018, concluyó en su investigación que la IA hace referencia a «la relación de programas informáticos (y posiblemente también equipos informáticos) diseñados por seres humanos que, dado un objetivo complejo, actúan en la dimensión física o digital mediante la percepción de su entorno mediante la adquisición de datos, la interpretación de los datos estructurados o no estructurados, el razonamiento sobre el conocimiento o el tratamiento de la información, fruto de estos datos y la decisión de las mejores acciones que se llevarán a cabo para alcanzar el objetivo fijado» (2) .

Los expertos en Ciencias de la Computación RUSSELL y NORVIG, consideran que la expresión IA identifica un conjunto de técnicas y herramientas que a través de la combinación de algoritmos persigue el propósito de crear sistemas dotados de las mismas capacidades que el ser humano (3) . Y, en síntesis, diferencian los siguientes tipos (4) :

• — sistemas que piensan como seres humanos: se caracterizan por su capacidad para automatizar actividades propias del ser humano como la toma de decisiones, la resolución de problemas y el aprendizaje (p. ej. las redes neuronales artificiales);
• — sistemas que actúan como seres humanos: se caracterizan por su capacidad para realizar tareas de forma similar a como las realizan los seres humanos (p. ej. los robots);
• — sistemas que piensan racionalmente: se caracterizan porque intentan emular el pensamiento lógico racional del ser humano (p. ej. los sistemas expertos); y
• — sistemas que actúan racionalmente: se caracterizan porque tratan de imitar el comportamiento racional humano (p. ej. los agentes inteligentes).

Esta clasificación de los sistemas de IA está relacionada en mayor o menor medida, con la distinción entre IA general e IA débil que fue introducida por SEARLE en 1980 (5) .

La IA general, también conocida como IA fuerte, hace referencia a una línea concreta de investigación en el desarrollo de la IA que persigue el objetivo de equipar a las máquinas de una inteligencia similar a la humana, esto es, dotada de conciencia propia y capacidad para la resolución de problemas, el aprendizaje y la planificación (6) . Al igual que los seres humanos, la IA general tendría que aprender a través de datos y experiencias, progresar de forma constante, y mejorar sus habilidades a lo largo del tiempo. Entre los ejemplos de IA general destacan: la robótica avanzada; los asistentes virtuales avanzados; los vehículos autónomos; los juegos avanzados de estrategia; y los sistemas expertos. Estas aplicaciones tienen el potencial de revolucionar, entre otras, las formas de trabajo y de desplazamiento de los humanos.

La IA débil se refiere a la capacidad de los sistemas para, conforme a su programación, realizar tareas específicas y resolver problemas concretos (7) . Entre los ejemplos de IA débil destacan: el reconocimiento de voz; la traducción automática; la identificación de imágenes; los chat bots; y el análisis de datos. Estas aplicaciones se utilizan principalmente en la industria y en defensa para mejorar la eficiencia y la precisión de los procesos.

El rasgo distintivo entre la IA débil y la IA general es la capacidad de esta última para realizar tareas más allá de su programación específica. A diferencia de la IA débil que se limita a seguir instrucciones, la IA general es capaz de razonar, aprender, adaptarse a nuevas situaciones, e incluso tomar decisiones. No obstante, aunque los programas de investigación y desarrollo de la IA están dirigiendo su esfuerzo a la creación de IA general, actualmente se sigue recurriendo al Test de Turing para evaluar el nivel de inteligencia de un sistema de IA (8) .

La IA es un concepto propio de la computación que pertenece a las Ciencias Exactas porque su base es esencialmente matemática. No obstante, desde hace una década, su aplicación se está proyectando sobre diferentes escenarios de las Ciencias Sociales en general y de las Ciencias Jurídicas en particular, por la eficacia que demuestra en la obtención de respuestas ante diferentes planteamientos (9) . Desde el ámbito de las necesidades cuantitativas de respuesta, se atribuye a la IA un efecto de eficacia por aplicación del factor tiempo-resultado (dada su celeridad en la obtención de una respuesta válida). Desde el ámbito de las necesidades cualitativas, se le atribuye un efecto de eficacia por aplicación del factor resultado-acierto (dada su tasa de éxito por el uso de combinaciones de algoritmos en el cálculo de probabilidades).

El recurso a la IA en el campo de las Ciencias Sociales debe incardinarse en lo que se conoce como revolución tecnológica o IV revolución industrial, que justificaría «la reorientación del Estado hacia instituciones flexibles que buscan una resolución eficiente de problemas sociales, políticos, jurídicos y económicos» (10) . La IA se convertiría así en una herramienta esencial para la toma de decisiones hasta el punto de configurarse como parte de la estructura orgánica del Estado (11) . Este es el caso de Emiratos Árabes Unidos que en 2017 anunció la creación y puesta en marcha de un Ministerio de Inteligencia Artificial, como parte de una reestructuración de su Gobierno (12) .

En el ámbito jurídico el recurso a la IA ha superado varias etapas que se han iniciado en el orden predictivo y han alcanzado el decisorio. Los sistemas expertos y los de big data son cada vez más importantes, tanto para el ejercicio de la abogacía, como para el desarrollo de la función judicial, puesto que aunque los motores de búsqueda especializados no se aplican directamente a la toma de decisiones, resultan de especial utilidad para su motivación (13) . Esta realidad es la que justifica el desarrollo de la informática jurídica como una categoría propia con repercusión en tres ámbitos: documental, decisional y de gestión (14) . No obstante, a diferencia de las Ciencias Exactas, la toma de decisiones en el campo de las Ciencias Sociales y, especialmente, de las Ciencias Jurídicas, es más compleja porque conlleva un componente adicional: el ideológico. El pensamiento plural y su reflejo en las distintas corrientes de interpretación jurídica dificultan principalmente su aplicación (15) .

En este contexto, es necesario analizar el impacto que despliega la información obtenida por IA en la adopción de una decisión jurídica, para reflexionar sobre si es aceptable que una combinación de algoritmos permita reemplazar una decisión humana para convertirla en una decisión automatizada que se ha generado por un mero procesamiento de datos. La aplicación de técnicas de IA con esta finalidad podría ser admisible para resolver conflictos con base en actos reglados, normas cuantitativas o líneas jurisprudenciales consolidadas, pero parece discutible su aplicación en el caso de actos discrecionales, normas cualitativas, creación jurisprudencial (primera resolución de un problema jurídico concreto) o ponderación de la carga probatoria del proceso (16) .

2. Principios de investigación y desarrollo en el campo de la IA: especial referencial al principio de transparencia judicial

A) Los Principios de Asilomar

En enero de 2017 la entidad Future of Life Institute (FLI) (17) organizó un evento denominado Beneficial Artificial Intelligence Conference (18) , congregando a científicos y líderes de industrias relacionadas con la investigación y el desarrollo de la IA en Asilomar-California (USA).

La Conferencia reunió a más de cien expertos de todo el mundo de diferentes disciplinas para discutir cómo asegurar que el desarrollo y aplicación de la IA beneficien a la sociedad y no representen un riesgo para los seres humanos. Al finalizar el encuentro, el 6 de enero de 2017, los participantes acordaron un catálogo de principios para guiar la investigación, el desarrollo y la aplicación de los sistemas de IA (19) .

Los Asilomar Principles, conocidos en español como «Principios sobre IA de Asilomar» (20) , son un conjunto de reglas, normas y valores articulados en torno a tres ejes temáticos.

— Investigación y desarrollo

Entre los principios de este bloque destacan: (1) la investigación en IA debe ser beneficiosa: el objetivo de la investigación en IA no debe ser crear inteligencia no dirigida, sino inteligencia beneficiosa; (2) la investigación en IA debe ser financiada: la inversión en IA debe dirigirse a asegurar un uso benéfico de la tecnología en todos los campos de aplicación: computación, economía, legislación, ética y estudios sociales; (3) debe vincularse la ciencia con la política: debe promoverse una relación constructiva entre investigadores y desarrolladores de IA (ciencia) y legisladores (política); (4) debe generarse una cultura de investigación: debe evitarse la competitividad en la investigación y promoverse una cultura de cooperación, confianza y transparencia entre investigadores y desarrolladores de IA; y (5) debe garantizarse la seguridad por encima de la competitividad: deben evitarse las carreras comerciales para garantizar los estándares de seguridad en el desarrollo de sistemas avanzados de IA.

— Ética y valores

Entre los principios de este bloque destacan: (6) IA segura: debe garantizarse la seguridad y protección de los sistemas de IA a lo largo de toda su vida operativa de manera verificable cuando corresponda y sea factible; (7) IA transparente en cuanto a sus errores: si un sistema de IA causa daños, debe ser posible determinar la causa; (8) transparencia judicial: toda participación de un sistema autónomo de IA en la toma de decisiones judiciales debe proporcionar una explicación satisfactoria auditable por una autoridad humana competente y ser revisable; (9) responsabilidad: los diseñadores y usuarios de sistemas avanzados de IA no pueden minimizar la responsabilidad humana cuando las decisiones han sido tomadas por sistemas de IA; (10) alineación de valores: los sistemas de IA autónomos deben ser diseñados para que sus objetivos y comportamientos puedan alinearse con los valores humanos a lo largo de sus operaciones; (11) respeto a los derechos humanos: los sistemas de IA deben ser diseñados y funcionar de modo compatible con los ideales de dignidad, derechos, libertades y diversidad cultural; (12) privacidad de la información: las personas deben tener derecho a acceder, gestionar y controlar los datos que generan, dado el poder que tienen los sistemas de IA para analizar y utilizar esa información; (13) compatibilidad entre privacidad y libertad: la aplicación de técnicas de IA a los datos personales no debe restringir injustificadamente la libertad de las personas; (14) beneficios compartidos: la IA debe beneficiar al mayor número posible de personas; (15) prosperidad compartida : la prosperidad económica generada por la IA debe ser compartida en beneficio de toda la humanidad; (16) control humano: el ser humano debe decidir si delega o no sus decisiones en los sistemas de IA para alcanzar los objetivos que haya elegido previamente; (17) evitar la disrupción por IA: el poder conferido por el control de sistemas de IA altamente avanzados debe respetar y mejorar, más que subvertir, los procesos sociales y cívicos de los que dependa la salud de la sociedad; y (18) armisticio de IA: debe ser evitada toda carrera armamentística de armas autónomas letales.

— Problemas y riesgos a largo plazo

Entre los principios de este bloque destacan: (19) restricción y precaución sobre futuras capacidades de la IA: ante la ausencia de consenso debe aplicarse el principio de precaución y evitarse la asunción sobre los límites superiores de las futuras capacidades de la IA; (20) repercusión futura en el planeta de la magnitud de la IA: la IA avanzada podría representar un profundo cambio en la historia de la vida en la Tierra, y debería ser planificada y gestionada con el cuidado y los recursos adecuados; (21) riesgos y peligros de la IA: los riesgos asociados a los sistemas de IA, especialmente los catastróficos o existenciales, deben estar sujetos a planificación y mitigación acordes al impacto esperado; (22) superación autónoma recursiva (auto mejora) de la IA: los sistemas de IA diseñados para auto mejorarse recursivamente o auto replicarse de forma que conlleve un rápido incremento de su calidad o cantidad deben estar sujetos a estrictas medidas de control y seguridad; y (23) IA para el bien común: la súper inteligencia sólo debe desarrollarse al servicio de unos ideales éticos ampliamente compartidos, y en beneficio de toda la humanidad, no de un Estado u organización en concreto.

Estos 23 principios enfatizan dos cuestiones: en primer lugar, que los usos y aplicaciones de la IA deben respetar los derechos humanos y generar beneficios para el conjunto de la sociedad; y, en segundo lugar, que en la investigación y desarrollo de la IA debe priorizarse el principio de precaución y, por tanto, garantizarse la adopción de todas las medidas de seguridad necesarias para que la IA no constituya un riesgo para el ser humano.

Los Principios de Asilomar se han interpretado como una guía para la comunidad de investigadores y desarrolladores de IA, y han sido ampliamente difundidos, discutidos y analizados en el ámbito académico (21) . Aunque constituyen un punto de partida muy importante para abordar los riesgos e implicaciones éticas que plantea la IA, la propuesta ha recibido elogios y críticas a partes iguales. Muchos autores han ensalzado el catálogo como un valioso punto de referencia para futuros debates sobre la ética y los valores de la IA (22) . En sentido contrario, la principal crítica ha destacado que los principios son demasiado generales y carecen de orientaciones específicas sobre su aplicación práctica (23) .

Una lectura de la relación de principios permite concluir que no parecen suficientes para abordar los retos presentes y futuros que plantea la IA, pero pueden conformar un marco fundacional o punto de partida que debe seguir evolucionando, desarrollándose y perfeccionándose para, por una parte adaptarse a los continuos avances que se producen en este campo, y por otra parte diseñar y proponer criterios más claros y concretos que orienten su aplicación práctica y garanticen su eficacia.

B) El principio de transparencia judicial ¿aplicación analógica al ámbito administrativo?

El principio de transparencia judicial establece que toda participación de un sistema autónomo de IA en la toma de decisiones judiciales debe proporcionar una explicación satisfactoria auditable por una autoridad humana competente, y ser revisable (v. apartado 1.2.1).

Este principio reconoce la aplicación, cada vez más frecuente, de sistemas de IA en el ámbito judicial para la evaluación de riesgos (24) , recomendación de penas y otros aspectos que en mayor o menor medida inciden en la toma de decisiones (25) . El principio requiere que cuando se recurra a un sistema de IA en la toma de decisiones judiciales se garantice de alguna manera que el sentido de la decisión adoptada pueda explicarse de forma simple, comprensible y verificable por una autoridad humana competente (26) . Y subraya la importancia, tanto de la responsabilidad en el uso, como de la justificación y explicación del recurso a la IA en el sistema judicial.

El principio exige también que los desarrolladores de IA y sus usuarios, especialmente en el ámbito judicial penal, prioricen el derecho que tienen los investigados, acusados y condenados a recibir explicaciones claras y comprensibles sobre cómo el sistema ha adoptado la decisión que les afecta. Además, el principio destaca la importancia que tienen la supervisión y participación humana en todo el proceso decisorio para garantizar dos cuestiones: que la decisión sea acorde a las normas legales y éticas que resulten de aplicación al caso concreto; y que la decisión quede sujeta a revisión (27) . La transparencia judicial implica, por tanto, que los sistemas de IA utilizados se diseñen y desarrollen considerando la rendición de cuentas en caso de apelación (28) .

Por analogía, el espíritu de este principio debería entenderse trasladado al ámbito de la Administración Pública puesto que, como se expondrá más adelante, toda la actividad administrativa está presidida sin excepción por el principio de transparencia, lo que incluiría las herramientas de IA que puedan ser utilizadas por la Administración como apoyo para la toma de decisiones que desplieguen efectos jurídicos frente a terceros.

3. Aplicación de sistemas de IA a la toma de decisiones en el ámbito jurídico

A) Enfoque

La aplicación de sistemas de IA a la toma de decisiones presenta indudables ventajas. Su activo principal radica en la capacidad que tiene para incrementar la eficiencia en el uso de los recursos disponibles. Los sistemas de IA permiten aprovechar el potencial que se encuentra en los datos, para obtener predicciones que facilitan el acierto en la toma de decisiones futuras. Y optimizar el tiempo que se dedica a la realización de tareas sencillas y repetitivas, previas a la toma de decisiones, al ser posible que los sistemas identifiquen sus patrones y las realicen de forma autónoma y competente.

No obstante, la aplicación de estos sistemas plantea una duda ¿debe tener sólo carácter instrumental o podría alcanzar un carácter finalista o de resultado? Esta cuestión surge al analizar los diferentes modelos de IA que pueden aplicarse a la toma de decisiones. STADLMANN y ZEHETNER distinguen así los sistemas que se limitan a identificar los elementos que, conforme al ordenamiento jurídico, son determinantes para fijar el sentido de la decisión (29) . Y los modelos que pueden influir sobre el sentido de la decisión porque además de traducir la norma y aplicarla al caso concreto, suministran criterios que pueden ser tenidos en cuenta o no para establecer el contenido de la decisión (30) .

Trasladando estos modelos al ámbito jurídico, nadie discutiría que la aplicación de sistemas de IA a la toma de una decisión reglada (como es el reconocimiento y cálculo de una prestación contributiva de jubilación o una indemnización por responsabilidad civil derivada de un accidente de tráfico) está directamente relacionada con los principios de eficacia y eficiencia y no repercute en el sentido de la decisión, puesto que todos los factores que deben ser tenidos en cuenta para la decisión son susceptibles de ser introducidos en una aplicación o programa informático (31) . No obstante, esta certeza se convierte en duda al plantear su aplicación a la elaboración de una decisión discrecional o con cierto margen de apreciación por parte de la Administración Pública (32) , o a la ponderación de la carga probatoria en un proceso judicial (33) . En teoría sería técnicamente posible recurrir a un programa informático para elaborar este tipo de decisiones (p. ej. triaje en la asistencia sanitaria o asignación de recursos en servicios sociales), pero ello requeriría la introducción en el programa de numerosos parámetros u opciones no siempre previstas en la norma y que habitualmente se ponderan cuando se toma la decisión concreta (p. ej. la gravedad de la situación, la necesidad de los recursos o el principio de proporcionalidad).

Ante esta disyuntiva puede concluirse que en el recurso a la IA para la toma de decisiones jurídicas concurren dos enfoques diferenciados. Uno que se centra en los sistemas de IA y establece requisitos procedimentales para su utilización: p. ej. las aplicaciones tributarias para la presentación de impuestos en el ámbito administrativo o los programas para calcular las liquidaciones de condena en el ámbito judicial. Y el otro que se dirige a la utilización y efecto de un determinado sistema de IA para un procedimiento concreto: p. ej. el recurso a modelos logarítmicos para determinar la iniciación de procedimientos administrativos sancionadores o la adopción de medidas cautelares en procedimientos penales por violencia de género.

B) Sistemas de IA y decisiones administrativas

En el recurso a sistemas de IA en el ámbito de la Administración Pública pueden distinguirse varios niveles o categorías, en función de la autonomía que se otorga al programa informático o a la aplicación en la fase decisoria del procedimiento (34) .

En el primer nivel son frecuentes los sistemas de IA que facilitan a la Administración Pública la aplicación automática de las normas en diferentes procedimientos. El recurso a la IA permite así implementar los principios de eficacia y eficiencia, minimizando los errores y liberando recursos humanos de la realización de tareas mecánicas y repetitivas. Estos sistemas se limitan a aplicar la norma que ha sido incorporada a su programación, sin añadir datos o criterios adicionales que puedan influir en el sentido de la decisión. La resolución administrativa del procedimiento queda sujeta al mismo tratamiento jurídico que se aplicaría si se hubiese dictado sin hacer uso de un sistema de IA: verificar en vía de recurso si el acto administrativo es acorde al ordenamiento jurídico. En estos supuestos es irrelevante que en la producción del acto administrativo haya participado un sistema de IA, porque la programación no tiene impacto en el sentido de la decisión. Y, por tanto, no es necesario proporcionar a los ciudadanos información sobre el programa o aplicación utilizada. Asimismo, cualquier error o desviación en la aplicación de la norma será imputable a la programación, y dará como resultado un acto administrativo contrario a derecho. Este tipo de sistemas resultan de fácil aplicación en las actuaciones administrativas regladas, p. ej. la concesión de vacaciones o permisos de los empleados públicos; para el otorgamiento de licencias; el reconocimiento de prestaciones contributivas; etc.

En el segundo nivel el sistema de IA tampoco introduce elementos adicionales a los previstos en la norma para producir el acto administrativo, pero resulta imposible saber cómo se ha aplicado la norma para tomar la decisión sin recurrir al programa o a la aplicación informática. En estos casos en vía de recurso es imprescindible determinar el impacto que el sistema de IA ha tenido en el sentido de la decisión, controlar cómo ha funcionado y verificar si se ha limitado a traducir el marco normativo. La actuación administrativa sigue siendo reglada y el elemento diferenciador con el nivel anterior radica en el encadenamiento de actuaciones sucesivas, de forma que cada una de ellas influye en el punto de partida de la siguiente. P. ej. procedimientos de concurso de traslados o de asignación de plazas MIR en los que la asignación de la primera plaza afecta a las plazas disponibles para los siguientes participantes.

En el tercer nivel intervienen los sistemas de IA basados en algoritmos predictivos que introducen datos, elementos o criterios que pueden estar o no previstos en la norma, y que influyen en el sentido de la decisión. Eso sí, en la medida en que el algoritmo contribuya a fundamentar el acto administrativo, al proporcionar la predicción en la que el mismo se basa, deberá estar sometido a control. La aplicación en el ámbito administrativo quedaría restringida a contextos en los que la actuación de la Administración Pública es discrecional o está dotada de un amplio margen de actuación, que le faculta para escoger entre varias opciones válidas. P. ej. la iniciación de oficio de un procedimiento, que es un acto de trámite, o la realización de inspecciones, que no constituyen propiamente actos administrativos.

C) Sistemas de IA y decisiones judiciales

La decisión judicial, tal como la conocemos hoy, es el resultado de un acto de inteligencia humana basado en la convicción personal del Juez o en la formación de voluntad del órgano colegiado, tras el análisis y ponderación de diferentes elementos en un contexto concreto: hechos, argumentos, carga y resultado probatorio, derecho aplicable e interpretaciones jurídicas. El protagonismo y la responsabilidad corresponden íntegramente al Juez o a los miembros del Tribunal en su conjunto.

La tecnología en la Administración de Justicia se ha manifestado como una herramienta eficaz para promover y garantizar el derecho a la tutela judicial efectiva (35) . Pero su aplicación a la decisión judicial tropieza con varios obstáculos: la dificultad de trasladar el proceso de formación de la convicción humana a una aplicación o programa informático; el escoyo de replicar artificialmente la peculiaridad que presentan las decisiones adoptadas por los órganos colegiados, que facultan a sus miembros para apartarse de la mayoría y formular votos particulares; y, en especial, la necesidad de preservar el fundamento que garantiza la segunda instancia.

Los sistemas de IA se están aplicando de forma incipiente conforme al principio de transparencia judicial (v. apartado 1.2.2), que contempla la posibilidad de resolver controversias aplicando herramientas de IA bajo supervisión humana y sin que la resolución tenga consideración de cosa juzgada. Esta decisión artificial supervisada y revisable se aplicaría sólo para decisiones amparadas en reglas cuantitativas (p. ej. liquidación de condenas o declaraciones de caducidad). Y, para evitar la inseguridad jurídica, quedaría excluida de decisiones judiciales con aspectos cualitativos (p. ej. aplicación del principio de interés superior del menor).

La aplicación limitada de los sistemas de IA a la toma de decisiones en el ámbito judicial debe encuadrarse en la dificultad de elaborar un patrón que identifique las diferentes interpretaciones del derecho que son aplicables y escoja la adecuada para cada caso concreto; y en el riesgo de transmitir sesgo al algoritmo al otorgar prevalencia a unos principios sobre otros (36) . Esta circunstancia, unida a la diferencia en la interpretación normativa y su aplicación al caso concreto, adquiere mayor relevancia cuando la decisión corresponde a un órgano colegiado. La formación de la voluntad de estos órganos se rige por la aplicación del principio mayoritario permitiendo a los miembros disidentes formular un voto concurrente o discrepante. El recurso a los sistemas de IA en la toma de decisiones judiciales conllevaría la extinción de las decisiones colegiadas, puesto que la aplicación de un programa o aplicación informática sólo puede dar lugar a una única decisión válida (37) .

Un argumento similar permitiría concluir que la aplicación generalizada de sistemas de IA en la toma de decisiones judiciales acabaría erradicando la garantía de la segunda instancia, que perdería su fundamento. La segunda instancia asegura la posibilidad de corregir los errores cometidos en primera instancia por un ser humano que no es infalible y puede equivocarse de forma voluntaria o involuntaria. Sin embargo, en un contexto de inteligencia artificial, plantear la necesidad de una segunda instancia no ofrecería ninguna garantía puesto que ya de antemano se estaría reconociendo que la IA puede equivocarse en ambas instancias (38) .

El análisis comparativo entre IA y juicio humano aplicado a las decisiones judiciales, podría arrojar las siguientes conclusiones. El juicio humano sería más acertado porque considera factores que la IA no puede tener en cuenta, al trabajar exclusivamente con los patrones que le han sido facilitados por el hombre en el proceso de programación (39) . El recurso a la IA incrementaría la igualdad en la adopción de decisiones judiciales al apartarse de interpretaciones ideológicas (40) .

II. Relevancia y efectos jurídicos de la IA: la actuación administrativa automatizada

1. Concepto y régimen jurídico

La actuación administrativa automatizada es una derivación de la decisión automatizada, término procedente del campo tecnológico directamente relacionado con la IA, que puede definirse como solución tecnológica que a través del tratamiento de datos facilita la consecución de un objetivo sin intervención humana (41) . La decisión automatizada requiere la concurrencia de tres requisitos: tratamiento de datos; construcción de una decisión sobre la base de esos datos; y ausencia de intervención humana, tanto en el tratamiento de los datos como en el proceso decisorio. La decisión automatizada puede ejecutarse con elaboración de perfiles o sin ella. La elaboración de perfiles se define como el recurso al tratamiento de datos personales para evaluar determinados aspectos de un ser humano (42) : rendimiento profesional, situación económica, salud, preferencias, intereses, fiabilidad, comportamiento, ubicación, movimientos, etc.

La aplicación de esta tecnología al procedimiento administrativo y su repercusión en el ámbito de la Administración Pública, ha conllevado su definición y regulación como concepto jurídico en el art. 41 de la Ley 40/2015, de 1 de octubre, de Régimen Jurídico del Sector Público (LA LEY 15011/2015) (Ley 40/2015).

Tal y como establece el art. 41.1 de la Ley 40/2015 (LA LEY 15011/2015) «Se entiende por actuación administrativa automatizada cualquier acto o actuación realizada íntegramente a través de medios electrónicos por una Administración Pública en el marco de un procedimiento administrativo y en la que no haya intervenido de forma directa un empleado público» (43) .

La actuación administrativa automatizada identifica así cualquier acto o actuación realizada íntegramente a través de medios electrónicos por una Administración Pública, en el marco de un procedimiento administrativo, sin intervención directa de un empleado público. Este régimen jurídico sólo resulta de aplicación a la actividad administrativa formalizada, incluyendo expresamente los sistemas de IA que apoyan la toma de decisiones (algoritmos), y excluyendo, por tanto, a los sistemas de IA que se limitan a mejorar la prestación material de los servicios públicos (44) .

Para su aplicación, el art. 41.2 de la Ley 40/2015 (LA LEY 15011/2015) exige la concurrencia de una serie de requisitos: «En caso de actuación administrativa automatizada deberá establecerse previamente el órgano u órganos competentes, según los casos, para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente. Asimismo, se indicará el órgano que debe ser considerado responsable a efectos de impugnación».

La actuación administrativa automatizada requiere la identificación previa del órgano competente para la definición de las especificaciones, programación, mantenimiento, supervisión, control de calidad y auditoría del sistema de información y su código fuente; y del órgano responsable a los efectos de impugnación. Con la redacción dada al precepto se descarta toda posibilidad de considerar que la actuación administrativa automatizada tenga carácter autónomo, puesto que siempre estará atribuida a un órgano administrativo concreto y quedará sujeta a ulterior revisión. Se establece asimismo la obligación de una supervisión humana de todo el sistema.

Desde un punto de vista técnico la decisión automatizada constituye una herramienta eficaz en cualquier ámbito que requiera el uso de datos o el recurso a biga data para la toma de decisiones: comercial, financiero, asegurador, jurídico, educativo, sanitario, etc.

Desde un punto de vista jurídico el recurso a la actuación administrativa automatizada tiene especial aplicación en el ámbito de la actividad reglada, que se caracteriza porque a partir de un supuesto de hecho determinado, la aplicación del marco jurídico previamente delimitado, sólo permite producir una única decisión administrativa válida.

La decisión administrativa automatizada es un instrumento que refuerza la eficacia del Estado de Derecho por distintas razones. Facilita la toma de decisiones, principalmente las basadas en big data; agiliza el proceso decisorio; previene y limita los errores; minora el esfuerzo de tareas complejas, repetitivas o carentes de estímulo; favorece el cumplimiento normativo; y asegura la coherencia del conjunto de decisiones adoptadas en el ámbito de una Administración Pública. El principal riesgo radica en la automatización de decisiones complejas, que afectan a una pluralidad de personas, y despliegan influencia sobre las siguientes (45) . En estos supuestos es habitual recurrir al apoyo informático de modelos algorítmicos, que por su propio diseño pueden generar decisiones injustas y discriminatorias (46) . Por este motivo el legislador europeo limitó en 2016 el recurso a decisiones basadas únicamente en tratamientos automatizados si afectan significativamente o producen efectos jurídicos frente a terceros interesados (art. 22.1 RGPD (LA LEY 6637/2016)) (47) .

2. Diferencia con la Administración electrónica

IA y digitalización de la actividad administrativa (Administración electrónica) son etiquetas diferentes.

La digitalización supone la utilización de tecnologías de la información y las comunicaciones (TIC) para los procesos administrativos, y hunde sus raíces en las previsiones que contenía la ya derogada Ley 30/1992, de 26 de noviembre, de Régimen Jurídico de las Administraciones Públicas y del Procedimiento Administrativo Común (LA LEY 3279/1992) (Ley 30/1992 (LA LEY 3279/1992)), en su art. 45 (48) . Este precepto imponía a todas las Administraciones Públicas la obligación de impulsar el uso de medios técnicos (electrónicos, informáticos y telemáticos) para el desarrollo de su actividad y el ejercicio de sus competencias.

El proceso jugó un papel destacado en la reforma de 2015 (49) y sentó las bases para generar futuros modelos de IA aplicables al ámbito de la actividad administrativa.

La digitalización, que por sí sola ni integra ni supone el recurso a sistemas de IA, afectó especialmente a la relación entre la Administración Pública y los ciudadanos, y al archivo de los procedimientos. Los aspectos más representativos del proceso fueron: la creación y puesta en marcha de los registros electrónicos; la notificación electrónica; la configuración del sujeto obligado a relacionarse electrónicamente con la Administración; y el archivo electrónico de los expedientes administrativos en forma de datos estructurados. Estos elementos han propiciado que la relación tradicional «en papel» haya quedado sustituida de forma paulatina por una relación principalmente electrónica.

A diferencia de la IA la digitalización no ha tenido impacto en el contenido de la actividad administrativa, pero se ha convertido en una herramienta esencial para la creación y aplicación de los diferentes sistemas de IA en el ámbito de la Administración Pública (50) . La digitalización ha permitido el almacenamiento electrónico de toda la actividad administrativa, facilitando la extracción y el tratamiento de los datos más relevantes en cada procedimiento. Esa enorme base de datos constituye un instrumento imprescindible para generar modelos de IA que a través de predicciones algorítmicas faciliten la toma de decisiones administrativas futuras (51) . La digitalización se convierte así en condición necesaria para el recurso a herramientas o sistemas de IA en el ámbito administrativo.

III. LOS ALGORITMOS Y EL CÓDIGO FUENTE

1. Concepto

La base de la IA es esencialmente matemática y su núcleo son los algoritmos.

El algoritmo puede definirse como un procedimiento por etapas: conjunto de reglas que hay que seguir para realizar una tarea o resolver un problema. El concepto tiene origen en el mundo real (52) , mucho antes de la aparición de los ordenadores y la computación, y se considera que el más antiguo fue formulado por Euclides en el año 300 A.C. para hallar el máximo común divisor. Al parecer, es un término de origen árabe procedente de Al-Khwarizmi, sobrenombre del matemático persa Mohamed ben Musa que, en torno al año 820 D.C., introdujo en occidente la numeración decimal, y difundió las reglas aritméticas elementales vinculadas a ella (53) .

La RAE le atribuye dos acepciones: «Conjunto ordenado y finito de operaciones que permite hallar la solución de un problema» y «Método y notación en las distintas formas del cálculo».

En la actualidad la palabra algoritmo se identifica como un término característico del campo tecnológico, que está directamente relacionado con la programación informática y los sistemas de IA (54) . De forma sencilla puede definirse como una secuencia lógica de comandos, pasos o instrucciones, establecidas de manera ordenada y delimitada, para que un ordenador solucione un problema, haga un cálculo o ejecute una tarea utilizando los datos o la información que se le ha facilitado previamente. Un algoritmo es, por tanto, el procedimiento que el ordenador sigue paso a paso para alcanzar un objetivo concreto. Las partes de un algoritmo en esencia son tres: input o entrada, la información que se suministra al sistema; proceso, el conjunto de pasos que debe seguir el ordenador a partir de los datos recibidos; y output o salida, el resultado que obtiene el ordenador con la transformación de los datos durante el proceso. La función del algoritmo es convertir los datos en un resultado concreto a través de un procedimiento computacional específico.

Los algoritmos constituyen la columna vertebral de la programación informática y, por tanto, de los ordenadores: los seres humanos pueden actuar utilizando algoritmos o no, pero los ordenadores sólo pueden funcionar siguiendo un algoritmo. Los programas informáticos son un conjunto de algoritmos ordenados y codificados en un lenguaje de programación (basic, java, pascal, etc.), que indican al ordenador qué pasos debe seguir y en qué orden debe realizarlos para ejecutar una tarea específica.

El código fuente es el conjunto de líneas de texto, escritas en un lenguaje de programación, que describen el algoritmo que debe seguir el ordenador para la correcta ejecución de un programa específico (55) . Su función es convertir los programas informáticos en ejecutables para los ordenadores. La Comisión de Garantía del Derecho de Acceso a la Información Pública de Cataluña lo ha definido en sus Resoluciones 123-124/2016, de 21 de septiembre de 2016, como «el conjunto de instrucciones escritas, en el lenguaje de programación que corresponda, del programa informático empleado para implementar el algoritmo».

En el ámbito de la programación informática la definición del algoritmo es siempre previa a la redacción del código fuente.

2. Naturaleza jurídica

El uso de algoritmos para incrementar la eficiencia de los recursos y la eficacia de los procesos es habitual en la esfera privada desde hace ya muchos años (56) , y empieza a introducirse cada vez con mayor frecuencia en el sector público (57) . La aplicación de algoritmos en el ámbito de la Administración Pública plantea problemas específicos porque la actuación administrativa está sometida a presupuestos normativos cualificados (v. apartado 2.1). En el caso de la actuación administrativa el sistema automatizado debe ser establecido expresamente (ex. art. 41.2 de la Ley 40/2015 (LA LEY 15011/2015)). Este requisito ha suscitado un debate en la doctrina sobre la naturaleza jurídica que presentan los algoritmos que pueda aplicar la Administración Pública en la tramitación de un procedimiento administrativo. Los principales protagonistas han sido BOIX PALOP, que considera que los algoritmos son reglamentos (posición minoritaria) y HUERGO LORA, que defiende que no lo son.

BOIX PALOP sustenta su posición en los siguientes términos (58) . Los algoritmos que utilizan las Administraciones Públicas para adoptar decisiones son reglamentos por dos motivos: porque cumplen una función de regulación de las actuaciones futuras de la Administración, semejante a la que los reglamentos desempeñan con carácter general; y porque deben quedar sometidos al mismo control que el ordenamiento contempla para los reglamentos.

Su argumentación establece una vinculación necesaria entre la función que despliegan los algoritmos, su calificación jurídica y el régimen jurídico al que deben quedar sujetos.

HUERGO LORA considera que los procedimientos administrativos son algoritmos, puesto que se componen de pasos dotados de un contenido determinado que deben seguirse para alcanzar una solución (la resolución o acto final del procedimiento). Y, por tanto, que el fenómeno novedoso son las predicciones algorítmicas basadas en datos que se usan para la toma de decisiones (59) , en unos casos de forma automática, a la vista del resultado que proporciona el algoritmo, y en otros supuestos a modo de informe elaborado por el algoritmo que el encargado de tomar la decisión tendrá que valorar. Entiende que los algoritmos presentan los mismos riesgos que la intervención humana y que lo relevante no es quién actúa sino cómo actúe y, sobre todo, cómo se puede controlar esa actuación y cómo se puede garantizar que respeta el programa normativo previamente establecido (60) .

Su argumentación establece que la calificación jurídica del algoritmo dependerá de la función que se le atribuya en el proceso de creación y aplicación del Derecho. Y, por tanto, su naturaleza jurídica dependerá de la actuación administrativa en la que se inserta y no del algoritmo en sí.

Ambas posiciones han tenido repercusión en la doctrina, siendo mejor acogido el argumento que niega a los algoritmos la condición de reglamento. En esta línea GAMERO CASADO considera que los algoritmos son meras herramientas para la Administración Pública, y no pueden equiparse a los reglamentos porque no innovan el ordenamiento jurídico y deben respetarlo (61) . Por su parte ARROYO JIMÉNEZ entiende que los algoritmos no se convierten en reglamentos por cumplir una función reguladora de la Administración Pública puesto que, por si mismos, no constituyen presupuesto de validez de los actos administrativos y, por tanto, si la Administración Pública se aparta de ellos en actuaciones futuras, los actos correspondientes no serán necesariamente inválidos porque no habrán incurrido en una infracción del ordenamiento jurídico (62) .

3. Riesgo de transparencia opaca e impacto en el deber de motivación de los actos administrativos

La autoría de las decisiones administrativas automatizadas se atribuye por Ley al órgano administrativo que ejerce la potestad y tiene encomendada la competencia (ex. art. 41.2 de la Ley 40/2015 (LA LEY 15011/2015)).

La clasificación de los algoritmos utilizados por la Administración Pública depende de la función y autonomía que se les atribuya en la fase decisoria del procedimiento (v. apartado 1.3.2). Y, como defiende la posición mayoritaria en la doctrina, esta función será determinante para identificar su naturaleza jurídica (v. apartado 3.2).

En el ámbito de la decisión administrativa automatizada, entre las medidas que contempla la normativa española para salvaguardar los derechos y libertades y los derechos e intereses legítimos del interesado, se incluye el derecho de impugnación pero no el derecho a obtener intervención humana por parte del responsable (ex. art. 41.2 de la Ley 40/2015 (LA LEY 15011/2015)).

En 2020 se descubrió que la Administración Pública estaba recurriendo a diferentes sistemas de IA basados en los denominados «algoritmos opacos o de caja negra» (63) ; denominación que en opinión de BAZ LOMBA, se les atribuye por la concurrencia de tres circunstancias: complejidad técnica, opacidad del contenido y restricción del acceso a su código fuente (64) .

En este contexto adquiere especial relevancia el uso que lleva a cabo la Administración Pública de modelos o predicciones algorítmicas (65) , por el riesgo que conllevan para el principio de transparencia que debe presidir toda actuación administrativa y, especialmente, por el impacto que puedan desplegar en el deber de motivación de los actos y decisiones administrativas.

Las predicciones basadas en datos son el resultado facilitado por determinados algoritmos. El procedimiento consiste en analizar grandes cantidades de datos y extraer correlaciones que permitan predecir hechos futuros. El resultado proporcionado por el algoritmo puede generar una decisión automatizada (sin intervención humana), o puede orientar al encargado de tomar la decisión.

Los algoritmos predictivos han desplazado los criterios que se han utilizado tradicionalmente en la toma de decisiones, objetivos (basados en normas, razonamientos o principios) y subjetivos (basados en la experiencia, la formación o los valores); y los han sustituido por la elaboración de perfiles a partir del análisis de grandes cantidades de datos del pasado (66) .

Dado que el big data es uno de los elementos esenciales de este fenómeno (junto al procedimiento y la capacidad de computación), la primera respuesta jurídica al uso de algoritmos por la Administración Pública procedió del ámbito de la protección de datos (67) .

En términos generales, el régimen de protección de datos [Reglamento General de Protección de Datos (RGPD) (LA LEY 6637/2016) y Ley Orgánica 3/2018 (LA LEY 19303/2018) de 5 de octubre, de Protección de Datos Personales y Garantía de los Derechos Digitales (LO 3/2018 (LA LEY 19303/2018))] resulta aplicable a todo tratamiento automatizado de datos personales. Esta normativa protege toda «información sobre una persona física identificada o identificable» (art. 4 del RGPD (LA LEY 6637/2016)), por tanto, sus previsiones serán de aplicación limitada a los modelos algorítmicos por varias razones (68) : los datos que utilizan están habitualmente anonimizados; la legitimidad del tratamiento deriva de la función pública que desempeña la Administración [letras e), y, en su caso, c) y f) del artículo 6.1 del RGPD (LA LEY 6637/2016)]; y las predicciones que se obtienen no están dirigidas siempre de forma directa a un interesado concreto, sino que en la mayor parte de las veces sirven exclusivamente a la Administración Pública que podrá considerarlas o no.

El art. 22.1 del RGPD (LA LEY 6637/2016) contiene una prohibición que afecta a las decisiones individuales automatizadas, incluyendo expresamente la elaboración de perfiles, si concurren dos condiciones: la falta de intervención humana; y la producción de efectos jurídicos o la afectación significativa a un interesado.

Para eludir la prohibición, la intervención humana debe ser cualitativamente significativa en la fase decisoria. Por ese motivo, sólo si la decisión que toma el algoritmo es la que se adopta automáticamente, o la que asume el responsable bajo una mera supervisión y sin realizar un análisis detallado, deberá entenderse que es plenamente automatizada e incluida en la prohibición. Resulta más difícil precisar el alcance de la segunda condición. Podrían ajustarse a la categoría de «efectos jurídicos o afectación suficientemente significativa para un interesado» las decisiones «que afecten al acceso de una persona a los servicios sanitarios, a una prestación o a la educación» (69) . En todo caso esta condición también resulta de aplicación limitada a las predicciones algorítmicas, puesto que generalmente la Administración las utiliza como herramienta para mejorar la asignación de recursos en la selección de los ámbitos de actuación (tanto en actuaciones de gravamen como la iniciación de procedimientos sancionadores, como favorables, p. ej. los servicios sociales), más que para determinar el contenido de una decisión concreta. No obstante, si la aplicación del algoritmo fuese determinante para tomar la decisión o para la aplicación de la norma (p. ej. en la asignación de plazas MIR que encadena actuaciones sucesivas, de forma que cada una de ellas influye en el punto de partida de la siguiente), si podría entenderse que afecta al interesado en los términos previstos por este precepto del RGPD.

La prohibición admite excepciones cuando se cumplan las condiciones contempladas en el art. 22.2 del RGPD (LA LEY 6637/2016), que relaciona las únicas bases jurídicas que justifican esta actuación: que sea «necesaria para la celebración o la ejecución de un contrato entre el interesado y un responsable del tratamiento»; que esté «autorizada por el Derecho de la Unión o de los Estados miembros que se aplique al responsable del tratamiento y que establezca asimismo medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado»; o que esté basada «en el consentimiento explícito del interesado».

De las tres excepciones la más relevante para el Derecho público es la necesidad de una habilitación normativa para que las Administraciones Públicas puedan adoptar decisiones basadas únicamente en el tratamiento automatizado de datos personales, si se quiere que la decisión afecte significativamente o produzca efectos jurídicos en el interesado. Se exige además el cumplimiento de un requisito adicional que consiste en la adopción de las medidas adecuadas para salvaguardar los derechos y libertades y los derechos y los intereses legítimos del interesado.

En el caso español la habilitación normativa prescrita por el articulo 22.2 b) del RGPD (LA LEY 6637/2016) es la Ley 40/2015 (LA LEY 15011/2015) que regula la actuación administrativa automatizada en su art. 41. HUERGO LORA considera que tras la entrada en vigor del RGPD el Estado español debería haber establecido una habilitación normativa específica para la adopción de un tipo concreto de decisiones automatizadas, no mantener una habilitación general para la toma de decisiones automatizadas, «porque lo relevante es el uso de modelos algorítmicos y no que la decisión se adopte de forma automática» (70) .

Conforme al art. 22.3 RGPD (LA LEY 6637/2016), los responsables del tratamiento «deben adoptar las medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado, como mínimo el derecho a obtener intervención humana por parte del responsable, a expresar su punto de vista y a impugnar la decisión» sólo cuando el tratamiento sea necesario para la celebración o ejecución de un contrato, o cuando esté basado en el consentimiento del particular; pero no en relación con las Administraciones Públicas. En este caso [art. 22.2 b) del RGPD (LA LEY 6637/2016)] se ha interpretado que frente a una Administración Pública los particulares sólo gozarán del «derecho a obtener intervención humana por parte del responsable» si así se contempla en las normas de los Estados miembros (71) . PALMA ORTIGOSA considera que el RGPD tenía que haber extendido la garantía que se establece en el art. 22.3 a todos los supuestos del art. 22.2 del RGPD (LA LEY 6637/2016), y no dejar esa decisión en manos de los Estados miembros (72) .

El derecho a la explicación de las decisiones automatizadas se está considerando como una nueva garantía introducida por el RGPD, a través de la redacción dada al considerando 71 del RGPD (de dudoso carácter vinculante), y a la que de forma idéntica presentan los arts. 13.2 f) (LA LEY 6637/2016), 14.2 g) (LA LEY 6637/2016) y 15.1 h) del RGPD (LA LEY 6637/2016) que, al regular la información y acceso a los datos personales, obligan al responsable del tratamiento a informar al interesado sobre «la existencia de decisiones automatizadas, incluida la elaboración de perfiles», y, en esos casos, a otorgarle «información significativa sobre la lógica aplicada, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado». Esta interpretación, realizada por ROIG (73) , se alinearía con el Principio de Asilomar que predica la transparencia judicial (v. apartado 1.2.2). No obstante, como destaca MEDINA GUERRERO, resulta muy difícil sostener que de la obligación de ofrecer «información significativa sobre la lógica aplicada» que impone el RGPD, pueda derivarse un derecho a la explicación completa de la decisión automatizada, que incluya la revelación del algoritmo utilizado, como norma armonizada para toda la UE (74) .

En el ordenamiento español, el Consejo de Transparencia y Buen Gobierno ha interpretado, a medio de dos Resoluciones dictadas en 2021 (75) , que el derecho a la explicación de las decisiones automatizadas, incluyendo el acceso al algoritmo empleado, encuentra su fundamento en el derecho de acceso a la información pública proclamado en el artículo 105 b) de la CE (LA LEY 2500/1978), y desarrollado por la Ley 19/2013 de 9 de diciembre (LA LEY 19656/2013), de Transparencia, Acceso a la Información Pública y Buen Gobierno (Ley 19/2013 (LA LEY 19656/2013)), que en su art. 13 dispone que se entiende por información pública «los contenidos o documentos, cualquiera que sea su formato o soporte, que obren en poder de alguno de los sujetos incluidos en el ámbito de aplicación de este Título y que hayan sido elaborados o adquiridos en el ejercicio de sus funciones».

En esta línea la Ley 1/2022 de 13 de abril (LA LEY 7949/2022), de Transparencia y Buen Gobierno de la Comunidad Valenciana, impone a las Administraciones Públicas en su artículo 16.1 l) la obligación de publicar «La relación de sistemas algorítmicos o de inteligencia artificial que tengan impacto en los procedimientos administrativos o la prestación de los servicios públicos con la descripción de manera comprensible de su diseño y funcionamiento, el nivel de riesgo que implican y el punto de contacto al que poder dirigirse en cada caso, de acuerdo con los principios de transparencia y explicabilidad», al calificarla como «información de relevancia jurídica».

Asimismo, procede destacar que en el ámbito administrativo el derecho a obtener una explicación sobre la decisión automatizada y el acceso al algoritmo utilizado, están directamente relacionados con el deber de motivación que el Estado de Derecho impone a la Administración Pública al amparo de las previsiones contenidas en los arts. 9.3 (LA LEY 2500/1978), 24 (LA LEY 2500/1978) y 106 de la CE (LA LEY 2500/1978), que constan expresamente desarrolladas en el art. 35 de la Ley 39/2015 de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas (LA LEY 15010/2015) (Ley 39/2015 (LA LEY 15010/2015)), que constituye una de las garantías centrales del procedimiento administrativo. En esta línea, GAMERO CASADO ha destacado dos cuestiones: «que los algoritmos, la actuación administrativa automatizada y la IA no escapan a la necesidad de motivar las decisiones basadas en ellos» (76) y que, conforme a la Ley 39/2015 (LA LEY 15010/2015) «no se pueden usar algoritmos de "caja negra" (black box) que apoyen la toma de decisiones, al ser imposible saber por qué el sistema toma esa decisión» (77) .

Conforme a lo expuesto podría concluirse que si el recurso a los sistemas de IA tiene como finalidad mejorar la calidad en la prestación de los servicios públicos, o adoptar decisiones en el marco de la actividad reglada, la opacidad sobre el funcionamiento del algoritmo sería irrelevante a efectos jurídicos. Sin embargo, si la finalidad de las aplicaciones es prestar apoyo a la Administración Pública en la toma de decisiones complejas, que afectan a una pluralidad de personas y despliegan influencia sobre las siguientes, o los algoritmos introducen datos, elementos o criterios que influyen en el sentido de la decisión (sea automatizada o no), en aras del principio de transparencia que rige toda la actividad administrativa y, especialmente, en cumplimiento del deber de motivación regulado en el art. 35 de la Ley 39/2015 (LA LEY 15010/2015), la Administración debería estar obligada a facilitar a todos los ciudadanos afectados una explicación sobre el funcionamiento del algoritmo en un lenguaje comprensible. Por este motivo se ha planteado la creación y puesta en marcha de un registro público que permita identificar los algoritmos utilizados por las Administraciones Públicas (78) .

4. Riesgo de discriminación indirecta por sesgo: la aplicación BOSCO

La preocupación por la igualdad de trato y no discriminación en el ámbito de las decisiones administrativas automatizadas, especialmente las que se adoptan con apoyo en modelos algorítmicos, puede reconocerse en el art. 23 de la Ley 15/2022 de 12 de julio (LA LEY 15917/2022), integral para la igualdad de trato y la no discriminación (Ley 15/2022 (LA LEY 15917/2022)), que dirige a las Administraciones Públicas que utilicen algoritmos para la toma de decisiones una serie de mandatos. Favorecer la puesta en marcha de mecanismos para que los algoritmos involucrados en la toma de decisiones que se utilicen tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas; abordar el potencial impacto discriminatorio delos algoritmos; promover la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio de los algoritmos; priorizar la transparencia en el diseño de los algoritmos involucrados en procesos de toma de decisiones y la implementación y la capacidad de interpretación de las decisiones adoptadas por los mismos; promover el uso de una IA ética, confiable y respetuosa con los derechos fundamentales, siguiendo las recomendaciones de la Unión Europea; y promover un sello de calidad de los algoritmos.

Esta regulación pretende minimizar la discriminación por sesgo del modelo algorítmico utilizado en la toma de decisiones administrativas, principalmente las automatizadas. Como ya se ha destacado el recurso a la IA en el ámbito jurídico reporta ventajas y oportunidades pero también conlleva riesgos de diversa índole. Quizá el que ha generado mayor alarma social es la constatación, contra pronóstico, de la habilidad que tienen los algoritmos para ocultar, provocar o intensificar situaciones discriminatorias. La tendencia de los seres humanos a confiar en la neutralidad de los sistemas automatizados, validó en origen la sustitución del razonamiento humano por la IA, al considerar que reportaría decisiones objetivas, más justas y menos discriminatorias. El paso del tiempo acabó demostrando que la premisa era débil y tenía fisuras. El aprendizaje de un algoritmo tiene como punto de partida los datos que se le suministran y el diseño de su programa computacional, en ambos casos por seres humanos que pueden verse influidos por determinados estereotipos. Por ese motivo, y dada la capacidad de autoaprendizaje característica de la IA, no debería extrañar la habilidad desarrollada por los algoritmos para replicar en los perfiles que elaboran los sesgos humanos discriminatorios.

Así sucedió en Amazon, la compañía de comercio electrónico, que en 2014 puso en marcha un sistema algorítmico para optimizar recursos e incrementar la neutralidad en sus procesos de reclutamiento para contratar personal en la categoría de técnico. Tres años después de su implantación el programa tuvo que ser eliminado por sexista, ya que el algoritmo tomaba como punto de partida el perfil que presentaban los trabajadores que desempeñaban o habían ocupado ese puesto, tradicionalmente varones, y aprendió a descartar las candidaturas de mujeres porque incluían vocablos femeninos (79) . Algo parecido se produjo en Microsoft con Tay, el programa informático desarrollado en 2016, para explorar la interacción entre los ordenadores y los seres humanos, que fue diseñado con el objetivo de mantener en las redes sociales una conversación informal y divertida con una audiencia de entre 18 y 24 años pero que, a gran velocidad, aprendió de los usuarios de la red, se convirtió en xenófobo y tuvo que ser desactivado dos días después de su lanzamiento, porque contestaba utilizando mensajes racistas (80) .

Se considera que son varias las razones que podrían explicar por qué una herramienta prevista en principio para eliminar los sesgos, incluso inconscientes, de las decisiones humanas, se ha convertido en fuente de eventuales discriminaciones (81) . En primer lugar el diseño del algoritmo, que puede establecerse como un instrumento para generar discriminación por acción u omisión, de forma consciente o inconsciente. En segundo lugar la evolución del algoritmo, que puede apartarse de la neutralidad al configurar los perfiles como consecuencia de la falta de pluralidad en los datos que se le suministran. En tercer lugar la opacidad del algoritmo, por la complejidad del proceso interno de toma de decisiones, su capacidad de autoaprendizaje y la dificultad para acceder al mismo; y, en último lugar el contexto social en que se aplica el algoritmo, que puede contribuir a perpetuar situaciones discriminatorias.

Para que las decisiones basadas en modelos algorítmicos incurran en supuestos de discriminación directa, será necesario que el sistema se alimente con datos que no deberían haberse considerado por impedirlo el art. 9.1 del RGPD (LA LEY 6637/2016) (etnia o raza, ideología, religión, afiliación sindical, genética, biometría, salud, sexo u orientación sexual). No obstante, la toma de decisiones basada en otros datos no incluidos en el precepto, inocuos en apariencia, puede constituir también discriminación directa por inferencia si los datos suministrados al sistema resultan insuficientes, no están actualizados o no son representativos (82) . En estos casos el acceso al algoritmo resulta imprescindible para probar el sesgo discriminatorio y acreditar la causalidad entre el tratamiento de los datos y la pertenencia al grupo desfavorecido por la decisión.

Las situaciones de discriminación indirecta, decisiones que en apariencia son neutras pero que perjudican mayoritariamente a los integrantes de un colectivo concreto, también pueden producirse en el ámbito de las decisiones automatizadas. En estos casos para que la justificación se considere suficiente es necesario acreditar que la medida aparentemente neutra persigue un objetivo legítimo, y superar el test de proporcionalidad: adecuación, necesidad y proporcionalidad de la medida adoptada. Identificar que un sistema algorítmico está provocando este tipo de discriminación resulta complejo, puesto que el sentir mayoritario invita a confiar en la neutralidad de la IA y esta tendencia favorece que la decisión supere, incluso en vía judicial, el test de proporcionalidad, porque se confía en la precisión del programa y el sesgo de los algoritmos se interpreta como necesario aunque contribuya a perpetuar una situación de desventaja o desigualdad (83) . Como destaca SORIANO ARNANZ, «lo que no se valora es que la precisión del sistema sea tal vez el resultado de haber trasladado al algoritmo una estructura social discriminatoria» (84) .

La versatilidad de los programas informáticos permite que, aunque el modelo algorítmico no presente sesgos perjudiciales contra personas pertenecientes a grupos o colectivos tradicionalmente desfavorecidos, su aplicación a la toma de decisiones provoque una situación discriminatoria indirecta. Esto es lo que ha sucedido en España con la aplicación BOSCO, programa informático usado por las compañías eléctricas y desarrollado por el Ministerio de Energía, Turismo y Agenda Digital, para evaluar las solicitudes y gestionar la tramitación y concesión del conocido como «bono social eléctrico» (que genera un descuento en la factura de la luz a favor de colectivos concretos: familias numerosas, rentas bajas, etc.), que ha denegado la condición de beneficiaria a numerosas personas que cumplían las exigencias previstas en la normativa reguladora.

Como se desprende del art. 8 del Real Decreto 897/2017, de 6 de octubre (LA LEY 16025/2017), por el que se regula la figura del consumidor vulnerable, el bono social y otras medidas de protección para los consumidores domésticos de energía eléctrica, la decisión de conceder o denegar el bono social queda claramente determinada por el algoritmo de la aplicación, puesto que el precepto citado establece que «una vez recibida la solicitud de aplicación del bono social, el comercializador de referencia, a través de la plataforma informática disponible a tal efecto en la Sede Electrónica del Ministerio de Energía, Turismo y Agenda Digital, comprobará los datos que obren en la misma».

El conocido como caso BOSCO (nombre de la aplicación) o caso CIVIO (denominación de la Fundación que detectó el fallo y solicitó acceso al código fuente) es el más significativo hasta la fecha en el ámbito del sector público español, y el único que consta judicializado (85) .

La Fundación CIVIO realizó un estudio con fines sociales y detectó que el algoritmo fallaba al denegar el bono social a las personas viudas, por lo que se dirigió al Ministerio para la Transición Ecológica y el reto Demográfico y, ejercitando el derecho de acceso a la información pública (ex. arts. 12 (LA LEY 19656/2013) y 13 de la Ley 19/2013 (LA LEY 19656/2013)), solicitó acceso a las especificaciones técnicas de la aplicación, al resultado de las pruebas de funcionamiento, al código fuente, y a cualquier otra documentación entregable para conocer y verificar el funcionamiento de la aplicación.

Al denegarse el acceso a la información solicitada, por silencio del Ministerio en el plazo de un mes establecido por la Ley 19/2013 (LA LEY 19656/2013) (ex. art. 20.1), CIVIO interpuso reclamación ante el Consejo de Transparencia y Buen Gobierno (CTBG), que la estimó parcialmente en virtud de Resolución 701/2018, de 18 de febrero de 2019, permitiendo el acceso a las especificaciones técnicas de la aplicación y al resultado de las pruebas de funcionamiento, pero denegando el acceso al código fuente con el fin de proteger la propiedad industrial. La entidad administrativa independiente instó así al Ministerio para que, en el plazo máximo de 10 días hábiles, remitiera a la entidad reclamante las especificaciones técnicas de la aplicación, el resultado de las pruebas realizadas para comprobar que la aplicación implementada cumple la especificación funcional, y cualquier otro entregable que permita conocer el funcionamiento de la aplicación.

CIVIO interpuso recurso contencioso-administrativo contra la resolución del CTBG que había denegado el acceso al código fuente con base en dos argumentos: «que el art. 13 del Texto Refundido de la Ley de Propiedad Intelectual (LA LEY 1722/1996) dispone que no son objeto de propiedad intelectual las disposiciones legales o reglamentarias y sus correspondientes proyectos, las resoluciones de los órganos jurisdiccionales y los actos, acuerdos, deliberaciones y dictámenes de los organismos públicos, así como las traducciones oficiales de todos los textos anteriores»; y «que el límite previsto en el artículo 14.1, apartado j) de la Ley 19/2013, de 9 de diciembre, de Transparencia, Acceso a la Información Pública y Buen Gobierno (LA LEY 19656/2013), solo puede aplicarse cuando se trate de una propiedad intelectual de titularidad ajena al obligado a la transparencia, ya que lo que se pretende con dicha limitación es la salvaguarda de derechos de un tercero». El Letrado de la Fundación hace suya en su escrito la tesis planteada por BOIX PALOP (v. apartado 3.2), y defiende que los algoritmos empleados por la Administración Pública de modo no puramente instrumental producen materialmente los mismos efectos que cualquier reglamento y, por tanto, considera necesario extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración Pública para la adopción de decisiones lo que incluye su acceso por constituir información pública relevante.

Por su parte el Ministerio centró su argumentación en el riesgo que supondría para la Seguridad Nacional el acceso al código fuente, puesto que el sistema compartía información con bases de datos sensibles que quedarían expuestas y se pondrían en riesgo. Para sustentar su posición se apoyó en un informe elaborado por el Centro Criptológico Nacional.

El Juzgado Central de lo Contencioso-Administrativo núm. 8 desestimó íntegramente el recurso interpuesto por Sentencia 143/2021, de 30 de diciembre (Procedimiento Ordinario 18/2019 (LA LEY 326641/2021)) al aceptar los argumentos expuestos por el Ministerio. La Sentencia, en síntesis, plasma las siguientes conclusiones: que el acto administrativo no se dicta por una aplicación informática, sino por un órgano administrativo y que, en caso de disconformidad, el destinatario podrá impugnarlo en vía administrativa y judicial; que la legalidad del acto administrativo no está justificada por la aplicación informática que instrumentalmente se utiliza en una fase del correspondiente procedimiento administrativo, sino por la normativa que regula la materia; que la denegación del acceso al código fuente de la aplicación informática no supone una vulneración del principio de legalidad, pues siempre, en último extremo, se podrá comprobar si el solicitante cumple los requisitos para que se le conceda el bono social; y parafraseando el informe del Centro Criptológico Nacional, que «la revelación del código fuente aumenta de una manera objetiva la severidad de las vulnerabilidades de cualquier aplicación informática. Si esta además maneja información clasificada o sensible de la administración, el conocimiento del código fuente aumenta el riesgo de que la explotación de las vulnerabilidades pueda afectar a la seguridad nacional, la seguridad pública o la seguridad de los administrados».

La resolución judicial está actualmente recurrida en apelación ante la Audiencia Nacional, pero en vía de recurso parece que el CTBG se ha apartado de la argumentación mantenida por la Abogacía del Estado y ha modificado su posición mostrándose favorable a que se otorgue un acceso segmentado al código fuente en los términos previstos por el art. 16 de la Ley 19/2013 (LA LEY 19656/2013), es decir, eliminando los elementos que puedan afectar a la Seguridad Nacional y manteniendo los que explican las reglas o criterios aplicados por el algoritmo.

5. Riesgo del sistema predictivo: la experiencia de VioGén

La actividad administrativa está sujeta al principio de legalidad, que impone que la toma de decisiones se fundamente en criterios establecidos con carácter previo, aunque recurra a la IA como herramienta de apoyo.

Los sistemas de predicción algorítmica analizan los datos etiquetados para hallar correlaciones (baremos) y anticipar hechos futuros (v. apartados 3.1 y 3.3). Su aplicación en ámbitos que requieren un control jurídico intenso, y exigen justificar que la toma de decisiones se ha ajustado a la programación establecida conforme a la normativa reguladora, resulta complicada y entraña riesgos (86) . En primer lugar, debe destacarse que los algoritmos tienden a reproducir en el futuro los patrones del pasado, lo que no siempre se corresponderá con la realidad. En segundo lugar, ha de señalarse que la complejidad de los datos manejados, por su cantidad y variedad, no siempre permitirá entender (y mucho menos explicar) por qué el algoritmo ha establecido ese baremo en particular y no otro. Y, en último lugar, no debe olvidarse que si el baremo es muy complejo, aunque sea posible saber qué factores tiene en cuenta el algoritmo para alcanzar su conclusión, no siempre será factible determinar el peso exacto que se atribuye a cada uno de ellos y, por tanto, resultará muy difícil fundamentar por qué un ciudadano ha recibido una determinada calificación que, consiguientemente, lo ubica de forma automática en una posición favorable o desfavorable. Todos estos aspectos, en mayor o menor medida, han encontrado reflejo en la aplicación del sistema VioGén.

VioGén, el «Sistema de Seguimiento Integral de los Casos de Violencia de Género» entró en funcionamiento el 26 de julio del 2007, en cumplimiento de lo establecido en la Ley Orgánica 1/2004 de 28 de diciembre (LA LEY 1692/2004), de Medidas de Protección Integral contra la Violencia de Género (LO 1/2004 (LA LEY 1692/2004)), persiguiendo cuatro objetivos: aglutinar a las diferentes instituciones públicas que tienen competencia en materia de violencia de género; integrar toda la información de interés que se estime necesaria; realizar predicción del riesgo; y, atendiendo al nivel de riesgo evaluado, realizar seguimiento y protección a las víctimas en todo el territorio nacional.

Su puesta en marcha se realizó al amparo de la Instrucción 10/2007, de 10 de julio, de la Secretaría de Estado de Seguridad del Ministerio del Interior, que aprobó el «Protocolo para la valoración policial del nivel de riesgo de violencia contra la mujer en los supuestos de la Ley Orgánica 1/2004, de 28 de diciembre (LA LEY 1692/2004), y su comunicación a los órganos judiciales y al Ministerio Fiscal». En la actualidad el protocolo ha sido sustituido por otro aprobado mediante Instrucción 7/2016, de la Secretaría de Estado de Seguridad, para asegurar la uniformidad en la recogida y tratamiento de los datos, y agilizar su consulta por las personas autorizadas.

VioGén constituye el ejemplo más representativo de la utilización de predicciones algorítmicas por parte de la Administración Pública española. El algoritmo fue desarrollado por el Ministerio de Interior para evaluar el riesgo de violencia de género. Hasta la fecha se ha aplicado con asiduidad en las Comisarías de Policía para hacer evaluaciones de riesgo y, en menor medida, se ha tenido en cuenta en la jurisdicción penal para la adopción de medidas cautelares de protección a las víctimas (87) . El sistema se considera un servicio estratégico. Está siempre actualizado e integra toda la información disponible sobre un caso de violencia de género que haya sido objeto de valoración del riesgo. Según el último Informe Estadístico publicado por el Ministerio de Interior (88) , a 31 de diciembre de 2023 gestionaba 780.716 casos, de los que 82.363 estaban activos (es decir, eran objeto de atención policial), y el resto inactivos (habían sido objeto de actuación policial y eran susceptibles de volver a serlo). El número de casos inactivos que permanecen en el sistema es tan elevado porque una vez evaluado el riesgo, los casos sólo causan baja por firmeza de la sentencia absolutoria o del auto de sobreseimiento libre del encausado, por su fallecimiento, o por el cumplimiento y cancelación de sus antecedentes.

La información inicial del caso se compila a través de formularios para evaluar, tanto el riesgo de una nueva agresión «Valoración Policial del Riesgo» (VPR), como su evolución posterior «Valoración Policial de la Evolución del Riesgo» (VPER) (89) . La toma de datos se realiza por la policía cumplimentando un formulario que contempla treinta y nueve indicadores de riesgo (p. ej., si han existido vejaciones, insultos, humillaciones, violencia física o sexual; cuáles han sido las reacciones defensivas de la víctima; si el agresor ha empleado armas contra la víctima y si tiene acceso a ellas; si la víctima ha recibido amenazas o planes para causarle daño físico o psíquico; si ha existido una escalada en la gravedad o en la frecuencia de las agresiones o amenazas; si el agresor ha mostrado en los últimos seis meses celos exagerados o conductas de control sobre la víctima; etc.). La información recogida procede de las declaraciones de la víctima, de los testigos directos y de referencia, y de las incidencias detectadas por el Registro Judicial de Medidas Cautelares, de dispositivos de geo-posicionamiento, de servicios de atención y asistencia para víctimas, del Registro de Armas, y de cuantos ficheros policiales puedan consultarse (90) .

Los datos extraídos se someten al sistema algorítmico diseñado ad hoc por el Ministerio, que valora automáticamente las puntuaciones introducidas en los distintos indicadores. El sistema estructura la valoración de riesgo de la víctima en cinco niveles: no apreciado, bajo, medio, alto y extremo. El nivel puede ser incrementado por los agentes actuantes, para una mejor protección de la víctima, en atención a circunstancias no previstas en los indicadores. Cada nivel lleva aparejadas determinadas medidas de protección y seguridad. Cuando la valoración del riesgo es «no apreciado», sólo corresponde facilitar información sobre los derechos y recursos públicos; facilitar los teléfonos de emergencia y asistencia especializada; y ofrecer recomendaciones de autoprotección.

El resultado de la VPR se comunica al Juzgado y, en su caso, al Ministerio Fiscal, en un informe que incluye el atestado policial. Instruido el atestado, corresponde al Juez valorar, con el auxilio de las Unidades de Valoración Forense Integral, las circunstancias que puedan justificar la adopción de medidas cautelares de protección de la víctima, a cuyo efecto el informe policial constituye una diligencia más (91) . Cabe, por tanto, que puedan producirse discrepancias entre las medidas policiales adoptadas y la resolución judicial sobre las medidas cautelares procedentes. En estos casos el protocolo reconoce la prevalencia de las decisiones judiciales.

VioGén tiene atribuida también una labor preventiva, emitiendo avisos, alertas y alarmas, a través del «Subsistema de Notificaciones Automatizadas», cuando detecta alguna incidencia significativa para la integridad de la víctima (p. ej., para informar a la víctima sobre los cambios en la situación de libertad o de prisión del agresor, para avisar a los agentes de la necesidad de revisar la evolución del riesgo, para alertarles de que se ha reanudado la convivencia de la víctima con el agresor, de que se ha registrado una nueva agresión de un autor con otra víctima o de la suspensión o finalización de una orden de protección). Con la implementación de este subsistema se consigue una permanente actualización del nivel de riesgo de la víctima que se ha denominado «Estimación Permanente de Evolución del Riesgo» (EPER).

El sistema ha sido ampliamente criticado por las asociaciones de víctimas que consideran que no sólo tiende a infravalorar el riesgo (aproximadamente el 45% de los casos se califican como de riesgo «no apreciado»), sino que adapta el riesgo valorado para cada víctima en función de los medios policiales disponibles (92) . Tras muchos años de aplicación, el Ministerio ha facilitado en 2022 información sobre cómo se diseñó y cómo funciona el algoritmo, pero no ha revelado el código fuente (baremo) ni ha explicado qué peso se atribuye a los diferentes indicadores (preguntas del protocolo) para que el sistema genere la valoración del riesgo en cada caso (puntuación que determina la medida de protección) (93) .

IV. Reflexión final

La revolución digital es irreversible e incontestable y, aunque no está exenta de riesgos, debe considerarse como una herramienta útil para fortalecer el Estado de Derecho. En esta línea, la aplicación de sistemas de IA en el ámbito de la Administración Pública ha de interpretarse en clave positiva, por las innumerables ventajas que reporta a la calidad de los servicios públicos en términos de eficacia y eficiencia. Los diferentes modelos algorítmicos, con mayor o menor autonomía, están preparados para apoyar la toma de decisiones administrativas o producir decisiones automatizadas. Su función dependerá de la traducción de la normativa reguladora a instrucciones precisas, y de la idoneidad de los datos de referencia que se suministren al sistema.

La sujeción de la actividad administrativa al principio de legalidad implica el deber inexcusable de respetar todos los derechos fundamentales implicados. En el caso de la aplicación de sistemas de IA cobran especial relevancia la protección de datos personales, el acceso a la información pública derivada del principio de transparencia, el deber de motivación de los actos administrativos derivado del principio de legalidad, y la no discriminación. Por estas circunstancias el principal riesgo que presenta la IA en el ámbito del sector público, y el motivo principal de su estigmatización, es consecuencia de la opacidad de los sistemas algorítmicos y de la complejidad de su funcionamiento.

El reto que plantean no debe afrontarse desde la exclusión de su uso, sino desde la implementación de mayores y mejores mecanismos de seguridad para garantizar una protección efectiva de derechos fundamentales, en la línea marcada por el CTBG, y seguida por la vigente Ley de Transparencia de la Comunidad Valenciana que, a diferencia de la Ley 15/2022 (LA LEY 15917/2022) que sólo contempla mandatos, impone a las Administraciones Públicas la obligación concreta de publicar «La relación de sistemas algorítmicos o de inteligencia artificial que tengan impacto en los procedimientos administrativos o la prestación de los servicios públicos con la descripción de manera comprensible de su diseño y funcionamiento, el nivel de riesgo que implican y el punto de contacto al que poder dirigirse en cada caso, de acuerdo con los principios de transparencia y explicabilidad», al calificarla como «información de relevancia jurídica».

V. Referencias bibliográficas

AGUILERA GARCÍA, E. R., «Inteligencia artificial aplicada al derecho», Instituto de Investigaciones Jurídica», UNAM, 2004, p. 25.

ARROYO JIMÉNEZ, L., «Algoritmos y reglamentos», Almacén de Derecho, 2020. Puede consultarse en https://almacendederecho.org/algoritmos-y-reglamentos [Fecha última consulta 09.09.2023].

AI HLEG (High-Level Expert Group on AI), «A definition of AI: main Capabilities and Disciplines», European Commission, 2019, p. 6. Puede consultarse en https://digital-strategy.ec.europa.eu/en/library/definitionartificial-intelligence-main-capabilities-and-scientific-disciplines [Fecha última consulta 11.07.2023].

BAZ LOMBA, C., «Los algoritmos y la toma de decisiones administrativas. Especial referencia a la transparencia», Revista CEF legal, núm. 243, 2021, p. 128.

BECERRA J., «La cuarta revolución tecnológica: un nuevo paradigma de comprensión de la sociedad y el Estado más allá del Big Data e internet», Derecho y big data, Becerra J. (dir.), Editorial Universidad Católica de Colombia, 2018, p. 30.

BOIX PALOP, A., «Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones», Revista de Derecho Público: Teoría y Método, vol. 1, Marcial Pons, 2020, pp. 223-270.

CALVO GALLEGOS, F. J., en «Algoritmos y discriminación», Revista Latinoamericana de Derecho Social, núm. especial, 2022, pp. 10-19.

CHIAPPINI, D., «Inteligencia artificial y decisiones jurídicas», Inteligencia artificial y proceso: eficiencia vs. garantías, Asencio Gallego, J. M.ª (coord.), Juruá, Porto, 2023, pp. 207-209.

COTINO HUESO, L., «Ética en el diseño para el desarrollo de una inteligencia artificial, robótica y Big data confiables y su utilidad desde el Derecho», Revista Catalana de Dret Públic, núm. 58, 2019, p. 43.

DE LA CUEVA J., «Código fuente, algoritmos y fuentes del Derecho», El notario del siglo XXI, Revista del Colegio Notarial de Madrid, núm. 77, 2018, pp. 24-27.

DE LA SIERRA MORÓN, S., «Inteligencia artificial y justicia administrativa: una aproximación desde la teoría del control de la Administración Pública», Revista General de Derecho Administrativo, núm. 53, 2020, p. 7.

DEL CERRO, M., «Transparencia y eficiencia algorítmica en un escenario de "IA Fuerte": ¿hacia un cambio inminente de paradigma en la ciencia jurídica?», Ars Iuris Salmanticensis (AIS) Revista europea e iberoamericana de pensamiento y análisis de derecho, ciencia política y criminología, vol. 10, núm. 2, 2022, pp. 12-13

DIAKOPOULOS, N., «Transparency. Accountability, Transparency, and Algorithms», The Oxford Handbook of Ethics of AI, Dubber, M. Pasquale, F. (dir.), Oxford University Press, 2020, p. 201.

GAMERO CASADO, E., «Sistemas automatizados de toma de decisiones en el Derecho Administrativo Español», Revista General de Derecho Administrativo, núm. 63, 2023, p. 5.

GARBOWSKI, M., «A critical analysis of the Asilomar AI principles,» Zeszyty Naukowe, vol. 115, 2017, pp. 45-55.

GUTIÉRREZ DAVID, E., «El derecho de acceso al código fuente y a los algoritmos públicos. El "Caso Civio". Esperando a Godot», Once relatos sobre cómo el acceso a la información impacta sobre nuestras vidas, Meseguer Yebra, J. (coord.), Federación Española de Municipios y Provincias, 2021, pp. 81-98.

HUERGO LORA, A., «Una aproximación a los algoritmos desde el Derecho administrativo», La regulación de los algoritmos, Huergo Lora, A. (dir), Aranzadi, 2020, p. 72

HUERGO LORA, A., «Administraciones Públicas e IA ¿más o menos discrecionalidad?, El cronista del Estado Social y Democrático de Derecho, Iustel, octubre-noviembre, 2021, pp. 78-95.

HUERGO LORA, A., «El uso de algoritmos y su impacto en los datos personales», Revista de Derecho Administrativo, núm. 20, 2021, pp. 166-168.

HUERGO LORA, «El derecho de transparencia en el acceso a los códigos fuente», Anuario de Transparencia Local, abril 2023, p. 38.

JIMÉNEZ-CASTELLANOS BALLESTEROS, I., Decisiones automatizadas y transparencia administrativa: nuevos retos para los derechos fundamentales, Revista Española de la Transparencia, núm. 16., enero-junio, 2023, p. 198.

LANCHO PEDRERA, F., «Los sistemas expertos en el Derecho», Anuario de la Facultad de Derecho, núm. 31, 2013, p. 62.

LONGO G., «El Test de Turing: historia y significado», Novática: Revista de la Asociación de Técnicos de Informática, núm. 206, 2010, pp. 63-74

LLORENTE SÁNCHEZ-ARJONA, M., «Inteligencia artificial, valoración del riesgo y derecho al debido proceso», Inteligencia artificial legal y administración de justicia, Calaza López, S. (dir.), Llorente Sánchez-Arjona, M. (dir.), Thomson Reuters Aranzadi, 2022, pp. 375-379.

MEDINA GUERRERO, M., «El derecho a conocer los algoritmos utilizados en la toma de decisiones», Teoría y realidad constitucional, núm. 49, 2022, p. 165.

MONTESINOS GARCÍA, A., «Los algoritmos que valoran el riesgo de reincidencia: en especial, el sistema VioGén», Revista de derecho y proceso penal, núm. 64, 2021, p. 20.

OLIVARES OLIVARES, B., «La toma de las decisiones automatizadas y el derecho fundamental a la protección de datos de carácter personal», Quincena fiscal, núm. 15-16, 2022, p. 23.

PALMA ORTIGOSA, A., «Decisiones automatizadas en el RGPD. El uso de algoritmos en el contexto de la protección de datos», Revista General de Derecho Administrativo, núm. 50, 2019, p. 32.

PONCE SOLÉ, J., «Inteligencia artificial, Derecho Administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico», Revista General de Derecho Administrativo, núm. 50, p. 11.

RANDO BURGOS, E., «Nuevos retos en la Administración del siglo XXI: Digitalización, inteligencia artificial y transformación administrativa», Revista General de Derecho Administrativo, núm. 60, 2023, p. 64.

ROIG, A., Las garantías frente a las decisiones automatizadas: del Reglamento General de Protección de Datos (LA LEY 6637/2016) a la gobernanza algorítmica, Bosch, 2020, p. 21.

ROLDÁN TUDELA, J. M., «La inteligencia artificial y la fricción de la guerra», La inteligencia artificial, aplicada a la defensa, Instituto Español de Estudios Estratégicos, Ministerio de Defensa, 2019, p. 105.

RUSSELL, S. y NORVIG, P., Inteligencia artificial. Un enfoque moderno, Pearson Educación, Madrid, 2004, p. 2.

SÁNCHEZ LÓPEZ, B., «La diligencia policial de valoración del riesgo de violencia de género en el sistema VioGén», Foro, nueva época, vol. 22, núm. 1, 2019, pp. 119-130.

SANCHO VILLA, D., «Las decisiones individuales automatizadas, incluida la elaboración de perfiles (Comentario al artículo 22 RGPD (LA LEY 6637/2016))», Comentario al Reglamento General de Protección de Datos (LA LEY 6637/2016) y a la Ley Orgánica de Protección de Datos personales y Garantía de los Derechos Digitales (LA LEY 19303/2018), Troncoso Reigada (dir.), Vol. 1, Civitas, 2021, PP. 1.737.1.739.

SEARL, J., «Mentes, cerebros y programas», Behavioral and Brain Sciences, 1980, p. 52.

SORIANO ARNANZ, A., «Decisiones automatizadas: problemas y soluciones jurídicas. Más allá de la protección de datos», Revista de Derecho Público: Teoría y Método, vol. 3, Marcial Pons, 2021, p. 97.

SUÑÉ LLINÁS, E., «Informática jurídica y derecho de la informática», Estudios jurídicos, 2007, pp. 8-10.

SURDEN, H., «Ethics of AI in Law: Basic Questions», The Oxford Handbook of Ethics of AI, Dubber, M. Pasquale, F. (dir.), Oxford University Press, 2020, pp. 719-736.

STADLMANN, C. y ZEHETNER, A., «Human Intelligence Versus Artificial Intelligence: A Comparison of Traditional and AI-Based Methods for Prospect Generation», Marketing and Smart Technologies, Springer, 2021, pp. 11-22.

TRAZEGNIES GRANDA, F., «¿Seguirán existiendo jueces en el futuro? El razonamiento judicial y la inteligencia artificial», Ius et Veritas, núm. 43, 2018, pp. 114-115.

UBEDA RIVES, J. P., «Algoritmo», Compendio de lógica, argumentación y retórica argumentación y retórica, Vega L. y Olmos P. (coords.), Trotta, pp. 38-44.

VASIL, T., SKALFIST, P. y MIKELSTEN, D., «Inteligencia artificial: la cuarta revolución industrial», Cambridge Stanford Books, 2020, p. 123.

ZAFRA ESPINOSA DE LOS MONTEROS, R., «Inteligencia artificial y proceso judicial», Inteligencia artificial legal y administración de justicia, Calaza López, S. (dir.), Llorente Sánchez-Arjona, M. (dir.), Thomson Reuters Aranzadi, 2022, p. 502.