I. Introducción
La ausencia de regulación del modo en el que se generan y emplean sistemas de inteligencia artificial en cualquier ámbito de la vida cotidiana está provocando un impacto sutil e imperceptible en los derechos fundamentales al desconocer, en la mayoría de ocasiones, que se están tomando decisiones basadas en programas que ofrecen predicciones del comportamiento, y en otras, programas que deciden, según los parámetros introducidos, si el ciudadano tiene o no derecho a acceder a un determinado servicio o prestación.
De hecho conscientes los Estados de los perjuicios que puede ocasionar dicha carencia normativa, en el mes de diciembre de 2023 el Consejo y el Parlamento Europeo alcanzaron un acuerdo provisional sobre el primer Reglamento de inteligencia artificial con base en la propuesta de la Comisión europea del 2021 que ha dado lugar a la aprobación por el Consejo de la Unión Europea del Reglamento de Inteligencia Artificial el 21 de mayo de 2024, y en él se establece una evaluación del impacto en los derechos fundamentales de cualquier nuevo sistema de inteligencia artificial antes de ser introducido en el mercado, imponiendo obligaciones más específicas en materia de transparencia a los modelos funcionales, entendidos como aquellos que pueden desarrollar diferentes tareas como generación de vídeo, texto, imágenes etc.
Sin desdeñar el peligro, sobre el que no nos vamos a detener, que entraña para la sociedad la brecha digital que provoca las dificultades de acceso y uso de dichos sistemas a quienes por edad, condiciones físicas, capacidad económica o formación resulten más vulnerables, lo cierto es, que los conflictos jurídicos surgidos, a falta de normativa específica, son resueltos acudiendo fundamentalmente al REGLAMENTO (UE) 2016/679 DEL PARLAMENTO EUROPEO Y DEL CONSEJO de 27 de abril de 2016 (LA LEY 6637/2016) —en adelante RGPD—. Y ello es posible porque los asuntos donde se cuestiona el funcionamiento de dichos sistemas, se basan en el modo en que son introducidos o tratados los datos de los que se sirven para ello.
Los datos que, generosamente entregamos, son más palabras y números de las que pensamos, permitiendo su tratamiento obtener una información completa de nuestro perfil
Los datos que, generosamente entregamos, son más palabras y números de las que pensamos (2) , permitiendo su tratamiento obtener una información completa de nuestro perfil que, traducido al lenguaje de programación del sistema operativo y mediante un algoritmo entrenado, puede extraer unas conclusiones sobre cualquier aspecto de nuestro comportamiento. Vamos a poner dos ejemplos actuales y que pueden ofrecer una visión en qué medida las decisiones automatizadas que sustentan otras, pueden impactar en derechos fundamentales, tanto en el ámbito privado como en el ámbito público.
Con ellos se visibiliza cómo el uso de sistemas de inteligencia artificial para la toma de decisiones puede afectar de modo efectivo a los derechos de los ciudadanos, ya que la invisibilidad de su uso, pese a tener derecho a ello conforme a los derechos recogidos en el RGPD, provoca el desconocimiento de la fuente de la predicción ofrecida por el algoritmo, quedando inermes por dicha circunstancia al no poder acceder al momento en el que se produjo la desviación del resultado previsible, según su criterio, ni por ende, reclamar la rectificación correspondiente.
II. Marco normativo actual aplicable a los sistemas de inteligencia artificial
El Reglamento de inteligencia artificial que aprobó la Unión Europea, es aplicable a proveedores que comercialicen o utilicen sistemas IA en la Unión, dondequiera que esos proveedores estén presentes; proveedores y usuarios de terceros países cuyos sistemas produzcan resultados que se utilicen en la Unión; usuarios físicamente presentes o establecidos en la UE proveedores de estos sistemas y sus representantes autorizados; importadores y distribuidores (3) .
La eficacia de la norma dependerá de las posibilidades de control y gobernanza sobre la inclusión en el ámbito de su aplicación de los sistemas de IA desarrollados por países no pertenecientes a la UE y que sean utilizados por los ciudadanos europeos en espacios no afectados por la norma mediante servidores externos.
Lo cierto es que hasta la actualidad, aparte de los loables esfuerzos de organismos internacionales para ofrecer una serie de pautas éticas para un IA fiable en ámbitos sensibles por el impacto que su uso puede provocar en derechos fundamentales (4) , únicamente contábamos con el REGLAMENTO (UE) 2016/679 DEL PARLAMENTO EUROPEO Y DEL CONSEJO de 27 de abril de 2016 (LA LEY 6637/2016), donde se recogen derechos ciudadanos sobre el tratamiento de sus datos. Esta regulación, ya tuvo presente los efectos nocivos que pudiera provocar el uso privado inadecuado de los datos en sistemas automatizados, por el peligro que, mediante el perfilado del ciudadano (5) , se ofrezcan pronósticos de comportamiento que puedan producir efectos jurídicos sobre él, o quede afectado significativamente de modo similar, como pudiese ocurrir en los supuestos que vamos a analizar, ya que, como consecuencia de ello, el interesado puede quedar impedido de acceder a servicios o contratos a los que, conforme a datos contrastados, de otro modo, hubiese tenido derecho.
En esta norma se reconoce el derecho del interesado en el tratamiento de sus datos, a no ser objeto de una decisión, que pueda incluir una medida, que evalúe aspectos personales relativos a él, y que se base únicamente en el tratamiento automatizado de aquéllos, produciendo efectos jurídicos en él o afectándole significativamente de modo similar (6) . Habrá de contar en la interpretación de las disposiciones, con los principios del tratamiento de los datos de naturaleza personal que se recogen en el art. 5., la lealtad, licitud, transparencia (7) , exactitud (que implica que estén actualizados), integridad y confidencialidad, limitación de la finalidad (de modo que han de ser recogidos con fines determinados, explícitos y legítimos sin tratamiento posterior incompatible con dichos fines) y fijando un plazo determinado de conservación ( y ceñido al necesario para los fines del tratamiento), minimización de datos (adecuados, pertinentes y limitados a lo necesario en relación con los fines para los que son tratados); imponiendo al responsable del tratamiento una responsabilidad proactiva (deviniendo responsable del cumplimiento de las obligaciones impuestas y capaz de demostrarlo).
Especialmente importante es el derecho a la información sobre el tratamiento otorgado a los datos del interesado que se recoge en los artículos 13 y 14 del mismo Reglamento. En ellos se recoge la obligación de facilitar al mismo, según se obtengan del interesado o no, la que reclame así como el derecho de acceso al modo en que se empleen sus datos ex art. 15, que, incluye, de existir decisiones automatizadas, la elaboración de perfiles a que se refiere el artículo 22, apartados 1 y 4, y, al menos, en tales casos, información significativa sobre la lógica aplicada, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado.
Por último, resaltar la trascendental importancia del artículo 22 del mencionado Reglamento, cuyo título es «Decisiones individuales automatizadas, incluida la elaboración de perfiles», y que dispone: «1. Todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o lo afecte significativamente de modo similar». Así como del referido artículo 15, en cuanto que recoge el derecho a disponer de una explicación del resultado obtenido tras la aplicación de algún algoritmo de aprendizaje. En definitiva, consagra el articulado la transparencia como principio rector del derecho a la protección de los datos (8) conforme a las disposiciones de la Carta de los Derechos Fundamentales de la Unión Europea (LA LEY 12415/2007) (art. 8) y que subyace en el RGPD (LA LEY 6637/2016) (arts. 5.1 a) y 12).
III. Sentencia del TJUE (Sala Primera) de 7 de diciembre de 2023
El Supuesto de hecho sobre el que versa la decisión, se halla en la cuestión prejudicial que, conforme al art. 267 TFUE (LA LEY 6/1957) planteó el Tribunal de lo Contencioso-Administrativo de Wiesbaden, Alemania, en el contexto de un litigio entre un particular y el Estado Federado de Hesse, en relación con la negativa del Delegado de protección de datos y de libertad de información de dicho Estado a instar a la entidad SCHUFA Holding acceder a la solicitud presentada por dicho particular en orden acceder a determinados datos de carácter personal concernientes al mismo y suprimirlos.
SCHUFA Holding, es una entidad de derecho privado que proporciona a otras entidades información sobre la solvencia de consumidores mediante un pronóstico sobre la probabilidad de un comportamiento futuro del contratante —en concreto el reembolso de un préstamo—, basando la decisión en las características de dicha persona, a las que le aplica procedimientos matemáticos y estadísticos. Dichos procedimientos generan un valor (scoring) que clasifica por categorías a dicha persona entre otras personas con características comparables de tal manera que establece una probabilidad de un comportamiento similar de estas.
El demandante solicitó la concesión de un préstamo que le fue denegado por la categorización en un scoring negativo sobre el mismo. El actor solicitó de la entidad información sobre sus datos personales que fueron registrados y empleados en el programa, reclamando que eliminase los que pudieran resultar erróneos. La entidad contestó informando sobre su clasificación y métodos de cálculo a grandes rasgos, invocando el secreto comercial para denegar al peticionario el conocimiento de los datos que había tenido en cuenta a los efectos del cálculo y de su ponderación. Tras acudir al delegado de protección de datos, como autoridad de control competente para que instara de la entidad acceder a su solicitud, esta denegó la misma al considerar que no se había demostrado que la entidad incumpliese las obligaciones que le incumbían en el ejercicio de su actividad.
El planteamiento jurídico de la cuestión se centra en la duda manifestada por el Tribunal alemán en dos aspectos, el primero relativo a aplicabilidad del art. 22 apartado 1 del RGPD (LA LEY 6637/2016) a actividades de agencia como SCHUFA, cuya función se limita a transmitir un valor de probabilidad que se va a tener en consideración en la toma de decisiones por terceros, ya que al no ser la entidad que realiza dicho perfilado la que toma la decisión, no se vería afectada por la obligación que impone el art. 15 apartado 1 letra h respecto del acceso del interesado a la información adicional a que tiene derecho; y en segundo lugar, en cuanto a las garantías de protección jurídica consagradas por el RGPD, de tal manera, que la utilización del scoring como base de la decisión de contratar se cuestiona si se puede calificar como adopción de una decisión individual automatizada que pudiera resultar prohibida por el referido precepto.
Responde el TJUE que la generación automatizada, por una agencia de información comercial, de un valor de probabilidad a partir de datos personales relativos a una persona y acerca de la capacidad de esta para hacer frente a compromisos de pago en el futuro constituye una «decisión individual automatizada», en el sentido de la mencionada disposición (art. 22.1 RGPD (LA LEY 6637/2016)), cuando de ese valor de probabilidad dependa, de manera determinante, que un tercero, al que se comunica dicho valor, establezca, ejecute o ponga fin a una relación contractual con esa persona.
La solución que adopta el TJUE, aunque se ha criticado por insuficiente al no profundizar en el derecho otorgado al interesado de acceder a la lógica empleada en el sistema de inteligencia artificial, es sin embargo adecuada a la realidad social imperante pues la externalización de la elaboración de categorizaciones y perfiles es un hecho actual en las empresas.
Y, por otro lado, se le ha de otorgar una especial transcendencia habida cuenta la laguna normativa en cuanto a la comercialización de programas que, siendo elaborados por terceros, provoquen que la empresa adquirente automatice sus decisiones exclusivamente basadas en algoritmos, al extender la obligación de ofrecer la información contenida en el art. 15. h) (9) , a la entidad que elaboró el programa, que condicionó la decisión que tomó, en este caso, la empresa prestamista de denegar el crédito al consumidor.
Pero quizá el acento habrá de ponerlo sobre la obligación que impone a los Estados que, al amparo de la excepción que prevé la norma, autorizan la toma de una decisión individual automatizada, de adoptar las medidas para salvaguardar los derechos y libertades y los intereses legítimos del interesado, definiendo como tales, la utilización de procedimientos matemáticos o estadísticos adecuados, con medidas técnicas y organizativas adecuadas para garantizar que se reduzca al máximo el riesgo de error, se corrijan errores, asegurando los datos personales para impedir los efectos discriminatorios en las personas físicas.
Por otro lado al indicar que las referidas medidas han de incluir como mínimo el derecho del interesado a obtener intervención humana por parte del responsable, a expresar su punto de vista y a impugnar la decisión. Avala la línea implementada en la regulación de la IA al reclamar los organismos que los sistemas se encuentren siempre bajo la supervisión y decisión humanas (10) , de modo que la determinación de ceder el control en contextos limitados ha de recaer en humanos quienes habrán de rendir cuentas y responder de tal actuación.
En definitiva es una sentencia que se ha calificado como de tipo garantista material pues las decisiones a que se refiere el citado art. 22 RGPD (LA LEY 6637/2016), abarcan actos, hechos y datos que sustentan las decisiones automatizadas, a pesar que aquella se adopte por otra empresa o por un proceso que solamente permite afirmar es de aparente decisión humana (11) .
A esta interpretación habrá de ajustarse la aplicación del art. 18 de la Directiva 2023/2225, de 18 de octubre de 2023 (LA LEY 28584/2023), relativa a los contratos de crédito al consumo, que, en lo que concierne a la evaluación de solvencia, prevé la utilización de sistemas de procesamiento automatizado de datos. Para su validez, debe de reconocer el derecho del solicitante del préstamo a obtener del prestamista intervención humana que concreta en la obtención de una explicación clara y comprensible de la evaluación de solvencia, la lógica y los riesgos que implica el tratamiento automatizado, su significado y efectos en la decisión, expresar el punto de vista del consumidor, y, solicitar una revisión de la evaluación de la solvencia y de la concesión del crédito, que habrá de ser realizada por un humano, debiendo ser informado de tal modo de llevar a cabo dicha evaluación así como del procedimiento para oponerse a dicha decisión (12) .
Acota esta norma las fuentes de obtención de datos, de carácter interno y externo, y, en este último caso, excluye las redes sociales, que no se considerarán una fuente externa a los efectos de la Directiva
Acota esta norma las fuentes de obtención de datos, de carácter interno y externo, y, en este último caso, excluye las redes sociales, que no se considerarán una fuente externa a los efectos de la Directiva. Indica también la finalidad de la información (ingresos u otras fuentes de reembolso, activos, pasivos y compromisos financieros y gastos del consumidor y otras circunstancias financieras y económicas que sean necesarias y proporcionadas en relación con la naturaleza, la duración, el valor y los riesgos del crédito para el consumidor ) y limita el tipo de datos de los que se puede servir el prestamista para realizar la evaluación, prohibiendo la inclusión de las categorías especiales de datos a que se refiere el artículo 9, apartado 1, del Reglamento (UE) 2016/679 (LA LEY 6637/2016) (13) .
Aunque inicialmente pueda advertirse que la evaluación de la solvencia mediante el tratamiento automatizado de los datos pudiese resultar contraria a lo que dispone el art. 22 del RGPD (LA LEY 6637/2016), sin embargo, al operar la excepción del apartado 2.b) del mismo precepto, se habría de considerar autorizada, en este caso, por el Derecho de la Unión. No obstante, tal método de evaluación de la solvencia, habrá de ajustarse a todas las garantías que, de modo transversal, otorga el RGPD para la validez del resultado obtenido mediante tal medio.
IV. Sentencias de 30 de diciembre de 2021 del Juzgado Central de lo Contencioso-Administrativo (Número 8) y de 30 de abril de 2024 de la Sala de lo Contencioso-Administrativo de la Audiencia Nacional (Sección 7ª)
Hemos referido que, en ocasiones, desconocemos que están siendo utilizados sistemas de inteligencia artificial en el proceso de toma de decisión sobre peticiones que formulamos, hecho éste que resulta extremadamente delicado cuando es el Estado quien utiliza sistemas de inteligencia artificial en el proceso de toma de decisión sobre pretensiones a las que pudiéramos tener derecho.
Se ha apuntado que el empleo de sistemas de inteligencia artificial por organismos públicos en algunas fases de la actuación de los poderes públicos, bien durante la evaluación de circunstancias personales, o bien asumiendo el resultado base de la decisión final, puede constituir una contingencia que puede dar lugar a que aparezca la tentación de excluir o minimizar la aplicación de algunas garantías (14) .
Es en este aspecto donde podemos apreciar quizá con mayor nitidez la importancia del conocimiento del modo de funcionamiento del sistema de inteligencia artificial empleado por la Administración Pública por su posible posible afectación de derechos fundamentales. La cuestión que resuelve la resolución que pasamos a exponer, ejemplifica la necesidad de dotar de máxima transparencia y explicabilidad en este tipo de actuaciones de la Administración, si bien debemos precisar que el caso concreto sobre el que resuelven las sentencias referidas, siguiendo la definición del Reglamento de Inteligencia Artificial (15) , no podría considerarse como tal al carecer de autonomía y capacidad de aprendizaje, limitándose a ofrecer un resultado con base a unos datos basados en reglas básicas de inferencia en cuanto el resultado se extrae de un encadenamiento de reglas. En definitiva actúa ejecutando operaciones automáticamente (16) .
La cuestión jurídica suscitada versa sobre los resultados obtenidos para acceder al denominado bono social, que consiste en una prestación de carácter social destinada a proteger colectivos vulnerables mediante la aplicación de un descuento en el precio del suministro de electricidad consumida en la vivienda habitual, implantado por el art. 45 de la Ley 24/2013, de 26 de diciembre, del Sector Eléctrico (LA LEY 21160/2013).
Estos resultados fueron auditados por la Fundación Civio (17) y tras manifestar la presencia de fallos en el sistema, pues según dicha plataforma no otorgaba la prestación a ciudadanos que cumplían los requisitos contenidos en la norma para acceder al mismo, reclamaron, primero del Gobierno, y tras no ser respondido, al Consejo de Transparencia y Buen Gobierno, el acceso al código fuente del programa. Datos con los que es posible conocer las normas y disposiciones que se utilizaron para que el ordenador las tradujese a su propio lenguaje y ofrecer el resultado (18) .
La resolución dictada por el Juzgado Central resuelve sobre el recurso interpuesto contra la Resolución del Consejo de Transparencia y Buen Gobierno de fecha 18-2-2019, por la que se estimó parcialmente la reclamación presentada en fecha 27-11-2018 contra el Ministerio de Transición Ecológica, sobre acceso a la información relativa a la aplicación informática que permite al comercializador de referencia comprobar que el solicitante del bono social cumple los requisitos para ser considerado consumidor vulnerable, sin embargo no accedió a ofrecer la totalidad de la información requerida.
Mediante el acto administrativo recurrido, la Administración denegó el acceso al código fuente invocando la protección del derecho de propiedad intelectual (19) , en concreto, el límite que establece el art. 14.1 letra j) de la Ley de transparencia, acceso a la información pública y buen gobierno (LA LEY 19656/2013), que establece que el derecho de acceso podrá ser limitado cuando acceder a la información suponga un perjuicio para el secreto profesional y la propiedad intelectual e industrial.
La sentencia dictada, en lo que se ciñe el presente, considera, tras citar las disposiciones que son de aplicación al caso sometido a litis, que la Administración utiliza, ajustándose a aquéllas, una aplicación informática, denominada «sistema de información BOSCO», que se inserta en una fase del procedimiento administrativo, cuyo objeto es verificar el cumplimiento de los requisitos establecidos previamente por la normativa citada, lo que implica que el acto administrativo está dictado por un órgano del mismo tipo, y no por una aplicación informática, añadiendo que dicha resolución es susceptible de recurso.
En este extremo, el argumento desestimatorio se basa en el derecho positivo, ya que, en los apartados primero y cuarto del artículo 6 (20) de la Orden ETU 943/2017, de 6 de octubre (LA LEY 16028/2017) recoge una previsión legal específica de utilización de la aplicación para la determinación de la concurrencia de los requisitos para acceder a la ayuda, lo que, permitiría plantear en la actualidad tras la STJUE de 7 de diciembre de 2023, si dicha previsión normativa estatal puede amparar el uso del sistema para la toma de decisión de manera automática sin infringir los límites fijados por aquélla respecto de la excepción que se establece en el art. 22.2. b) del RGPD.
El segundo argumento empleado en la decisión desestimatoria, tras declarar que el código fuente no está dentro de las exclusiones de la propiedad intelectual, mencionadas en el artículo 13 del Real Decreto Legislativo 1/1996, de 12 de abril (LA LEY 1722/1996), de propiedad intelectual, al no poder calificar al mismo como norma ni acto administrativo, se basa en la posible afectación de la seguridad pública de acceder a la pretensión debido a las vulnerabilidades que presenta la aplicación, que fueron expuestas en el informe emitido por el Centro Criptológico Nacional en el expediente tecnológico, añadiendo que: además maneja información clasificada o sensible de la administración, el conocimiento del código fuente aumenta el riesgo de que la explotación de las vulnerabilidades pueda afectar a la seguridad nacional, la seguridad pública o la seguridad de los administrados.
Por último, indica la resolución a la luz de la normativa aplicada que no existe ninguna norma que imponga a la Administración el desarrollo de aplicaciones con fuentes abiertas ni la adquisición de software libre.
La sentencia de la Sala de lo Contencioso-Administrativo de la Audiencia Nacional (Sección 7ª) de 30 de abril de 2024 (recurso de apelación 118/2022) resuelve el recurso formulado frente a aquélla partiendo de la falta de aportación de un contrainforme que permitiese desvirtuar las apreciaciones técnicas sobre vulnerabilidad contenidas en el informe de la Administración, confirma la resolución con los siguientes argumentos sintetizados: la Administración ostenta el derecho a la protección intelectual, conforme a los arts. 7.3 de la Ley 33/2003 de Patrimonio de las Administraciones públicas (LA LEY 1671/2003) y el art. 157 de la Ley 40/2015, de Régimen Jurídico del Sector Público (LA LEY 15011/2015); falta de prueba sobre el hecho que da por probado, esto es que la entrega del código fuente pondría en grave riesgo derechos de terceros y atentaría a bienes jurídicos protegido por los límites al derecho de acceso a la información pública del art. 14.1, d,g,i y k LTAIBG, y, por último considera que no se infringe el art. 9. 3 CE. (LA LEY 2500/1978)
Ambas resoluciones, como en general todas, han provocado reacciones muy críticas (21) con su contenido, discutiendo desde la posibilidad de considerar que un código fuente como el empleado por el sistema Bosco pueda ser objeto de propiedad intelectual ya que lo que se traduce al lenguaje informático es la Ley; la falta de observancia del derecho reconocido en el RGPD de los interesados de obtener información del tratamiento de sus datos en el supuesto de ser sujeto a una decisión automatizada (como se ha señalado ut supra); hasta considerar que la perspectiva de la resolución resulta excesivamente formalista al sostener que programas como Bosco son equivalentes a mecanismos puramente de apoyo, sin que incidan en la decisión final, que en el caso de Bosco parece ser adoptada de modo automatizado, generando un sesgo de automatización con ausencia de control sobre la decisión final y la opacidad del sistema no permite conocer con exactitud cómo funciona (22) .
Ha habido también manifestaciones de adhesión a los argumentos empleados, en concreto al carácter meramente instrumental de la aplicación de modo que no es el algoritmo el que determina quien tiene derecho al bono social sino el cumplimiento de los requisitos que impone la norma que lo avala (23) , a lo se que añade que el propio Reglamento de Inteligencia Artificial (que no sería de aplicación aunque pudiera bien haber sido empleado como parámetro orientativo) no prevé el acceso al código fuente con carácter general, otorgándolo únicamente a las autoridades de vigilancia del mercado, previa solicitud motivada cuando se cumpla las dos condiciones que impone su art 74, a saber, ser necesario el acceso para la evaluación de la conformidad del sistema con los requisitos impuestos a los sistemas de alto riesgo en el capítulo III Secc. 2 , y, haberse agotado todos los procedimientos de prueba o auditoría y todas las comprobaciones basadas en los datos y la documentación facilitados por el proveedor, o éstos han resultado insuficientes, pudiendo imponer la Oficina de IA el acceso a la información del modelo cuando no se haya ofrecido (24) .
Esta última previsión, es quizá la más relevante a los efectos de la utilización de sistemas de inteligencia artificial por la Administración, y que, debiera solventar la regulación referida, atendiendo a las voces autorizadas que, buscando la máxima transparencia del proceso de toma de decisión, reclaman que la Administración utilice esta tecnología siempre que resulte explicable el resultado obtenido. De modo que la tensión entre explicabilidad (transparencia) y complejidad del sistema de IA, o si lo queremos llamar siguiendo a Coeckelbergh (25) el problema ético del equilibrio entre rendimiento y explicabilidad, necesariamente ha quedar resuelta a favor de la primera si no queremos ceder la decisión a la máquina al no resultar explicable su resultado.
Y en este sentido la Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación (LA LEY 15917/2022), ya prevé que las administraciones públicas que utilicen algoritmos para la toma de decisiones pongan en marcha mecanismos para conseguir la transparencia y rendición de cuentas, mecanismos que se han de incluir en el diseño y datos de entrenamiento, con evaluaciones de impacto que determine el posible sesgo discriminatorio. Norma que aunque está en vigor desde el 14 de julio de 2022 y que es de aplicación objetiva conforme al art. 3, apartado o), a la Inteligencia Artificial y gestión masiva de datos, así como otras esferas de análoga significación, sin embargo no arbitró medio alguno para hacer efectivo el derecho que recoge.
Sería exigible una información pública completa de los ámbitos en los que la Administración utiliza sistemas de inteligencia artificial y que ajuste su información a los principios de explicabilidad y transparencia. Transparencia que se ha de predicar del modo en que el programa trata los datos y obtiene pronósticos, haciendo visible el árbol de decisión, renunciando si es preciso por no existir técnicas que permitan abrir la caja negra, a la utilización de este tipo de algoritmos, permitiendo ello ofrecer una explicación suficiente de la decisión adoptada con base a los resultados obtenidos de aquéllos.
V. Conclusión
Empleando sistemas de inteligencia artificial tanto durante el proceso de toma de decisión condicionando la respuesta —como hemos advertido en el caso planteado en nuestro país—, como en el resultado obtenido con el tratamiento de los datos del interesado y sobre el que se asentó la decisión adoptada —la denegación del crédito con base a una evaluación automatizada debida a un perfilado del consumidor—, existe el riesgo cierto de afectar a derechos fundamentales del ciudadano al desconocer los datos empleados para obtener resultados, sin tampoco poder ofrecer una explicación del motivo por el que se extrajo un determinado resultado.
Es imprescindible que el ámbito de protección se extienda, no solo frente a un tratamiento inadecuado de los datos (art. 18.4 CE (LA LEY 2500/1978), 8.1 de la Carta de los Derechos Fundamentales de la Unión Europea (LA LEY 12415/2007) y 16.1 del Tratado de Funcionamiento de la Unión Europea (LA LEY 6/1957)), sino también, por la utilización de un sistema de inteligencia artificial que no resulte ni transparente ni explicable, tanto se haya empleado éste como base de la toma de decisión o como parte del proceso de formación de aquélla, evitando en todo momento que dicho uso provoque un trato discriminatorio, no equitativo, opaco y sin posible revisión humana por desconocer el proceso de toma de la decisión.
(*) La Audiencia Nacional ha avalado la medida tomada de suspensión cautelar de la recopilación de datos a través del escaneo del iris, de los ojos y del rostro a la empresa Worldcoin. La Agencia Española de Protección de Datos (AEPD) prohibió, en primera instancia, que la compañía siguiera procesando los datos personales de los usuarios.
(**) Chat GPT, Copilot, Gemini, etc.