Cargando. Por favor, espere

Caso Bosco, a la tercera tampoco va la vencida. Mal camino en el acceso los algoritmos públicos

Lorenzo Cotino Hueso (1)

Catedrático de Derecho Constitucional de la Universitat de València. Valgrai

Diario LA LEY, Nº 84, Sección Ciberderecho, 17 de Mayo de 2024, LA LEY

LA LEY 17641/2024

Normativa comentada
Ir a Norma Constitución Española de 1978
Ir a Norma Carta de Derechos Digitales
Ir a Norma L 22/2018 de 6 Nov. CA Valenciana (Inspección General de Servicios y sistema de alertas para la prevención de malas prácticas en la Administración de la Generalitat y su sector público instrumental)
Ir a Norma L 19/2013, de 9 Dic. (transparencia, acceso a la información pública y buen gobierno)
Ir a Norma RDLeg. 1/1996 de 12 Abr. (TR de la Ley de propiedad intelectual)
Ir a Norma RD 203/2021 de 30 Mar. (Reglamento de actuación y funcionamiento del sector público por medios electrónicos)
Ir a Norma R Asuntos Económicos 29 Abr. 2021 (publica el Acuerdo del Consejo de Ministros de 27 de abril de 2021, por el que aprueba el Plan de Recuperación, Transformación y Resiliencia)
Jurisprudencia comentada
Ir a Jurisprudencia AN, Sala de lo Penal, Sección 3ª, A 65/2022, 11 Feb. 2022 (Rec. 51/2022)
Comentarios
Resumen

Se aborda la transparencia y el acceso a algoritmos públicos en España con motivo de la tercera ocasión en la que se deniega a la Fundación Civio el acceso al código fuente en el caso Bosco. La sentencia de la Audiencia Nacional de 30 de abril es analizada y criticada por su mejorable calidad. La seguridad informática —travestida de propiedad intelectual— se impone a la transparencia y no se argumenta suficientemente la conexión de la transparencia con las garantías de los administrados. Es por ello que aboga por una regulación de la materia y la necesidad de registros públicos de algoritmos y medidas concretas.

Palabras clave

Derecho de acceso a la información pública, transparencia algorítmica, sistemas automatizados, inteligencia artificial

Portada

I. La desigual suerte al solicitar información sobre los algoritmos públicos en España

Como recientemente hemos analizado respecto del acceso a los algoritmos públicos en España (2) , la información de algoritmos públicos en los más de los casos será de información pública (art. 13 Ley 19/2013 (LA LEY 19656/2013), «contenidos […] cualquiera que sea su formato o soporte […] elaborados o adquiridos en el ejercicio de sus funciones») a la que potencialmente se puede acceder a través del derecho de acceso a la información pública. Sin embargo, la suerte a la hora de acceder a algoritmos públicos es desigual. Quien suscribe en 2020 tuvo una buena experiencia requiriendo —y obteniendo— información sobre el sistema de alertas tempranas (SALER, inicialmente llamado SATAN) configurado por los artículos 17 a (LA LEY 17660/2018)36 de la Ley 22/2018, de 6 de noviembre (LA LEY 17660/2018), de la Generalitat de la Comunidad Valenciana. No obstante, no faltan experiencias negativas de denegación de acceso a la información algorítmica pública, que incluso en ocasiones se considera clasificada como secreto. Así ha sucedido con los derechos de acceso ejercidos por equipo de Universidad de Valencia-Amnistía Internacional sobre sistemas IA públicos del ámbito policial y penitenciario. En concreto, uno de los miembros del equipo frente a la Guardia Civil (Exp. Transp. n.o 062893) y los Mossos d'Esquadra (19 de noviembre de 2021, respuesta 18 de enero de 2022). En el caso de la Guardia Civil, se afirma que los sistemas de identificación biométrica quedan afectados por Acuerdo del Consejo de Ministros de 28 de noviembre de 1986, ampliado por Acuerdos de 17 de marzo y 29 de julio de 1994, que otorga el carácter de «Reservado» a aquella información relativa a «las plantillas de personal y medios y de equipo de las Unidades». En el caso de solicitud de información sobre Sistema Automático de Identificación Biométrica (ABIS) (n.o expediente: 001-062892, la denegación es en razón del artículo 14 Ley 19/2013 (LA LEY 19656/2013). Recientemente la prensa en un excelente reportaje ha podido acceder y explicar con bastante detalle cómo funciona Riscanvi en Cataluña (3) .

Son diversas las resoluciones favorables a acceso a información algorítmica pública, como la pionera de la GAIP catalana, Resolución 200/2017, de 21 de junio, sobre el algoritmo usado en el ámbito de la función pública educativa. O del Consejo Estatal, la resolución favorable al acceso al algoritmo utilizado para el cálculo pensiones de la TGSS, Resolución 058/2021. Más recientemente en agosto 2023, la resolución del Expediente 551-2023 del Consejo de Transparencia obliga al Ministerio del Interior a facilitar «La especificación técnica de dicha aplicación y/o cualquier otro entregable que permita conocer el funcionamiento de la aplicación» del famoso Sistema VioGén.

II. El caso Bosco y la tercera denegación del acceso al código fuente

Es muy conocido el caso Bosco, la Fundación Civio (4) reclamó información algorítmica, en concreto el código fuente del bono social eléctrico ante su claro mal funcionamiento. Pese a que se facilitó información técnica, el acceso al código fuente fue denegado por el Consejo de Transparencia (Resolución 701/2018, de 18 de febrero de 2019) y por Sentencia 143/2021 del Juzgado Central de lo Contencioso-Administrativo, de 30 de diciembre, que rechazó el recurso presentado. Se aceptó esencialmente el argumento de la defensa del Ministerio, en el sentido de que permitir el acceso al código fuente constituía una amenaza para la seguridad nacional, dada la conexión del sistema con bases de datos de carácter sensible cuya integridad podría verse comprometida.

1. La sentencia de 30 de abril se decanta por la seguridad informática travestida de propiedad intelectual

La nueva sentencia de 30 de abril de 2024, de la Sala de lo Contencioso-Administrativo, Sección Séptima, de la Audiencia Nacional, en el recurso de apelación 51/2022 (LA LEY 18715/2022), desestima las alegaciones de la Fundación Ciudadana Civio.

Estas alegaciones giraron esencialmente en torno a si concurría el límite del artículo 14.1, apartado j) de la Ley 19/2013 (LA LEY 19656/2013) sobre propiedad intelectual, pero la verdad es que lo que se alega —y triunfa— por la puerta de atrás es la seguridad informática, que no había sido alegada convenientemente por la Administración cuando tocaba.

Pues bien, en el FJ 3º de la sentencia se desestiman tales alegaciones, de manera en general mejorable.

En cuanto a la propiedad intelectual, dígase seguridad informática, la Audiencia Nacional recuerda que «El código fuente está protegido por la Ley de Propiedad Intelectual (LA LEY 1722/1996); además, la difusión del código fuente de la aplicación BOSCO es susceptible de causar perjuicios graves a los mismos e infringe límites de acceso de los contemplados en el artículo 14 LTIBG.» «excluir a la Administración del derecho de la protección intelectual […] carece de todo fundamento».

La sentencia pasa a centrarse esencialmente en la seguridad informática —y no en la propiedad intelectual—. Así, «la entrega del código fuente de la aplicación BOSCO pondría en grave riesgo derechos de terceros y atentaría a bienes jurídicos protegidos por los límites al derecho de acceso a la información pública del artículo 14.1 letras d), g), i) y k)».

Y, apoyándose en el informe del Subdirector General de Tecnologías de la Información y las Comunicaciones, que se sometió a contradicción, concluye rotundamente la sentencia «no quedando duda al respecto de que es garantía de protección ante las vulnerabilidades la ocultación del código fuente de la aplicación».

Así, se señala que la liberación del código fuente tendría las siguientes consecuencias: «Que el ataque sería muy difícil de detectar […] El Ministerio no tendría a su disposición […] medios técnicos […] para mitigar la vulnerabilidad […] el atacante dispondría del tiempo para: Acceder o modificar […] los datos de la base de datos de la propia aplicación, que incluye datos personales […]; Intento de acceso y/o alteración de los datos almacenados en otras bases de datos. […] Utilizar los medios de la infraestructura de cómputo del Ministerio para otros fines. […] Utilizar la imagen del Ministerio para pertrechar delitos basados en ingeniería social.».

2. Y la sentencia pasa de puntillas por la transparencia necesaria para las garantías del administrado

Asimismo, se alegaba para la transparencia del código fuente las garantías del artículo 9.3 CE (LA LEY 2500/1978), por cuanto dado que «ninguna persona interviene en la toma de decisión del resultado de modo que para saber si es correcto el funcionamiento del sistema del bono social ha de accederse al código fuente, siendo insuficiente para conocer el funcionamiento el análisis funcional.»

Respecto de la necesidad de acceso al código fuente para las garantías ante el funcionamiento (artículo 9.3 CE (LA LEY 2500/1978)), el FJ 3º de la sentencia es rotundo, pero sin fundamentación:

«Como dice el Abogado del Estado la aplicación informática no es más que una herramienta que se integra en el seno de un procedimiento administrativo […]

el control de la legalidad de los actos administrativos sigue estando garantizado: la legalidad (o no) del acto administrativo no viene justificada por el uso de la aplicación informática sino por la adecuación al ordenamiento jurídico del acto producido.»

III. Una mejorable sentencia

Esta segunda sentencia presenta una calidad técnica sólo algo mejor que la primera, que era muy pobre. No obstante, y con independencia del sentido del fallo a favor o no de la transparencia, se podría haber prodigado bastante más en sus argumentos e intentar asentar criterios jurisprudenciales, que son necesarios.

Como hemos visto, la sentencia se decanta por la seguridad informática travestida de propiedad intelectual. Y es que como alegaba CIVIO, fue cierto desvío procesal puesto que la seguridad informática no se había alegado inicialmente por la Administración. De hecho, no hay un debate argumentativo en la sentencia sobre la propiedad intelectual en el presente caso, que también hubiera sido muy interesante. No se adentra en que se trataría de la propiedad intelectual de una aplicación financiada con fondos públicos y utilizada para un servicio público con resultados muy controvertidos. Podría argumentarse que tal aplicación debería ser más accesible al escrutinio público, dado su impacto en los derechos e intereses de los ciudadanos.

Respecto de la seguridad informática, lo cierto es que en esto las sentencias cuentan con un apoyo probatorio en informes tecnológicos y de procedencia administrativa. CIVIO, la parte reclamante, pudo o supo contradecir tales informes tecnológicos. O, más bien, los tribunales se cerraron en banda. Con la seguridad hemos topado, amigo Sancho. En este punto, la inercia es dar un margen de deferencia a la Administración cuando habla de seguridad pública y lo hace con apoyo de informes técnicos razonados y razonables. A este respecto y quien suscribe, que ha sido casi veinte años miembro de un tribunal y más de ocho de una autoridad de transparencia, no se atreve a opinar sin conocer de primera mano tales informes y el debate procesal que hubo respecto de los mismos. Aunque el cuerpo me pide apostar por la transparencia, el beneficio creo que ha de darse a los tribunales colegiados que conocen de primera mano el tema.

Así, los tribunales se han acogido a tales informes y se suman a la tesis de que revelar este código fuente podría comprometer la seguridad de la información y aumentar la vulnerabilidad ante ataques informáticos, argumentando que esto podría afectar adversamente la integridad de datos personales y la seguridad pública.

Otra parte mejorable de la sentencia es la última. Para ser una sentencia leading case, es muy pobre despachar el asunto simplemente afirmando que «el control de la legalidad de los actos administrativos sigue estando garantizado».

Los que llevamos años dedicados a esta cuestión, ya hemos dejado constancia de que echamos en falta sin duda una argumentación mayor y mejor al respecto (5) .

En conclusión, la sentencia apuesta por proteger el código fuente en razón e la seguridad informática. La seguridad informática se cuela a través de la propiedad intelectual de modo muy forzado. Las debilidades respecto de los límites al derecho de acceso a la información pública por propiedad intelectual son evidentes y, sobre todo, la sentencia desaprovecha una oportunidad excelente para afirmar las garantías del debido proceso y del administrado ante el uso de medios informáticos por la administración con una sentencia pobre que en modo alguno está a la altura de lo esperable para ser un caso de referencia y a la vista de grandes sentencias sobre el uso público de algoritmos que se dan en países Países Bajos, Francia, Alemania o Eslovaquia, como en otros lugares he analizado (6) .

Es la segunda vez en pocos meses que nuestros tribunales no aprovechan las escasas oportunidades de asentar criterios jurisprudenciales sobre el uso de sistemas automatizados o de IA por nuestro sector público, como recientemente también paso con una muy pobre sentencia de la Sala tercera de lo Contencioso-Administrativo del TSJ de Galicia, de 22 de marzo de 2024, sobre algoritmos en los servicios de salud.

IV. De nuevo, la necesidad de regular la transparencia de los algoritmos públicos

Quien suscribe trabaja los temas de transparencia algorítmica pública desde hace años con varios congresos, publicaciones y monografías, implementando además la primera regulación en España sobre transparencia de los algoritmos públicos.

Sería de interés una mejor regulación de la cuestión. La Carta de Derechos Digitales (LA LEY 16317/2021), muy positiva en general en su apartado XVIII, afirma de modo concreto la necesidad de: «b) La transparencia sobre el uso de instrumentos de inteligencia artificial y sobre su funcionamiento y alcance en cada procedimiento concreto y, en particular, acerca de los datos utilizados, su margen de error, su ámbito de aplicación y su carácter decisorio o no decisorio. La ley podrá regular las condiciones de transparencia y el acceso al código fuente, especialmente con objeto de verificar que no produce resultados discriminatorios.»

Justo el día antes de la sentencia, el 29 de abril hemos analizado la olvidada reforma de la ley de transparencia en España. Sin embargo, la transparencia algorítmica ni se le espera en la futura reforma de la ley de transparencia. Así, ni en las Principales conclusiones del subgrupo de trabajo, ni en la Ponencia sobre publicidad activa. Y ello a pesar de que es bien conocida la innovación de la ley valenciana desde 2022.

Considero claramente insuficiente la regulación actual de la transparencia de los algoritmos públicos. Procede un desarrollo, una integración y la precisión normativa

Considero claramente insuficiente la regulación actual de la transparencia de los algoritmos públicos. Procede un desarrollo, una integración y la precisión normativa. Cualquier regulación debe partir de parámetros generales como los que ya ha impulsado la Carta de Derechos digitales (LA LEY 16317/2021) y la Ley 15/2022. Más allá de elementos generales, hay que actualizar la legislación de transparencia, especialmente para imponer y concretar la publicidad activa en la forma de registros públicos de algoritmos. Deben determinarse unos mínimos de información, datos que facilitar en estos registros, como en otro lugar he propuesto (7) . Y en ocasiones la transparencia algorítmica se traduce en la apertura de algoritmos, esto es, la posibilidad en su caso de facilitar acceso y uso a los sistemas para examinar su funcionamiento y resultado.

Hay que tener en cuenta a las autoridades de referencia (normalmente internacionales, europeas y comparadas) que van detallando las exigencias normativas o van proponiendo los estándares de transparencia deseables en general o en particular para el sector público. En este punto hay que destacar desde ya los especiales aportes para la transferencia autolimita pública, por el ICO para el Reino Unido (8) , desde Países Bajos (en especial Las Directrices para el uso de IA en Países Bajos (9) , así como la guía para el cumplimiento de la transparencia de los algoritmos públicos desde el Etalab francés (10) .

La implantación de registros de algoritmos públicos no es sencilla, como hemos podido comprobar en la Comunidad Valenciana y no son pocas los aprendizajes extraídos. Deben superarse experiencias voluntarias como las del registro de algoritmos City of Helsinki AI Register (11) o el de Ámsterdam (12) . En Francia destaca el inventario de algoritmos de la ciudad de Antibes Juan-les-Pins (13) y las listas de algoritmos de Nantes-Métropole (14) y de Pôle Emploi (15) . Ciertamente en Reino Unido, Francia o Países Bajos se trata de acciones de gran profundidad. También son necesarias precisiones respecto de la transparencia y procedimiento en la contratación de algoritmos públicos.

Son muchas las posibilidades de mejora regulatoria del derecho de acceso sobre información algorítmica. No se pude desconocer toda la documentación e información que se va a generar en razón del Reglamento de IA para los sistemas de alto riesgo, que en muchos casos, serán públicos. Para este tipo de información y para otra información algorítmica puede regularse la posibilidad de facilitar el acceso limitado de información a determinados sujetos, acceso vinculado a condiciones de confidencialidad, o supuestos de acceso cualificado al algoritmo público por su relación con derechos, como el acceso a la justicia, no discriminación, usos públicos de alto riesgo, salud, educación, empleo, etc. De la misma manera procede regular con algún detalle el acceso al código fuente o la necesidad de justificación de su no difusión. Asimismo, pueden precisarse algunas restricciones específicas que pueden concurrir, como la seguridad, en su caso la ciberseguridad, la propiedad industrial e intelectual; pueden determinarse presunciones y cargas de prueba e informes técnicos. Igualmente pueden contenerse disposiciones específicas sobre la transparencia en razón del uso público de algoritmos en fases o diligencias previas de procedimientos específicos para iniciar inspecciones o procedimientos sancionadores, para contratar, etc. (lo que es muy habitual y suele escapar a cualquier control jurídico).

Se necesita especialmente una regulación integradora y con visión de conjunto, que supere las muy insuficientes las leyes 39 y 40/2015. Las aportaciones del Real Decreto 203/2021 (LA LEY 6540/2021) sobre autorización de sistemas automatizados y su difusión deben ser más prolijas y útiles e integrarse con los registros de algoritmos. Hay que tener en cuenta el ejemplo de Barcelona para vincular transparencia y exigencias preventivas en la contratación de algoritmos. De igual modo, la mejora regulatoria debe integrar las actuales exigencias de transparencia por protección de datos, e incorporar las obligaciones más concretas de información que ya ha derivado la AEPD. También la información obligatoria de actividades de tratamiento (art. 31 Ley orgánica 8/2018) habría de integrarse en los registros de algoritmos.

(1)

cotino@uv.es. OdiseIA. El presente estudio es resultado de investigación de los siguientes proyectos: MICINN Proyecto «Derechos y garantías públicas frente a las decisiones automatizadas y el sesgo y discriminación algorítmicas» 2023-2025 (PID2022-136439OB-I00) financiado por MCIN/AEI/10.13039/501100011033/; «La regulación de la transformación digital …» Generalitat Valenciana «Algoritmic law» (Prometeo/2021/009, 2021-24); «Algorithmic Decisions and the Law: Opening the Black Box» (TED2021-131472A-I00) y «Transición digital de las Administraciones públicas e inteligencia artificial» (TED2021-132191B-I00) del Plan de Recuperación, Transformación y Resiliencia (LA LEY 9394/2021). Estancia Generalitat Valenciana CIAEST/2022/1., Grupo de Investigación en Derecho Público y TIC Universidad Católica de Colombia; MICINN prueba de concepto «Registro público de algoritmos» (Ref: PDC2022-133890-I00) 2022-2023. Cátedra ENIA «Derecho y regulación de la Inteligencia Artificial» U. Valencia-Cuatrecasas, 2023-2027, Convenio de Derechos Digitales-SEDIA Ámbito 5 (2023/C046/00228673), Ámbito 6. (2023/C046/00229475).

Ver Texto
(2)

Cotino Hueso, L., Transparencia de la inteligencia artificial pública: marco legal, desafíos y propuestas, Actualidad Administrativa, Especial Una década de ley de transparencia en España.

Ver Texto
(3)

https://www.elconfidencial.com/tecnologia/2024-04-24/riscanvi-algoritmo-cataluna-prisiones-presos-inteligencia-artificial_3871170/

Ver Texto
(4)

https://civio.es/novedades/2024/05/08/la-audiencia-nacional-vuelve-a-rechazar-abrir-el-codigo-fuente-que-decide-quien-recibe-el-bono-social/

Ver Texto
(5)

Cotino Hueso, L., «Discriminación, sesgos e igualdad de la inteligencia artificial en el sector público», en Gamero Casado, E. y Pérez Guerrero, F.L. (dir), Inteligencia artificial y sector público. Retos, límites y medios. Tirant lo Blanch, Valencia, 2023.

Ver Texto
(6)

Cotino Hueso, «Una regulación legal y de calidad para los análisis automatizados de datos o con inteligencia artificial. Los altos estándares que exigen el Tribunal Constitucional alemán y otros tribunales, que no se cumplen ni de lejos en España», Revista General de Derecho Administrativo, 63 (2023).

Ver Texto
(7)

Cotino Hueso, L., «Qué concreta transparencia e información de algoritmos e inteligencia artificial es la debida», Revista Española de la Transparencia, Núm. 16. Primer semestre. enero-junio de 2023.

Ver Texto
(8)

https://www.gov.uk/algorithmic-transparency-records

Ver Texto
(9)

https://www.rijksoverheid.nl/documenten/richtlijnen/2021/09/24/richtlijnen-voor-het-toepassen-van-algoritmen-door-overheden-en-publieksvoorlichting-over-data-analyses

Ver Texto
(10)

https://guides.etalab.gouv.fr/pdf/guide-algorithmes.pdf

Ver Texto
(11)

https://ai.hel.fi/en/ai-register/

Ver Texto
(12)

https://algoritmeregister.amsterdam.nl/en/ai-register/

Ver Texto
(13)

https://www.antibes-juanlespins.com/administration/acces-aux-documents-administratifs

Ver Texto
(14)

https://data.nantesmetropole.fr/pages/algorithmes_nantes_metropole/

Ver Texto
(15)

https://www.francetravail.fr/candidat/algorithmes.html

Ver Texto
Queremos saber tu opiniónNombreE-mail (no será publicado)ComentarioLA LEY no se hace responsable de las opiniones vertidas en los comentarios. Los comentarios en esta página están moderados, no aparecerán inmediatamente en la página al ser enviados. Evita, por favor, las descalificaciones personales, los comentarios maleducados, los ataques directos o ridiculizaciones personales, o los calificativos insultantes de cualquier tipo, sean dirigidos al autor de la página o a cualquier otro comentarista.
Introduce el código que aparece en la imagencaptcha
Enviar
Scroll