María Jesús González-Espejo
Socia Directora del Instituto de Innovación Legal
El pasado día 2 de febrero, el llamado Petrial Justice Institute de EEUU, emitía una resolución en la que declaraba que había decidido dejar de usar las herramientas de evaluación de riesgo que utilizaba para adoptar decisiones relativas a las restricciones a la libertad previas al juicio de una persona (visitas, vigilancia electrónica, toques de queda, pruebas de drogas, etc.). Como razón detrás de esta decisión señalaba que “no pueden ser parte de nuestra solución para la creación de sistemas de justicia preventiva equitativos”, porque con independencia de quien, cuándo y cómo se hayan diseñado, “estos instrumentos se derivan de datos que reflejan el racismo estructural y la inequidad que afectan a nuestras políticas y prácticas judiciales y de aplicación de la ley. El uso de esos datos por ello acentúa la desigualdad”. Esta decisión era esperada desde hace tiempo por aquellos que venían denunciando el sesgo discriminatorio de las resoluciones derivadas de estas herramientas.
Sólo unos días después, en concreto el 5 de febrero, un tribunal holandés ha dictado una novedosa sentencia en respuesta a la demanda interpuesta por un grupo de personas y organizaciones, como la Plataforma para la Protección de los Derechos Civiles, el Comité Jurídico Holandés para los Derechos Humanos y el Consejo Nacional de Consumidores, denunciando la falta de proporcionalidad y transparencia de la Administración en la utilización de la aplicación basada en inteligencia artificial: Systeem Risico Indicatie, SyRI. Esta herramienta, a disposición de los ayuntamientos de los municipios holandeses, sirve para evaluar el riesgo de fraude a la Seguridad Social y a Hacienda y prevenirlo. La aplicación procesaba datos personales pseudoanonimizados, de todo tipo sobre el individuo, incluidos datos de endeudamiento, antecedentes penales, salud, etc. y de ella se extraían una serie de conclusiones sobre el nivel de riesgo de la persona. Ese nivel de riesgo era luego evaluado por una unidad que fijaba el nivel de riesgo definitivo. El tribunal ha considerado que el algoritmo no respetaba los principios de proporcionalidad y transparencia y vulneraba el artículo 8 del Convenio Europeo de Derechos Humanos (LA LEY 16/1950) (LA LEY 16/1950). Para un detallado análisis de esta sentencia recomendamos la lectura del artículo de Carlos Fernandez en Diario La Ley Ciberderecho.
En otros países se están también planteando similares casos en relación con aplicaciones de Inteligencia Artificial por organismos públicos, cuya utilización podría tener efectos discriminatorios. En el Reino Unido, según informaba hace unos meses el diario The Guardian (ver noticia) se interpuso también una demanda por el Joint Council for the Welfare of Immigrants (JCWI), con el apoyo de la ONG Foxglobe, requiriendo transparencia del algoritmo utilizado por el Ministerio de Asuntos Exteriores para otorgar los visados de trabajo, alegando que habían comprobado también en este caso, la existencia de sesgos en su funcionamiento. De igual forma, ha sido cuestionada una herramienta utilizada por el servicio de empleo austriaco que ofrecía puestos mejores a hombres que a mujeres.
En nuestro país la Fundación Civio interpuso el 20 de junio de 2019 un recurso contencioso-administrativo ante la negativa del Consejo de Transparencia a hacer público el código fuente del programa BOSCO, que es utilizado para decidir qué ciudadanos deben recibir el llamado bono social eléctrico.
Como muestran todos estos diferentes casos, está claro que mientras no exista una autoridad responsable de realizar un control previo de la legalidad de la IA, dicho control parece que tendrá que seguir recayendo en la sociedad civil y cuando ésta no tenga la capacidad de paralizar el uso de herramientas sobre las que se tenga la presunción de que no están respetando de alguna forma nuestros derechos fundamentes, entonces resultará necesario recurrir a un juez para exigir que deje de usarse.
Así las cosas, nuestra propuesta es que en un contexto donde son tantos los ejemplos que demuestran que en el desarrollo de estas herramientas falta aún camino por recorrer para garantizarle al ciudadano todos sus derechos, quizás las Administraciones Públicas deberían actuar aún con paciencia y esperar a que alcancen un mayor grado de madurez tecnológica. Por otra parte, todo lo anterior nos sugiere también que posiblemente ha llegado la hora de plantearse en serio la implantación de algún mecanismo de control previo de la legalidad del algoritmo, que dote de mayor seguridad jurídica al ciudadano cuando las administraciones públicas hagan uso de aplicaciones basadas en Inteligencia Artificial.