Volver a página de inicio

A mi madre, Maria Jesús Nicuesa quien cuando le comuniqué que había ganado el premio, lo primero que me dijo fue ¿Se lo has dicho a tu padre?

A mi padre, Luis Lafont Arregui, que allá donde esté, sé que se habrá sentido orgulloso.

«Estoy cansada. Estoy cansada del futuro» (La precog Agatha. Minority Report).

«Sr. Marks, por orden de la división precrimen del distrito de Columbia le detengo por el futuro asesinato de Sarah Marks y Donald Dubin que iba a suceder hoy 15 de abril a las 08 horas 04 minutos» (Detención bajo el programa PRECRIME. Minority Report).

I. Introducción

La película Minority Report (2) nos traslada al año 2054 a la ciudad de Washington DC, donde el programa PRECRIME ha acabado con los asesinatos y homicidios. Tres hermanos con poderes psíquicos (3) , los precogs, pueden predecir los crímenes antes de que se produzcan. Quienes aparecen en sus visiones como responsables de asesinatos son detenidos por una unidad policial de elite al mando de John Anderton (4) , quien desde una fe completa en el sistema interpreta las visiones de los hermanos. Su convicción quiebra cuando dos de los hermanos predicen que él mismo matará en 36 horas a una persona llamada Leo Crow, a quien no conoce de nada. Anderton se da a la fuga, convirtiéndose en un huido, víctima de la predictividad policial. Su objetivo es llegar a una de las precogs, Agatha, que no compartió el criterio de sus hermanos y quizás pueda demostrar la inocencia de Anderton.

La situación que analiza Minority Report puede ser una fantasía, pero esquemas no tan lejanos ligados a la predicción subjetiva se han instalado en numerosos departamentos de policía de los Estados Unidos (5) . Así, Minority Report no sería del todo una obra de ciencia ficción para Robert Mc Daniel, un hombre de raza negra de 22 años, que vivía en Chicago, cuando a finales del año 2013 recibió una visita no anunciada de un oficial del Departamento de Policía de Chicago que le advirtió que no cometiera más delitos. El problema es que Mc Daniel, carecía de antecedentes penales violentos por condenas de un tribunal, no había participado en ningún altercado ni tenido problemas recientes con la policía. Entonces, ¿Por qué un día un agente llamó a su puerta? La respuesta era que Mc Daniel era una de las personas a la que un programa predictivo aplicado por el Departamento de Policía de Chicago había pronosticado como potencialmente involucrado en crímenes violentos. La policía intentaba realizar lo que antes era una mera quimera: Evitar el dolor del delito antes de que se produzca. Programas similares a los de Minority report son una clara tentación para los responsables políticos y han llevado a las corporaciones y a los departamentos de policía a aliarse para vencer la incertidumbre del futuro. LUM e ISAAC (6) exponen que: «Aunque pueda recordar inquietantemente a la película Minority Report, el sueño de disponer de una herramienta que, en teoría, pudiera asignar de forma más eficiente los recursos policiales sería una gran ayuda para los departamentos que luchan contra unos presupuestos cada vez más reducidos y una presión cada vez mayor para responder mejor a sus comunidades». Los precogs representan la cristalización cinematográfica de la Inteligencia artificial y los algoritmos predictivos. Con sus diferencias (7) , Minority Report y la policía predictiva comparten dos aspectos sustanciales (8) . Ambas operan con falta de transparencia (9) y, fruto de la combinación de la ignorancia sobre el funcionamiento del sistema y de su éxito (10) , provocan un fervor cuasi-religioso (11) . Minority Report nos emplaza a un dilema moral y a la vez jurídico (12) que entronca con el clásico debate filosófico del libre albedrío frente al determinismo. Como resume JOSHUA (13) «¿Cabe detener a alguien por algo que no ha hecho? O de forma más jurídica. No se puede arrestar sólo por los pensamientos; por lo que ¿Hasta dónde pueden operar los poderes policiales cuando aún no se ha cometido un delito? La respuesta a la luz del Modern Penal Code estadounidense (2001) es negativa. Se exige que el detenido haya dado un «paso sustancial» fuertemente corroborador de su intención criminal, un punto de no retorno. En España, el pensamiento no delinque y la simple posibilidad futura no supera la frontera de los actos preparatorios. Señala SUAREZ XAVIER (14) que «la mera probabilidad de que se produzca una conducta delictiva no puede considerarse como correspondiente al delito mismo, ya que en este caso ni siquiera estaríamos ante actos preparatorios, tomando por referencia la dogmática penal y el creciente expansionismo penal en la sociedad global». Minority Report nos evoca también un escenario lombrosiano (15) . PREÇI y VYSHKA (16) afirman que Lombroso al estigmatizar al individuo propugna una posición determinista por la que si alguien tiene una inclinación innata a cometer delitos, podría ser exculpado porque este comportamiento es hereditario y está fuera de su control. Visto al revés, podrían, como en Minority Report, prevenirse delitos deteniendo de antemano a personas que no han cometido delitos graves en absoluto, simplemente porque tienen el potencial de hacerlo en el futuro, si bien Minoriy Report se centra en la visión futura del delito y no en las características antropométricas del delincuente.

En este trabajo describiré los principales sistemas predictivos que existen en Estados Unidos, España y resto de Europa, los problemas que giran en torno a los mismos y los requisitos que deben tener, en particular el respeto a la ley de protección de datos, para que puedan ajustarse a la legalidad y, de acuerdo al reciente Reglamento Europeo sobre Inteligencia Artificial (LA LEY 16665/2024), operar como una herramienta probatoria valida.

II. Concepto de policía predictiva

La predicción puede definirse en una primera aproximación como el empleo de grandes masas de datos que se analizan estadísticamente para saber que ocurrirá en un futuro. Aplicado a la policía es una estrategia policial concreta, afirma VAN BRAKEL (17) , que utiliza la vigilancia algorítmica para predecir futuros delitos, delincuentes y víctimas con el fin de intervenir antes de que se produzcan los delitos. Su finalidad es recopilar conocimientos sobre lo que ocurrirá en el futuro antes de llegar demasiado tarde. Es, en definitiva, nos dice la corporación RAND (18) «…el uso de modelos estadísticos para anticipar el aumento de los riesgos de delincuencia, seguido de intervenciones para evitar que esos riesgos se materialicen» (19) .

Se ha llegado a cuestionar que la policía predictiva exista como tal y que lo que tenemos realmente, afirma MIRÓ LLINARES (20) , es un sistema de cálculo de probabilidades de eventos futuros fijándose en los pasados y sus condicionantes. El riesgo de que algo ocurra, no significa que vaya a ocurrir, advierten GONZÁLEZ-ALVAREZ et al (21) . Con cierta desconfianza hacia el sistema. LUM e ISAAC (22) no dudan de que realmente exista la predictividad policial aunque concluyen que «lo que realmente se predice es el control policial futuro y no el de los delitos que se cometerán en el futuro» (23) .

La herramienta predictiva puede servir para esclarecer hechos pasados pero es un efecto colateral. La esencia de la herramienta es mirar siempre al futuro, buscando ir un paso por delante, de forma que donde un criminal espera cometer un delito con facilidad esté un policía esperándole. Como afirma BACHNER (24) «la predicción se centra en lo que es probable que ocurra y no en lo que ya ha ocurrido».

La revolución que supone la policía predictiva parte de superar un modelo policial reactivo, que sólo actúa a posteriori centrándose en lo que ha pasado, para transitar a un sistema preventivo en el que se persigue despejar las sombras del futuro. En este sentido, GONZÁLEZ-ÁLVAREZ et al (25) indican que la policía predictiva supone un paradigma que ha permitido cambiar un enfoque reactivo por otro de prevención. Así es, el empleo de sistemas tecnológicos por el crimen organizado (26) , exige abrir un frente algorítmico para combatirlo. La inseguridad que el criminal puede sentir al saber que una maquina ha dado su nombre o ha dicho donde volverá a actuar, obligándole a ser más cauto, es un valor relevante en la lucha contra el crimen.

Recopilando estos elementos, la policía predictiva puede definirse como un programa aplicado por la policía que somete un elevado número de datos pasados al juicio de un algoritmo que llega a una conclusión sobre quien es o puede ser un criminal y donde desarrollará en el futuro una actividad delictiva. La estadística, la criminología ambiental y el algoritmo forman un equipo que busca hacer visible el futuro.

La policía predictiva forma parte de la actividad de inteligencia policial al ser algo esencial a ambas actividades el relacionar hechos delictivos actuales con otros pasados y sacar conclusiones (27) . El inspector de policía que investiga un delito y a modo de dejavú considera que lo que ha ocurrido ya lo ha visto en el pasado, despliega la misma actividad que el algoritmo, si bien este último da un paso más adelante al situar espacio-temporalmente un delito en el futuro. La predicción no es algo distinto de lo que los policías han llevado a cabo con el arma de su intuición. Como expone NÓHPAL RODRIGUEZ (28) los policías de antaño refieren que el método de la policía predictiva no les resulta ajeno, debido a que, con las limitaciones en sus recursos, usaban métodos con similitudes tiempo atrás.

III. Diferencias con figuras afines

La proacción policial que deriva de la predicción no es una investigación prospectiva. Esta última interfiere derechos de forma indiscriminada y en la más completa oscuridad y desconocimiento de lo que busca. En la policía predictiva se cuenta con un referente para actuar, la luz del algoritmo, aunque sea limitado y esté acompañado de vacilaciones y posibles cortocircuitos. Es un patrullaje intermedio entre el físico y el virtual que representa el ciberpatrullaje. Es una vigilancia física ordenada, inducida o recomendada por la máquina, ajena a una investigación prospectiva (29) .

La actividad de predicción no se confunde con la actividad de vigilancia por cámara. La línea divisoria, indica SOUTHERLAND (30) reside en que «las predictivas intentan predecir un acontecimiento o resultado concreto, y las de vigilancia, se utilizan para controlar personas, lugares y cosas» (31) .

La policía predictiva se diferencia de la justicia predictiva de la misma clase (32) en que en la primera la información generada y la decisión adoptada es obra de la policía, y no tiene como propósito o al menos como objetivo prioritario generar decisiones jurídicamente vinculantes o pruebas (33) . La intención policial es bajar las cifras de delitos mediante un efecto disuasorio. Sus objetivos y campo de actuación difieren asimismo de forma sustancial de la legislación predictiva (34) .

IV. La policía predictiva en Estados Unidos

1. La predicción cartográfica-geográfica

A) Concepto

Un primer modelo predictivo detecta los lugares identificados como de alto riesgo (35) , lo que permite distribuir los recursos personales y materiales para reducir la cadencia delictiva. Se realizan mapas digitales de crímenes (36) que acotan los sitios probables de reincidencia. MUTSAERS y NUENEN (37) definen este sistema como una «criminología del lugar», un método de minería de datos que se utiliza para predecir delitos de alto impacto en el espacio y en el tiempo y para asignar mano de obra con el fin de evitar que se produzcan estos delitos.

La corporación VINFOPOL (38) expone que se utilizan datos de incidentes criminales anteriores, procedentes de distintas fuentes informativas, que se superponen en un mapa para crear un «patrón de calor» que indica las áreas de alta actividad delictiva. Distintos colores para diferentes densidades de delitos. Estos mapas de calor digitales ayudan a la policía a identificar áreas peligrosas. Por ejemplo, si un mapa de calor muestra una alta concentración de robos de automóviles en una zona determinada, la policía puede enfocar sus esfuerzos en esa zona para disuadir a los delincuentes y realizar patrullajes de manera más frecuente.

Las zonas delimitadas pueden ser barrios completos o determinados edificios o manzanas. Cuanto más pequeño sea el punto caliente, más perfeccionado y eficaz es el modelo para permitir a los responsables policiales desplegar adecuadamente a los agentes en zonas potencialmente problemáticas. El sistema cartográfico-geográfico parte de los delitos cometidos pero aborda una cascada de hechos que giran en torno a aquellos factores que convierten a un sitio en un escenario cómodo para el criminal (39) . El modelo valora los aspectos urbanísticos que incluyen el tipo de arquitectura, la presencia de espacios abiertos, de una arquitectura hostil que haga las calles solitarias, de cámaras y de suficiente iluminación. A ello se une la constancia de hechos no criminales pero que se consideran la antesala de acciones delictivas (40) , personas en situación irregular, consumo de alcohol, drogas y la presencia de ruido.

Dentro del mapa predictivo, es de interés la ambiciosa fijación de microobjetivos en barrios grandes en los términos que describen UCHIDA et al (41) «Se trata de zonas pequeñas y discretas (por ejemplo, de seis a diez manzanas cuadradas) en las que florecen los problemas, pero también en las que podrían mejorar la eficacia colectiva y la cohesión social. Así, a partir de la información recogida en las encuestas a los residentes, pueden localizarse a los residentes que estaban dispuestos a intervenir o a invertir en el barrio. Además, estos mapas identifican zonas dentro de estos barrios donde hay déficits de eficacia colectiva y cohesión social».

B) Origen

La estadística alimentada con datos como herramienta de fijación de patrones, presupuesto con el que alimentar sistemas predictivos, es previa a la creación de los sistemas informáticos (42) . SCHUILENBURG y SOUDIJN (43) ubican en el siglo XIX el comienzo de la mejora de la actuación policial mediante el uso de datos y estadísticas. Los datos se procesaron mediante tecnologías estadísticas para descubrir patrones subyacentes en el tiempo y en el espacio. Es en el siglo XX, cuando el Gobierno Federal, desde 1900, y bajo la autoridad de la Oficina Federal de Investigación (FBI), desde 1930, recopila datos sobre delitos cometidos a nivel nacional, elaborando estadísticas precisas.

El sistema predictivo tiene una buena recepción en los años 20 bajo los postulados de la «criminología ambiental» de la Escuela de Chicago (44) que, como expone FERGUSON (45) , se centraba en la «geografía de la delincuencia». La idea era identificar y cartografiar las pautas de comportamiento delictivo para informar a las fuerzas policiales. Los departamentos contrataron analistas delincuenciales para sintetizar los datos sobre delincuencia y ayudar así a desplegar los limitados recursos policiales.

Uno de los programas pioneros cartográficos desarrollado por un incipiente sistema informático, fue el de Compstat, establecido en el año 1995 en el Departamento de Policía de Nueva York (46) . Permitía a los mandos policiales examinar las estadísticas de delitos denunciados y aplicar medidas coercitivas específicas para reducir la delincuencia, éxito que se medía por los índices de detenciones. El programa se centró en los delitos contra la propiedad (47) , por ser los que más preocupación generaban en los ciudadanos, se denunciaban y, por lo tanto, se podían medir. Se adoptó la noción criminológica de que el delito es un «virus» que tiende a expandirse porque el entorno lo fomenta y a cometerse por las mismas personas. Con ello podían establecerse zonas de criminalidad geográficamente precisas (48) . La policía recibía mapas de esas zonas e instrucciones para visitarlas con la mayor frecuencia posible mientras patrullaba. El segundo reto fue extenderlo a los delitos violentos. El motor en que se inspiró el cambio fue la teoría de que la delincuencia violenta es el producto de unas condiciones ambientales concretas como un callejón poco iluminado, la proximidad de víctimas potenciales y las disputas entre bandas por el control de determinadas zonas (49) . La filosofía de Compstat, manifiesta BACHNER (50) basada en la relación entre las características del entorno y la incidencia de la delincuencia, fue extendiéndose fuera de los límites de Nueva York.

Compstat es el predecesor de Predpol, aplicado por el Departamento de Policía de Los Ángeles en el año 2010 y seguido actualmente por numerosos departamentos de policía norteamericanos. Dicho programa parte de la lógica de predicción de terremotos basada en un algoritmo elaborado por el sismólogo francés Marsan. BENNET MOSES y CHAN (51) explican que los diseñadores de Predpol conciben delitos como el robo en viviendas o la violencia de bandas como procesos puntuales autoexcitados, similares a las réplicas de los movimientos sísmicos. Un terremoto o un delito pueden ser la «back ground», réplica de otro terremoto o delito cercano en el espacio y el tiempo.

C) Críticas

La doctrina estadounidense se ha mostrado crítica con los modelos predictivos policiales, tanto en los cimientos sobre los que se construyen como en su eficacia, lastrada, entre otros factores, por la ausencia de estadísticas fiables sobre su resultado, y una clandestinidad sobre el funcionamiento del programa que ha cristalizado en sospechas sobre el empleo de datos sesgados basados en la raza u otras circunstancias discriminatorias. Examinaremos dichos reproches.

a) Eficacia incierta

Se ha alegado que el cimiento del modelo predictivo es erróneo en su fundamento de base por partir de pautas de la naturaleza no aplicables al ser humano. Matemáticos y sismólogos dedicados a construir un sistema predictivo aplicando ciencias del terreno es una combinación que difícilmente valorara el libre albedrio y la capacidad del ser humano de cambiar el futuro. Un criminal no es un cataclismo natural y no está atrapado en un determinismo climático. Si actúa es porque se siente cómodo y seguro en ese espacio concreto para desplegar su actividad criminal. Su motor será la desesperación o el equilibrio entre el coste y el beneficio. El ser humano, a diferencia del terremoto que es inmune a la acción humana, puede reaccionar a la intervención policial y adaptarse buscando reducir su grado de predecibilidad. BENBOUZID (52) señala como se puso en contacto con el sismólogo francés que diseñó el algoritmo y le dio datos del sistema predictivo aplicado en Chicago y este fue cauto a la hora de evaluar la capacidad de su algoritmo para predecir la delincuencia. Los estudios policiales sobre el sistema (53) contrastan con la ausencia de un cuerpo suficiente de estudios independientes (54) que avalen su éxito, debiendo valorarse también que hay factores difíciles de medir (55) y que no debe confundirse la satisfacción de los aplicadores policiales con que realmente el modelo funcione (56) .

b) Datos incompletos y erróneos

Se advierte que los algoritmos de los sistemas predictivos operan con datos sesgados e inexactos sobre la criminalidad real. Únicamente la punta del iceberg representada por los delitos que se llegan a denunciar acceden al programa, habiendo un elevado número que permanecen en la clandestinidad. LÓPEZ RIVA (57) indica que al computar solo las denuncias hay una cifra oscura en delitos cometidos y no denunciados. La predicción de hechos futuros, sostiene, se basa en datos sesgados del pasado (58) . A ello se añade la posible calificación errónea del delito que alcanza su rango máximo cuando se incluyen conductas atípicas (59) y la exclusión que se realiza de determinados crimines como los denominados «de cuello blanco» (60) . Entiendo que tales problemas son reales, pero no decisivos en el marco de sistemas predictivos que no aspiran a desplegar una lucha global contra todas las formas de delincuencia, ni contra crímenes específicos que requieren investigaciones especializadas. Al centrarse sólo en determinados delitos, el lugar de comisión del delito que refieren las denuncias, es un referente mínimo válido para calibrar la criminalidad aproximada existente en una determinada zona.

Otro problema al que apunta LIGETI (61) ligado a la eficacia es si la policía predictiva no es de hecho contraproducente dado que, los algoritmos pueden llevar a patrullar zonas propensas a la delincuencia y las demás pueden desatenderse.

c) Datos sucios con sesgo

Los sistemas predictivos aspiran a superar la «debilidad» humana, a pronosticar ajenos a cualquier prejuicio o sesgo racial, étnico o religioso que puede influir en la decisión de un humano. Dotado el algoritmo en un aura de pureza y superioridad moral, las corporaciones, que se amparan en el secreto comercial para no dar detalles sobre el funcionamiento de sus sistemas, sí son explícitas a la hora de negar cualquier sesgo racista ya que no incluyen en sus programas la raza como dato expreso. Así SOUTHERLAND (62) afirma que las corporaciones que han creado programas predictivos «se han esforzado por limpiar sus productos de la mancha del racismo. En algunos casos, lo han hecho basándose en puntos de datos que no dependen explícitamente de la raza, pero que se correlacionan con ella, como el código postal o la situación económica de un lugar concreto. Estos esfuerzos hacen que la relación entre datos y previsiones racialmente contaminadas parezcan a primera vista, más un riesgo importante que una realidad irrefutable». LUM e ISAAC (63) exponen que Predpol se califica como «un sistema neutral desde el punto de vista racial que utiliza sólo tres datos para hacer predicciones: el tipo de delito, el lugar y la hora del delito y no utiliza información personal sobre individuos o grupos de individuos».

El problema surge cuando el prejuicio que se pretende superar puede invadir el algoritmo desde su origen, porque los datos que alimentan el sistema son creados por seres humanos con sus sesgos, animadversiones y desprecios, lo que eleva notablemente la posibilidad de introducir datos sucios basados en interpretaciones discrecionales de la policía. Quien alimenta el sistema, transmite sus debilidades, miedos y odios. Como indica MIRÓ LLINARES (64) «…lo que sabemos hasta el momento nos dice que los algoritmos, que reflejan con precisión nuestro mundo, parecen reflejar también nuestros prejuicios»^.. También BRAYNE et.al (65) consideran que incluso con las mejores intenciones, la toma de decisiones algorítmicas puede dar lugar a prácticas y resultados discriminatorios y reproducir los patrones de discriminación existentes, heredar los prejuicios de los responsables de la toma de decisiones anteriores, o simplemente reflejar los prejuicios generalizados que persisten en la sociedad. Incluso puede tener el resultado perverso de exacerbar desigualdades existentes al sugerir que los grupos históricamente desfavorecidos merecen en realidad un trato menos favorable.

Los sistemas predictivos estadounidenses se alimentan de datos históricos obtenidos por la policía que no han superado un filtro de calidad. Lo explican con precisión RICHARDSON et al (66) cuando afirman que los datos no son objetivos al estar impregnados de sesgos políticos, sociales y ser un reflejo de las prácticas y prioridades del departamento, de los intereses locales, estatales o federales. La falta de trasparencia sobre como tratan los proveedores los datos sobre detenciones y llamadas de servicio es total. Los autores mantienen que la propia palabra dato «es errónea ya que supone algún tipo de medición o enfoque científico coherente, no existiendo en la práctica policial procedimientos o métodos normalizados para la recopilación, evaluación y utilización de la información recabada en el curso de las actividades policiales, con lo que la subjetividad del agente tiene un margen importante a la hora de decidir lo que graba sobre sus actividades» (67) . La objetividad del algoritmo, como indica la corporación VINFOPOL (68) exige la inclusión de una amplia variedad de fuentes y perspectivas en la programación del sistema.

Los estudios sobre los resultados muestran la presencia de sesgos raciales y discriminatorios. LUM e ISAAC (69) indican que «La utilización del programa Predpol en la ciudad de Oakland reveló que la población negra se vio sometida a una vigilancia policial predictiva el doble aproximadamente que la población blanca. Las personas clasificadas como de raza distinta a la blanca o a la negra serían objeto de vigilancia policial específica en una proporción 1,5 veces superior a la de los blancos. Esto contrasta con el patrón estimado de consumo de drogas por razas, que es equivalente en todas las clasificaciones raciales. Los autores encontraron resultados similares de sobrevigilancia sobre personas de escasos recursos».

La doctrina ha manifestado que los riesgos de sesgo no nacen exclusivamente de un pecado original del sistema al incorporar datos directamente sucios sino que pueden producirse por varias vías alternativas. Ello puede ocurrir por:

A.- Las llamadas de servicio: Exponen RICHARDSON et al (70) que al igual que las detenciones, las llamadas para prestar servicios también pueden obedecer, de forma más sutil a un sesgo racial.

Efectivamente, este concepto es una fuente muy amplia de discrecionalidad. Una llamada para intervenir puede obedecer a falsas alarmas o a hechos que aún de cierta relevancia, no dan lugar a detenciones pero pueden ser el anuncio de delitos futuros. Los agentes deben tener instrucciones claras sobre los datos que deben aportar para alimentar el sistema, debiendo eliminarse lo que sean meras «señales de humos».

B.- El empleo de variables indirectas: En este sentido SAPHIRO (71) señala como en Estados Unidos, la raza está estrechamente relacionada con el nivel socioeconómico y la localización geográfica por lo que «es imposible controlar totalmente los efectos indirectos en los datos».

Sí, pero entiendo que dado que el algoritmo no conoce que hay un factor racial detrás de la localización geográfica o el nivel socioeconómico, no adquiere un prejuicio racial que es donde está la perversión del sistema y, por tanto, no hay un factor discriminatorio.

C.- El aprendizaje del sistema: Asimismo, el programa en su desarrollo y a través de un proceso de aprendizaje puede llegar a adquirir prejuicios. Como afirma SUAREZ XAVIER (72) al sistema lo entrena un experto humano pero el propio algoritmo puede establecer inferencias lógicas con fundamento en las bases de datos.

Ahora bien, considero que una supervisión humana especializada tiene la oportunidad de determinar si el sistema se ha corrompido y desviado asumiendo argumentos racistas (73) .

Los algoritmos discriminatorios pueden dar lugar a acciones policiales que generan tensiones y problemas de criminalidad y alteración del orden público que no existían con anterioridad. Así, SOUTHERLAND (74) advierte que con «un mayor número de interacciones entre la población negra y la policía la hace más vulnerable a la violencia a manos de las fuerzas del orden; aumenta la probabilidad de detención; y fomenta una probable implicación del individuo en el sistema jurídico penal, al elevarse las tasas de detención y encarcelamiento. La exposición repetida a la policía tiende… a aumentar las "inseguridades que producen violencia" que los agentes experimentan durante los encuentros». Los encuentros injustificados con la policía llevan a cuestionar su legitimidad y a resistirse a la misma (75) .

La disyuntiva es clara ¿Debe excluirse el factor racial como elemento de segregación histórica de cualquier sistema predictivo, so riesgo de excluir la eficiencia del sistema? La respuesta debe ser afirmativa. La raza no debe incluirse en el algoritmo aunque disminuya la eficacia de este último. El precio a pagar, el estigma y el odio, es inasumible para un Estado de Derecho (76) .

D) Actuaciones

La respuesta cuasi monopolística ante una zona caliente es el patrullaje policial y la identificación, lo que puede ofrecer resultados tácticos rápidos pero no asegura los estratégicos. BENNET MOSES y CHAN (77) indican que «si bien en jurisdicciones como Dallas se están celebrando reuniones vecinales en los puntos conflictivos pronosticados, los programas de vigilancia predictiva consisten principalmente en movilizar patrullas policiales hacia manzanas concretas... En los casos en los que el despliegue policial es la principal respuesta, incluso una reducción demostrada de los índices de delincuencia no implica que la policía pueda hacer frente a la delincuencia en el futuro».

El patrullaje puede ser invasivo a través de identificaciones sistemáticas que pueden concluir con facilidad en tensiones. Puede adoptar meramente un rol presencial para articular un efecto disuasorio que tampoco va a reforzar la confianza de la comunidad. Para no limitarse a vencer en una batalla perdiendo la guerra, son precisas soluciones holísticas (78) y un cambio de mentalidad policial. Se ha indicado que la opción por un sistema de policía preventiva supone un compromiso de superar un patrullaje policial indiscriminado. VAN BRAKEL (79) alude a una nueva profesionalidad policial que exprese los valores de participación, atención compasión y empatía en su trabajo, tanto a nivel de gestión como de calle. Propone una vigilancia algorítmica democrática que supere la «espiral de desesperación» siguiendo el modelo de «policía tutelar» de Nueva York. Aboga por comisiones policiales que deberán en todo momento recabar y tener en cuenta las opiniones de todas las personas y grupos sociales que puedan verse implicados.

2. Sistemas subjetivos o «de lista»

A) Concepto

Estos modelos predictivos trascienden del terreno y sus factores ambientales para centrarse en la persona. Tienen como objetivo predecir quien será un criminal por ajustarse a un perfil previamente establecido y quien ocupará el rol de víctima. MANSUR (80) señala que es un sistema de previsión basado en la persona (81) , que trata de calibrar la probabilidad de que un individuo esté implicado en actividades delictivas, ya sea como autor o como víctima, mediante el análisis de su actividad delictiva o sus interacciones con la policía. Para GONZÁLEZ-ÁLVAREZ (82) et al esta dimensión tiene por objeto predecir la probabilidad de que un individuo concreto cometa un delito, las características que con más probabilidad acompañan a quien lo ha cometido y el riesgo que tiene una persona de convertirse en víctima.

B) Orígenes

La predictividad policial subjetiva y su proporcionalidad bajo el prisma de la inteligencia humana se produce cuando una patrulla policial detiene a un sospechoso para interrogarle o cachearle (83) . Ya en los años 60, la jurisdicción norteamericana (84) confirmó que la policía puede dirigir el arresto e interrogatorio de un individuo cuando tiene sospechas razonables de que existe una actividad delictiva. Si considera que está armado y es peligroso, el agente está habilitado para llevar a cabo un interrogatorio limitado a la búsqueda de armas. Debe permitirse al policía una búsqueda razonable de armas en su protección y la de terceros, cuando tiene razones para creer que está tratando con una persona armada y peligrosa o cuando dispone de una causa probable de arresto por ser el responsable de cometer un delito. No se precisa la seguridad de que esté armado sino la creencia que tiene un hombre razonablemente prudente de que el cacheo se encuentra justificado porque su seguridad o la de terceros está en peligro.

La predictividad que se centra en las personas es el tercer hito que alcanza el modelo predictivo tras asentarse, como vimos, primero en patrones de un modelo-terreno centrado en los delitos contra la propiedad y desplegarse posteriormente sobre los crímenes violentos. Dirigir la mirada a individuos concretos y encasillarlos en listas de sospechosos, fue la siguiente decisión.

El pionero y más relevante programa de predictividad subjetiva fue la Strategic Subject List (SSL) (85) elaborada en el año 2012 por el Instituto de Tecnología de Illinois (86) , adoptado por la Policía de Chicago desde el año 2012. Ya en el año 2017, el conjunto de datos incluía a 398.684 personas. RICHARDSON et al (87) lo describen como una herramienta de evaluación computarizada que incorpora numerosas fuentes de información para analizar el crimen, así como identificar y clasificar a las personas en riesgo de convertirse en una víctima o posible agresor en un tiroteo u homicidio. Posteriormente, el Departamento de Policía de Nueva Orleans comenzó a aplicar en el año 2012 un programa de SSL que donó la corporación Valantair (88) . Asimismo, una actuación policial predictiva basada en las personas dio lugar en la ciudad de los Ángeles al Programa de Delincuentes Crónicos (2011-2019) (89) . El mismo, exponen HUNG y YEN (90) , identificaba a «probables delincuentes» basándose en un sistema de puntos que recogía los antecedentes penales, las detenciones, la afiliación a bandas, si se encontraban en libertad condicional y los contactos con la policía. Si a uno le paraba la policía o le llamaban a la puerta, por ejemplo, podía tener más puntos. Los boletines policiales presentaban a los peores «probables delincuentes» —aquellos con más puntos— con fotos y descripciones físicas, y se colgaban en la sala de pase de lista de la comisaria, distribuyéndose entre los agentes al pasar lista y cargándose en los ordenadores portátiles de los patrulleros. Aunque los agentes no podían detener a una persona basándose en esta información, tenían instrucciones de recabar durante sus patrullas rutinarias información sobre estos potenciales infractores crónicos

C) Fundamento

En lugar de concebir la acción criminal como un terremoto o centrarse en los factores ambientales, el SSL comprueba la reincidencia y verifica mediante el examen de sus redes sociales si el individuo está con «malas compañías» (91) . SOUTHERLAND (92) afirma que los sistemas fundados en las personas se basan en la noción de que «las redes sociales negativas... pueden fomentar la actividad delictiva». Se parte de la base criminológica de que el riesgo elevado de ser víctima o autor de un delito violento «… puede trazarse como una red social que debe ser localizada, marcada y vigilada».

Valora positivamente el sistema BUENO DE MATA (93) que destaca la gran utilidad de los programas que analizan el comportamiento en internet de personas vinculadas a delitos como el terrorismo o la trata, al poder hacerse un mapeo de su comportamiento en redes sociales, foros o blogs generando así un «retrato robot virtual» o «perfil criminal» concreto de personas que tengan un potencial grado de peligrosidad (94) . Más críticos se muestran autores que alertan sobre las consecuencias desproporcionadas de dichas búsquedas. Alegan que la doctrina de «la sospecha razonable», que otorga un argumento jurídico racional consolidado judicialmente, pasa a ser desplazada por la dictadura de los grandes datos. Así, LUM e ISAAC (95) consideran que podría producirse una violación flagrante de la Cuarta Enmienda (96) mediante el uso de las redes sociales por parte de las fuerzas de seguridad para vigilar los contactos de delincuentes conocidos. Eso podría abrir fácilmente la puerta a una red aún mayor de personas vigiladas que en realidad no han cometido ningún delito, pero que las fuerzas del orden consideran culpables por asociación. ¿Con qué frecuencia hacemos «amigos» o «seguimos» a personas cuyo pasado es un misterio para nosotros?».

No comparto el criterio. Aunque el seguimiento sistemático de los contactos y redes sociales del sujeto no es un patrullaje sino una vigilancia, no existe una expectativa razonable de privacidad de quienes actúan en canales abiertos de comunicación. Asimismo, tal vigilancia, aunque genere una detención, superaría para los jueces norteamericanos el test de «sospecha razonable» que protege la Cuarta Enmienda (97) .

FERGUSON (98) indica que los tribunales deben considerar que «hay un problema aparte cuando se permite que las fuerzas del orden controlen todos los factores que conforman la sospecha razonable, lo que ocurre cuando la policía crea perfiles o alega una sospecha razonable porque alguien está presente en una zona de alta criminalidad. Permitir tal influencia de la policía predictiva sin mecanismos de rendición de cuentas sobre los datos y el análisis, y sin plena transparencia, puede dar lugar a una preocupante falta de protección de las personas que acaban en las zonas pronosticadas».

Asimismo, el autor considera que el algoritmo puede perjudicar a la policía en casos en que puede haber una sospecha razonable. Pone el ejemplo de unos policías que vigilan un bloque de viviendas marcadas por el algoritmo como un lugar donde se va a cometer un delito de robo. Están un tiempo prudencial, no ocurre nada, y los policías se marchan. A dos manzanas, ven a un joven con un destornillador cerca de un coche aparcado. La detención, considera, no sería válida. Aunque la policía exterioriza de forma objetiva una preocupación razonable por los robos de coches en la zona en general, la realidad es que la predicción no cubre el bloque en que se ha llevado a cabo la detención «No es una micro-zona de mayor delincuencia. El hombre no encaja en el modelo «perfil más actividad». El «chivatazo» es para una zona equivocada». Concluye afirmando que el modelo predictivo juega contra los agentes a efectos de la Cuarta Enmienda ya que «el paso de una zona prevista de a una zona genérica e indefinida de alta criminalidad puede debilitar la justificación». No comparto el criterio. Aunque la predicción no apoye la sospecha razonable, la posesión de un destornillador y su «merodeo» cerca de coches justifica la detención.

D) Errores y sesgos

Un error básico del sistema es incluir y tildar de «peligrosos» a personas pacíficas que no han tenido nunca problemas graves con la comunidad. RICHARDSON et al (99) indican que un análisis independiente realizado por Upturn y el New York Times reveló que más de un tercio de las personas incluidas en la SSL de Chicago nunca habían sido detenidas ni víctimas de un delito, y casi el setenta por ciento de ese grupo obtuvo una puntuación de alto riesgo. Los sesgos raciales están también presente ya que el cincuenta y seis por ciento de los hombres negros menores de treinta años de Chicago tenían una puntuación de riesgo, el mismo colectivo objetivo de prácticas abusivas históricas por parte del Departamento (100) . En esta misma línea BARONA VILAR (101) califica a estos sistemas de SSL como altamente peligrosos ya que son ingrediente del odio y la xenofobia integrando «el látigo de la segregación».

En Los Ángeles, señalan HUNG y YEN (102) que la auditoria de la Oficina del Inspector reveló que el programa predictivo del LAPD se había llenado de incoherencias: el 44% de los que tenían una puntuación elevada figuraban con cero o una detención por delitos violentos; aproximadamente la mitad no tenía ninguna detención por delitos relacionados con armas, y otros estaban bajo custodia o habían sido detenidos solo por delitos no violentos. A ello se unía la elevada composición racial/étnica de los delincuentes crónicos en las listas de puntos altos del sistema a fecha de agosto de 2018. Destacan los autores como la crítica contra el programa puso de manifiesto que se generaba un bucle de retroalimentación ya que un individuo con un valor de puntos elevado tiene más probabilidades de estar sometido a una mayor vigilancia y , por tanto detenciones, aumentando, aún más el valor de puntos del individuo. Asimismo, una investigación (103) recogía encuestas entre ciudadanos afectados, encontrando que el 71% de los participantes encuestados informaron sentir que ellos o su comunidad son «perfilados, abusados, señalados o acosados», por la policía. Ser detenido por la policía y la sensación de ser «vigilado» (104) tiene varias implicaciones psicológicas.

Detectar sesgos raciales es una labor complicada. Como indican AGUIRRE et al (105) ello requiere profundos conocimientos de estadística, matemáticas y programación. La mayoría de las tecnologías policiales precisan la adopción de un enfoque global que «no sólo depende de un liderazgo institucional… sino también del desarrollo de normas mínimas de auditoría y evaluación responsables».

E) Resultados

Los resultados del programa no son concluyentes sobre su efectividad. SOUTHERLAND (106) señaló que tras aplicar un sistema de SSL de personas con riesgo de verse implicados en actos de violencia con el uso de armas de fuego, la ciudad de Nueva Orleans experimentó un acusado descenso de su tasa de homicidios pero no redujo la violencia armada, a pesar de que el número de personas de la lista se triplico en tres años. Tampoco los estudios realizados sobre el sistema de SSL de Chicago han apreciado descenso notable del número de homicidios (107) .

F) Actuaciones

La finalidad es disuadir a las personas peligrosas de cometer delitos en un futuro y ello se logra a través de un amplio elenco de medidas que van desde la visita disuasoria a los arrestos. RICHARDSON et al (108) exponen que una directiva interna del CPD y declaraciones públicas afirman que el SSL se utiliza para dirigirse a las personas como parte de un procedimiento de notificación personalizada, que tiene como finalidad intervenir contra la violencia en toda la ciudad. Sin embargo, la misma directiva del CPD también alienta a que se busquen «los cargos más altos posibles» para cualquier individuo incluido en la SSL que sea arrestado (109) .

3. Ausencia de trasparencia y sesgo tecnológico

En Estados Unidos los sistemas predictivos se han convertido en arcanos. Las empresas que desarrollan programas predictivos se escudan con frecuencia (110) en el secreto comercial para no revelar los criterios que se siguen en la elaboración del algoritmo y evitar que otras compañías puedan copiar el software. Ello determina que los sistemas predictivos siguen de forma mayoritaria un modelo de caja negra que no explica al público en general ni a los usuarios los argumentos y razonamientos detrás de la predicción, en particular por quienes deben aplicarlas. La no comprensión es una fuente de problemas ya que como afirman GONZÁLEZ-ÁLVAREZ et al (111) el policía puede ignorar el programa y sustituirlo por su experiencia o aplicarlo sin sentido, lo que impedirá crear una estrategia eficiente y revertirá en una pérdida de confianza.

En Estados Unidos, a diferencia de Europa, en la mayoría de los sistemas predictivos no hay un coordinador o supervisor humano del programa. La persona es un mero ejecutor de la decisión de la máquina. El sistema es un refuerzo porque puede hacer cálculos más rápidos y completos, pero es la persona quien debe tener la plena autonomía para rechazar, confirmar o matizar la predicción. Ello redundará en la confianza e implantación del programa. Como indica BACHNER (112) si los agentes son formados en la herramienta y se la presenta como una adición a su capacidad, es más probable que la acepte.

La falta de información puede desembocar en un «sesgo de automatización» (113) que se produce cuando se considera que la maquina es perfecta. Explicar la policía predictiva hablando de terremotos puede no despertar un total crédito pero si nos remitimos a las matemáticas, en combinación con la informática, pensamos en algo difícil de comprender, pero infalible y sin prejuicios. Si el algoritmo emplea la raza lo hace sin odio, suspicacias, ni malas experiencias pasadas, sometiéndose únicamente a los imperativos de la lógica y la exactitud. La maldad humana queda purificada por la ciencia. Se combinan la convicción de estar ante la verdad objetiva con un aura mágica que conduce a la fe acrítica en el algoritmo.

La doctrina ha perfilado con precisión dicho sesgo. HAMILTON (114) afirma que el mismo lleva a la persona a despojar al algoritmo de cualquier posibilidad de cometer un error, coexistiendo un misticismo científico y una confianza que genera una fe desmedida en el sistema. CRAWFORD (115) nos habla de un «fundamentalismo en los datos» que lleva a concluir que un resultado es justo e inevitable por el simple hecho de haber sido producido por un ordenador (116) . La aceptación sin información puede derivar de no discutir lo que funciona. Como señala SOUTHERLAND (117) «a pesar de los daños que estas herramientas pueden producir en el mundo real, es difícil discutir el uso de la tecnología cuando el éxito se define como menos delincuencia, más casos resueltos y una mayor sensación de seguridad pública para algún segmento de la sociedad».

El Estado no puede funcionar como un compartimento estanco en un mundo cada vez más complejo y debe articular mecanismos de colaboración con corporaciones privadas pero estas no pueden camaleonizarse con el Gobierno para asumir sin ningún control constitucional actividades que inciden en derechos de los ciudadanos como es el de no ser detenidos arbitrariamente (118) . Una alianza corporación-administración debe evitar la ausencia de control público y que los intereses privados prevalezcan sobre los públicos. Para controlar es preciso comprender, siendo el presupuesto que la empresa informe de manera clara y completa.

La información deberá iniciarse describiendo la experiencia de quienes elaboran el programa y las variables que introduce el sistema. BENNET MOSES y CHAN (119) exponen que «cualquier herramienta analítica se centrará en un conjunto limitado, aunque amplio, de variables. Algunas se omitirán porque no se sabía de antemano que serían importantes para la predicción o porque son caras o difíciles de obtener. Es importante saber cuáles están y las que se han suprimido para ponderar la fiabilidad del programa» (120) .

Debe informarse sobre los pros y contras, las potencialidades y debilidades, concretar quien ha aportado el dato, cómo se asocia con otros, y la información que pueda quedarse en el camino hasta el momento en que llega a los ojos del analista o ejecutor de la decisión. La información debe incluir que se ha descartado cualquier dato que pueda dar lugar a sesgos racistas o discriminatorios de otra clase.

V. La policía predictiva en Europa

1. Francia

En Francia, la corporación IBM elaboró en el año 2005 para la Gendarmería Nacional el Analyst Notebook (i2AN) como herramienta en la lucha contra estructuras criminales y grupos terroristas. CINELLI y MANRIQUE (121) lo definen como un sistema predictivo que establece interconexiones entre personas y crímenes que a un analista humano le resultaría extremadamente difícil relacionar debido a la gran cantidad de información de la que dispone el programa. Por el contrario, KUBLER (122) considera que no es un programa de policía predictiva como tal ya que no señala donde y como se va a producir el delito ni pretende sustituir a la persona, siendo un analista humano el que decide el objetivo y la acción a seguir. Entiendo que sí es un sistema predictivo. Al relacionar el programa personas con delitos, sin anunciarlos expresamente, ya fija tácitamente un pronóstico de peligrosidad, adentrándose en el futuro.

2. Italia

En el año 2007, la polizia de Milán comenzó a aplicar el programa KeyCrime (123) . Sobre el modo en que funciona el programa, CINELLI y MANRIQUE (124) exponen que «imita a un cerebro humano manejando un millón y medio de variables procesadas por herramientas como las matemáticas, la estadística, la psicología comportamental y el análisis geoespacial». El software, conforme indica MASTROBUONI (125) «se utiliza para introducir y analizar grandes conjuntos de características individuales de los atracadores y estrategias delictivas individuales (modus operandi) recogidas por cámaras de seguridad de circuito cerrado e informes de víctimas para identificar atracos que comparten al menos un atracador o un vehículo (una secuencia de un grupo delictivo)». El programa crea correspondencias y establece una predicción que genera un informe escrito resumido que se comunica a la fiscalía.

El rol humano es clave. Un equipo especializado de la policía predictiva, recopila la información y alimenta el sistema con datos sobre el lugar y fecha del delito, características personales de los sospechosos que van desde la edad, la altura, el color de ojos o la ropa hasta si llevan tatuajes o piercings y el tipo de arma y vehículo empleado. El programa crea similitudes y zonas comunes entre los crímenes y fija una predicción sobre donde y cuando se cometerá el delito. Se elabora un informe resumido que se transmite a la policía y fiscalía. En lugar de patrullajes rutinarios se emplean agentes encubiertos que están a la espera de que se produzca el delito.

3. Países Bajos

En los países bajos se encuentra el CAS (126) , un programa predictivo diseñado en exclusiva en el año 2013 por la policía de Rotterdam y que posteriormente se extendió a todo el país (127) . Sigue un sistema de mapa espacio-temporal centrado en cuadriculas y se alimenta de datos de archivos policiales y administrativos (128) . Las zonas libres de delito están en blanco y el color va ganando en intensidad conforme crece la amenaza criminal, reservándose un color a cada delito. MUTSAERS y NUENEN (129) manifiestan que el programa actúa mediante redes neuronales y algoritmos evolutivos, utilizando la simulación de razonamiento inconsciente. El rol humano está muy presente. Los datos no hablan por sí solos sino que son interpretados por la policía. SCHUILENBURG y SOUDIJN (130) indican que cada unidad de policía incluye equipos de desarrollo de programadores y científicos de datos en la nube. El papel del responsable de datos consiste en utilizar las visualizaciones de CAS y enriquecerlas con su conocimiento contextual de la zona y su experiencia en delincuencia. Además, pueden añadir acontecimientos imprevisibles que no forman parte del CAS, como partidos de fútbol del equipo local de la ciudad o festivales de música, y determinar por sí mismos en qué medida influyen en la predicción.

Se reprocha al modelo potenciales sesgos raciales y discriminatorios. Así MUTSAERS y NUENEN (131) indican que el CAS señala exactamente a las mismas personas como sujetos de riesgo, es decir, a los jóvenes de sexo masculino y minorías étnicas procedentes de familias pobres, solo que esta vez la atención no se centra en los individuos, sino en sus zonas de residencia, visualizadas como celdas cuadriculadas (132) . Asimismo, SCHUILENBURG y SOUDIJN (133) advierten que con la intervención de los analistas, los posibles sesgos (personales) de los mismos pueden entrar en la ecuación. Destacan también los autores que el modelo de CAS califique como «sospechosos» a personas fichadas por estar implicadas en delitos anteriores que vivan o hayan vivido recientemente en un radio entre los 500 y 1000 metros del lugar en que se haya cometido el delito lo que «…es indicativo de la mentalidad de la policía predictiva en la que alguien es sospechoso antes de que se haya producido un (nuevo) delito». El calificativo compromete que alguien empiece de cero tras cumplir una condena y un sospechoso es alguien sobre el que existe una sospecha razonable de que ha cometido el delito por lo que nadie puede serlo antes de cometer el delito.

4. Alemania

Alemania rehúye llevar a cabo un seguidismo del sistema norteamericano y de ser comparado en la predicción policial con Minority Report (134) . Las SSL son líneas fronterizas que no se está dispuesto a cruzar (135) por lo que emplean técnicas tradicionales de policía predictiva geográfica y puntos calientes, coexistiendo programas como PRECOBS (136) , SKALA (137) y KIMPRO (138) . Los mismos se conciben como mecanismos de apoyo a la labor policial y no aspira a revolucionar su forma de trabajar.

Se parte de que el mismo tipo de crimen tiene unas altas probabilidades de repetirse en un futuro. El criminal, indican EGBERT y KRASMANN (139) , es un «buscador optimo» que volverá a delinquir cuando conoce las particularidades locales y puede calcular mejor el riesgo de ser capturado y las posibles ganancias del crimen (140) . En una fase de entrenamiento, Precobs, analiza el tipo de edificio en que se ha producido el robo (por ejemplo, casa unifamiliar o bloque de pisos), el modus operandi (por ejemplo, entrada por la ventana taladrando o con una maza) y los objetos robados (dinero, joyas, etc.). Detectados patrones comunes entre varios incidentes se lanza una alerta al operador humano.

La decisión final sobre como actuar recae siempre sobre un analista especializado que, sin ningún límite ni servilismo hacia la máquina, saca sus propias conclusiones. Ello supone una fuente de armonía para el sistema, evitando que el policía considere que es una maquina la que le envía a una zona de riesgo y al analista que es desplazado por un algoritmo. La decisión que se adopta es el patrullaje de las zonas conflictivas como medida especifica o incluir el lugar seleccionado por el algoritmo en la ruta de vuelta a comisaria (141) .

Sobre el sesgo de automatización, VEPŘEK et al (142) indican que el mensaje del político que propone el sistema se centra en cuatro frases: «El ordenador conoce realmente el futuro», «El ordenador lo hará todo por usted», «Necesita un modelo muy potente (y caro)», y «Las predicciones precisas conducen automáticamente a importantes reducciones de la delincuencia». Si bien, señalan los autores, el escepticismo llega cuando se concluye que el sistema no adivina el futuro sino que se limita a crear «porcentajes de probabilidad» (143) . Asimismo, una cosa es la realidad del sistema y otra como se «presente» al público. Tal y como MUTSAERS y NUENEN (144) indican «… estas expresiones computacionales de la incertidumbre se venden demasiado a menudo como objetividad». No existen apenas estudios independientes que validen su efectividad (145) sin que el descenso de la criminalidad pueda entenderse que es una prueba efectiva del éxito del modelo predictivo (146) .

5. Reino Unido

En Reino Unido el sistema estadounidense Predpol de mapa de puntos calientes fue aplicado por la Policía de Kent desde el año 2013 al 2019 (147) . MOHLER et al (148) compararon los sistemas predictivos empleados en Los Ángeles y Kent. El primero sigue un tradicional modelo policial Compstat, centrado en el tiempo y en el análisis de la delincuencia ocurrida durante los siete últimos días. La Policía de Kent seguía el programa Predpol pero con un enfoque basado en la inteligencia (149) . Con esta finalidad se fusiona información detallada a nivel individual, incidentes delictivos recientes y problemas conocidos de alto riesgo. Partiendo de que una eficaz labor de inteligencia evita dar una respuesta excesiva y desproporcionada a sucesos aleatorios, cuando se le encomendó al analista de Kent la tarea de colocar casillas de predicción, se basó principalmente en la información sobre determinados puntos (como el domicilio y el lugar de trabajo) de los delincuentes crónicos, que son responsables de una gran parte de los delitos graves, y sus socios conocidos. La agrupación territorial de las predicciones en Kent superó a los Ángeles por lo que las patrullas podían concentrarse más en la ciudad británica. La policía de Manchester desplegó su propio programa predictivo durante doce meses entre los años 2010 y 2011 bajo el modelo tradicional que predice donde volverán los criminales. A los mismos les esperarán, conforme señalan los responsables policiales, zonas de amortiguación del crimen y guardianes capaces para detenerlos (150) .

El sesgo de automaticidad adquiere un matiz peculiar en algunos responsables policiales británicos. No es tanto, profesar una fe evangélica como «uberizar» el servicio policial. SANDHU (151) señala como la respuesta de algunos entrevistados fue que el servicio de policía se «uberiza» evitando los desplazamientos largos e innecesarios. Los agentes tocan la pantalla, aceptan la tarea y la herramienta móvil les dirige al punto conflictivo. Ahora bien, señala el autor que existen resistencias que se pueden vencer mediante un sistema de incentivos (152) . Existe también la convicción de que «para este viaje no hacía falta alforjas» y que la predicción de la maquina arroja conclusiones muy básicas y claras que cualquier inteligencia humana puede detectar por sí sola (153) .

Sobre las sospechas de sesgo racial, nos encontramos nuevamente con los datos sucios, contaminados por conductas discriminatorias. Como expone un agente «..si introducimos datos pobres, tendremos resultados pobres. Así, sabemos que si detenemos y registramos desproporcionadamente a jóvenes negros por determinados tipos de delitos en una zona y utilizamos los datos de identificaciones, el sistema tratará desproporcionadamente a los jóvenes negros».

Particularmente polémico desde este punto de vista fue el sistema de SSL «Gang Matrix» aplicado por la Policía Metropolitana de Londres (154) que incluía en una lista a potenciales miembros de bandas. En el año 2018, la Oficina del Comisionado de Información (155) (OIC) publicó una Nota en la que se recogía la vulneración por el sistema de la Ley de Protección de Datos del 2018 así como del principio de igualdad conforme a la Ley de Igualdad del 2010. El dato era demoledor. El 82,3% de las personas en la Matriz eran BAME (156) , el 99% hombres y el 55,6% menores de 18 años. El sistema seguía un sistema de etiquetas. Las personas clasificadas en rojo eran las de mayor riesgo y recibían una intensa actividad diaria basada en un plan multiinstitucional de diferentes agencias. Al mismo tiempo se estudiaba solicitar una orden judicial de Comportamiento Criminal (157) . En el caso de las personas con distintivo ámbar, se elaboraba el mismo tipo de plan, pero más separado en el tiempo y no siempre se valora pedir la orden. Las personas con etiqueta verde eran destinatarios de actividades de «desvío o compromiso» dirigida por una sola agencia (158) .

El OIC recomendó a la matriz «una reevaluación exhaustiva de las personas con poco riesgo», reprochó que no explicara con claridad al público como funcionaba y que no existiera un procedimiento estandarizado de eliminación de datos, afirmando que una persona pacífica y de riesgo cero encasillada como bandera verde, genera un dato inexacto que debe ser suprimido.

En el año 2022, la Policía Metropolitana concibe la matriz como un modelo orientado a ayudar a los miembros de bandas que deseen salir de las mismas. Para ello se prevén programas de mentores, ayuda para la educación, el empleo, el realojamiento, etc., así como una participación vecinal mediante asociaciones locales que realizan reuniones y debaten cuestiones para alcanzar estos objetivos.

La policía de Durham utiliza el programa predictivo HART (159) que basa una predicción de reiteración criminal en características personales. Como señalan OSWALD, et al (160) , de los 34 valores predictivos, 29 proceden del historial delictivo del sospechoso. A ello se unen datos que el delincuente no puede cambiar como la edad y el sexo; combinándolas con la zona geográfica en que viven, se tiene en cuenta si las «casas son estrechas» y si los «empleos tienen una alta rotación». Se utiliza también el Código Postal que por protección de datos se extiende a cuatro dígitos, que abarca una zona geográfica muy amplia.

6. España

A) Sistemas predictivos cartográficos

La Policía Nacional diseñó en el 2015 una versión del Predictive Police Patrolling (P3-DSS) que procesó los crímenes cometidos en los años 2008 a 2012 en el Distrito Centro de Madrid (161) . Se creó así un mapa suficientemente pequeño de puntos calientes en el que distribuir eficazmente las patrullas (162) .

Una empresa privada española, la Corporacion EuroCop Security Systems, es la autora del programa predictivo EuroCop Pred-Crime (163) . GIMENO BEVIA (164) expone que este software ha sido comprado por ayuntamientos, sin publicidad clara sobre su alcance y objetivos y vincula el abandono de alguno de estos programas, como el del Ayuntamiento de Rivas Vaciamadrid (Madrid), a la falta de garantías o base legal para el uso de herramientas que surgen de un partenariado público-privado (165) .

B) Sistemas subjetivos

a) Sistema VioGen

El Sistema de Seguimiento Integral de los Casos de Violencia de Género (VioGen) es la principal herramienta predictiva que en nuestro país sigue un modelo de SSL (166) . El objetivo fundamental del programa es evaluar riesgos para impedir delitos y proteger a las víctimas (167) . La particularidad de este modelo predictivo es que puede contribuir a generar decisiones judiciales cautelares como el empleo de dispositivos de alejamiento, órdenes de protección o la prisión provisional de los investigados por Violencia de Género.

A. Concepto, funcionamiento y fines

El AAP de Málaga, sec. 8ª, n.^o 505/2021 (LA LEY 368714/2021), de 4 de junio indica que el programa VioGen es «…un sistema informático del cual se obtiene la situación de riesgo tras el tratamiento por medio de algoritmos de un cuestionario o formulario que es contestado por la persona candidata a proteger» (168) . La finalidad es proteger a la víctima a través de diferentes caminos. Así, expone el AAP de Madrid secc. 27ª, n.^o 145/2024, de 25 de enero (LA LEY 49428/2024) que mediante el sistema se conecta a instituciones públicas que tienen competencias en materia de violencia de género y se integra toda la información de interés, agilizando su intercambio. Con ello se facilita la valoración del nivel riesgo de sufrir nuevas agresiones, o una escalada en la gravedad o la frecuencia, ayudando también a que las víctimas adopten medidas de autoprotección. Sobre el funcionamiento del programa, la Sala señala que los datos que alimentan el sistema se someten a algoritmos con puntuaciones introducidas en lo relativo a cada uno de los indicadores de riesgo, devolviendo una valoración de riesgo en cinco niveles «No Apreciado», «Bajo», «Medio», «Alto» y «Extremo», que se comunican al Juzgado de Violencia sobre la Mujer y a la Fiscalía (169) .

Las defensas han alegado en ocasiones que el sistema es simplista porque valora únicamente las manifestaciones de la víctima a lo que responde la Audiencia de Madrid, secc. 26ª, en Auto n.^o 1283/2022 de 5 de agosto (LA LEY 408036/2022) que el informe de VioGen «contiene y valora todos los extremos y circunstancias, aunque parta de la declaración de la denunciante» (170) . El AAP de Madrid, secc. 27ª, n.^o 145/2024, de 25 de enero (LA LEY 49428/2024) pone de manifiesto que la información de VioGen deviene de una doble fuente «por una parte, declaraciones de la víctima» a lo que se añaden «declaraciones de testigos, registros oficiales, antecedentes policiales y registros accesibles para la policía, y por otra, de los propios hechos objeto de investigación» (171) , si bien el AAP de Málaga, sec. 8ª, n.^o 505/2021 (LA LEY 368714/2021), de 4 de junio señala que el algoritmo solo interpreta las respuestas de la candidata a ser protegida.

Se ha llegado a combatir el funcionamiento del algoritmo aunque el mismo no haya presentado batalla. Así, en el caso resuelto por la AAP de Madrid, secc. 26ª, n.^o 796/2024 (LA LEY 188523/2024), de 26 de abril, el abogado de la defensa manifestó que el programa no comprueba la veracidad de las respuestas facilitadas por la denunciante y que sólo estudia casos en que la víctima ha fallecido por lo que la muestra es escasa y debe manejarse con mucha precaución. La Sala indicó no comprender la extensión del recurso sobre este punto porque la Resolución recurrida no hacía mención alguna a VioGen a la hora de acordar la orden de protección que se basó declaración de la víctima y el dato objetivo que avalaba su versión consistente en la presencia de moratones.

B. Control humano

El algoritmo es supervisado parcialmente por el ser humano. Como afirma PRESNO LINERO (172) el sistema busca facilitar el trabajo diario a los agentes, asumiendo la importancia que tiene la experiencia profesional, como en cualquier profesión. Así, al final de cada valoración policial de riesgo, el sistema VioGen pregunta por la conformidad del agente con el resultado automático permitiendo que el usuario manifieste su desacuerdo y asigne el nivel de riesgo que él considera más apropiado, facilitando sus razones, permitiendo así el perfeccionamiento del sistema.

El agente sólo puede desautorizar a la máquina para elevar el riesgo y no para reducirlo. El AAP de Pontevedra, secc. 4ª, n.^o 731/2022 (LA LEY 419102/2022), de 9 de diciembre, recuerda que el nivel de riesgo asignando de forma automática por el sistema de VioGen puede ser modificado al alza por los agentes si, a su juicio y atendiendo a indicios que no se reflejan en los indicadores de riesgo del formulario de valoración, consideran que resulta necesario para una mejor protección de la víctima (173) . La presencia de esta supervisión humana es valorada positivamente por el AAP de Cádiz, secc. 3ª, n.^o 536/2021 (LA LEY 373094/2021), de 3 de noviembre al demostrar que la valoración VioGen no es resultado de la confección mecanicista de un formulario protocolario sino de la percepción personal de un evaluador, que hace constar en el atestado. En el presente caso, el informe policial indicaba que « ... se ha detectado una especial combinación de indicadores que apuntan a que los menores de edad a cargo de la víctima puedan encontrarse en una situación de especial vulnerabilidad».

No comparto que se restrinja la intervención humana. La autodeterminación humana especializada frente al algoritmo debe ser completa. Si quien debe interpretar el mismo no está de acuerdo, debe tener la posibilidad de, motivadamente, separarse de cualquier decisión derivada de una maquina por inteligente que sea esta última.

Las restricciones interpretativas de los fiscales son más intensas todavía. La memoria de la Fiscalía del año 2024 (174) expone que la Fiscal de Sala de Violencia de Género se dirigió en el año 2023 a los fiscales delegados para que en los casos en que la Valoración de Riesgo Policial sea de riesgo «Extremo», «Alto» o «Medio de especial relevancia» se interese la instalación del dispositivo telemático de detección de proximidad, salvo que entendieran que procedía acordar la prisión provisional a fin de proteger a las víctimas. El margen de maniobra del fiscal se anula por completo. En las conclusiones de las jornadas de fiscales delegados de Violencia de Género se señala que cuando el sistema a la vista de la reiteración delictiva genera una diligencia automática de «agresor persistente», los fiscales deben tener en cuenta siempre esos antecedentes como un factor de riesgo grave, «con independencia del nivel del riesgo policial resultante de esas valoraciones». Por tanto, el fiscal debe atender al criterio del algoritmo incluso aunque el mismo no se confirme por el analista policial.

C. Trasparencia

Se reprocha al programa falta de trasparencia en cuestiones concretas. Reflexiona BORGES BLÁZQUEZ (175) que «disponemos de las preguntas que se hacen a VIOGEN, pero no del valor que se otorga a cada una». El AAP de Madrid secc. 27ª, n.^o 145/2024, de 25 de enero (LA LEY 49428/2024) descarta cualquier opacidad «…la plataforma, en consecuencia, es pública, los algoritmos no son secretos, y sus resultados han de entenderse como producto del estudio continuado de expertos que trabajan en el desarrollo del sistema. Y tal información, sin necesidad de petición expresa, es acompañada en los atestados incoados en esta materia de Violencia de Género».

Con frecuencia (176) , las referencias sobre las que VioGen cimenta el riesgo están claras y se recogen en la Resolución judicial, como la agresividad, la ausencia de arrepentimiento (177) , la gravedad de los hechos con empleo de arma blanca, la presencia de hijos menores (178) y la reincidencia, entendiendo la misma en un sentido amplio que abarque tanto las denuncias de la víctima como las condenas penales (179) . El analista policial explica asimismo la intensidad del peligro que para la denunciante supone la calificación de VioGen. Así, el AAP de Madrid, secc. 27ª, n.^o 1917/2023, de 22 de noviembre (LA LEY 397613/2023) refleja que el informe de Guardia Civil explica que «cuando en el sistema VIOGEN se genera un caso de especial relevancia significa que en el mismo se observan factores de riesgo que multiplican por ocho la probabilidad de reincidencia violenta con resultado de muerte para la víctima». También el AAP de Cádiz, secc. 3ª, n.^o 446/2020 (LA LEY 302450/2020), de 21 de septiembre añade que el informe vioGen unido al atestado vincula a la calificación de «especial relevancia» que el riesgo puede ser extensible a terceros, concretamente a hijos menores.

D. Valor que se otorga a VioGen por la jurisdicción

De la sumisión de la Fiscalía a la máquina, en la valoración jurisdiccional encontramos dos posturas. Una posición minoritaria es de desconfianza como ocurre en el AAP de Málaga, sec.8ª, n.^o 505/2021 (LA LEY 368714/2021), de 4 de junio para el que la situación de riesgo que establece VioGen es « siempre aproximada» y debe acogerse con «las naturales reservas» tras el tratamiento por medio de algoritmos de un cuestionario o formulario que es contestado por la persona candidata a proteger». El AAP de Málaga, secc. 8ª, n.^o 339/2020 (LA LEY 303630/2020), de 4 de mayo indica que VioGen «… tiene escaso respaldo científico pues es el resultado de una aplicación informática».

En la mayoría de los casos, el sistema VioGen es un factor más a valorar con otros. Un ejemplo lo encontramos en un caso en que la Fiscalía de Madrid recurrió una decisión del Juez de Instrucción que denegó la prisión provisional. La Fiscal expuso que al desoírse por el Juez la predicción de «riesgo extremo» se dejaba «vacío de valor la inmensa y constatada labor desempeñada en el ámbito de medición del riesgo de las víctimas por parte de las Fuerzas y Cuerpos de Seguridad, e infravalorando la extensa labor de investigación científica que hay detrás del denominado «Sistema Viogen». La Secc. 27ª de la Audiencia de Madrid en Auto n.^o 1620/2023 , de 4 de octubre (LA LEY 358345/2023) desestima el recurso y rechaza cualquier concepción monopolística de la máquina como prueba «Este sistema "algorítmico" en ningún caso puede sustituir el resultado de las diligencias de investigación que se practicadas a lo largo de la instrucción, por más que pueda reforzar la convicción alcanzada, pero que no puede sustituirla» (180) .

Desde esta perspectiva, puede considerarse que VioGen tiene un valor relativo, pudiendo no ser determinante, aunque los demás indicios confirmen su resultado (181) e incluso en aquellos casos en que el sistema no aprecie riesgo o estime que este es bajo, la valoración del conjunto de indicios puede llevar al órgano judicial a adoptar medida de protección (182) . No obstante, el algoritmo, ya sea para aceptarlo o rechazarlo, no debe ser ignorado en la ponderación judicial (183) .

b) Incendios forestales

La Guardia Civil y la Unidad Coordinadora de Medio Ambiente de la Fiscalía General del Estado han creado un programa SSL que elabora perfiles psico-sociológicos de responsables de incendios forestales (184) , con el objeto de obtener la máxima información posible sobre el mismo (185) . El sistema, establece dos sistemas de toma de datos. Uno de ellos y principal, consistente en un test que se realiza a todas las personas detenidas e investigadas por estos delitos. En función del resultado de dicho test se pasa a una segunda fase que es una entrevista entre el investigado/detenido y un miembro del gabinete psicológico de la Guardia Civil. Posteriormente las entrevistas se extienden a condenados y presos preventivos por estas causas en establecimientos penitenciarios.

El Fiscal, señala la memoria de la Fiscalía, se encarga de «la coordinación entre todas las Fuerzas y Cuerpos de Seguridad con competencias en la materia, tanto estatales como las dependientes de las Comunidades Autónomas, dando las instrucciones para que se realicen los test». Asimismo, lleva a cabo funciones de intermediación con las autoridades penitenciarias para que la Guardia Civil pueda entrevistar a los presos y perfila el aspecto jurídico de la entrevista, estableciendo que las mismas son voluntarias y ajenas al proceso penal. No consta que ninguna cuestión relacionada con dicho sistema predictivo haya llegado a los tribunales.

VI. Predictividad y protección de datos personales

Los sistemas predictivos recopilan y procesan numerosos datos personales. Generan así un microcosmos en que coexisten los datos más variados que identifican a la persona (186) . SCHLEHAHN (187) alerta que el enfoque «de buscar una aguja en un pajar» tiene el riesgo de integrar en el sistema un exceso de información que desemboque en «un pajar de datos» que atente a la privacidad. Al argumento de «si no se hace nada mal, no hay nada que ocultar» puede oponerse que «si no tienes nada que ocultar, no tienes vida» lo que incluye, el derecho del ciudadano a controlar la difusión y depósito de información que esté fuera de contexto, distorsionada o que sin ser delictiva sea simplemente embarazosa. Considera necesario un control sobre su acceso y como los datos pueden ser almacenados, procesados, transformados, combinados y presentados en el sistema.

Como indica la corporación VINFOPOL (188) es fundamental asegurar que estos datos se manejen de acuerdo con las normativas nacionales y europeas de protección de datos. Ya la Directiva (UE) 2016/680 (LA LEY 6638/2016), del Parlamento Europeo y del Consejo (189) establece una serie de garantías para la actividad de «elaboración de perfiles» que define (190) como toda forma de tratamiento automatizado de datos personales consistente en utilizar datos personales para evaluar determinados aspectos personales de una persona física, en particular para analizar o predecir aspectos relativos al rendimiento profesional, situación económica, salud, preferencias personales, intereses, fiabilidad, comportamiento, ubicación o movimientos de dicha persona física.

La Directiva (191) establece las salvaguardas del interesado frente a decisiones que evalúen aspectos personales que le conciernen que se basen únicamente en un tratamiento automatizado de los datos y que tenga efectos jurídicos adversos que le conciernan o le afecten significativamente. Se requiere una intervención humana que informe al interesado sobre la decisión adoptada y escuche su punto de vista. El interesado tendrá asimismo derecho a impugnar la decisión. Queda prohibida la elaboración de perfiles que den lugar a la discriminación de personas físicas por razones basadas en datos personales que, por su naturaleza, son especialmente sensibles en relación con los derechos y las libertades fundamentales Para poder ejercer sus derechos, toda la información dirigida al interesado debe ser fácilmente accesible.

En España, el art. 14 de la Ley Orgánica 7/2021 (LA LEY 11831/2021) de mayo, de protección de datos personales tratados para fines de prevención, detección, investigación y enjuiciamiento de infracciones penales y de ejecución de sanciones penales prohíbe el tratamiento individualizado de datos personales que se traduzca en una decisión capaz de producir efectos negativos para el sujeto objeto del tratamiento, queda prohibidos. La única excepción es que dicho tratamiento esté determinado por una norma habilitante, la cual deberá contener las medidas adecuadas para salvaguardar los derechos y libertades del interesado, incluyendo el derecho a obtener la intervención humana en el proceso de revisión de la decisión adoptada.

El art. 15 establece como excepción la captación, reproducción y tratamiento de datos personales por las Fuerzas y Cuerpos de Seguridad en los términos previstos por la Ley, tampoco las actividades preparatorias se considerarán intromisiones ilegítimas en el derecho al honor, a la intimidad personal y familiar y a la propia imagen. Para SUAREZ XAVIER (192) la excepción supone ignorar un sistema de garantías individuales consagrado por la Ley Orgánica 7/2021 (LA LEY 11831/2021) y consolidar «un sistema de control colectivo», que en un momento dado se dirigirá contra individuos concretos. Para el autor, la referencia a «actividades preparatorias» del art. 15 avala un sistema de policía predictiva sin necesidad de autorización judicial que habilite la injerencia policial sobre estos ciudadanos.

No obstante, el poder policial, a la hora de configurar estas bases de datos, no es absoluto. Una garantía clave es la supresión, pasado el tiempo, de los datos personales que contenga el sistema predictivo (193) . En la STEDH, Catt c. el Reino Unido, n.^o 43514/15, de 24 de enero de 2019, el Reino Unido fue condenado al considerar que la retención de los datos personales del sr. Catt dentro de un sistema policial predictivo constituía una injerencia lesiva del derecho a la vida privada del demandante conforme al art. 8 de la Convención Europea de Derechos Humanos (LA LEY 16/1950). Así, Catt, un ciudadano británico, participó en el año 2005 en las protestas de un grupo llamado «Smash EDO» contra la fábrica de Brighton de la empresa armamentística estadounidense EDO MBM Technology Ltd. Las protestas se saldaron con desordenes e intervención policial. Catt nunca fue condenado por ningún delito. En marzo del 2019, Catt solicitó a la policía, en virtud de la Ley de Protección de Datos de 1998, la información que pudiera existir sobre él en las bases policiales de datos. La policía le comunicó 66 entradas recogidas entre marzo de 2005 y octubre de 2009, sobre su presencia en diferentes manifestaciones y actos de protesta (194) . La información figuraba en una base de datos policial relativa a «extremismo doméstico». En agosto de 2010, Catt pidió a la Asociación de jefes de Policía (AJP) que suprimiera las entradas en las que se le mencionaba, pero la AJP se negó a hacerlo, argumentando que dicha información formaba parte de una base de datos predictiva. AJP argumentó que «... los registros se conservan para ayudar a la policía del Reino Unido a gestionar un riesgo futuro de delito —del que [usted] podría ser víctima—. Los registros en sí no deben ser y no serán revelados [a usted] por lo que son razones obvias. Una base de datos de inteligencia pierde toda su eficacia si no se mantiene confidencial».

El Tribunal Supremo del Reino Unido confirmó el 4 de marzo de 2015 que la decisión adoptada era conforme a Derecho. El ponente Lord Sumption indicó que aunque la información personal conservada por la policía era personal, no era intima ni sensible, refiriéndose a actos públicos de protesta cuya difusión pública era deseada por quienes intervenían en ellos. En consecuencia la injerencia en la intimidad era menor. Consideró justificado conservar los datos personales de una persona sin antecedentes penales para la que la delincuencia violenta era tan sólo una perspectiva remota ya que podían ser útiles en investigaciones de delitos penales, identificando testigos y víctimas. Concluyó manifestando que la inclusión en la base de datos no estigmatizaba a nadie, no se le daba una difusión pública, ni se utilizaba con fines políticos, ni para victimizar disidentes, ni estaba a disposición de empleadores y que el material también se revisaba periódicamente para su conservación o supresión con arreglo a criterios racionales y proporcionados.

La Corte Europea recordó su doctrina (195) respecto al requisito de que la injerencia en la vida privada sea «conforme a derecho» como impone el art. 8 de la Convención. No basta con que la medida impugnada tenga algún fundamento en el derecho interno, sino que también se refiere a la calidad del derecho, de forma que ofrezca una protección jurídica adecuada contra la arbitrariedad. La Sala expresó su preocupación por algunos aspectos de las disposiciones legales internas del Reino Unido relativas a la recogida de datos personales en la base de datos, en particular la falta de una definición clara de «extremismo doméstico» (196) , pero consideró que el sistema normativo británico que combina la ley con una guía de buenas prácticas (197) , ofrecía una cobertura normativa suficiente para recoger los datos.

En consecuencia, la Sentencia pasó a centrarse en si había existido una justificación para interferir en los derechos de Catt al conservar el sistema datos sobre él. Expone la Sentencia que no ha habido controversia significativa sobre si la creación y el mantenimiento de la base de datos por la policía persigue una finalidad legítima, siendo la misma la prevención de desórdenes o delitos y la salvaguardia de los derechos y libertades de los demás. La Corte Europea consideró que había buenas razones policiales para recopilar esos datos. En el caso de Catt, la recogida de los mismos estaba justificada porque se sabía que las actividades de «Smash EDO» eran violentas y potencialmente delictivas. Aunque Catt nunca había sido violento ni había mostrado ninguna tendencia a ese tipo de comportamiento, se había identificado repetida y públicamente con ese grupo.

La Resolución del TEDH consideró, sin embargo, que la retención continuada de los datos personales en el caso de Catt había sido desproporcionada porque tales datos revelaban opiniones políticas y, por tanto, tenían una protección reforzada; se había aceptado que Catt no suponía una amenaza para nadie; y había existido una ausencia de garantías procesales efectivas ante la ausencia de un límite temporal sobre cuánto tiempo debían conservarse los datos, siendo la única norma definitiva de protección de datos que la información se conservaría durante un mínimo de seis años antes de ser revisada. En el caso de Catt no estaba claro que se hubieran llevado a cabo tales revisiones de seis años o de otro tipo. El Reino Unido fue condenado, quedando afectados sistemas predictivos que, como vimos, padecían las mismas deficiencias como el «Gang Matrix» aplicado por la policía londinense.

Asimismo, es fundamental en la materia el Reglamento (UE) 2024/1689 (LA LEY 16665/2024) (198) que califica (199) siempre como de alto riesgo al sistema de IA que elabora perfiles de personas físicas. En consecuencia, el Reglamento recopila un completo sistema de salvaguardas como la exactitud, en forma de datos de entrenamiento, validación y pruebas para la preparación de modelos (art. 10); vigilancia de su funcionamiento (art. 12); transparencia y comunicación de información a los responsables del despliegue de forma que interpreten y usen correctamente sus resultados de salida (art. 13) y una necesaria supervisión humana (art.14).

VII. El valor probatorio del algoritmo en el proceso penal

Dijimos «supra» que la policía predictiva no aspira a ser en sí misma una prueba incriminadora. Tiene como objetivos principales disuadir al criminal, proteger a las víctimas y restaurar la paz pero la predicción puede determinar que la policía esté en el lugar y sitio correctos o siga a la persona adecuada en el momento pertinente y ello desemboque en una detención y en una posterior acusación. ¿Hasta qué punto puede un sistema de policía predictivo operar como indicio probatorio y, en su caso contaminar una prueba que haya generado?

En España, el AAP de Madrid, secc. 26ª, n.^o 878/2024, de 29 de abril (LA LEY 213703/2024) indica que la evaluación policial de riesgo del sistema VioGen, no tiene ninguna transcendencia en cuanto al esclarecimiento de los delitos de violencia de género y su posible relevancia jurídica. No obstante, excepcionalmente, el sistema predictivo se ha defendido en juicio por un agente especializado y ha tenido valor probatori. Así, la SAP de Huesca, secc. 1ª, n.^o 200/2023, de 29 de noviembre (LA LEY 387157/2023) pone de manifiesto la declaración testifical de una agente del Equipo Mujer Menor de la Policía Judicial de Huesca —EMUME que explica como la conclusión del sistema de riesgo VioGen «… se extrae a través de unos parámetros, que se introducen a través de los campos que el sistema va preguntando, estos son iguales para todas las víctimas de violencia de género y es el propio sistema el que da el riesgo, y en este caso era alto»—. La prueba principal de cargo es la declaración de la víctima y el informe VioGen junto al reconocimiento de los hechos por los acusados son «elementos periféricos corroboradores».

También la SAP de La Rioja, secc. 1ª, n.^o 119/2022, de 13 de julio (LA LEY 202544/2022), valora en un caso de agresión sexual, la declaración testifical-pericial (200) , de una agente que entró inicialmente en contacto con la víctima. Expuso que la valoración inicial de VioGen del riesgo existente fue «bajo». Se ponderó que no existía parte de lesiones ni constancia de las mismas y que «Aunque la denunciante afirmó insistentemente que hubo gritos, su madre y un compañero de piso, lo desmintieron». VioGen fue un factor a favor de la absolución del reo, si bien la agente manifestó que la maquina hoy en día habría dicho otra cosa ya que «el sistema ha cambiado desde entonces y ahora, intentar agarrarla del cuello se valora por VioGen como muy grave (201) ». La Sentencia fue absolutoria al no darse crédito a la víctima.

El valor probatorio del algoritmo predictivo queda lastrado por la preocupación presente en un dictamen del Parlamento Europeo (202) que advierte del empleo de los sistemas algorítmicos predictivos por poder dar lugar a un trato diferenciado y a la discriminación tanto directa como indirecta de grupos de personas, por cuanto los datos utilizados para entrenar algoritmos de predicción policial reflejan las prioridades de vigilancia en curso y, en consecuencia, pueden acabar reproduciendo y amplificando los sesgos actuales; subraya, por consiguiente, que las tecnologías de la IA, especialmente cuando se despliegan para su uso por parte de las fuerzas del orden y el poder judicial, requieren investigación y aportaciones interdisciplinarias, incluidos los ámbitos de los estudios científicos y tecnológicos, y estudios críticos sobre la raza y la discapacidad y otras disciplinas en sintonía con el contexto social, incluida la forma en que se construye la diferencia, la labor de clasificación y sus consecuencias; subraya la necesidad de invertir sistemáticamente en el estudio y la investigación de la IA a todos los niveles y concluye con la importancia de que los equipos que diseñan los sistemas de IA para las fuerzas del orden y el poder judicial reflejen, en la medida de lo posible, la diversidad de la sociedad en general como medio no técnico de reducir los riesgos de discriminación (203) .

El dictamen se opone por tanto a que las autoridades policiales utilicen la IA para hacer predicciones sobre el comportamiento de personas o grupos basándose en datos históricos y en comportamientos anteriores, pertenencia a grupos, ubicación o cualquier otra característica de este tipo, intentando así identificar a las personas susceptibles de cometer un delito.

El Reglamento de la Unión Europea sobre Inteligencia artificial (204) establece que en «consonancia con la presunción de inocencia, las personas físicas de la Unión siempre deben ser juzgadas basándose en su comportamiento real. Las personas físicas nunca deben ser juzgadas a partir de comportamientos predichos por una IA basados únicamente en la elaboración de sus perfiles, en los rasgos o características de su personalidad, como la nacionalidad, el lugar de nacimiento, el lugar de residencia, el número de hijos, el nivel de endeudamiento o el tipo de vehículo, sin una valoración humana y sin que exista una sospecha razonable, basada en hechos objetivos comprobables, de que dicha persona está implicada en una actividad delictiva». Añade a continuación que «Por lo tanto, deben prohibirse las evaluaciones de riesgos realizadas con respecto a personas físicas para evaluar la probabilidad de que cometan un delito o para predecir la comisión de un delito real o potencial basándose únicamente en la elaboración de perfiles de esas personas físicas o la evaluación de los rasgos y características de su personalidad» (205) .

Podemos extraer de esta previsión del Reglamento:

• a.- Únicamente se regula el valor probatorio del sistema predictivo policial como prueba acusadora en un juicio. No se extiende a su función de prevención del delito.
• b.- Asimismo, alude sólo a las personas físicas, lo que deja abierto el interesante tema de poder proyectar los perfiles criminales en el marco de procedimientos penales contra corporaciones, sin exigir sospechas previas y sin intervención humana.
• c.- Un sistema predictivo puede incluir datos personales siempre que exista una sospecha razonable y comprobable de que el sujeto ha cometido un delito. Quedan proscritos, por tanto, los sistemas predictivos prospectivos que se generan sin datos objetivos mínimamente fehacientes de que se ha cometido un delito y que actúan de manera indiscriminada, para ver si por alguna casualidad se encuentra algo.
• d.- Son sospechas aptas para integrar el modelo predictivo las detenciones, acusaciones, condenas anteriores, relación con criminales, o tenencia de cantidades de dinero o patrimonios injustificados, en definitiva, los indicios racionales de criminalidad que configuran el primer requisito del delito de blanqueo.
• e.- Los datos personales que pueden acceder para construir el perfil criminal se citan en el Reglamento a modo de ejemplo (206) . No se menciona la raza (207) que por su carácter discriminatorio debe ser excluida como rasgo a ponderar.
• f.- Es imprescindible que el árbitro y conductor del sistema predictivo sea el ser humano.

Doctrinalmente, GLESS (208) considera que una detención basada en el perfil elaborado por un algoritmo no está justificada si no concurre «la sospecha razonable» de que haya cometido un delito que exige el art. 5 de la Convención Europea de Derechos Humanos (LA LEY 16/1950) para justificar la detención. Con cita de la STEDH, Fox Campbell y Hartley c. el Reino Unido 1990, expone que la razonabilidad de la sospecha es una parte esencial de la salvaguarda contra el arresto y la detención arbitraria y presupone la existencia de hechos o informaciones que satisfagan a un observador objetivo de que la persona en cuestión puede haber cometido la infracción. Un sistema de elaboración de perfiles policiales basado en algoritmos que categorizan a un sujeto, no genera ex ante para el autor «una causa probable para arrestar a un individuo». No comparto el criterio. Si el algoritmo no adolece de un sesgo discriminatorio, su juicio predictivo avalado por un humano es apto para fundar una sospecha razonable. En tal supuesto se genera un punto de partida valido para detener a alguien o iniciar una investigación. Siendo indiscutible que la policía puede actuar de esta forma en base a confidentes físicos, el algoritmo no dejaría de ser un informante virtual de la policía. Comparto la afirmación de JAMIL (209) «el rol del análisis predictivo es identificar sospechosos potenciales. El algoritmo extrae información que señala a personas de interés para futuras investigaciones, sin subjetividad ni discriminación. La herramienta de análisis predictivo es un instrumento adicional para la aplicación de la ley. Las fuerzas de seguridad acuden a la predicción en lugar de un informante o de una denuncia anónima». Ahora bien, es preciso, como dijimos, fijar la trazabilidad del algoritmo y determinar qué datos han generado la predicción para descartar el sesgo discriminatorio.

Como muy bien explica GUILLEN LASIERRA (210) se infringe el derecho a no ser discriminado por razón de raza (art. 14 CE (LA LEY 2500/1978)), en el caso de iniciarse una actividad de policía con el sólo fundamento de los signos raciales o nacionales de una persona (211) . De la misma forma, si la policía da por seguro que por el hecho de pertenecer a un grupo o etnia la persona ha de haber cometido (o tiene muchas posibilidades de haberlo hecho) un delito o infracción, se vulnera la presunción de inocencia.

VIII. Conclusión final

La policía predictiva tecnológica, con las salvaguardas adecuadas es una herramienta adecuada para reducir la cadencia del crimen pero el sistema debe respetar los derechos fundamentales en su conjunto.

La aplicación del programa genera una serie de derechos de nueva generación que sólo embrionaria y parcialmente se regulan normativamente. Las personas cuyos datos personales alimentan un programa predictivo tienen derecho a que existan sospechas objetivas de que haya protagonizado algún acto criminal y a la cancelación de los datos una vez pasado un tiempo razonable.

Otro derecho capital del titular de los datos personales que alberga el sistema es que el mismo lo dirija un humano. Es indudable que la tecnología analiza más datos y a más velocidad que la persona pero no ha alcanzado un grado suficientemente avanzado de evolución para sustituirla, siendo imprescindible una intervención humana especializada que, sin restricciones, avale la predicción del algoritmo para que acceda al mundo real. Este derecho a la humanización se extiende también a los policías que deben aplicarlo quienes gozan del derecho a no ser gobernados desde la sombra de un algoritmo y que no sea una máquina la que les envíe a zonas de riesgo.

Acudir a corporaciones privadas para elaborar estos programas es licito. El interés privado puede coexistir con el público, pero desde posiciones propias que no deben confundirse. La Administración, en materia de seguridad y garantías constitucionales, no puede ser una mera contratista y la empresa privada no puede vestir ropajes estatales para suplantar funciones públicas sin control alguno. La entidad pública debe supervisar al ente privado y conjurar cualquier abuso.

El eje del sistema es la proscripción de algoritmos racistas y discriminatorios siendo fundamental la explicación de las variables que el programa emplea, la trazabilidad y una auditoría independiente del programa.

Es precisa una regulación normativa holística que establezca las garantías y regule el empleo del algoritmo predictivo. En particular, la Ley de Enjuiciamiento Criminal (LA LEY 1/1882) debe fijar, siguiendo el modelo del Reglamento Europeo, las exigencias precisas para que el sistema pueda operar como indicio probatorio. Asimismo, la normativa administrativa tiene que establecer los derechos de los policías, tanto los del patrullero y analista frente al algoritmo, como los del policía frente al analista y, en la Ley de Seguridad Ciudadana, concretar los poderes y actuaciones policiales en la ejecución del programa predictivo. El legislador tiene la última palabra.

IX. Bibliografia

AGUIRRE, Katherine; BADRAN, Emile; MUGGAH, Robert. Future Crime. Assessing twenty first century crime prediction. Igarapé Institute, strategic note n.^o 33, 2019.

ADOWSKI, Friederike, et al. RADAR-iTE 2.0: An Instrument of the German State Protection-Structure, Development and Current Stage of Evaluation. En Terrorism Risk Assessment Instruments. IOS Press, 2021. pp. 223-235.

ANDERSON, Cahoime Marie. The Impact of Algoritmo in Criminal Sentencing on Due process Rights. 2019. Tesis Doctoral. Queen’s University Belfast.

ANDREJEVIC, Mark. Digital citizenship and surveillance| To Pre-empt a thief. International Journal of Communication, 2017, vol. 11, pp. 879-895

BACHNER, Jennifer. Predictive policing: preventing crime with data and analytics. Washington, DC: IBM Center for the Business of Government, 2013.

BALOGH, D.A. Near Repeat-Prediction mit PRECOBS bei der Stadtpolizei Zürich. Kriminalistik, 2016, vol. 70, n.^o 5, pp. 335-341.

BARONA, Silvia. Dataización de la justicia (Algoritmos, Inteligencia Artificial y Justicia, ¿el comienzo de una gran amistad?). Revista Boliviana de Derecho, 2023, n.^o 36, pp. 14-45.

BENBOUZID, Bilel. Values and Consequences in Predictive Machine Evaluation. A Sociology of Predictive Policing. Science & Technology Studies, 2018, vol. 31, pp. 119-136.

BENNETT MOSES, Lyria; CHAN, Janet. Algorithmic prediction in policing: assumptions, evaluation, and accountability. Policing and society, 2018, vol. 28, n.^o 7, pp. 806-822.

BORGES BLÁZQUEZ, Raquel. Algoritmización de la concesión de medidas cautelares en el proceso penal para la protección de víctimas de violencia de género. ¿ Es capaz VIOGEN de interpretar el «periculum in mora»?, Actualidad jurídica iberoamericana, 2024, n.^o 41, pp. 384-407.

BRAYNE, Sarah; ROSENBLAT, Alex; BOYD, Danah. Predictive policing. Data & Civil Rights: A New Era of Policing and Justice, 2015, pp. 1-10.

BUENO DE MATA, Federico. Macrodatos, inteligencia artificial y proceso: luces y sombras. Revista General de Derecho Procesal, 2020, n.^o 51.

CAMACHO-COLLADOS, Miguel; LIBERATORE, Federico. A decision support system for predictive police patrolling. Decision support systems, 2015, vol. 75, pp. 25-37.

CAMACHO COLLADOS, Miguel. Statistical analysis of spatio-temporal crime patterns: Optimization of patrolling strategies. Tesis doctoral. Universidad de Granada, 2016. digibug.ugr.es/bitstream/handle/10481/44557/26134081.pdf.

CINELLI, Virginia; MANRIQUE, Alberto «El uso de programas de análisis predictivo en la inteligencia policial: una comparativa europea». Revista de Estudios en Seguridad Internacional, vol. 5, n.^o 2, 2019, pp. 1-19. DOI:  http://dx.doi.org/10.18847/1.10.1.

CRAWFORD, Kate. The hidden biases in big data. Harvard business review, 2013, vol. 1, n.^o 4, pp. 1-10.

EGBERT, Simon; KRASMANN, Susanne. Predictive policing: Not yet, but soon preemptive? Policing and society, 2020, vol. 30, n.^o 8, pp. 905-919.

EZEH, Christopher. The use of spatial analytical techniques to highlight the geography of burglary in Leeds, UK. Gazi University Journal of Science Part B: Art Humanities Design and Planning, 2021, vol. 9, n.^o 2, pp. 129-140.

FACENDA FALAVIGNO, Chiavelli. Minority Report e a punição antes do crime: diálogos entre a realidade e a ficção. Di Pop, O direito na Cultura Pop, 2017, n.^o 3, pp. 49-59.

FERGUSON, Andrew Guthrie.

Policing predictive policing. Wash. UL Rev., 2016, vol. 94, pp. 1109-1194.

Predictive policing and reasonable suspicion. Emory LJ, 2012, vol. 62, pp. 259-325.

FIELDING, Matthew; JONES, Vincent. «Disrupting the optimal forager»: predictive risk mapping and domestic burglary reduction in Trafford, Greater Manchester. International Journal of Police Science & Management, 2012, vol. 14, n.^o 1, pp. 30-41.

GALIS, Vasilis; KARLSSON, Björn. A world of Palantir-ontological politics in the Danish police’s POL-INTEL. Information, Communication & Society, 2024, pp. 1-19.

GIMENO BEVIÁ , Jordi. Instrumentos actuales de policía y justicia predictiva en el proceso penal español: Análisis crítico y reflexiones de lege ferenda ante aplicaciones futuras. Estudios penales y criminológicos, 2023, vol. 44, pp. 1-22.

GLESS, Sabine. Predictive policing. In defence of «true positives». BEING PROFILED:COGITAS ERGO SUM. 10 Years of Profiling the European Citizen, Amsterdan University Press, 2019. https://doi.org/10.1515/9789048550180.

GLUBA, A. Predictive policing. Eine Bestandsaufnahme. Historie, theoretische Grundlagen, Anwendungsgebiete und Wirkung. LKA Niedersachen.2015. https://netzpoli tik.org/wp-upload/LKA_NRW_Predictive_Policing.pdf. 2015.

GONZÁLEZ ÁLVAREZ, José Luis; HERMOSO, Jorge Santos; CAMACHO-COLLADOS, Miguel. Policía predictiva en España: aplicación y retos futuros. Behavior & Law Journal, 2020, vol. 6, n.^o 1, pp. 26-41. https://doi.org/10.47442/blj.v6.i1.75.

GONZÁLEZ ÁLVAREZ, José Luis.; LÓPEZ OSORIO, Juan José; MUÑOZ RIVAS, Marina. La valoración policial del riesgo de violencia contra la mujer pareja en España-Sistema VioGén, Gobierno de España, 2018.

HAMILTON, Melissa. Evaluating algorithmic risk assessment. New criminal law review, 2021, vol. 24, n.^o 2, pp. 156-211.

HARCOURT, Bernard E. Against prediction: Profiling, policing, and punishing in an actuarial age. University of Chicago Press, 2019.

HARDYNS, Wim; RUMMENS, Anneleen. Predictive policing as a new tool for law enforcement? Recent developments and challenges. European journal on criminal policy and research, 2018, vol. 24, pp. 201-218.

HUMERICK, Jacob D. Reprogramming fairness: Affirmative action in algorithmic criminal sentencing. HRLR Online, 2019, vol. 4, pp. 213-245.

HUNG, Tzu-Wei; YEN, Chun-Ping. Predictive policing and algorithmic fairness. Synthese, 2023, vol. 201, n.^o 6, pp. 1-29.

HUNT, Priscillia; SAUNDERS, Jessica; HOLLYWOOD, John S. Evaluation of the Shreveport predictive policing experiment. Santa Monica: Rand Corporation, 2014.

ITÄLUNNI, Jarno. Development of the RADAR-iTE instruction card for operational and educational purposes, 2018, Bachelor’s Thesis. Laurea University of applied sciences.

JAMIL, Maryam. TH-SOF-1397-CRM analytics based on association rules and clustering pattern. 2016. Tesis Doctoral. Nust College of Electrical and Mechanical Engineering.

KAUFMANN, Mareile; EGBERT, Simon; LEESE, Matthias. Predictive policing and the politics of patterns. The British journal of criminology, 2019, vol. 59, n.^o 3, pp. 674-692.

KUBLER, Kyle. State of urgency: Surveillance, power, and algorithms in France’s state of emergency. Big Data & Society, 2017, vol. 4, n.^o 2, pp. 1-10.

LIGETI, Katalin. Artificial Intelligence and Criminal Justice. En AIDP-IAPL International Congress of. 2019. pp. 1-16.

MIRÓ LLINARES, Fernando. «Policía predictiva: ¿Utopía o distopia? Sobre les actituds cap a l’ús d’algorismes de big data per a l’aplicació de la llei». IDP. Revista d’Internet, Dret i Política, 2020, n.^o 30, https://doi.org/10.7238/idp.v0i30.3223.

LÓPEZ-OSORIO, Juan José; LOINAZ, Ismael; GONZÁLEZ-ÁLVAREZ, José Luis. Protocolo para la valoración policial del riesgo de violencia de género (VPR4. 0): revisión de su funcionamiento. Revista Española de Medicina Legal, 2019, vol. 45, n.^o 2, pp. 52-58.

LÓPEZ RIBA, José María. Inteligencia artificial y control policial: Cuestiones para un debate frente al hype. InDret: revista para el análisis del derecho, 2024, n.^o 2, pp. 407-436.

LUM, Kristian; ISAAC, William.

To predict and serve? Significance, 2016, vol. 13, n.^o 5, pp. 14-19.

«Predictive policing violates more than it protects». Columna publicada en USA Today, 2 de diciembre de 2016.

MANSUR, Fariha. Predictive Policing Using AI & ML for Domestic Law Enforcement: Critical Analysis & Framework Development in EU, Degree of International Master in Security, Intelligence and Strategic Studies, University of Glasgow, Charles University, 2023.

MARCHENA GÓMEZ, Manuel. Inteligencia artificial y jurisdicción penal. Discurso dado por el autor con ocasión de su admisión como académico de pleno derecho por la Real Academia de Doctores de España, 2022.

MASTROBUONI, Giovanni. Crime is terribly revealing: Information technology and police productivity. The Review of Economic Studies, 2020, vol. 87, n.^o 6, pp. 2727-2753.

MOHLER, George O, et al. Randomized controlled field trials of predictive policing. Journal of the American statistical association, 2015, vol. 110, n.^o 512, pp. 1-36.

MUTSAERS, Paul; VAN NUENEN, Tom. Predictively policed: the Dutch CAS case and its forerunners. Policing race, ethnicity and culture. Manchester University Press, 2023. pp. 72-94.

NISHI, Andrea. Privatizing sentencing: A delegation framework for recidivism risk assessment. Colum. L. Rev., 2019, vol. 119, pp. 1671-1710.

NÓHPAL RODRÍGUEZ, Víctor Shaí. La posibilidad de la policía predictiva. Revista Mexicana de Ciencias Penales, 2021, vol. 4, n.^o 14, pp. 135-144.

OSWALD, Marion; GRACE, Jamie; URWIN, Sheena; BARNES, Geoffrey C. Algorithmic risk assessment policing models: lessons from the Durham HART model and «Experimental’proportionality. Information & communications technology law, 2018, vol. 27, n.^o 2, pp. 223-250.

PREÇI, Sokol; VYSHKA, Gentiam. Measuring the Amygdala; Otherwise Recycling Lombroso Theories One and Half Centuries Later. Anthropol, 2014, vol.2, n.^o 2, pp. 1-2.

PRESNO LINERO, Miguel. Inteligencia artificial, policía predictiva y prevención de la violencia de género. Revista internacional de vitimologia e justiça restaurativa, 2023, vol. 1, n.^o 2, pp. 85-118.

RICHARDSON, Rashida; SCHULTZ, Jason M.; CRAWFORD, Kate. Dirty data, bad predictions: How civil rights violations impact police data, predictive policing systems, and justice. NYUL Rev. Online, 2019, vol. 94, pp. 193-233.

RONCEK, Dennis W.; PRAVATINER, Mitchell A. Additional evidence that taverns enhance nearby crime. Sociology and Social Research, 1989, vol. 73, n.^o 4, pp. 185-188.

SANDHU, Ajay; FUSSEY, Peter. The «uberization of policing»? How police negotiate and operationalise predictive policing technology. Policing and society, 2021, vol. 31, n.^o 1, pp. 66-81.

SAUNDERS, Jessica; HUNT, Priscillia; HOLLYWOOD, John S. Predictions put into practice: a quasi-experimental evaluation of Chicago’s predictive policing pilot. Journal of experimental criminology, 2016, vol. 12, pp. 347-371.

SCHLEHAHN, Eva; AICHROTH, Patrick; MANN, Sebastian; SCHREINER, Rudolf; SHEPHERD, Ifan; WILLIAM WONG, B.L. Benefits and pitfalls of predictive policing. European intelligence and security informatics conference. IEEE, 2015, pp. 145-148.

SCHUILENBURG, Marc. Predictive policing: De opkomst van een gedachtenpolitie. Ars aequi, 2016, 65(12), pp. 931-936.

SCHUILENBURG, Marc; SOUDIJN, Melvin. Big data policing: The use of big data and algorithms by the Netherlands Police. Policing: A Journal of Policy and Practice, 2023, vol. 17, pp. 1-8.

SHAPIRO, Aaron. Reform predictive policing. Nature, 2017, vol. 541, n.^o 7638, pp. 458-460.

SOUTHERLAND, Vincent M. The intersection of race and algorithmic tools in the criminal legal system. Md. L. Rev., 2020, vol. 80, pp. 487-572.

STĂNILĂ, PhD Laura Maria. Minority Report: AI criminal investigation. En International Scientific Conference «Towards a Better Future: Human Rights, Organized Crime and Digital Society , 2020.

THOMAS, Christopher; PONTÓN-NUÑEZ, Antonio. Automating judicial discretion: How algorithmic risk assessments in pretrial adjudications violate equal protection rights on the basis of race. Law & Ineq., 2022, vol. 40, pp. 371-407.

VAN BRAKEL, Rosamunde. Rethinking predictive policing: Towards a holistic framework of democratic algorithmic surveillance. En The Algorithmic Society. Routledge, 2020, pp. 104-118.

VEPŘEK, Libuše Hannah, et al. Beyond effectiveness: legitimising predictive policing in Germany. Kriminologie-Das Online-Journal| Criminology-The Online Journal, 2020, n.^o 3, pp. 423-443.

DODD, Vikram. Police gang strategy’targets people unlikely to commit violence. Artículo publicado en The Guardian, 7 de mayo de 2018.

VILLALOBOS FONSECA, Hazel. El desarrollo tecnológico en materia policial: una receta de éxito para la prevención del delito. Revista de relaciones internacionales, estrategia y seguridad, 2020, vol. 15, n.^o 1, pp. 79-97.

VOLOKH, Eugene. Chief justice robots. Duke LJ, 2018, vol. 68, n.^o 6, pp. 1135-1191.

WITTEVEEN, Samuel, «Policía predictiva: cuando el que decide es un algoritmo». Artículo publicado en El Salto Diario, 22 de junio de 2022. DOI: underlined>https://www.elsaltodiario.com/.

SUÁREZ XAVIER, Paulo Ramón. Policía predictiva: entre seguridad y garantías fundamentales. En Investigación y proceso penal en el siglo XXI: nuevas tecnologías y protección de datos. Thomson Reuters Aranzadi, 2021. pp. 573-590.

UCHIDA, Craig D; SWATT, Marc.L; SOLOMON, Shellie E; VARANO, Sean.Data-driven crime prevention: New tools for community involvement and crime control. Justice & Security Strategies, Incorporated, 2013.