«El verdadero problema de la humanidad: tenemos emociones del Paleolítico, instituciones medievales y tecnología propia de un dios. Y eso es terriblemente peligroso» E. O. Wilson
Nuestra naturaleza pivota sobre una base racional «lógica» que converge en el «absurdo» emocional de lo imprevisible de nuestro comportamiento. Que nos instala en la paradoja e incluso en la permanente esquizofrenia. También en la forma de organizarnos, en que nuestra naturaleza exige que la concordia y el consenso de la base de la pirámide (administrativa) converja en una visceral autoorganización democrática basada en bandos, conflictos, polarización y competición. Ganadores y perdedores. Semilleros de rencor reflejo, a la postre, nos guste o no, de nuestra condición.
Nuestra naturaleza de seres predominantemente emocionales que, eso sí, razonamos (a veces), solo puede soportarse en derechos que protejan nuestra apasionante y explosiva instalación en el desequilibrio no desmesurado: «Antes la barbarie que el aburrimiento», todos con Theopile Gautier. Limitando la mecanización exhaustiva y exclusiva que nos reduzca a un sumatorio de indicadores y datos accesibles y controlables. Para proteger nuestro disparatado reducto final, bien a través de la libertad para despotricar dentro de lo legal como de nuestro derecho a disponer de privacidad para equivocarnos, ser insensatos y a que nos dejen en paz.
Que lleva a preguntarnos: ¿qué tipo de humanidad queremos? ¿hacia qué tipo de humanidad vamos?
La ubicación de la línea que deslinde la controlable racionalidad con la incontrolable visceralidad nos retratara
1. Introducción. El riesgo de «automatización» del ser humano convertido en indicadores y datos
El desiderátum de las Escuelas de Negocios es el mantra de que cualquier decisión basada en datos bien contrastados es más equitativa y eficaz que las que se toman por impulso o intuición. Y que todo proceso de decisión se puede automatizar y desagregar en datos e indicadores.
También las decisiones individuales que tomamos son evaluables, incluso las afectivas, como ya hacen las páginas de contactos que miden la afinidad con otra persona y la evalúan mediante un porcentaje.
Lo que nos zambulle en el efecto y riesgo de que la IA redefina nuestra condición acogotando y restrinigiendo nuestros impulsos e instintos menos medibles.
¿se pone en riesgo y se ignora la chispa final de la especie humana?, ¿la contradicción, capricho, paradoja o el libre albedrío?
Subyace adicionalmente una soterrada lucha entre la democracia liberal occidental basada en las sensaciones, voto impulsivo y humanismo y el autoritarismo digital oriental sostenido sobre la maquinal razón y las matemáticas y mediciones. Los avances científicos ya permiten la creación de un estado digital autoritario mediante herramientas de vigilancia para controlar la población y medir todo.
El conflicto es, a grandes rasgos, entre el modelo de China frente a modelo de Europa y Estados Unidos. Posthumanismo frente a humanismo (1) . Razón frente a emoción. Democracia no o democracia si, desde la consciencia de que esta implica capricho y autodestrucción.
La opción China se alinea —con matices (2) — con lo que el filósofo historiador Harari anticipa como la venida de un dataísmo como una religión post humanista que aspira a suplantarnos en la toma de decisiones por superordenadores capaces de procesar inabarcable información y adoptar decisiones también colectivas con mayor exactitud. Delegando nuestras elecciones a procesadores más sofisticados y mejor informados que nosotros mismos.
Lo que tiene una doble vertiente:
- — individual: instaurando un sistema de control social exhaustivo que vincula beneficios y perjuicios de cada persona a su comportamiento acreditado en una medición constante.
- — colectiva. Porque la democracia se basa en dos principios inherentes: la ignorancia y que se equivoca mucho, como todos nosotros en nuestra vida privada e individual (3) . Frente a un sistema «resultadista» y basado en los expertos humanos o cibernéticos regido hasta su último extremo por criterios no participativos que puede resultar tentador en su resultado, pero que será, en todo caso, autoritario y no democrático.
Con el añadido trascendental de que el Gobierno Chino controla a sus empresas tecnológicas, cerrando el círculo de contraste frente a las democracias occidentales (incluido Estados Unidos) en que, en sentido contrario, sus tecnológicas más importantes se erigen como poderes alternativos
¿Habrá vencedores en esta tensión China frente a Europa, Posthumanismo frente a humanismo?¿ razón frente a emoción? ¿ademocracia analítica frente a democracia electoral pasional?¿quién vencerá?
Veamos algunas claves, desde la premisa de que no se trata de sistemas diametralmente opuestos, sino que se diferencian en la tonalidad de los grises.
2. Nuestra puntuación y «estigmatización» futura por la máquina. La diferencia son los «límites», la información que se puede «cruzar»
La inteligencia artificial y el análisis predictivo de datos puede dar a conocer las posibilidades de éxito de una línea argumental en un juicio planteado ante un tribunal, un juez o un magistrado concreto.
Pero el Análisis predictivo puede también prejuzgar nuestro comportamiento futuro. Ya lo está haciendo en algunas Administraciones para predecir si el enfermo volverá al hospital, calcular el riesgo de reincidencia criminal e incluso para integrar a alumnos en grupos en la escuela en función de su personalidad (introvertido-extrovertido; sensato-intuitivo; analítico-emotivo; resolutivo-reflexivo) (4) .
¿procede o no realizar análisis predictivo? Recordemos el programa chino de control social que puntúa exhaustivamente a todos los ciudadanos y que saca conclusiones futuras de comportamientos pasados.
Pues bien, como siempre la lógica borrosa de los principios encuentra su verdadera dimensión en las resoluciones de casos concretos que se dilucidan en sede judicial o administrativa.
Destaquemos —recordemos— dos importantes resoluciones al respecto dictadas en Europa. Ambas de gran trascendencia y que coinciden en:
- — la premisa: la finalidad de realizar análisis predictivo para «prevenir irregularidades y malas prácticas» se considera que es admisible.
- — los límites: pero con garantías y fronteras. Y como siempre será en la concreción de éstas en donde se encontrará la línea divisoria entre lo admisible y no admisible
Así, una Sentencia de un tribunal de distrito de La Haya ya ha tenido que manifestarse acerca de su procedencia. Y vetó un algoritmo acusado de estigmatizar a los más desfavorecidos. No porque se cuestione la premisa, sino por sus «limites».
El programa SyRI era usado por el Gobierno holandés para determinar qué ciudadanos son supuestamente más proclives a defraudar al Estado. SyRI (acrónimo de System Risk Indication) es una fórmula de análisis predictivo para rastrear posibles fraudes al Estado utilizado por el Gobierno.
Y concluye que «no respeta la privacidad del ciudadano y vulnera el artículo 8 de la Convención Europea de Derechos Humanos (LA LEY 16/1950)» porque «señala a los ciudadanos con menos renta y a grupos de población de origen inmigrante».
¿Por qué? La sentencia no lo considera aceptable por la «cantidad de datos, de varios tipos y de una gran cantidad de fuentes diferentes, que pueden procesarse. Además, no se conocen los indicadores de riesgo y el modelo de riesgo ni los criterios objetivos que subyacen a la validez de los indicadores de riesgo y el modelo de riesgo».
Por dos razones, por lo tanto.
«Demasiada información» como problema. Lo que puede resultar sorprendente aparentemente al renunciarse a ajustar mejor el diagnóstico. Pero que desvela la volatilidad de un principio básico en protección de datos: la proporcionalidad del tratamiento. Opinable y movible. Y su trascendencia, porque del mismo derivará el equilibrio y lo admisible o no.
Y «desconocimiento de la lógica empleada». Menos sorprendente.
En la misma línea el famoso whistleblower Hervé Falciani diseñó para la Comunidad Valenciana un sistema de alertas tempranas de Anticorrupción para descubrir posibles casos de fraude (SATAN). El programa analiza y filtra las bases de datos de la Generalitat, las cruza con las de otros organismos e instituciones, e intenta encontrar indicios extraños. Por ejemplo, detecta un local en Valencia en el que en un día se crearon 20 empresas y manda una alerta con ello a los inspectores.
Al respecto se ha manifestado la AEPD. Que ha concluido que no deben usarse datos más allá de los datos propios de la Generalitat Valenciana, y no datos de terceros ni rastreados de internet. Es más, ni siquiera permite el libre uso de los datos que la Administración tiene para otras finalidades (5) .
Eso es: un «si» es «no». No se cuestiona el «qué» sino el «como». Se puede, pero con información personal limitada, igual que se recogía en la sentencia sobre Syri. No se puede hacer un cruce de información ilimitado a efectos predictivos.
3. La improcedencia —actualmente— de las batidas e inspecciones prospectivas. La necesaria investigación por indicios
A efectos de investigación —por ejemplo, en el ámbito fiscal— a día de hoy no caben inspecciones, como señala el Tribunal Supremo, «con un propósito meramente prospectivo o indeterminado "para ver qué se encuentra" a partir de intuiciones, corazonadas, presentimientos o sospechas, o indicadores estadísticos de naturaleza general como tributar por debajo de la media del sector. Para ver qué se encuentra. Deben hacerse sobre indicios fundados de la existencia de un fraude tributario sin que quepan "batidas" a nivel sectorial, en especial para realizar registros de empresas» (6) .
Principio que es un pie en pared que a día de hoy neutraliza —teóricamente— operaciones de inspección e investigación generalizadas mediante rastreos y barridos cada vez más viables con el fortalecimiento de sus herramientas informáticas y de los sistemas de explotación de «big data».
Muro de contención con atisbos de reblandecimiento paulatino. Como ya ha declarado Hacienda que reconoció que usará el big data para controlar a los españoles que viven en el extranjero a consecuencia de la expatriación a Andorra de El Rubius y otros youtubers. Tanto la AEAT como la Comisión Nacional del Mercado de Valores (CNMV) o de la Comisión Nacional de los Mercados y la Competencia (CNMC), llevan ya tiempo utilizando algoritmos para mejorar la eficacia y la eficiencia en algunos de sus respectivos cometidos (7) .
De hecho, el cruce de datos internos dentro de las Administraciones se generaliza. Desde el cruce Seguridad Social y mutualidades administrativas para detectar dobles altas hasta el cruce entre Seguridad Social y Hacienda para tramitar, entre otros, expedientes de ayudas o de peticiones de ingreso mínimo vital (8) .O para detectar fraude en las cotizaciones de autónomos.
Se diluye así la premisa de prohibición de inspecciones prospectivas ante denodados y concienzudos esfuerzos institucionales, incapaces de resistir ante las inmensas posibilidades del cruce de datos con la IA que culminan en ocultos procesos intestinales de las Administraciones difíciles de conocer y controlar.
4. Dilema futuro. Tensión entre muestreo y rastreo en actividades de inspección
Lo que lleva a preguntarnos hacia donde evolucionará la línea de lo admisible, el límite y justificación de la información que se puede cruzar, si es que permanecerá. La línea de la «proporcionalidad».
Difícil de saber, pero es previsible que la presión para neutralizar la fórmula Blackstone según la cual : «es mejor que diez personas culpables escapen a que un inocente sufra» derive en encendidos debates sociales, jurídicos y políticos acerca de la profundización en la valoración social o no. También por la tendencia de los justos de no querer pagar por los pecadores.
Porque está claro que el sistema chino de «evaluación» no nos resulta totalmente ajeno. La cuestión es la proporción y el alcance. Como siempre, donde se trace la línea.
A quien se le sanciona con pérdida de puntos se le quita el carnet de conducir y se le impide conducir en el futuro, a quien no paga sus deudas se le incluye en un fichero de morosos que limita su capacidad futura de comprometerse económicamente …Todo el sistema normativo, en especial el sancionador, se basan en el castigo por mal comportamiento. Y a la inversa, premio por buen comportamiento.
La cuestión va a ser una vez más la proporción y alcance, para lo que el contexto va resultar esencial. El grado de solidaridad que se está dispuesto a asumir para que los «mejor valorados» limiten sus privilegios frente a los «peor valorados» restringiendo las ventajas dimanantes del buen comportamiento y «lealtad» institucional, parecida al reconocimiento que otorgan las grandes empresas. Por ejemplo, en España no están permitidos los ficheros positivos de solvencia que permiten medir la situación de endeudamiento actual del cliente y su capacidad para asumir nuevos préstamos, lo que puede favorecer un mayor acceso al crédito de una manera más responsable, justa y transparente y que favorece a los buenos pagadores. En otros países como Alemania o Italia si están permitidos.
Porque los poderes públicos van siempre a buscar fórmulas de batida de infracción y fraude, bien sea en Seguridad social, tributos u otros ámbitos (9) . El big data y el mayor análisis prospectivo algorítmico va a suponer un instrumento privilegiado para el mejor cerco institucional a los infractores e, individualmente, una disminución del riesgo de ser objeto de falsos positivos (falso culpable) y soportar falsos negativos a terceros (falsos inocentes), que indudablemente repercuten negativamente sobre aquellos que cumplen. Se puede incluso argumentar que abstenerse de su utilización supone privilegiar el fraude en favor del contribuyente y ciudadano cumplidor.
Yendo a más. Frente a la ingente inversión en radares de tráfico es muy tentador, y más económico, instalar un dispositivo de fábrica en los vehículos que permita detectar nuestra tasa de alcohol o geolocalizarnos y saber, en cada momento, lo que hacemos al volante.
Mejor no dar ideas, pero la sensibilidad social evoluciona. El control por tratamiento de huella digital crece con el tiempo. La reticencia, hace no muchos años, a cámaras de videovigilancia también se ha ido paulatinamente debilitando. E incluso contrarrestada por lamentos ante su ausencia, en casos como la desaparición de Diana Quer. Y la justicia —principalmente si llega a juicio oral— al final es un cruce de inteligencias y estrategias que favorece —en contextos poco sólidos edificados sobre indicios e interpretaciones— al más brillante, creando un desequilibrio y una incertidumbre que se atenúa si se refuerza el sustento probatorio derivado de sistemas de monitorización más exhaustivos y certeros.
En definitiva, un deslizante territorio de «proporcionalidad» sobre el que el futuro nos puede deparar sorpresas moviendo la deslizante línea entre lo admisible y no admisible y que, en todo caso, es y será objeto de presiones, debate e intereses. Profundizando el control por rastreo y evidencias frente al control por muestreo e indicios. Vis atractiva al control social chino sobre al que habrá que ver si existe alguna fuerza suficientemente sólida que lo contrarreste…
5. Y en esto ¿llegó? el euro digital
La tensión entre privacidad (incluye insensatez) y vigilancia masiva y barridos para encontrar indicios de infracción sigue siendo, en consecuencia, una de las batallas ideológicas y filosóficas más activas, potentes y trascendentes a que nos enfrentemos personal y colectivamente.
Es difícil embridar el afán recaudatorio y presión para utilizar el big data con el fin de detectar fraude. A la confirmación por Hacienda de que utilizará «big data» para comprobar la residencia en el extranjero de «patrimonios relevantes» que se convierten así en «sospechosos» se unen más iniciativas. La Ley 18/2022, de 28 de septiembre, de creación y crecimiento de empresas (LA LEY 20692/2022), ha establecido la obligación del empleo de la factura electrónica en las operaciones entre empresarios y profesionales. Una obligación incondicional y generalizada, sea cual sea el tamaño de las empresas, aunque con distintos plazos de aplicación. La CEOE teme a un «robot inspector de trabajo» y exige garantías para evitar un alud de actas de infracción y multas sin intervención de funcionarios.
Son muchos los ejemplos en que subyace un conflicto y tensión entre «misión de interés público» (colectivo) y privacidad (individual).
Por un lado, Administraciones, Gobiernos e inspecciones e investigaciones de los diversos ámbitos, también policiales, con vocación expansiva de su labor inspectora e investigadora para detectar fraude y la utilidad para ello de las posibilidades de realizar fiscalizaciones ilimitadas utilizando la inteligencia artificial. También por razones económico-institucionales de coste: como el distópico (o no) gps monitorizador en todos los automóviles que consiga resultados sin fallos en lugar de invertir en radares, cámaras y miles de efectivos.
Por el otro, como eventual contrapeso, principalmente los tribunales —los verdaderos delimitadores del alcance de la lógica borrosa normativa— limitadores del alcance de inspecciones e investigaciones en aras de la privacidad de los individuos que, como se ha expuesto respecto de la implantación de los sistemas de detección de infracciones SYRI y SATAN, no prohíben su uso, pero limitan los datos a cruzar. En una función reguladora de control jurisdiccional siempre ex post cerrando el objetivo de visión sobre el muestreo limitado del goteo de casos que se susciten en sede judicial. Lo que de nuevo nos sitúa en la bifurcación del «dilema mandarín», del control social chino en que los premios o castigos tienen un soporte cierto (la actividad de la que se ha dejado rastro en internet): los buenos ciudadanos son beneficiados y los malos castigados, todo ello a costa, eso sí, de la privacidad.
Las líneas de la guerra de trincheras en tensión —en una primera guerra mundial jurídica un siglo después— oscilan. La presión del ejecutivo para explotar, perfilar y escarbar en la conducta/rastro digital de los individuos a la búsqueda de irregularidades encuentra su tradicional resistencia en tribunales que de manera oscilante introducen cortapisas.
El sistema de control exhaustivo chino, que otorga puntuaciones a todos los ciudadanos, o la monitorización de la actividad en internet que realizaba por razones de seguridad la Agencia NSA en Estados Unidos y fue desvelada por Snowden, se ha enfrentado tradicionalmente a un modelo europeo limitativo en el tratamiento de información sobre las personas.
Modelo europeo cuya robustez hay atisbos de que puede ir paulatinamente difuminándose.
Ya se percibe una tendencia en el TJUE de ampliar el margen de actuación e injerencia de los Estados en los derechos de los ciudadanos europeos y en el tratamiento masivo de sus datos por razones de seguridad, en lo que algunos han definido como el riesgo de «destruir la democracia queriendo defenderla». Con algún último eslabón en el texto de compromiso del Reglamento europeo de Inteligencia Artificial (art 5) adoptado el 6 de diciembre de 2022 que permite, «en lo estrictamente necesario», sistemas de identificación biométrica a distancia en tiempo real en espacios de acceso público por parte de las autoridades policiales a efectos de búsqueda de víctimas, prevención de amenazas y localización de delincuentes (nuestra experiencia con los decretos ley nos advierte además del potencialmente amplio recorrido de la «excepcionalidad»).
Y el monolitismo europeo se resquebraja. Con otro (pen)último hito. La tentación de admitir únicamente dinero electrónico, que permita el control algorítmico de defraudación, que ahorraría potencialmente millones en recursos humanos y económicos e incrementaría la certidumbre y el control del fraude.
Suecia anuncia que prohibirá el dinero en efectivo. La Comisión Europea también ha anunciado la supresión del dinero en efectivo instaurando el euro digital. ¿suprimir el dinero en efectivo para que los algoritmos controlen transacciones, introduzcan seguridad jurídica y limiten las falibles e incluso volátiles inspecciones realizadas por humanos? El Gobierno italiano ha anticipado que no lo implantará: batalla político/filosófica/ ideológica en el seno de Europa
Desencajando equilibrios que deberán reconstruirse. Porque entre otros efectos, además de acercarnos más a las distopías del «ciudadano de cristal», si se aprieta paulatinamente el nivel de exigencia a través del control, se irán alcanzando a sucesivas oleadas de ciudadanos, como una nueva guadaña, hasta llegar a un control exhaustivo en el que caeremos todos. Menor privacidad. mayor certeza frente a sangrientas investigaciones basadas en indicios. También obligación de modular el umbral de lo sancionable (o no) o de reflexionar sobre la instalación de sistemas de preaviso… Ya se sabe, no hay ciudadano honrado si no poco investigado…