Volver a página de inicio

I. La Cumbre internacional de Bletchley Park

Los días 1 y 2 de noviembre de 2023 tuvo lugar en Inglaterra una importante reunión internacional de especialistas y reguladores sobre Inteligencia artificial, la Cumbre sobre Seguridad de la IA de Bletchley Park. Auspiciada por el primer ministro británico, Rishi Sunak, el lugar de celebración fue escogido cuidadosamente: Bletchley Park, a medio camino entre Oxford y Cambridge, fue el lugar donde se instaló en la II Guerra mundial el centro de codificación y cifrado en el que Alan Turing descifró el código Enigma, y donde se puso en marcha el primer ordenador electromecánico inglés, el Colossus. Este retorno al lugar en el que trabajó el mayor teórico de la Inteligencia artificial es revelador de la importancia que se le ha querido dar al evento. También lo es el lema de la reunión, «Cumbre por la seguridad de la IA», así como su objeto de estudio, la «IA de vanguardia», o Frontier AI.

La cumbre contó con representantes políticos de primer nivel, como el citado Primer ministro británico, la vicepresidente estadounidense Kamala Harris, o la presidente de la Comisión europea, Ursula Von der Leyen. También con figuras representativas de la ciencia y la industria digital, entre las que destacó Elon Musk, que en conversación informal con Rishi Sunak, dejó caer que la IA era «una de las mayores amenazas para la humanidad» (1) . ¿Qué hay de cierto en estas palabras? ¿Es la IA una tecnología peligrosa por sí misma? Algo de peligro tiene que haber cuando en la Declaración emitida (2) estableciendo las finalidades de esta cumbre, se llega a decir que, sin perjuicio de sus beneficios, la IA también plantea riesgos importantes, declarándose la pertinencia de una intervención internacional para «… abordar el impacto potencial de los sistemas de IA …y el reconocimiento de …la protección de los derechos humanos, la transparencia y la explicabilidad, la equidad, la rendición de cuentas, la regulación, la seguridad, la adecuada supervisión humana, la ética, la mitigación de prejuicios, la privacidad y la protección de datos ... También observamos el potencial de riesgos imprevistos derivados de la capacidad de manipular contenidos o generar contenido engañoso».

La Declaración considera especialmente peligrosos a los sistemas de IA generalistas, o «modelos fundacionales», incluidos los modelos básicos, respecto de los cuales señala que pueden surgir riesgos sustanciales debido a un posible uso malicioso o «…problemas de control no deseados relacionados con la alineación con la intención humana. Nos preocupan especialmente estos riesgos en ámbitos como la ciberseguridad y la biotecnología, así como allí donde los sistemas de inteligencia artificial de vanguardia pueden amplificar riesgos como la desinformación. Existe la posibilidad de que se produzcan daños graves, incluso catastróficos, ya sean deliberados o no, derivados de las capacidades más importantes de estos modelos de IA».

En el documento anexo titulado Future Risks of Frontier AI (3) se hace una mención a una característica especial de estos «modelos fundacionales», que presentan «capacidades emergentes», que son las capacidades no planeadas inicialmente. Según el indicado documento, una capacidad emergente «significa que una habilidad para la que el modelo no fue diseñado explícitamente y que no estaba presente en el modelo inicial, "surge" a partir de cierto nivel». Como se ve, una visión nada tranquilizadora, o directamente alarmante, por la imprevisibilidad de los comportamientos de la máquina; indica asimismo la citada Declaración que la peligrosidad de estos sistemas generalistas radica en que no los comprendemos plenamente.

II. Los riesgos de la Inteligencia artificial

La Cumbre sobre seguridad de la IA de la que venimos tratando, en el citado documento Future Risks of Frontier AI (que lleva como subtítulo «¿Qué capacidades y riesgos podrían surgir en la vanguardia de la IA en el futuro?»), expone, a partir de los riesgos actuales, una evaluación de los probables riesgos futuros, considerando que pueden consistir en o derivarse de: «a. Proporcionar nuevas capacidades a un actor malintencionado. b. Aplicación indebida por parte de un actor no malintencionado. c. Consecuencias negativas de un modelo utilizado para el propósito previsto, que, sin embargo, conduce a decisiones sesgadas. d. Resultados no deseados de interacciones con otros sistemas de IA. e. Resultados negativos de interacciones con sistemas sociales, políticos y económicos externos. f. Pérdida de control y supervisión humanas de un modelo autónomo que luego emprende acciones dañinas. g. Dependencia humana excesiva de los sistemas de inteligencia artificial, que posteriormente no se puede eliminar. h. Preocupaciones sociales en torno a la IA que reducen la producción de beneficios potenciales».

Como vemos, lo que hace este estudio es proponer diversos escenarios en los que la utilización de la IA puede generar consecuencias negativas, ya por un uso malintencionado, ya por un mal funcionamiento de la IA, por producción de sesgos, interacción imprevista con otros sistemas inteligentes o pérdida de control. Diversos son los escenarios de la dependencia humana excesiva de los sistemas de inteligencia artificial y de la preocupación o desconfianza social sobre la IA, a los que aludiré más adelante.

Distinto punto de vista para encarar el estudio del riesgo es el adoptado por la Propuesta de Reglamento del Parlamento europeo y del Consejo por el que se establecen normas armonizadas en materia de Inteligencia Artificial, la llamada Ley de Inteligencia Artificial (LIA), que establecería un marco jurídico mediante normas claras para garantizar una IA fiable, segura y respetuosa con los derechos fundamentales. La novedad está en que se adopta el punto de vista de la peligrosidad intrínseca de determinados sistemas de IA, lo que lleva a que determinadas aplicaciones técnicas de la IA vayan a ser prohibidas por conllevar riesgos inaceptables para los derechos fundamentales. Señalando así el artículo 5 LIA que quedan prohibidas las siguientes prácticas (se está refiriendo a aplicaciones o sistemas) de inteligencia artificial:

• — Las técnicas subliminales que trasciendan la conciencia de una persona para alterar de manera sustancial su comportamiento provocando perjuicios físicos o psicológicos a esa persona o a otra. Es decir, técnicas de persuasión subliminal. Asimismo, las técnicas de persuasión que aprovechen vulnerabilidades de grupos específicos de personas debido a su edad o discapacidad física o mental para alterar de manera sustancial el comportamiento de una persona que pertenezca a dicho grupo de un modo que provoque o sea probable que provoque perjuicios físicos o psicológicos a esa persona o a otra. En definitiva, técnicas de persuasión y alteración subliminal de comportamientos.
• — La utilización de sistemas de IA por las autoridades públicas para evaluar o clasificar a personas físicas atendiendo a su conducta social o a características personales o de su personalidad conocidas o predichas, de forma que la clasificación social resultante dé lugar a situaciones de trato perjudicial o desfavorable en contextos sociales sin relación con el que generó los datos de clasificación, o que sea desproporcionado con respecto al comportamiento social clasificado. Estamos ante técnicas de perfilado de sujetos y su calificación social.
• — El uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público salvo el uso policial estrictamente necesario. Una técnica de identificación biométrica se traduce en la vigilancia espacial de los sujetos en tiempo real, y una vez identificado el sujeto, se puede pasar a la calificación social del mismo. Como estos sistemas de identificación biométrica son especialmente agresivos para los derechos fundamentales, pero como son una herramienta imprescindible para la labor policial, esta prohibición se acompaña en la Ley de la IA de una serie de excepciones y cautelas para su utilización en la búsqueda selectiva de víctimas concretas de un delito, incluidos menores desaparecidos; la prevención de una amenaza específica, importante e inminente para la vida o la seguridad física de las personas físicas, como un atentado terrorista, o la identificación de personas relacionadas con delitos especialmente importantes, como pertenencia a organización delictiva, terrorismo, trata de seres humanos, explotación sexual de niños y pornografía infantil, tráfico de drogas o de armas. En estos casos se permiten estos sistemas, con la adopción de salvaguardias para su uso, el establecimiento de limitaciones temporales, geográficas y personales y, además autorización previa por parte de una autoridad judicial o una autoridad administrativa independiente del Estado miembro donde vaya a utilizarse dicho sistema.

Luego la Ley de la IA también refiere una serie de sistemas inteligentes que, no estando prohibidos, son calificados como de alto riesgo. Se trata de sistemas de IA referidos en los Anexos II y III de esta Ley que se aplican a tareas como las relacionadas con la salud, funcionamiento del tráfico rodado y el suministro de agua, gas, calefacción y electricidad, o sistemas de selección para el acceso a instituciones educativas y acceso al empleo. Asimismo, se incluyen los sistemas para la calificación crediticia o solvencia, o los sistemas empleados por las autoridades públicas para la aplicación de la ley, o la administración de justicia y la gestión de la migración, el asilo y el control fronterizo.

Como puede comprobarse, aquí no se está haciendo referencia a una aplicación técnica de la IA en particular, sino a la utilización de los sistemas inteligentes en funciones de gestión y control de ámbitos sensibles (datos médicos, regulación del tráfico, control de suministro de agua y energía) en los que se precisa una vigilancia especial para evitar daños. Es decir, que el concepto de alto riesgo va aquí referido a determinados ámbitos de utilización de la IA, mientras que el concepto de prohibición o riesgo inaceptable se aplica directamente a técnicas concretas de IA que actúan inmediatamente sobre las personas. La diferencia entre las aplicaciones prohibidas y las de alto riesgo, está en que en las primeras los daños se producen precisamente porque funcionan bien, mientras que en las segundas los daños se producirán por el mal funcionamiento o pérdida de control de la aplicación.

Por lo demás, la idea de la peligrosidad de la IA es un lugar común en la doctrina jurídica, siendo compartida por bastantes autores. Así, Martin Ebers (4) , nos dice que los sistemas de IA pueden dañar de manera impredecible la vida, la salud y la propiedad de las personas, así como «… afectar a los valores fundamentales en los que se basan las sociedades occidentales, dando lugar a violaciones de los derechos fundamentales de las personas, incluidos los derechos a la dignidad humana y a la autodeterminación, a la privacidad y a la protección de los datos personales, a la libertad de expresión y de reunión, a la no discriminación o al derecho a la tutela judicial efectiva y a un juez imparcial, así como a la protección de los consumidores». Pollicino, junto a De Gregorio (5) advierten que la tecnología inteligente puede ser lesiva per se para los derechos de las personas, como consecuencia de su falta de transparencia. En España, Megías Quirós (6) , concreta los derechos reconocidos en la Carta de Derechos Fundamentales de la UE (LA LEY 12415/2007) que pueden verse afectados por el uso de sistemas inteligentes en los siguientes: El derecho a la dignidad humana (art. 1) y a la vida privada y familiar y la protección de datos de carácter personal (arts. 7 y 8). El derecho a la no discriminación y la igualdad entre hombres y mujeres (arts. 21 y 23). El derecho a la libertad de expresión y reunión (arts. 11 y 12), el derecho a la tutela judicial efectiva y a un juez imparcial, a la presunción de inocencia y los derechos de la defensa (arts. 47 y 48). Asimismo, los derechos de determinados grupos, como el de las condiciones justas y equitativas del trabajador (art. 31), o el derecho a la protección del consumidor (art. 28), los derechos del niño (art. 24) y la integración de las personas discapacitadas (art. 26).

Está claro que tenemos un ámbito amplio de derechos en el que pueden producirse daños. Pasemos a examinar qué tipo de desarrollos y aplicaciones de la IA pueden lesionar estos derechos, siguiendo la idea del art. 5 de la LIA de partir de aquéllas técnicas que resultan per se lesivas para los derechos humanos.

III. Escenarios de peligro derivado de sistemas inteligentes

1. La Superinteligencia

El mayor peligro que se ha planteado en relación a la IA ha sido el escenario apocalíptico de la «Superinteligencia» planteado por NickBostrom (7) , que parte de la posibilidad de que, mediante autoaprendizaje, una sistema inteligente evolucione hacia una Superinteligencia, que supere a la inteligencia humana y reemplace al ser humano como gestor de la vida social y económica. También destacan la posibilidad de la Superinteligencia autores como Ray Kurzweil o Stuart Russell, al que se debe la conocida frase «La Superinteligencia será el descubrimiento más grande de la historia de la humanidad… y posiblemente el último acontecimiento de la historia de la humanidad» (8) .

En esta línea, el Dictamen del Comité Económico y Social Europeo sobre las consecuencias de la inteligencia artificial para el mercado único digital, de 31 de mayo y 1 de junio de 2017 (2017/C 288/01), muestra su preocupación (parágrafo 3.41), por los peligros que puede acarrear la Superintelingencia robótica: Por último se plantea la cuestión de las posibilidades y los riesgos que trae consigo el desarrollo de una superinteligencia. Stephen Hawking opina que el desarrollo de una IA fuerte significaría el fin de la humanidad. Llegado ese momento, la IA evolucionaría a un ritmo que los humanos no podrían seguir, según Hawking. Algunos expertos abogan por lo que llaman un kill-switch o reset-button, un botón para desactivar o reiniciar los sistemas de IA desbocados o superinteligentes. Por eso en el párrafo siguiente (3.42), el CESE defiende el control humano de los sistemas, en un marco regulatorio del desarrollo y uso responsable y seguro de la IA, …de manera que las máquinas continúen siendo máquinas, y los humanos conserven en todo momento el dominio sobre ellas...

Pero, en general, la doctrina rechaza la posibilidad de una Superinteligencia, así Peter Bentley considera que la Superinteligencia es sólo un mito, mientras que John McGinnis estima que las visiones apocalípticas sobre la IA y la «superinteligencia» derivan de una serie de errores de concepto acerca de la propia IA, o Miles Brundage, para quien, si ésta llega, muy posiblemente aumente la prosperidad del género humano. El francés Jean-Gabriel Ganascia (9) niega toda posibilidad de Superinteligencia diciendo que mientras lo normal es que la ciencia ficción tome datos de la ciencia para sus producciones, en el caso de la Superinteligencia es la ciencia la que ha acudido a la ciencia ficción para inspirarse.

Por esto llama la atención que en el documento Future Risks of Frontier AI, de la Cumbre de Bletchey Park de 2023, se admita su posibilidad. Este texto considera que sí va a ser posible la llamada Inteligencia artificial fuerte (Artificial General Intelligence - AGI (10) ), que sería igual o superior a la inteligencia humana, y cuya evolución podría producir una Superinteligencia. Sin embargo, también señala que las probabilidades de que esto ocurra son muy bajas, y además esta Superinteligencia tendría que tener unas posibilidades de actuación que son controlables desde el diseño, por lo que la eventualidad de que una IA cause un «riesgo existencial» es residual.

Dejando aparte esta posibilidad, donde sí que encontramos sistemas y aplicaciones de IA calificadas directamente como peligrosas es en la ya citada Ley de la IA, de 21 abril 2021. Veámoslas.

2. Sistemas de datos biométricos y sus aplicaciones: Perfilado predictivo, Sistemas de identificación de personas, Reconocimiento de emociones y Lectura del pensamiento

A) Los datos biométricos

La LIA define los «Datos biométricos» en el art. 3, n.^o 33) como …los datos personales obtenidos a partir de un tratamiento técnico específico, relativos a las características físicas, fisiológicas o conductuales de una persona física que permitan o confirmen la identificación única de dicha persona, como imágenes faciales o datos dactiloscópicos (repite la definición del art. 3 de la Directiva (UE) 2016/680 (LA LEY 6638/2016)). Distingue Cotino Hueso (11) entre datos identificadores «fuertes», más utilizados por las tecnologías identificadoras de primera generación (huellas dactilares, ADN, estructura del iris, rostros, voz) e identificadores «débiles» que cada vez cobran más protagonismo (formas de andar, patrones de vasos sanguíneos, patrones de pulsación de teclas etc.). Mediante videocámaras los sistemas inteligentes reconocen los rasgos faciales de las personas y a partir de éstos, la identidad de cada persona en particular. A esto se pueden añadir diversos periféricos (medidores de tensión arterial, cámaras termográficas, escáner de huellas, micrófonos, lectores láser), que obtienen otros datos corporales como huellas dactilares, temperatura, frecuencia cardiaca, sudoración o respiración del sujeto, tono de voz, movimiento de las pupilas, datos que permiten informar sobre el estado de salud, emociones o incluso pensamientos de la persona.

A continuación, pasa el art. 3 LIA a definir los distintos sistemas de datos biométricos, definiciones que nos proporcionan una muestra de las diferentes aplicaciones de esta técnica: 34) Sistema de reconocimiento de emociones: un sistema de IA destinado a detectar o deducir las emociones o las intenciones de personas físicas a partir de sus datos biométricos. 35) Sistema de categorización biométrica: un sistema de IA destinado a asignar a personas físicas a categorías concretas, como un sexo, edad, color de pelo, color de ojos, tatuajes, origen étnico u orientación sexual o política, en función de sus datos biométricos. 36) Sistema de identificación biométrica remota: un sistema de IA destinado a identificar a personas físicas a distancia comparando sus datos biométricos con los que figuran en una base de datos de referencia... A su vez, estos sistemas de identificación remota pueden funcionar en tiempo real, es decir procediendo a una identificación instantánea, o en diferido.

Es cierto que tiene esta técnica una serie de utilidades prácticas, como la de utilizar la «huella facial» para desbloquear un teléfono móvil, o acceder a cuentas bancarias, pero como señala Cotino Hueso (12) , la tecnología biométrica tiene el potencial de impactar prácticamente en todos los derechos fundamentales de las personas, mencionando la Agencia de la Unión Europea para los Derechos Fundamentales (FRA) los siguientes: «la dignidad humana, al respeto de la vida privada, la protección datos personales, la no discriminación, los derechos del niño y de los mayores, los derechos de las personas con discapacidad, la libertad de reunión y asociación, la libertad de expresión, el derecho a una buena administración, y el derecho a un recurso efectivo ante la ley y a un juicio justo». Y esto con las distintas aplicaciones de captación y procesado de datos biométricos, que pasamos a examinar (13) .

B) Los sistemas de identificación y localización de personas

La aplicación estrella de los sistemas biométricos consiste en la vigilancia policial, la identificación de personas y el seguimiento de las mismas. La incidencia de estas técnicas sobre los derechos fundamentales es brutal; mediante la lectura de los rasgos faciales, la policía puede detectar a un ciudadano en la vía pública o en una manifestación, identificarlo y analizar si está en alguna base de datos específica, georreferenciarlo y reconstruir sus recorridos, interacciones con otras personas y evaluar su comportamiento. Si añadimos los datos de su teléfono móvil, la información se puede completar con todos los perfiles que quepa extraer de dicho dispositivo. Como señala Cotino Hueso (loc. cit.), el tratamiento jurídico que reciben estos sistemas en la Ley de la IA europea no es suficientemente protector de los derechos fundamentales. Las prohibiciones y restricciones de los arts. 5 y 6 de la indicada Ley no impiden realmente la vulneración de derechos, pues los «sistemas de identificación biométrica» que en principio estarán prohibidos son los que funcionan «en tiempo real», en espacios de acceso público y con fines policiales. Luego a contrario, señala el autor, no estarían prohibidos los reconocimientos faciales que no funcionen en tiempo real, o en lugares que no sean de acceso al público, como locales de empresas y fábricas, oficinas y lugares de trabajo, las prisiones, o zonas de control fronterizo, o con finalidades de defensa e inteligencia. Tampoco estarían prohibidos en tema de migración o asilo, ni para finalidades de seguridad privada en establecimientos de acceso público (supermercados, transporte, estadios), ni para finalidades de marketing o publicidad. Estas tecnologías suponen un ataque a la intimidad personal, y ya hay sentencias que afirman la lesividad de las mismas, como la del Tribunal de Apelaciones del Noveno Circuito de los Estados Unidos, en Patel v. Facebook, Inc., que condenó a Facebook en 2019 por la recopilación no consentida de archivos faciales de los usuarios, como conducta contraria a la Illinois Biometric Information Privacy Act (BIPA).

Desde el punto de vista de la normativa de protección de datos, el tratamiento de los datos obtenidos mediante técnicas biométricas está sometido al régimen general de protección de datos de la ley española, Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales, en su art. 9 (LA LEY 19303/2018), al tratarse de una categoría especial de datos. También son una categoría especial en el art. 9 del Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016 (LA LEY 6637/2016) (RGPD), y se les suman las garantías de los tratamientos automatizados del art. 22 de dicho Reglamento. Sin embargo, el mismo art. 9 RGPD (LA LEY 6637/2016) permite excepcionalmente el tratamiento de estos datos especiales …por razones de un interés público esencial, sobre la base del Derecho de la Unión o de los Estados miembros, que debe ser proporcional al objetivo perseguido, respetar en lo esencial el derecho a la protección de datos y establecer medidas adecuadas y específicas para proteger los intereses y derechos fundamentales del interesado. El tratamiento de datos personales en el ámbito penal (testigos, víctimas o encausados) queda bajo la regulación especial de la Directiva 2016/680 (LA LEY 6638/2016). Conforme a su art. 10: El tratamiento de datos personales …así como el tratamiento de datos genéticos, datos biométricos dirigidos a identificar de manera unívoca a una persona física… solo se permitirá cuando sea estrictamente necesario, con sujeción a las salvaguardias adecuadas para los derechos y libertades del interesado y únicamente cuando: a) lo autorice el Derecho de la Unión o del Estado miembro… Y la necesidad estricta, y consiguiente autorización, la señala el art. 5 de la LIA, que ya hemos visto.

C) El perfilado predictivo

El perfilado se define en el art. 4.4 del Reglamento (UE) 2016/679 de protección de datos (LA LEY 6637/2016) (RGPD): 4)«elaboración de perfiles»: toda forma de tratamiento automatizado de datos personales consistente en utilizar datos personales para evaluar determinados aspectos personales de una persona física, en particular para analizar o predecir aspectos relativos al rendimiento profesional, situación económica, salud, preferencias personales, intereses, fiabilidad, comportamiento, ubicación o movimientos de dicha persona física. Surge como técnica que parte de la obtención de datos del sujeto, para empezar el de su identidad personal y digital (su dirección IP, número de móvil, dirección de correo electrónico, avatar o nickname), y otros acerca de sus intereses vitales (políticos, deportivos, ideológicos o religiosos), nivel económico, preferencias de consumo y de entretenimiento, etc. Su objeto es obtener una imagen del sujeto que permita abordarlo con mensajes de todo tipo, desde publicidad y ofertas de turismo o inmobiliarias a información política o económica, con el objeto de provocar decisiones de compra o actuaciones de cualquier tipo en dicho sujeto-objetivo. Todos tenemos la experiencia de los reclamos que llegan a nuestro móvil, comerciales o de ocio.

La incidencia del perfilado en los derechos fundamentales tiene lugar sobre todo en el derecho a la intimidad y privacidad: su funcionamiento implica la creación de bases de datos de características personales de conjuntos de sujetos muy amplios. Bien es verdad que en muchos casos el identificador del sujeto no es sino una dirección IP, pero a partir de ahí y relacionando este dato con otros, es fácil elaborar su perfil. Desde una finalidad sobre todo mercantil y publicitaria, el perfilado evoluciona a un ámbito de predicción de la conducta futura del sujeto, implicando la clasificación de las personas según las características que se determinen en el algoritmo. A esto se refiere el art. 3 de la LIA cuando define en su número 35 a un «Sistema de categorización biométrica» como …sistema de IA destinado a asignar a personas físicas a categorías concretas, como un sexo, edad, color de pelo, color de ojos, tatuajes, origen étnico u orientación sexual o política… Pero el perfilado va más allá, añadiendo datos económicos, intereses de consumo, o incluso datos médicos y neurológicos, pues como nos cuenta González Tapia (14) , mediante inteligencia artificial se puede lograr una extracción indirecta de datos de las personas a través de patrones de comportamiento, detección de emociones, tono y modulación del lenguaje, y otros datos biométricos. Y pone como ejemplo la detección temprana del Parkinson a través del patrón de tecleo en el móvil, o del Alzheimer por el patrón de deambulación o patrones de atención; o el riesgo de comportamientos suicidas a partir de los datos de navegación por redes sociales y el análisis de los mensajes en ellas.

Además del marketing y la publicidad, otro ámbito en el que se desarrolla el perfilado es el de la averiguación de tendencias políticas, pues como señala Garriga Domínguez (15) , el desarrollo actual de la tecnología de IA permite el perfilado ideológico de los usuarios de cualquier plataforma, dato con el que se les puede enviar información política personalizada. Esto es lo que la autora llama segmentación psicográfica avanzada, que permite hacer predicciones precisas de la reacción de la audiencia objetiva a determinados mensajes o estímulos. Naturalmente, a partir de esta personalización, se abre la vía hacia la interpretación interesada, el nudge político y la información parcial o sesgada, en suma, la desinformación.

El perfilado, como estudio probabilístico o actuarial del individuo y la posibilidad de que observe un determinado comportamiento, ha sido desarrollado sobre todo en el ámbito penal, donde Solar Cayón (16) advierte que es habitualmente empleado en la mayoría de jurisdicciones estatales para informar las decisiones judiciales sobre medidas cautelares, en particular la concesión o no de libertad provisional. Señala que los sistemas de evaluación de riesgos de reincidencia criminal basados en modelos estadísticos, patrones de conducta y factores predictores del riesgo de reincidencia futura, tienen como ejemplo el programa americano COMPAS (Correctional Offender Management Profiling for Alternative Sanctions).

D) El reconocimiento de emociones y la detección del pensamiento

Uno de los campos en los que la captación de datos biométricos es muy efectiva es el de los datos sobre frecuencia cardiaca, respiración, expresión facial, movimiento de las pupilas, temperatura corporal, cuya combinación puede indicar la presencia de determinados estados emocionales. Por ejemplo, el software de la compañía española Decoditive permite determinar mediante una sencilla cámara si el sujeto está haciendo trampas al ajedrez o la eficacia real de los anuncios que está contemplando, simplemente examinando el campo visual y movimiento de las pupilas del sujeto.

La misma Ley de la IA hace expresa referencia a la utilización de los datos biométricos para la labor policial en los interrogatorios, y la averiguación de la veracidad o falsedad de las declaraciones de las personas. Se está refiriendo a datos que revelan estados emocionales, tales como frecuencia cardiaca, sudoración, movimiento de las pupilas, tono de voz o incluso frecuencia y fuerza de pulsación de las teclas del ordenador. Es en concreto en el Considerando 38 en el que se expone que son de alto riesgo los sistemas de IA para la aplicación de la ley, entre los que deben incluirse …en particular, los sistemas de IA que las autoridades encargadas de la aplicación de la ley utilicenpara realizar evaluaciones del riesgo individuales, los polígrafos y herramientas similares, o los sistemas utilizados para detectar el estado emocional de una persona física. Y en su art. 3.34 la LIA define al «Sistema de reconocimiento de emociones» como un sistema de IA destinado a detectar o deducir las emociones o las intenciones de personas físicas a partir de sus datos biométricos.

Da cuenta Cotino Hueso (17) que estos sistemas permiten leer emociones, detectar la verdad de las manifestaciones, y predecir futuros comportamientos y que desde hace años se utilizan para el control de fronteras en EEUU, con el denominado Agente Virtual Automatizado para la Evaluación de la Verdad en Tiempo Real (AVATAR - Automated Virtual Agent for Truth Assessments in Real Time), que analiza el comportamiento no verbal y verbal de los viajeros. En Europa, la Comisión Europea financió el proyecto Intelligent Portable Control System (iBorderCtrl), con herramientas de detección del engaño y de evaluación de respuestas de solicitantes de visa de entrada que generó una relativa reacción desde la sociedad civil, y que finalmente ha sido retirado.

Y al lado de estas técnicas, tenemos la IA aplicada a una nueva rama de la neurología, la neurotecnología, que defineMoreu Carbonell (18) de modo muy amplio como el conjunto de métodos e instrumentos que permiten una conexión directa de dispositivos técnicos con el cerebro y el sistema nervioso. La nueva tecnología tiene aplicaciones muy beneficiosas en medicina, pero supone un paso más en la invasión de la privacidad, pues ya no se trata de inferir estados emocionales a partir de datos biométricos, sino de acceder directamente a los pensamientos de la persona mediante una lectura de los patrones de estímulo eléctrico cerebral mediante resonancia magnética. La lectura de los pensamientos puede ser muy beneficiosa en medicina, refiriéndose Vicente Domingo y Rodríguez Cachón (19) al proyecto Neuralink impulsado por Elon Musk, que diseña implantes cerebrales para que los pacientes con parálisis cerebral puedan controlar dispositivos con la mente, o a Meta, que ha iniciado un programa de 40 millones de dólares para conseguir mediante cascos de electrodos no invasivos, convertir en texto lo que piensa una persona. Pero desde las universidades de Singapur y Hong Kong, los investigadores Chen, Qing y Zhouy (20) dan cuenta de la posibilidad de decodificación directa de las señales cerebrales en imágenes y videos, utilizando la resonancia magnética. Mediante esta técnica, se capturan y codifican datos sobre la actividad cerebral del sujeto, y un sistema de reconocimiento traduce dichos datos directamente a imágenes.

3. La persuasión y alteración subliminal de comportamientos

Ya hemos visto que el art. 5 de la Ley de IA consideraba prohibidas las técnicas que incidan sobre la conciencia de una persona para alterar de manera sustancial su comportamiento, provocándole perjuicios físicos o psicológicos, así como las técnicas de persuasión que aprovechen vulnerabilidades de grupos específicos de personas debido a su edad o discapacidad física o mental. Ahora bien, la Ley de la IA no nos define ni lo que es una técnica subliminal ni en qué consiste la alteración del comportamiento resultante, por lo que la prohibición de éstas resulta compleja. Las técnicas subliminales de manipulación, de carácter comercial fueron expuestas por la famosa obra del año 1957, The Hidden Persuaders, de Vance Packard, libro dedicado a la publicidad y su influencia en los consumidores, donde se toma como premisa la falta de racionalidad de muchos comportamientos de consumo y la posibilidad de manipulación del consumidor. Una de estas técnicas que se usan para influir en los comportamientos es el nudging. Los nudges o «empujones» se popularizan a partir de la publicación del libro Nudge: Improving Decisions About Health, Wealth, and Happiness, de Cass Thaler y Richard Sunstein, en 2009. Los nudges son intervenciones que buscan modificar la toma de decisiones individuales, intentando cambiar el comportamiento de las personas en una dirección concreta, pero sin prohibir ninguna opción, ni alterar en gran medida los incentivos económicos. Esta técnica pasa del mundo del marketing al de la Administración pública, donde por su carácter no normativo, los nudges constituyen un importante instrumento de políticas públicas que escapa a un control político. El ejemplo más citado es el de incluir en los documentos médicos la opción por defecto de ser donante de órganos, y estableciendo por tanto que el rechazo ha de ser expreso.

La unión del nudging con la IA produce interesantes resultados. Como advierte Ortiz de Zárate-Alcarazo (21) , la IA puede mejorar la implementación de nudges en el sector público, dando lugar a lo que podríamos denominar «políticas conductuales inteligentes» y, más concretamente, intelligentnudging. Los nudges inteligentes tendrían niveles de eficacia y eficiencia más elevados que los de sus hermanos no inteligentes. En este sentido, el investigador de la Universidad de Seikei, Yukari Yamazaki (22) nos anuncia la llegada del Hypernudge, como resultado de la unión del nudge y la IA, es decir, el nudge creado por una IA entrenada mediante machine learning. Pero advierte que las condiciones de autonomía, dignidad y transparencia, que deben regir el empleo de nudges, desaparecen en este caso, concluyendo que el hypernudge añade a los problemas intrínsecos del nudge los problemas específicos derivados de la IA, especialmente la derivada de redes neuronales, como la opacidad algorítmica, los problemas de privacidad, los sesgos, la falta de rendición de cuentas, y sobre todo el ataque a la privacidad e intimidad de las personas, derivando en un paternalismo agobiante.

4. El sistema de crédito social

A esta técnica, utilizada tanto para influir en el comportamiento de las personas como para controlarlo, alude el art. 5 LIA al prohibir los sistemas de IA utilizados por autoridades públicas o en su representación, c) …con el fin de evaluar o clasificar la fiabilidad de personas físicas durante un período determinado de tiempo atendiendo a su conducta social o a características personales o de su personalidad conocidas o predichas... Estamos ante un sistema por el que cada persona, convenientemente identificada por técnicas biométricas, de identificación y rastreo en red o por teléfono móvil, recibe una puntuación o número de créditos, positivos o negativos según el comportamiento calificado sea aceptable o inaceptable, cuya suma determina su calificación o crédito social. Con este sistema se controla las actividades de la población a la vez que se empuja a la misma a observar comportamientos de obediencia a las normas.

El origen del invento, está en las calificaciones crediticias y las listas de morosos, información comercial que existe en cualquier país como información comercial y como estímulo para los comportamientos sociales adecuados y la promoción de la confianza. Pero luego esto se complica cuando se amplía la calificación con los ingredientes de las plataformas sociales y bases de datos, las tecnologías de reconocimiento biométrico y las de seguimiento de la actividad de los teléfonos móviles, y de la mera calificación crediticia a efectos de valorar la solvencia del sujeto se pasa a valorar al sujeto en sí, a partir de todo su comportamiento.

Como apunta Cotino Hueso (23) , estos preocupantes sistemas biométricos de categorización, ni están prohibidos, ni en general son de alto riesgo, sino solo sometidos al artículo 52 de la Ley de IA: Artículo 52. Obligaciones de transparencia para determinados sistemas de IA … 2. Los usuarios de un sistema de reconocimiento de emociones o de un sistema de categorización biométrica informarán del funcionamiento del sistema a las personas físicas expuestas a él. Esta obligación no se aplicará a los sistemas de IA utilizados para la categorización biométrica autorizados por la ley para fines de detección, prevención e investigación de infracciones penales. Opina el autor que sería más adecuado que o bien se regulen como sistemas de alto riesgo o en algunos casos directamente se prohíban.

El sistema de partido único chino es el máximo exponente de la implantación de los sistemas de calificación social. Según nos cuenta Lizzy Rettinger (24) , la idea del «crédito social» se adecua perfectamente al carácter chino, por reproducir la idea de la confianza social predicada por Confucio. Como señalan Roberts, Cowls, Morley y otros (25) , esta tecnología viene a ser sancionada por el Plan de Desarrollo de la Inteligencia Artificial de la Nueva Generación, aprobado por el supremo órgano del gobierno chino, el Consejo estatal. El Sistema de Crédito Social todavía no se ha implantado a nivel nacional, pero como nos dicen los citados autores, los ambiciosos objetivos del mismo «…ofrecen un convincente ejemplo de la intención del gobierno de confiar en la tecnología digital, no sólo para gobernanza social, sino también para una regulación más detallada del comportamiento».

En definitiva, se trata del control del comportamiento social de los individuos, persiguiendo conductas como evasión fiscal, alarmas sobre la seguridad alimentaria y deshonestidad académica, mediante el sistema de «listas negras» (como China es un régimen comunista, las buenas son las listas rojas). Pero también para el control policial de la ciudadanía, de la lealtad al partido o para el seguimiento del aprovechamiento de los escolares y evaluación en el ámbito educativo, o para la vigilancia del tráfico en las ciudades, castigando las faltas de circulación o el cruzar fuera del paso de peatones. Naturalmente, la base para el funcionamiento del sistema de crédito social está en la perfecta identificación tanto de personas como empresas, para lo que China cuenta con un sistema de seguimiento en Internet, un análisis de grandes datos y 626 millones de cámaras de reconocimiento facial.

Las consecuencias de estar en una lista negra pueden consistir en que no se pueda viajar en avión, o en determinados trenes, no se pueda contratar algunos destinos turísticos, o alojarse en ciertos hoteles, o no se pueda inscribir a los hijos en los mejores colegios. Para Turley (26) , la realidad es que el gobierno chino está intentado abiertamente crear una sociedad-pecera, en la que ni siquiera sea necesario el control policial. Si se implanta una tecnología de reconocimiento facial completa, las personas serán reacias a asistir a protestas o manifestaciones si el gobierno puede determinar su identidad, y tampoco tendrán contactos con personas o empresas que sean consideradas problemáticas por el gobierno. Además, gran parte de los esfuerzos del reconocimiento biométrico en China han estado dirigidos a identificar minorías, especialmente los uigures y otras etnias vistas como una amenaza para el régimen comunista.

5. Los modelos fundacionales o sistemas generalistas

Una nueva aplicación de la IA claramente lesiva para los derechos humanos, es la que permite la falsificación de la realidad y la creación de versiones adulteradas de la misma, generalmente con fines fraudulentos, mediante sistemas de IA generalistas o modelos fundacionales, como el famoso ChatGpt. Esta amenaza deriva no de la capacidad de la IA de controlar gran cantidad de identificadores personales, o de calcular a partir de los datos biométricos los estados de ánimo, tendencias o pensamientos de las personas inspeccionadas, sino de una capacidad de la IA que no pensamos que pueda lesionar ningún derecho: la fuerza creativa de los sistemas inteligentes, de la que en principio sólo derivan ventajas para los seres humanos.

La IA puede ser creativa en un nivel medio-alto, esto es algo que en la actualidad viene a ser admitido. Pues bien, esta fuerza creativa se puede dirigir a la creación de nuevas obras intelectuales y artísticas, o al descubrimiento de nuevos avances en ciencia, y de hecho así se está haciendo. Pero también se puede dedicar a la creación de réplicas de la realidad, procediendo el sistema como algunos pintores hiperrealistas, que aspiran a una imitación tan fiel de la realidad que no sea posible distinguir sus obras de las fotografías de los objetos pintados en el lienzo.

Con una capacidad creativa mejorada, un sistema entrenado en utilizar datos de la realidad, también biométricos, puede combinarlos para emitir versiones nuevas (y fingidas) de la realidad, ya sustituyendo a las personas por otros sujetos, ya creando sujetos enteramente nuevos. De esta manera se puede fingir la existencia de una realidad inventada, en videos o en fotografías, que puede ser admitida como auténtica por los sujetos destinatarios y alcanzar el fin que se persigue, generalmente de engaño, o para modificar su opinión, o simplemente —se dice— para entretenerse o reírse.

Estos sistemas, nos dice Navas Navarro (27) , se ubican dentro de lo que la LIA, tras las enmiendas introducidas en el Parlamento, versión de 14 de junio de 2023, llama «modelos fundacionales generativos», generative foundational models, que define en su art. 3.1.c como «… modelos de IA que son entrenados con una amplia cantidad de datos a escala, designados para obtener una generalidad de resultados y que pueden adaptarse a un amplio abanico de tareas diversas». Se caracterizan porque pueden ser utilizados para muy distintas tareas, siendo capaces de generar nuevos resultados a partir de los datos de entrenamiento iniciales sin necesidad de recibir nuevos inputs, pues son capaces de recolectar sus propios datos de la realidad o de Internet. Los ejemplos más claros son los últimos sistemas inteligentes polivalentes como ChatGpt, Dall-E, Stable Diffusion, etc., y las aplicaciones y sitios web para la creación de fotos y videos falsos, que generalmente repiten el esquema de cambiar la cara del utilizador por la de un famoso o a la inversa: Neocortext, Inc., Reface, FacePlay, FaceJoy, Deep Nostalgia, Doublicat, Familiar, Reflect, Wombo.ia… Pero también sitios web en la que se puede crear videos de contenido sexual cambiando las caras por las de conocidos o menores, como ocurrió recientemente en nuestro país en Almendralejo.

Estas creaciones o imitaciones de la realidad, o mejor, de una realidad paralela, pueden incidir en la lesión de algunos de los derechos fundamentales, pero en mi opinión el daño es más importante, porque al falsificar la realidad se produce una pérdida de los referentes reales y del marco auténtico de la vida humana. Corremos un serio peligro de perder la certeza acerca de nuestros registros de la realidad, con el resultado de producirse una desinformación general y una inverificabilidad de hechos y pruebas. En medios periodísticos e informativos ya no son novedad las intoxicaciones y falsas noticias o fake news creadas con IA y expandidas con propósitos malintencionados. En el campo del arte se anuncian producciones de nuevas obras de pintores clásicos, fallecidos hace siglos, cuya obra se crea hoy con su estilo y su arte. En cinematografía se «resucita» a actores fallecidos, y se les hace actuar junto a los vivos, o se rejuvenece a los actores ya ancianos, para hacer efecto de regresión en el tiempo. En la educación, corremos el riesgo de lo que yo llamo «deslocalizar» nuestra inteligencia, al trasladar la producción de resultados inteligentes de nuestro propio cerebro al de la máquina, y encima engañarnos adjudicándonos unos resultados que en realidad no son nuestros. Ya no es posible distinguir la labor intelectual humana de la de la máquina, produciéndose un general descenso del nivel de inteligencia, que es precisamente lo que nos indica la llamada «regresión del efecto Flynn» de la que hablo en otros trabajos. Y lo que es peor, produciéndose lo que el ya citado informe Future Risks of Frontier AI denomina Dependencia humana excesiva de los sistemas de inteligencia artificial, que posteriormente no se puede eliminar, dependencia que ya tenemos con las calculadoras digitales o con Google para recordar cualquier dato.

Sin embargo, la peligrosidad de estos «modelos fundacionales» de propósito general no suele apreciarse en su justa medida, es más, el texto del Parlamento europeo sobre LIA de 14 de junio 2023 todo lo más somete a estos sistemas inteligentes a los requisitos y obligaciones de los sistemas de alto riesgo, como señala Navas Navarro (loc. cit.). Ello posiblemente deriva de su carácter general y polivalencia, que hace que las utilizaciones más habituales, como instrumentos de trabajo o de entretenimiento desvíen la atención del verdadero daño.

Con todo, ya se aprecia una cierta reacción por parte de los responsables gubernamentales, así en la UE tenemos la Recomendación (UE) 2023/2425 de la Comisión, de 20 de octubre de 2023 (LA LEY 28360/2023), «sobre la coordinación de las respuestas a incidentes, especialmente los derivados de la difusión de contenido ilícito, en anticipación de la plena entrada en aplicación del Reglamento (UE) 2022/2065 (LA LEY 22694/2022)». Se emite para luchar contra la difusión en línea de contenidos ilícitos y nocivos, o de desinformación y fake news, en relación con las crisis internacionales por la agresión de Rusia a Ucrania y el ataque terrorista de Hamás a Israel. Por su parte, la Declaración de la Cumbre sobre seguridad de la IA de Bletchley Park alerta específicamente sobre «…el potencial de riesgos imprevistos derivados de la capacidad de manipular contenido o generar contenido engañoso». Riesgos que son especialmente importantes en los sistemas inteligentes de propósito general o modelos fundacionales, por su facilidad de uso que hace que puedan ser objeto de usos indebidos.

IV. Conclusiones

La principal y única conclusión a la que se llega tras el examen de estos datos, es que la cuestión de la seguridad de la IA es un problema por resolver.

La solución puede venir del mundo de la técnica, insertando en todo sistema inteligente controles para impedir el mal uso de los mismos, así como para evitar los resultados no previstos, lo que exigirá una supervisión humana. También sería necesario un procedimiento de marcas de agua para cualquier producto de los modelos fundacionales que permitan su verificación como productos sintéticos, para evitar su confusión con registros tomados de la realidad o productos de la mente humana. Ahora bien, la técnica no basta para asegurar un uso legítimo y no dañino de los sistemas inteligentes, y para complementarla se ha propuesto dos vías, la ética y la jurídica,

Se ha intentado utilizar la vía de la ética, para lograr que los comportamientos de los sistemas inteligentes fueran aceptables, en el sentido de que no causasen daño ni lesionasen derechos humanos, hablándose así de una IA alineada con los valores humanos. Pero claramente se está empleando la ética simplemente como sinónimo de exigencia de seguridad. Una IA ética es simplemente una IA segura. Y para imponer eficazmente esta seguridad no queda otra vía que la regulación jurídica.

Como señala Presno Linera (28) , lo necesario es convertir en auténticas normas jurídicas mandatos y prohibiciones específicos «que garanticen un acceso claro y manejable a los datos personales… el establecimiento de mecanismos eficaces para combatir las discriminaciones y los sesgos… la regulación del uso de las tecnologías de IA por parte de las autoridades policiales y judiciales… el régimen de responsabilidad y rendición de cuentas». En suma, una regulación que imponga las exigencias técnicas antes señaladas y regule el buen uso de esta tecnología.

Un recurso para esta regulación puede estar en los neuroderechos, necesarios sobre todo frente a la neurotecnología, que es especialmente invasiva. Recoge Moreu Carbonell (loc. cit.) de los investigadores Marcello Ienca y Roberto Andorno, cuatro neuroderechos: Derecho a la libertad cognitiva o «autodeterminación mental», una actualización del derecho a la libertad de pensamiento y de conciencia. Derecho a la privacidad mental, frente a cualquier información que pueda obtenerse de nuestros cerebros por medio de neurotecnologías. Derecho a la integridad mental, contra las intrusiones en el cerebro. Por último, derecho a la continuidad psicológica, que garantiza la percepción de la propia identidad como seres humanos. Vicente Domingo y Rodríguez Cachón (loc. cit.), por su parte, recogen la enumeración de la NeuroRights Foundation, del neurólogo Rafael Yuste (derecho a la identidad e integridad personal y mental, al libre albedrío, a la privacidad mental, al acceso equitativo y a la protección contra los sesgos), y afirman que los neuroderechos, como nueva categoría de derechos, llevarían a una modificación de la Declaración Universal de Derechos Humanos (LA LEY 22/1948). En esta línea, España ha suscrito la Declaración Europea sobre los Derechos y Principios Digitales para la Década Digital (2023/C 23/01) (LA LEY 362/2023).

El obstáculo a la hora de establecer esta regulación jurídica está en la falta de comprensión y predecibilidad de los comportamientos de los sistemas cibernéticos, y en este sentido, la Declaración de la Cumbre sobre seguridad de la IA nos dirá: «Estos problemas se deben en parte a que esas capacidades no se comprenden completamente y, por lo tanto, son difíciles de predecir». Un importante componente de la errónea comprensión de los sistemas inteligentes radica, en mi opinión, en que la producción de resultados inteligentes, propios de un ser humano, hace que atribuyamos características humanas a la máquina. Aquí es donde está el fallo: no es una mente humana y carece de conciencia. En este sentido, Bostrom advierte (29) que una IA no tiene por qué ser igual a una inteligencia humana: «Las IAs podrían ser —de hecho esto es lo más probable— extremadamente distintas. Deberíamos esperar que tengan arquitecturas cognitivas muy diferentes a las inteligencias biológicas… Además, los objetivos sistémicos de las IAs podrían diferir radicalmente de los seres humanos. No hay motivo para esperar que una IA genérica esté motivada por el amor o el odio o el orgullo o algún otro típico sentimiento humano».