Moisés Barrio Andrés
Letrado del Consejo de Estado. Asesor de diversos Estados y de la Unión Europea en materia de regulación digital
Profesor de Derecho digital
Director del Diploma de Alta Especialización en Legal Tech y transformación digital (DAELT) de la Escuela de Práctica Jurídica de la Universidad Complutense de Madrid
1. Introducción
El marco jurídico de la Unión Europea (UE) tipifica como ilegales cuatro tipos de contenidos: (i) el material de abuso sexual infantil (Directiva sobre abuso y explotación sexual infantil) (1) ; (ii) la incitación al odio racista y xenófobo (Decisión marco contra el racismo) (2) ; (iii) los contenidos terroristas (Directiva contra el terrorismo) (3) ; y (iv) aquellos contenidos que vulneren los derechos de propiedad intelectual (Directiva sobre derechos de autor en el mercado único digital) (4) . Además, algunos Estados miembros, como Alemania (5) y Francia (6) , han promulgado legislación nacional sobre contenidos ilícitos y moderación de contenidos.
La Directiva sobre comercio electrónico de 2000 (DCE) (7) establece un marco regulador para los proveedores de servicios en línea en la UE. La Comisión Europea, en su Recomendación de 1 de marzo de 2018 (LA LEY 3044/2018) (8) , sostiene que es posible la supervisión voluntaria de contenidos por iniciativa propia de los proveedores de servicios, sin perjuicio de la exención de responsabilidad del artículo 14 de la DCE o de la prohibición de las obligaciones generales de supervisión del artículo 15 de la DCE. En dicha Recomendación, la Comisión estimula la retirada voluntaria de contenidos para abordar eficazmente los contenidos ilícitos en línea a partir de 2018. A tal fin, anima a los proveedores de servicios a que adopten, cuando proceda, «medidas activas, proporcionadas y específicas» que podrían implicar el uso de «medios automatizados».
Sin embargo, en los últimos años, la Comisión ha virado hacia un enfoque que obliga cada vez más a las plataformas en línea a detectar y denunciar los contenidos ilegales, aduciendo que la acción voluntaria es insuficiente y que es deber de las plataformas en línea proteger a sus usuarios e impedir los contenidos ilegales. A la luz de sus recursos y conocimientos, la participación de los gigantes tecnológicos es aún más necesaria en la lucha contra los contenidos ilegales en línea.
La subsiguiente incorporación al marco jurídico de la UE ha sido el Reglamento de Servicios Digitales (DSA por sus siglas inglesas) (9) , que entró en vigor en noviembre de 2022 y que complementa la Directiva sobre comercio electrónico. Incluye disposiciones relativas a las obligaciones de moderación de contenidos para determinadas plataformas en línea. Las «plataformas en línea de muy gran tamaño» (VLOP, por sus siglas en inglés) y los «motores de búsqueda en línea de muy gran tamaño» (VLOSE, por sus siglas en inglés) están sujetos a obligaciones específicas, incluida la implementación de sistemas basados en el riesgo para detectar y abordar contenidos ilegales (art. 34 DSA). Otro ejemplo de esta tendencia es el Reglamento relativo a la prevención de la difusión de contenidos terroristas en línea a partir de 2021 (10) , que obliga a los proveedores de servicios de alojamiento a adoptar «medidas específicas» para hacer frente a los contenidos terroristas en sus servicios (art. 5 del Reglamento (UE) 2021/784 (LA LEY 11002/2021)). Además, las autoridades nacionales competentes pueden enviar órdenes de retirada exigiendo a los proveedores de servicios de alojamiento que retiren los contenidos terroristas «tan pronto como sea posible y, en cualquier caso, en el plazo de una hora desde la recepción de la orden de retirada» (art. 3.3 del Reglamento (UE) 2021/784 (LA LEY 11002/2021)).
Además, en el contexto de la lucha contra el material de abuso sexual infantil en línea, la Comisión está presionando para adoptar un nuevo reglamento que instituirá un marco de evaluaciones de riesgo supervisadas, combinado con obligaciones para los proveedores de detectar y denunciar el material de abuso sexual infantil (Reglamento CSAM) (11) . El proyecto de Reglamento está siendo objeto de fuertes críticas y su tramitación aún no ha concluido a fecha de escribir estas líneas.
Por lo demás, el Reglamento de inteligencia artificial (RIA) (LA LEY 16665/2024) (12) establece unas medidas de transparencia y marcado de contenidos para los proveedores y responsables del despliegue de sistemas de IA. Su objetivo es asegurar que los usuarios sean informados cuando interactúan con IA. Se impone el marcado de contenido sintético y la divulgación de contenido generado o manipulado artificialmente, con excepciones para sistemas autorizados por ley para actividades relacionadas con delitos. Estas medidas buscan garantizar la transparencia y proteger los derechos de las personas en el uso de tecnologías de IA. En síntesis, los proveedores garantizarán que los sistemas de IA destinados a interactuar con personas físicas informen claramente a los usuarios de que están interactuando con un sistema de IA, a menos que sea evidente para una persona razonablemente informada. Y los proveedores de sistemas de IA que generen contenido sintético, como audio, imagen, vídeo o texto, deben asegurarse de que los resultados estén marcados en un formato legible por máquina para que se pueda detectar que han sido generados o manipulados artificialmente.
En todo caso, puede concluirse que los proveedores de servicios en línea están sometidos a una presión cada vez mayor para detectar contenidos ilegales en sus servicios y plataformas.
2. Uso de la IA
Para detectar, identificar y hacer frente a los contenidos ilegales en sus plataformas, los proveedores de servicios han desarrollado sistemas de moderación de contenidos. Se trata de medidas que afectan a la disponibilidad, visibilidad y accesibilidad de los contenidos ilícitos o a la capacidad del usuario para proporcionar dichos contenidos, como la degradación, la desmonetización, la inhabilitación del acceso a los contenidos o su eliminación, o incluso la cancelación de la cuenta de un usuario (art. 3.t) DSA). Dada la enorme cantidad de información debida al continuo aumento del material generado por los usuarios, resulta cada vez más difícil, si no totalmente imposible, que los moderadores humanos moderen eficazmente esta mastodóntica proliferación de contenidos.
Además, la exposición repetida y prolongada a contenidos gráficos y violentos puede tener un efecto agotador en el bienestar psicológico de los moderadores humanos. De ahí la conveniencia de moderar los contenidos mediante mecanismos de notificación y retirada, como herramientas que buscan palabras clave previamente identificadas y herramientas de inteligencia artificial que identifican dinámicamente los contenidos problemáticos basándose en modelos de aprendizaje automático. La DSA también reconoce la importancia de la moderación de contenidos y el papel de las herramientas automatizadas. Hace hincapié en la necesidad de contar con sistemas de moderación eficaces y establece determinados requisitos para el uso de herramientas automatizadas, como obligaciones de transparencia (véase, por ejemplo, el art. 15.1.c) DSA).
La precisión de las tecnologías de IA depende de los conjuntos de datos en los que se basan
Un tipo de aplicación que se utiliza actualmente es el hashing. Los algoritmos de hashing se emplean para extraer de una imagen una firma alfanumérica única y compacta, también llamada hash o huella digital de la imagen. Esa huella dactilar recién generada puede compararse después con las huellas digitales de otras fotos que se suban a un servicio en línea. Esto permite buscar activamente contenidos ilegales conocidos y tomar medidas para eliminarlos. Por ejemplo, Microsoft utiliza PhotoDNA en sus servicios para buscar imágenes ilegales. Aunque el hashing es una técnica rápida y fiable, su principal problema es que sólo puede utilizarse para buscar contenidos conocidos. No es una técnica eficaz para identificar contenidos nuevos y desconocidos.
Por eso, las herramientas de IA basadas en modelos de aprendizaje automático pueden utilizarse para buscar contenidos ilegales hasta ahora desconocidos. Sin embargo, parece que, a pesar de todos los avances en aprendizaje automático e innovación técnica de los últimos años, por el momento no existe una herramienta totalmente automática que pueda distinguir los contenidos ilegales de otros contenidos. La precisión de las tecnologías de IA depende de los conjuntos de datos en los que se basan. Las herramientas de aprendizaje automático requieren una gran cantidad de datos de entrenamiento de alta calidad, pero es difícil obtenerlos en el caso de los contenidos ilegales. Un problema considerable que obstaculiza el avance de estas tecnologías de IA es, por tanto, la falta de bases de datos (debidamente etiquetadas), mientras que la cuestión del almacenamiento de contenidos ilegales en los conjuntos de datos suscita varios problemas éticos y legales. Por eso, el artículo 10.5 del RIA (13) establece una excepción para tratar excepcionalmente categorías especiales de datos personales para detectar y corregir sesgos.
3. La imprescindible supervisión humana
Es crucial tener en cuenta las cuestiones relativas a la posibilidad de falsos positivos, que pueden conducir al bloqueo de contenidos legítimos y a la vulneración de otros derechos fundamentales, como el derecho a la libertad de expresión (protegido en el artículo 10 del Convenio Europeo de Derechos Humanos (LA LEY 16/1950)). Incluso para los moderadores humanos puede resultar difícil determinar la naturaleza ilegal de determinados contenidos, por ejemplo en el ámbito de la incitación al odio. Además, los elementos del contexto, como las tradiciones locales, las lenguas, la cultura, la política, etc., pueden crear casos límite en los que no resulte del todo evidente si un determinado contenido infringe una ley (o las normas de uso de la plataforma) o no. Como las herramientas actuales de IA carecen de la capacidad de discernir el contexto o detectar matices, la mejor práctica del sector es utilizar herramientas automatizadas para reducir la gran afluencia de contenidos y marcar posibles contenidos ilegales para que los revisen expertos humanos. En general, el enfoque humano en el bucle es un componente crucial en los sistemas de moderación de contenidos, sobre todo en situaciones en las que se requieren matices y contextualización o en las que las tasas de error son elevadas.
La necesidad de supervisión humana en los procesos de moderación de contenidos también se subraya en la DSA (cdo. 58 DSA) y en el RGPD, en caso de que se traten datos personales (art. 22 RGPD (LA LEY 6637/2016)). Además, el RIA impone la necesidad de supervisión humana para los sistemas de IA incluidos en la categoría de alto riesgo (art. 14 RIA). En las enmiendas, el Parlamento Europeo incluso propuso incluir los algoritmos utilizados por las VLOP para recomendar contenidos generados por los usuarios como de alto riesgo (véanse las enmiendas 73 y 740). Sin embargo, la versión final del RIA no establece esta clasificación. Ahora bien, dado que el RIA es de aplicación concurrente con la DSA, queda por ver cómo interactuarán ambas legislaciones, especialmente en lo que se refiere a la supervisión humana.
4. A modo de conclusión
Los proveedores de servicios en línea, y en particular los gigantes tecnológicos, se ven sometidos a una presión cada vez mayor para identificar y moderar los contenidos ilegales en sus servicios y plataformas. Dado que la gran avalancha de contenidos ilegales hace que la moderación de contenidos sea cada vez más difícil, se necesitan herramientas de IA sólidas y fiables para localizar este tipo de contenidos. Sin embargo, a pesar de todos los avances tecnológicos de los últimos años, todavía no es factible una herramienta totalmente automatizada que pueda distinguir los contenidos ilegales de los demás, sin dejar de mantener un equilibrio entre los derechos fundamentales en juego. De ahí la necesidad de seguir investigando en este campo para conseguir herramientas más eficaces.
Además, sigue pendiente la cuestión de si las herramientas totalmente automatizadas llegarán a ser una realidad, a pesar de los posibles avances tecnológicos en el futuro. La contextualización y los matices son necesarios en los casos límite, y siempre debe haber margen para el debate y la interpretación cuando se trata de equilibrar derechos fundamentales. Así como la posibilidad de recurrir la retirada de contenidos. Sin embargo, aunque las herramientas actuales de moderación por IA todavía no están lo suficientemente desarrolladas para funcionar de forma independiente, las vigentes herramientas son ya una ayuda importante. Pueden —y deben— utilizarse en el marco de las medidas de moderación de contenidos existentes para identificar contenidos potencialmente ilegales, sujetos a una supervisión y revisión humanas adecuadas.