Juan Carlos Muria Tarazón (1)
Ph. D. Profesor Asociado de Deontología y Profesionalismo en la Universitat Politècnica de València
1. Introducción
El contexto normativo de la inteligencia artificial (IA) está desarrollándose a marchas forzadas intentando seguir la evolución tecnológica. Da la impresión de que hemos iniciado el despliegue de las vías del ferrocarril cuando la locomotora ya estaba en marcha. Mientras el lector o lectora lee estas líneas en el inicio de 2025, la FDA estadounidense acaba de publicar un borrador de los requisitos de los dispositivos médicos basados en IA, un borrador, aun cuando desde 1995 ha dado luz verde a 1.016 dispositivos de este tipo (Center for Devices and Radiological Health, 2024). Y esto es solo un ejemplo.
La Unión Europea ha lanzado varias iniciativas de regulación de la IA y por tanto de los riesgos propios de esta, por orden cronológico y sin pretender ser exhaustivos, la lista de evaluación de IA confiable ALTAI (European Commission. Directorate General for Communications Networks, Content and Technology., 2020), el Reglamento Europeo de la IA (Regulation (EU) 2024/1689 (LA LEY 16665/2024) of the European Parliament and of the Council of 13 June 2024 Laying down Harmonised Rules on Artificial Intelligence and Amending Regulations (EC) No 300/2008 (EU) No 167/2013 (EU) No 168/2013 (EU) 2018/858 (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act)Text with EEA Relevance., 2024) o, actualmente en borrador, el Código de conducta para IA de propósito general (European Commission, 2025)
La Organización Internacional de Normalización (ISO) también ha publicado varios estándares relacionados con gobierno de la IA (ISO 38507), sistemas de gestión de los sistemas de IA (ISO 42001), o una orientación sobre la gestión de riesgos de los sistemas de IA (ISO 23894), aunque no abordan en profundidad los aspectos de la privacidad.
Son aproximaciones realmente interesantes, ya que aunque algunos de los riesgos en el contexto de la IA ya existían en cualquier sistema de información, otros han aparecido al amparo de esta tecnología.
En este artículo nos centraremos en los aspectos de privacidad e IA, ya que la información personal ha adquirido las características de la energía nuclear: es un recurso muy valioso que tiene un alto potencial transformador, pero también debe racionalizarse su uso, y debemos ser cuidadosos en su almacenamiento, manejo y compartición, porque al igual que los efectos de los accidentes nucleares perduran durante mucho tiempo, así lo hacen también los efectos de una brecha de información de identificación personal, especialmente si hablamos de datos de salud, entre otros.
2. Uso responsable y propósito claro también en IA
Demasiado a menudo se tiene la tentación de utilizar datos personales que tenemos para entrenar modelos de IA. Esto es incorrecto: cuando los usuarios nos ceden sus datos personales nos los ceden para un fin, por lo que aplica un uso limitado de estos. Si queremos utilizarlos para otro fin diferente, debemos pedir de nuevo su consentimiento. El uso de estos datos para entrenar un sistema de IA no es una excepción.
Adicionalmente, hay usos explícitamente prohibidos o con unos requisitos de manejo especiales en el marco legislativo europeo, como es por ejemplo la prohibición por parte del Reglamento Europeo de IA antes citado del perfilado de estos usuarios respecto al riesgo que puedan presentar de cometer un delito, o el derecho a no ser objeto de decisiones individuales automatizadas, teniendo como excepciones los casos en que una elaboración de un perfil sea necesario para la celebración o ejecución de un contrato entre el individuo y el responsable del tratamiento, aquellos casos en que haya un consentimiento previo, y aquellos casos expresamente autorizados por el marco de Derecho de la Unión o de los Estados miembros, salvaguardando derechos y libertades e intereses legítimos del interesado.
Los enclaves de datos, unos espacios físicos o virtuales donde puede accederse a información confidencial, como la de identificación personal, pero donde no es posible la descarga ni la eliminación o modificación de esos datos, o el aprendizaje automático (machine learning) federado, donde el modelo aprende a su vez del aprendizaje de modelos locales, de manera que los datos personales o confidenciales no salen de la organización, por ejemplo en el caso de ensayos clínicos, son medidas que tendremos que acostumbrarnos a valorar en un futuro cercano (OWASP Foundation, 2024).
3. Equidad en IA: buscando un futuro transparente, justo y sin sesgos
Los sistemas de IA deben manejar la información de la manera para la que están diseñados, y no de manera que pueda generar efectos adversos injustificados, como la discriminación de algún colectivo o simplemente provocar errores que puedan tener repercusiones en algunos individuos.
El artículo 5 de principios relativos al tratamiento presente en el Reglamento Europeo de Protección de Datos así lo requiere, exigiendo que el tratamiento sea lícito, leal y transparente.
Los sesgos pueden tener consecuencias injustas, por ejemplo cuando hablamos de sistemas de apoyo a la toma de decisiones clínicas (imagine el lector un software de reconocimiento de lesiones malignas en la piel que se ha entrenado principalmente con imágenes de personas de raza blanca y se pretende aplicar a población de otras razas), sistemas de análisis de riesgos financieros, etc. Sin embargo, es cierto que en ocasiones podemos estar sacrificando una mayor precisión a costa de asegurar la equidad en los sistemas de IA (evitando falsos positivos).
También puede darse el caso de existan sesgos en el mundo real que impactan en el sistema de IA. Esto, sin disponer de ciertas variables protegidas como la raza, el sexo, religión, etc. va a ser imposible de detectar analizando los datos y es posible que estemos colaborando sin saber a que el sesgo se mantenga.
En cualquier caso, la representatividad de los datos de entrenamiento, o en su defecto la estrategia de mitigación de sesgos, es fundamental, junto con la implementación de restricciones en la fase de entrenamiento para asegurar que se satisfacen las métricas de equidad, y finalmente la supervisión periódica de los resultados de estos sistemas también es un pilar importante.
4. Solo lo necesario: minimización de datos y de período de retención
Esto ya está recogido en la regulación de privacidad y protección de datos, pero en sistemas de IA surgen nuevos desafíos: ¿cómo definir la cantidad mínima necesaria cuando estos sistemas requieren grandes volúmenes de datos? ¿cómo determinar el tiempo de conservación de los datos usados para entrenar modelos? ¿cómo garantizar que el sistema no sea atacado y revele la identidad de los individuos cuyos datos se usaron en el entrenamiento?
De nuevo, el aprendizaje automático federado anteriormente comentado e incluso el cifrado distribuido de la información (es decir, con los datos cifrados y repartidos de manera parcial en diferentes sistemas) son soluciones que, si bien aumentan la complejidad de los sistemas de IA, incrementan notablemente su robustez y el principio bien conocido del «need to know», por el cual cada usuario (y cada equipo) sólo debe tener acceso a aquella información estrictamente necesaria para desempeñar sus funciones.
5. Conclusiones
Los sistemas de IA no son un mundo aparte, sino que todo el marco regulatorio existente sobre privacidad también aplica a estos sistemas.
Tomemos por ejemplo los derechos ARCOPOL, de acceso a la información que se está almacenando sobre nosotros, la rectificación en caso de que detectemos datos erróneos o inexactos, la oposición al tratamiento, la cancelación o supresión (y el derecho de olvido), la limitación al tratamiento y la portabilidad. Todos ellos son de aplicación también en entornos de IA, lo que ya de por sí puede hacer complejo el manejo, especialmente cuando hablamos de suprimir datos, lo que puede llevar incluso a tener que reentrenar el modelo.
También es preceptivo, y obligatorio en los casos de sistemas de IA de alto riesgo, que las organizaciones realicen una evaluación de impacto de los sistemas de IA, donde el derecho a la privacidad va a combinarse con otros derechos fundamentales de los individuos (Unión Europea, 2000).
En definitiva, el panorama relativo a la privacidad que se nos abre con el uso de sistemas de la IA no es muy diferente del que ya teníamos, aunque con matices importantes como el de los sesgos, la equidad, y la toma de decisiones que puedan ser dañinas para los individuos, aspectos que se han tratado en este artículo.
Quedan también retos como la relación entre la responsabilidad digital corporativa y la IA (Carl & Hinz, 2024; Tóth & Blut, 2024), especialmente la responsabilidad legal en la aplicación de determinados sistemas de IA para la toma de decisiones; u otros que pueden exceder en parte el ámbito de la privacidad, como la influencia en procesos democráticos o la propiedad intelectual, pero que se han dejado intencionadamente fuera de este trabajo para centrarse en el ámbito de la privacidad.
6. Bibliografía
Carl, K. V., & Hinz, O. (2024). What we already know about corporate digital responsibility in IS research: A review and conceptualization of potential CDR activities. Electronic Markets, 34(1), 27. https://doi.org/10.1007/s12525-024-00708-0
Center for Devices and Radiological Health. (2024). Artificial Intelligence and Machine Learning (AI/ML)-Enabled Medical Devices [Dataset]. FDA. https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-aiml-enabled-medical-devices
European Commission. (2025). General-Purpose AI Code of Practice | Shaping Europe’s digital future. https://digital-strategy.ec.europa.eu/en/policies/ai-code-practice
European Commission. Directorate General for Communications Networks, Content and Technology. (2020). The Assessment List for Trustworthy Artificial Intelligence (ALTAI) for self assessment. Publications Office. https://data.europa.eu/doi/10.2759/791819
OWASP Foundation. (2024). OWASP AI Security and Privacy Guide. https://owasp.org/www-project-ai-security-and-privacy-guide/
Regulation (EU) 2024/1689 (LA LEY 16665/2024) of the European Parliament and of the Council of 13 June 2024 Laying down Harmonised Rules on Artificial Intelligence and Amending Regulations (EC) No 300/2008 (EU) No 167/2013 (EU) No 168/2013 (EU) 2018/858 (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act)Text with EEA Relevance. (2024). http://data.europa.eu/eli/reg/2024/1689/oj/eng
Tóth, Z., & Blut, M. (2024). Ethical compass: The need for Corporate Digital Responsibility in the use of Artificial Intelligence in financial services. Organizational Dynamics, 53(2), 101041. https://doi.org/10.1016/j.orgdyn.2024.101041
Unión Europea. (2000). Carta de los Derechos Fundamentales de la Unión Europea (LA LEY 12415/2007). https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=legissum:l33501