El Reino Unido es una de las grandes potencias mundial en el desarrollo de tecnologías digitales, en particular de la Inteligencia Artificial (IA). Por ello, aunque ya fuera de la Unión Europea (UE), es muy consciente de la importancia de las propuestas regulatorias en curso de elaboración por los órganos de la Unión.
Ello es así a causa de la tendencia, iniciada por el Reglamento General de Protección de Datos (RGPD) (LA LEY 6637/2016), de extender el ámbito de aplicación de la normativa europea a los tratamientos de datos o a las tecnologías que afecten a personas que se encuentren en la Unión, aunque el responsable del tratamiento o del desarrollo de la tecnología, no esté establecido en la misma. Una tendencia continuada en la propuesta de Reglamento de Inteligencia Artificial. Por eso, relevantes centros académicos y de estudios de ese país analizan, con el habitual pragmatismo británico, las iniciativas impulsadas por los órganos de la Unión, además de la regulación que se va generando en el país acerca de la inteligencia artificial y los algoritmos.
En esa línea, organismos como el Information Commissioner’s Officer (ICO), el Alan Turing Institute, the Royal Society, the British Academy o techUK, han elaborado diferentes e interesantes documentos sobre aspectos relevantes de la misma.
Una de las más recientes es el informe elaborado para el Ada Lovelace Institute, un instituto de investigación independiente que trabaja en el ámbito de los datos, la política y la regulación, por la profesora de la Universidad de Newcastle Lilian Edwards, titulado “Regulating AI in Europe. Four problems and four solutions” (La regulación de la IA en Europa, cuatro problemas y cuatro soluciones).
Se trata de un documento que analiza cuatro relevantes problemas identificados en la propuesta de Reglamento Europeo de IA o Ley de la IA, de 2021, y de la posterior propuesta del Consejo al respecto. El documento ha servido de base para un informe político (policy briefing), en el que se contienen 18 propuestas específicas dirigidas a la Comisión.
La propuesta de un modelo global de regulación de la IA
El informe constata, de inicio que la propuesta establece un conjunto de normas armonizadas para el desarrollo, la comercialización y el uso de "sistemas de IA" en la Unión Europea (UE). Sin embargo, resulta que su ámbito de aplicación es más amplio que el de la propia UE, ya que pretende aplicarse a cualquier proveedor que comercialice o ponga en servicio sistemas de IA en la UE.
De esta manera, la futura Ley de IA, al igual que el RGPD antes que ella, está explícitamente posicionada para convertirse en un modelo global y, dada la ventaja de ser el primero, es muy probable que así sea.
Sin embargo, el informe considera que la propuesta se ve obstaculizada por los requisitos de la legislación constitucional y del mercado interior de la UE, y, comprensiblemente, tiende a hacer uso de los paradigmas de infraestructura ya existentes, especialmente los previstos en el Nuevo Marco Legislativo (NML), como las Autoridades de Vigilancia del Mercado.
Por ello considera que si bien la propuesta es en sí misma un excelente punto de partida para un enfoque holístico de la regulación de la IA, añade también que no hay ninguna razón para que el resto del mundo siga sin rechistar este nuevo régimen regulatorio, al que se estima como ambicioso, pero también defectuoso, que se mantiene gracias a la doble limitación del Nuevo Marco Legislativo y a la base legislativa de la legislación de la UE.
En consecuencia, aun considerando que resulta políticamente improbable que se produzcan cambios estructurales importantes en el proceso legislativo de la Ley de Inteligencia Artificial en este momento, se entiende que este es sólo el comienzo de la regulación de la IA, tanto en la UE como a nivel mundial. “Creemos que es importante tener la vista puesta en el horizonte, así como en el suelo”, se subraya.
Por ello, este documento es principalmente una crítica de la actual propuesta de Ley de Inteligencia Artificial, en la confianza de que sea relevante en el proceso legislativo de la UE.
Crítica a la propuesta de Ley de la IA
El punto de partida de la crítica que realiza el informe es que la propuesta adopta una visión excesivamente simplificada del funcionamiento de los sistemas de IA. Este problema se deriva de los orígenes de la estructura de la Ley en el Nuevo Marco Legislativo (NML) adoptado por la Comisión en 2008, que pretendía garantizar la seguridad de los productos destinados a los consumidores que entran y circulan en el mercado interior.
El informe considera que, si bien este esquema ha funcionado relativamente bien para los productos tangibles, el reparto de tareas parece mucho más cuestionable en un mundo de el que la IA se concibe como servicio que aprende y cambia; en el que la IA puede concebirse también como un servicio; en el que se aprecia la existencia de unos sistemas de IA de propósito general y en el que la IA puede formar parte de los servicios de una plataforma.
Estas cuestiones se desglosan a continuación, de la siguiente manera:
1. La IA no es un producto ni un servicio "único", sino un sistema que se suministra dinámicamente a través de múltiples manos ("el ciclo de vida de la IA") en diferentes contextos con diferentes impactos en varios individuos y grupos.
2. Las personas afectadas por los sistemas de IA -a veces consideradas como usuarios finales, sujetos de datos o consumidores- no tienen derechos y casi no desempeñan ningún papel en la Ley de IA. Esto es incompatible con un instrumento cuya función es salvaguardar los derechos fundamentales.
3. El supuesto carácter "basado en el riesgo" de la Ley es ilusorio y arbitrario. Es necesaria una verdadera evaluación del riesgo basada en criterios revisables.
4. La Ley carece de una evaluación general del riesgo para los derechos fundamentales, para todos los sistemas de IA en el ámbito de la Ley, no sólo para la IA de "alto riesgo".
Con más detalle, estos puntos se exponen de la siguiente manera:
1. La IA no es un producto ni un servicio "único", sino un sistema que se entrega dinámicamente a través de múltiples manos ("el ciclo de vida de la IA") en diferentes contextos con diferentes impactos en varios individuos y grupos.
Sin embargo, la propuesta se inspira en la legislación vigente sobre seguridad de los productos y concibe en gran medida a los "proveedores" de IA como el equivalente a los fabricantes de productos del mundo real, como los lavavajillas o los juguetes. Para este tipo de productos, es indudable que el fabricante inicial es la persona que mejor sabe cómo hacer que el producto sea seguro. Por ello, la mayoría de las obligaciones recaen en estos "fabricantes", al principio del ciclo de vida de la IA.
Pero la IA no es un lavavajillas y la forma en que los usuarios posteriores la utilizan y la adaptan, puede ser tan importante como la forma en que se construye originalmente. La propuesta de Ley de IA tiene en cuenta esta circunstancia pero, a juicio de la autora del informe, no lo suficiente, por lo que no regula adecuadamente a los numerosos actores que intervienen de diversas formas en la cadena de suministro de la IA.
Esto se manifiesta de varias maneras diferentes formas:
- Muchos productos de IA son dinámicos, no estáticos: su comportamiento (y el éxito de su aplicación) cambiará con nuevos datos, nuevos usos y nuevas integraciones, lo que a su vez cambia sus perfiles de riesgo y requiere una evaluación continua.
- Muchos productos de IA no son producidos por una sola organización, sino que implican una compleja red de adquisiciones, subcontratación, reutilización de datos de diversas fuentes, etc.
Esto cambia la definición del ámbito de aplicación de la norma y la consideración de quién debe ser responsable de las distintas partes del ciclo de vida de la IA. En particular, es probable que los pequeños proveedores "posteriores" ahorren tiempo, recursos y obligaciones de mantenimiento al depender en gran medida de los servicios de IA prestados por las grandes empresas tecnológicas como Google, Microsoft y Amazon. Esto sigue el mismo camino que el seguido en el ámbito de la computación en la nube, pero crea problemas sustanciales para la regulación de la IA a lo largo de su ciclo de vida.
- Los sistemas de IA pueden ser de propósito general, lo que significa que un mismo sistema puede aplicarse a diferentes contextos y provocar diferentes impactos para diferentes individuos y grupos.
Por ello se considera que la propuesta, al no regular adecuadamente a los numerosos actores que intervienen de diversas maneras en el ciclo de vida de la IA, tendrá dificultades para regular adecuadamente los sistemas de IA de propósito general.
Por ejemplo, un desarrollador de un sistema de reconocimiento facial de reconocimiento facial podría vender su producto para autenticar la entrada a las prisiones o para para vigilar a los clientes con fines publicitarios. La evaluación holística del riesgo de un sistema de este tipo en abstracto es imposible. Una vez más, la IA de propósito general es suministrada predominantemente por los gigantes tecnológicos con una cuota de mercado dominante. dominantes en el mercado.
Y si bien el informe acoge favorablemente la posición del Consejo, que en su propuesta de artículo 52 bis, aclara que cualquier persona que "ponga en que "ponga en servicio o utilice" un sistema de IA de uso general para un fin considerado de alto riesgo, tiene la obligación de certificar el cumplimiento de los requisitos esenciales del capítulo III de la propuesta, añade que, al hacerlo así, la propuesta parece no haber hecho nada para resolver el problema de que el usuario/implementador carece casi con toda seguridad de acceso obligatorio a los datos del conjunto de entrenamiento o de prueba, o de la capacidad de obligar a realizar cambios en el servicio anterior (a no ser que se incorporen como derechos en un contrato, algo muy poco probable, especialmente cuando hay cadenas de proveedores). Al mismo tiempo, la propuesta del Consejo elimina la responsabilidad del proveedor anterior de la IA de uso general (artículo 52 bis). Esto exculpa a los grandes proveedores de tecnología como Amazon, Google y Microsoft cuya participación en la certificación de la IA como segura es, como ya se ha dicho, vital, ya que tienen el control efectivo de la infraestructura técnica, los datos de entrenamiento y los modelos, así como los recursos y el poder para modificar y probarlos
- Un sistema de IA no es necesariamente una unidad en sí misma, sino que puede ser una función de un sistema o plataforma mayor. Así, Facebook es una plataforma de medios sociales social, pero en sus servicios funciona una gran variedad de sistemas de IA en cualquier en un momento dado, incluyendo algoritmos de moderación de contenidos, motores de recomendación, algoritmos de publicidad, funciones de búsqueda y otros, algunos de los cuales pueden pertenecer a Facebook, mientras que otros pueden estar afiliados a y gestionados por un tercero.
Traducir este complejo entramado de actores, datos, modelos y servicios en un régimen jurídico que atribuya deberes y derechos a determinados actores identificables es extremadamente difícil. En la propuesta de Ley de IA, la responsabilidad principal recae, por analogía con los fabricantes de bienes físicos, en un "proveedor" inicial. Aquellos que ponen en funcionamiento sistemas de IA proporcionados por otros, se denominan confusamente "usuarios" (por lo que se sugiere que se renombren como "implantadores") y tienen un papel muy limitado y regulado en la Ley de IA, que entra en que entra en juego principalmente cuando se realiza una "modificación sustancial" en el sistema anterior.
Sin embargo, se añade, muchas de las obligaciones que establece la propuesta, como la de garantizar la correcta aplicación de la "supervisión humana" (en los sistemas de alto riesgo), sólo pueden ser puestas en práctica de forma efectiva por los usuarios (implantadores) que, a menudo, compran un sistema de fábrica y no consideran que realicen la "modificación sustancial" necesaria para ser considerados legalmente como proveedores (artículo 3, apartado 23). Por ello se considera que la propuesta de Ley no asume la labor, ciertamente difícil, de determinar cuál debe ser la distribución de la responsabilidad única y conjunta en el contexto del ciclo de vida de la IA, para proteger los derechos fundamentales de los usuarios finales de la forma más práctica y completa. Algo que se considera puede compararse desfavorablemente con la evolución reciente de la jurisprudencia recaída en interpretación del RGPD, en la que los tribunales intentan distribuir la responsabilidad de la protección de datos entre varios responsables del tratamiento en los momentos más relevantes.
2. Los usuarios, en el sentido convencional de "usuarios finales", no tienen derechos y casi ningún papel en el esquema de la Ley de IA.
El informe considera que, en lo que a este aspecto se refiere, el contraste con el régimen europeo de protección de datos, que también pretende proteger los derechos fundamentales, es palpable. Al derivar el diseño de la Ley de IA principalmente de la seguridad de los productos y no de otros instrumentos, el papel de los usuarios finales de los sistemas de IA como sujetos de derechos, y no sólo como objetos impactados, se ha oscurecido y se ha descuidado su dignidad humana. Un hecho que se considera incompatible con un instrumento cuya función es aparentemente salvaguardar los derechos fundamentales.
Así, la propuesta no consulta a los usuarios desde el principio cuando los proveedores de IA de "alto riesgo" tienen que certificar que cumplen varios requisitos en materia de derechos fundamentales, a pesar de que los usuarios sufrirán posibles impactos; no da a los usuarios la oportunidad de plantear cuestiones cuando organismos técnicos no elegidos y dominados por la industria convierten reglas elaboradas democráticamente en las normas que realmente dicen a las empresas que fabrican IA cómo construirla; y, lo que es más importante, no permite a los usuarios cuestionar o quejarse de los sistemas de IA más adelante, cuando van mal y vulneran sus derechos. Sin embargo, se añade, el RGPD ya ha demostrado, en áreas como la publicidad dirigida y la falta de protección de las transferencias de datos fuera de la UE, que los usuarios, como activistas y denunciantes, son tan cruciales para la aplicación posterior al lanzamiento como los reguladores (y la Ley de IA tiene estructuras de aplicación mucho más débiles que el RGPD).
Por todo ello, los usuarios deben tener la oportunidad de que se tengan en cuenta sus opiniones antes de que de que el producto se certifique como válido para entrar en el mercado, así como derechos de impugnar la legalidad de un sistema después de su comercialización.
3. El supuesto carácter "basado en el riesgo" de la Ley es ilusorio y arbitrario.
El informe considera, en este sentido, que también debe considerarse el posible impacto que los sistemas de IA pueden tener sobre los grupos y sobre la sociedad en su conjunto, al igual que se deben considerar los riesgos para los individuos y sus derechos. Del mismo modo, los riesgos deben tenerse en cuenta a lo largo de todo el ciclo de vida de la IA, y no sólo en el momento de su entrada en el mercado.
En este sentido, el informe aprecia que la propuesta de Ley de Inteligencia Artificial no establece criterios para determinar cuándo la IA plantea riesgos inaceptables para la sociedad y las personas, sino que se limita a designar una lista de categorías de sistemas de IA que se considera que plantean un "riesgo inaceptable" y que, por lo tanto, están prohibidos en la UE; y que sólo deberían permitirse en el mercado si se establecen ciertas salvaguardias (requisitos esenciales), lo que se conoce como IA de "alto riesgo". Otros pocos sistemas se designan aún más arbitrariamente como de riesgo limitado, aunque las obligaciones asociadas a ellos (básicamente, la transparencia en el etiquetado como fabricados por máquinas), son mínimas y, en cierta medida, duplican los requisitos existentes en el RGPD).
Estas listas no están justificadas por criterios revisables externamente, por lo que sólo pueden considerarse compromisos políticos en un momento dado, por lo que resulta difícil o imposible cuestionar la validez jurídica de los sistemas de IA en principio, sino en los detalles. El proyecto de texto añadido por el Consejo a del 30 de noviembre de 2021 ilustra bien este punto: se han añadido las infraestructuras críticas digitales, pero con poca precisión en cuanto a lo que esto último significa, y con poca o ninguna justificación de por qué se han seleccionado estos y no, por ejemplo, los sistemas de "reconocimiento de la identidad emocional", que muchos consideran perniciosos y poco científicos.
En términos prácticos, si no se sabe con certeza por qué ciertos sistemas están en las listas rojas o de "alto riesgo” será difícil o imposible argumentar que los nuevos sistemas deben ser en el futuro de acuerdo con los criterios del artículo. El informe considera que esto es inaceptablemente arbitrario, niega el control judicial y carece de garantía de futuro.
Por lo tanto, se sugiere que se desarrollen criterios iniciales para evaluar lo que es de alto riesgo, posiblemente reflejando los criterios para añadir nuevos sistemas al Anexo III dentro de las categorías existentes en el artículo 7.
Además, la Comisión ha argumentado que no es que se pida a los proveedores que evalúen por sí mismos si su sistema es de "alto riesgo", sino que se limiten a comprobar si entran en una de las categorías de la lista. Esto, se argumenta, crea certidumbre.
Obviamente, un proceso de evaluación de riesgos basado en criterios correría el riesgo de riesgo de ser engañado si se basa en la autoevaluación o, más caritativamente, de que los de que los proveedores sean demasiado optimistas o poco críticos. La adición de algún tipo de de auditoría por parte de terceros al proceso de evaluación de riesgos ayudaría a excluir este riesgo, pero supondría un coste adicional y llevaría tiempo. En el punto 4 En el punto 4 se aborda este tema y se rechaza en cierta medida.
4. La propuesta carece de un sistema exhaustivo para una evaluación basada en el riesgo del impacto y riesgos provocados por un sistema de IA
Se considera que, en este sentido, la propuesta de Ley de IA no es lo suficientemente ambiciosa a la hora de evaluar y descartar los riesgos causados por la IA. La Ley habla continuamente de los riesgos para los derechos fundamentales como su principal razón de ser (80 menciones en la propuesta inicial) y, sin embargo, no contiene ninguna evaluación exhaustiva ex ante del impacto basado en los derechos fundamentales para todos los sistemas de IA. Desgranando esta afirmación, el informe plantea dos cuestiones básicas:
1. ¿Qué criterios debemos utilizar para certificar la seguridad de los sistemas de IA en la sociedad? ¿Se trata de certificar la conformidad con los derechos fundamentales protegidos por la Carta de la UE y el Convenio Europeo de Derechos Humanos?
2. Si nos ponemos de acuerdo sobre estos criterios, ¿deberían certificarse antes de que el sistema salga al mercado (evaluación "ex ante") o después de que hayan salido al mercado y hayan tenido impacto (evaluación o auditoría "postfactum"); o alguna combinación de ambas?
En respuesta a estas cuestiones, el informe considera, en primer lugar, que la certificación de la seguridad de los sistemas de IA debe ir más allá de los derechos fundamentales.
Lo más parecido a una evaluación ex ante del cumplimiento de los derechos fundamentales que contempla la Ley es la necesidad de certificación de los "requisitos esenciales" del capítulo III. Sin embargo, esto sólo se aplica a la IA de "alto riesgo", que en la actualidad no incluye muchos o la mayoría de los sistemas de IA que los consumidores encuentran a diario, como los motores de búsqueda, la moderación de contenidos y la elaboración de perfiles para intervenciones específicas. En este sentido, la Ley de IA es, de hecho, un paso atrás con respecto al RGPD, en el que todos los sistemas de aprendizaje automático que procesan datos personales ya están obligados a realizar una evaluación de impacto sobre la protección de datos (EIPD).
Otro problema del Capítulo III es la falta de preocupación sistemática por el impacto en los grupos, especialmente en los grupos constituidos por algoritmos. Y es que mientras que las acciones colectivas pueden ayudar a los grupos a obtener soluciones basadas en los derechos individuales, los sistemas algorítmicos construyen nuevos grupos cuyos elementos comunes no encajan fácilmente en las normas existentes sobre discriminación y características protegidas.
- Participación
Un punto clave en el que el Instituto Ada Lovelace ya ha realizado considerables investigaciones previas se refiere a la participación de los usuarios en la evaluación de impacto, cuya falta ya se ha destacado anteriormente como una debilidad fatal de la Ley en el punto 2 anterior. La investigación muestra que los equipos de desarrollo de la IA tienden a no ser diversos y, en particular, rara vez incluyen una representación de los grupos marginados más afectados por sistemas sesgados o injustos.
Como alternativa, quizá el Consejo de Inteligencia Artificial de la UE debería mantener un panel permanente de usuarios representativos -una especie de "jurado de ciudadanos"- a los que se les podría pedir que hicieran comentarios en la fase de evaluación de impacto.
- Autocertificación frente a certificación de terceros; escrutinio ex ante frente a escrutinio posterior a la comercialización
El informe considera que el enfoque del Capítulo III de la propuesta, tiene un gran problema en torno a la aplicación. Como ha señalado la sociedad civil, los requisitos del capítulo III pueden cumplirse, para la mayoría de los sistemas de IA de "alto riesgo", mediante la autocertificación. Pero el riesgo que ello genera es que esta posibilidad se aproveche negativamente para evitar un verdadero escrutinio o reflexión, y se puede argumentar que, dado el historial la autorregulación en línea en relación con la privacidad, debería exigirse una certificación previa por parte de un tercero externo.
La cuestión de cuánta carga de certificación previa debe imponerse a la producción y distribución de diversos productos y servicios de alto riesgo, como los medicamentos, las vacunas, los productos tóxicos para el medio ambiente, como los productos químicos, los automóviles y, ahora, la IA, es conflictiva a nivel mundial, con múltiples modelos diferentes en funcionamiento, desde el amplio examen previo de los medicamentos por parte de la Agencia de Alimentos y Medicamentos de EEUU (FDA) hasta la Evaluación de Impacto sobre la Protección de Datos (EIPD), en gran medida autocertificada y privada, establecida en el RGPD para determinados tipos de tratamiento de datos personales de alto riesgo.
Por ello, se sugiere que el objetivo de la ley no sea regular todos los programas informáticos en un mundo digital, algo que se abordaría mejor mediante una legislación sectorial proporcionada (una propuesta que se incluye en pequeña medida en el proyecto de posición del Consejo).
Por otra parte, se añade, como han subrayado Veale y Borgesius, el amplísimo ámbito de aplicación actual de la Ley de la IA puede suponer una amenaza para una regulación más eficaz de los sectores de la IA que en gran medida no se ven afectados por ninguna salvaguarda obligatoria dentro del régimen de la Ley, dado el potencial efecto de anticipación de una medida de armonización máxima.
Por último, se sugiere que se considere realmente la mejor manera de incentivar el pleno compromiso con una evaluación del impacto algorítmico (EIA).
Algunas soluciones propuestas
1. La Ley de Inteligencia Artificial debe ser reestructurada para proporcionar una adecuada supervisión de los sistemas de IA de propósito general por parte de los proveedores y utilizadores
Por ello, el informe propone la sustitución del actual términos "usuario" (user), por el de "implantador" (deployer). Los proveedores y los implantadores de IA de propósito general deben compartir responsabilidad de evaluar su conformidad con los derechos fundamentales y con las normas de seguridad de los requisitos esenciales del capítulo III cuando sea aplicable, y sin necesidad de demostrar que el implantador ha realizado una modificación sustancial".
En esta línea se propone que la responsabilidad no puede ni debe asignarse únicamente al proveedor, ya que la facultad de controlar y modificar dicha infraestructura, junto con los recursos técnicos, corresponde en gran medida al proveedor anterior. Y esa responsabilidad debe ser conjunta con el proveedor. Al igual que con la reciente jurisprudencia del RGPD sobre los corresponsables del tratamiento de datos, debe hacerse una valoración mucho más matizada de qué obligaciones deben recaer, dónde y en qué momento, y quién está facultado, ya sea legalmente o por el control práctico, el poder o el acceso a los datos y modelos, para realizar cambios. Para empezar, debe proporcionarse un acceso obligatorio a los datos del conjunto de entrenamiento o de las pruebas cuando un usuario posterior lleve un sistema de IA de uso general a una categoría de alto riesgo.
2. Debe permitirse la participación de los afectados por los sistemas de IA en su diseño y en de sus sistemas salvaguarda, y que se tengan en cuenta sus opiniones, en todas las fases de la supervisión de los sistemas de IA.
Para ello se propone que:
- Las personas más afectadas por los impactos de los sistemas de IA de alto riesgo -tanto individuos como grupos- deben tener participación en el momento en que se certifique que dichos sistemas cumplen con los requisitos del capítulo III. Si se introduce adicionalmente una evaluación de impacto ex ante, especialmente cuando esta se refiere a los derechos fundamentales, los afectados deben ser consultados durante ese proceso y sus opiniones deben ser tenidas en cuenta. Hemos sugerido que se exploren métodos innovadores como los paneles representativos permanentes o los "jurados ciudadanos", así como la representación convencional a través de la sociedad civil.
- En la actividad de elaboración de normas se deben establecer derechos de participación similares, ya sea directamente o a través de representantes de la sociedad civil. Una vez más, podrían utilizarse mecanismos de deliberación pública, como los paneles permanentes o los jurados de ciudadanos, para realizar aportaciones de forma eficiente y democrática. Para ello se plantea que se mejore la dotación de recursos técnicos y para la sociedad civil, a fin de que pueda desempeñar adecuadamente su función de defensa.
- Los afectados deberían tener derecho a presentar quejas sobre todos los sistemas de IA cuando se hayan puesto en funcionamiento o en el mercado, ante un regulador nacional y/o un Defensor del Pueblo de la UE para la IA.
Este derecho no debe aplicarse sólo a los sistemas de "alto riesgo". El recurso individual siempre debe estar disponible para los daños algorítmicos, ya sea a través de la legislación nacional, las normas de responsabilidad por productos o de otro modo. Debe considerarse también la posibilidad del ejercicio de acciones de representación similares a las del artículo 80 del RGPD (LA LEY 6637/2016). En la actualidad, la propuesta de Ley de Inteligencia Artificial sólo prevé que los informes sobre los fallos de los sistemas una vez que están en el mercado son retroalimentados por quienes los despliegan ("usuarios"): esto es insuficiente e inaplicable, con pocos incentivos para que los desplegadores cumplan.
Es fundamental que las quejas de los afectados por los sistemas, además de las de sus implantadores, se tengan en cuenta en el diseño del sistema en cuestión. Esto es especialmente importante en el caso de los sistemas de IA de uso general.
- La experiencia del RGPD demuestra que los reguladores estatales como las autoridades de protección de datos o de supervisión del mercado, pueden convertirse en cuellos de botella, por carecer de recursos y ser inaccesibles para quienes se ven afectados por los sistemas de IA. de la industria. Por ello se propone reconsiderar los modelos de reclamación y reparación, en particular, del derecho administrativo y del consumidor en forma de un Defensor del Pueblo independiente de la UE en materia de IA, cuya función podría incluir un elemento transnacional.
3. Deben establecerse criterios justificables y revisables para clasificar un sistema de IA como de "alto riesgo", en lugar de recurrir a una lista arbitraria.
Se sugiere que los criterios para que la Comisión añada nuevos sistemas de IA en las categorías de "alto riesgo" existentes, establecidos en el artículo 7, se adopten con las modificaciones oportunas para que se conviertan en los criterios de categorización de los sistemas como de "alto riesgo". Lo ideal sería que esta autocategorización debería ser certificada por un tercero.
Una sugerencia también aplicable a los sistemas de IA de riesgo prohibido y de riesgo limitado.
4. Los proveedores e implantadores de sistemas de IA deben participar en la evaluación de los riesgos, los impactos y los daños potenciales que pueden provocar los sistemas de IA, tanto para los individuos como para la sociedad
- Un mecanismo emergente para ello es una evaluación previa del impacto sobre los derechos fundamentales. de los derechos fundamentales. El valor de esto en el esquema de la Ley de IA, y el de la Ley de AI, y el potencial de una regulación excesivamente onerosa y duplicada, debe de una regulación excesivamente onerosa y duplicada, en el contexto de la exigencia ya existente de que la IA de alto riesgo certifique su conformidad con los derechos fundamentales. de alto riesgo para certificar la conformidad con el capítulo III, así como la probable la posibilidad de que se exija una PIA (evaluación de impacto sobre protección de datos).
Y como no consideran que la autocertificación de los requisitos esenciales del Capítulo III pueda por sí sola producir los sistemas de IA seguros y de alta calidad que la sociedad necesita, se propone como necesario un control externo por parte de terceros acreditados (a no ser que se ofrezca algún otro mecanismo de salvaguardia igual de eficaz de salvaguardia igual de eficaz mediante obligaciones de auditoría posteriores a la comercialización).
- Si se introducen evaluaciones de impacto ex ante además del capítulo III para la IA de alto riesgo, éstas deberían: a) considerar los valores del grupo y de la sociedad, así como los derechos fundamentales e impactos ambientales; b) demostrar la eficacia y determinar si un sistema de IA es realmente necesario y si está en consonancia con la dignidad humana, teniendo en cuenta las opiniones de los individuos, grupos y comunidades real y potencialmente afectadas; hacerse públicos para fomentar la precisión, permitir el escrutinio y proporcionar plantillas para otros proveedores, especialmente las PYMES.