I. Introducción
La Ley de IA (1) es el primer intento en el mundo para regular de manera integral la IA. Como es bien sabido, se afirma que la regulación sigue un enfoque basado en el riesgo, es decir, que adapta la elección y el diseño de los instrumentos regulatorios en función del nivel de riesgo, según la regla: «cuanto mayor sea el riesgo, más estrictas serán las reglas». Para ello, la Ley de IA distingue cuatro categorías de riesgo (inaceptable, alto, limitado y mínimo) y define los requisitos regulatorios en función de los riesgos que plantean los sistemas de IA. (2)
El considerando (26) de la Ley de IA señala que:
«Con el fin de establecer un conjuntoproporcionadoy eficaz de normas vinculantes para los sistemas de IA, es preciso aplicar un enfoquebasado en los riesgosclaramente definido, que adapte el tipo y contenido de las normas a la intensidad y el alcance de los riesgos que puedan generar los sistemas de IA de que se trate. Por consiguiente, es necesario prohibir determinadas prácticas de IA que no son aceptables, definir los requisitos que deben cumplir los sistemas de IA de alto riesgo y las obligaciones aplicables a los operadores pertinentes, así como imponer obligaciones de transparencia a determinados sistemas de IA. (3)
Por lo tanto, el objetivo subyacente del enfoque basado en el riesgo de la Ley de IA es lograr un equilibrio óptimo (o proporcionado) entre la innovación y los beneficios de los sistemas de IA, por un lado, y la protección de valores fundamentales como la seguridad, la salud y los derechos fundamentales, por el otro. (4) En este contexto, el enfoque basado en el riesgo de la Ley de IA puede considerarse una técnica legislativa para promover un sistema proporcionado de deberes y obligaciones.
Una regulación basada en el riesgo es, sin duda, el enfoque adecuado para regular la IA. No obstante, este análisis muestra que disposiciones importantes de la Ley de IA no siguen un enfoque verdaderamente basado en el riesgo. Así, mi exposición se divide en las siguientes partes:
La primera parte describe los elementos clave de la regulación basada en el riesgo, analizando la noción de «riesgo», la distinción entre la evaluación de riesgos de IA, la evaluación de impacto y la gestión de riesgos, y los elementos clave de la regulación basada en el riesgo (2.). Después, en la sección 3, se critica la Ley de IA argumentando que algunas de sus principales disposiciones no se basan realmente en el riesgo, lo que lleva a una regulación excesiva en algunas áreas y una regulación insuficiente en otras. En particular, se analizan varios problemas de la Ley de IA, como la falta de un análisis de riesgo- beneficio, la dependencia limitada de la evidencia empírica y la falta de clasificación de riesgos caso por caso (3.). Finalmente, la sección 4 analiza qué pueden aprender los legisladores afuera de la UE de la Ley de IA para regular la IA (4.).
II. Elementos clave de la regulación basada en riesgos
1. La noción de riesgo
La aparición de enfoques basados en el riesgo para regular los sistemas de IA en la UE y en otras partes del mundo (5) plantea, en primer lugar, la cuestión de qué quieren decir los líderes políticos (y la UE en particular) cuando hablan de riesgo.
En términos generales, el «riesgo» es la probabilidad de que una fuente de peligro se convierta en un daño real. (6) Sobre la base de esta interpretación, el artículo 3, numeral 2 de la Ley de IA define el riesgo como «la combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho daño». Como tal, los riesgos suelen distinguirse de las incertidumbres. (7) Mientras que los riesgos son «cosas conocidas» con probabilidades estadísticas y efectos cuantificables, las incertidumbres son «cosas desconocidas» que no se pueden cuantificar porque no sabemos cuáles podrían ser los efectos de una tecnología en particular. Además, existen «cosas desconocidas» de las que ni siquiera somos conscientes sobre si las cosas o actividades pueden tener efectos adversos. (8)
Una de las cuestiones más urgentes para cualquier enfoque basado en el riesgo es cómo llegar a un consenso sobre qué riesgos hay que tener en cuenta y qué gravedad se considera que tienen (ya sea en términos de probabilidad o impacto, o ambos). (9) Durante las negociaciones sobre la Ley de IA hubo un intenso debate sobre los criterios para determinar qué prácticas de IA deberían prohibirse en la UE, así como qué sistemas de IA deberían clasificarse como de «alto riesgo» y, por lo tanto, permitirse en el mercado si se establecen ciertas salvaguardas.
Esto ilustra lo difícil que puede ser esta tarea; especialmente si esta evaluación no se basa suficientemente en evidencia empírica y una metodología sólida. (10)
2. Los elementos de la regulación basada en riesgos: evaluación y categorización de riesgos, evaluación de impacto y gestión de riesgos
Normalmente, los enfoques basados en riesgos para la regulación de la IA comprenden varios elementos o fases, a saber: evaluación y categorización de riesgos, evaluación de impacto y gestión de riesgos. (11)
A grandes rasgos, podemos distinguir en primer lugar entre (i) la evaluación de los riesgos derivados del uso de la IA y (ii) la clasificación de los sistemas o aplicaciones de IA en función de los riesgos. (12) El primer tipo evalúa los riesgos que plantea el uso de la IA, que pueden incluir riesgos para la seguridad y la salud, sesgo y discriminación, falta de equidad, falta de transparencia, invasión de la privacidad y los derechos de protección de datos u otros intereses. En el segundo tipo, el evaluador analiza los riesgos asociados con el uso de la IA para clasificar el sistema en una categoría de riesgo. Este proceso de clasificación ayuda a las partes interesadas a priorizar sus esfuerzos y asignar recursos de manera más eficaz, lo que contribuye a la determinación de las obligaciones en función del grado de riesgo que plantean los sistemas de IA.
Por otra parte, una evaluación de impacto va más allá de una evaluación de riesgos. Mientras que una evaluación de riesgos trata de la identificación, el análisis y la valoración de los riesgos relacionados con la IA, una evaluación de impacto busca evaluar el impacto más amplio de los sistemas de IA en varias partes interesadas, incluidos los usuarios, la sociedad y el medio ambiente, yendo más allá del mero descubrimiento y análisis de riesgos. Esto generalmente implica una revisión de la gobernanza, el desempeño, la comunicación, las amenazas a la seguridad y otros intereses.
Sobre la base de dicha evaluación de impacto, los enfoques basados en riesgos para la regulación de la IA también contienen generalmente requisitos para la gestión de riesgos. Esto incluye la determinación, evaluación y clasificación de los riesgos relacionados con la IA, así como la implementación de políticas para reducir, rastrear y gestionar la posibilidad de eventos imprevistos.
En la Ley de IA están presentes todos los elementos de regulación basada en riesgos mencionados anteriormente. (13) La Ley de IA evalúa los riesgos que plantea el uso de IA y los clasifica (en su mayoría de arriba hacia abajo (14) ) como inaceptables, de alto riesgo, de riesgo limitado y de riesgo mínimo (o nulo). Además, el artículo 9 de la Ley de IA exige a los proveedores de sistemas de IA de alto riesgo que establezcan un sistema de gestión de riesgos que incluya una evaluación de impacto para identificar y analizar los riesgos previsibles que el sistema de IA de alto riesgo pueda plantear para la salud, la seguridad o los derechos fundamentales, a fin de adoptar medidas de gestión de riesgos adecuadas y específicas para abordar los riesgos identificados.
3. Características esenciales de la regulación basada en riesgos
Los enfoques basados en el riesgo para regular la IA pueden adoptar distintas formas, según el objetivo último del regulador. Como señala Coglianese, una regulación de este tipo puede tener como objetivo: (15)
- — Eliminar todo riesgo (enfoque de riesgo cero)
- — Reducir el riesgo a un nivel aceptable (el enfoque de riesgo aceptable)
- — Reducir el riesgo hasta que los costos se vuelvan insoportables (el enfoque de viabilidad) o
- — Lograr un equilibrio entre la reducción del riesgo y los costos de la regulación (el enfoque proporcionado o de eficiencia).
Como se mencionó anteriormente, (16) la Ley de IA se basa en la idea de una regulación proporcionada. Su objetivo es lograr un equilibrio óptimo (o proporcionado) entre la reducción de los riesgos que plantea el uso de sistemas de IA, por un lado, y la innovación y los beneficios de los sistemas de IA (o los costos de la regulación), por el otro.
En consecuencia, se plantea la cuestión de cuáles son los elementos clave que debe tener en cuenta el legislador al adoptar ese enfoque. Se podría decir que estos elementos incluyen:
- • Análisis de riesgo- beneficio: Al evaluar los riesgos de la IA, es necesario mirar, más allá de los posibles daños que los sistemas de IA pueden causar, sus innovadores beneficios económicos y sociales. Después de todo, el «riesgo» es algo que asumimos en nombre del beneficio; normalmente no elegimos que nos hagan daño. En cambio, nosotros, como sociedad, elegimos asumir ciertos riesgos en nombre de las ganancias sociales actuales y potenciales. (17) Por lo tanto, para evaluar qué riesgos son aceptables y cuáles presentan la posibilidad de un daño inaceptable, una aplicación coherente del enfoque basado en el riesgo requiere una consideración exhaustiva, no solo de las consecuencias negativas, sino también de las contribuciones positivas que la IA aporta a los individuos y a la sociedad. Tal análisis de riesgo-beneficio debe incluir, en particular, los costos (de oportunidad) de la infrautilización.
- • Neutralidad tecnológica: un enfoque verdaderamente basado en el riesgo regula los riesgos de las aplicaciones, no la tecnología en sí. Este principio de «neutralidad tecnológica» ha sido reconocido por muchos reguladores de todo el mundo, (18) incluida la UE, (19) como un principio general para la regulación de las Tecnologías de la Información y las Comunicaciones (TIC). El objetivo principal de este principio es garantizar un tratamiento igualitario de las tecnologías con efectos equivalentes y preparar la ley para el futuro, es decir, redactar la legislación de una manera que sea lo suficientemente flexible para no impedir el desarrollo tecnológico futuro y evitar revisiones legislativas constantes. (20)
- • Evaluación y categorización de riesgos basada en evidencia: otra característica importante de la regulación basada en riesgos es que la evaluación y clasificación de los riesgos requiere evidencia empírica suficiente y una metodología clara. Como los riesgos relacionados con la IA se están utilizando para justificar la regulación gubernamental, debe haber una forma común de evaluar y clasificar estos riesgos. En consecuencia, los reguladores, los organismos de normalización y otras partes interesadas han estado trabajando durante muchos años en marcos de evaluación de riesgos y metodologías científicas. Podría decirse que la regulación basada en riesgos funciona mejor en problemas cuantificables. Sin embargo, muchos daños no son cuantificables en absoluto o representan una mezcla de problemas cuantificables con opciones de políticas ocultas. (21) En tales casos, surge la pregunta de si un enfoque basado en riesgos es apropiado o si se deben adoptar otras técnicas regulatorias (como un enfoque basado en derechos) en su lugar. (22)
- • Carga regulatoria proporcional: idealmente, las obligaciones y otras cargas regulatorias deberían ser proporcionales a los riesgos que plantean las aplicaciones de IA para garantizar que los requisitos regulatorios estén en consonancia con el daño y el impacto potenciales de los sistemas de IA. Por lo tanto, la regulación basada en riesgos busca crear un marco legal en el que las obligaciones legales se adapten a los riesgos específicos que plantea el uso de un sistema de IA en particular para un propósito determinado, a fin de evitar sobrecargar a los actores regulados.
- • Flexibilidad y adaptabilidad: La regulación basada en riesgos también debe ser lo suficientemente flexible para ajustarse retrospectivamente si resulta que la evaluación o categorización original de los riesgos era errónea. Como dice Black, «responder a los riesgos e intentar gestionarlos implica necesariamente anticipar el futuro», que por su propia naturaleza es desconocido. (23) Especialmente con nuevas tecnologías como la IA, es imposible evaluar de manera confiable los riesgos y los beneficios de los sistemas de IA implementados en áreas determinadas ex ante. Por esta razón, una regulación verdaderamente basada en riesgos debe exigir que el legislador, el regulador y quienes gestionan y mitigan los riesgos supervisen el desempeño de los sistemas de IA a lo largo de su vida útil, reevaluando periódicamente los riesgos e implementando las correcciones necesarias.
Es necesario hacer algunas salvedades. En primer lugar, es importante señalar que los criterios enumerados anteriormente no son en modo alguno exhaustivos. Además, es esencial recordar que los enfoques de regulación basados en el riesgo tienen sus dificultades (por ejemplo, cómo especificar, agregar y cuantificar los riesgos, cómo conciliar valores conflictivos y cómo establecer niveles de riesgo aceptables), así como limitaciones (por ejemplo, una dependencia excesiva de la cuantificación, cómo abordar los riesgos no cuantificables y, en particular, los desconocidos, y cómo tener en cuenta el riesgo de daño a las personas). (24) En consecuencia, la regulación basada en el riesgo suele tener que complementarse con un conjunto adicional de normas.
Sin embargo, estas preocupaciones legítimas no deberían utilizarse como argumento general contra este tipo de regulación. De hecho, la regulación basada en el riesgo tiene una serie de ventajas cuando se aplica correctamente. (25) En primer lugar, racionaliza la intervención gubernamental al establecer prioridades y objetivos claros. En segundo lugar, facilita el uso eficaz de recursos escasos y permite a los reguladores —si se aplica con un verdadero enfoque basado en el riesgo— centrar los esfuerzos de cumplimiento en los productos, servicios o sistemas que plantean los mayores riesgos. Por último, pero no por ello menos importante, la regulación basada en el riesgo puede ser una herramienta eficaz para lograr el equilibrio adecuado entre los beneficios y los riesgos de una tecnología en particular.
III. Ley de IA: ¿una regulación verdaderamente basada en el riesgo?
Si bien la regulación basada en riesgos es el enfoque correcto para regular la IA, hay elementos importantes de la Ley de IA que no siguen un enfoque verdaderamente basado en riesgos.
1. ¿Proteger los derechos fundamentales con un enfoque basado en el riesgo?
Un problema fundamental es que la Ley de IA, con su enfoque basado en el riesgo, busca proteger no solo la salud y la seguridad, sino también los derechos fundamentales de los ciudadanos. Esto es preocupante por varias razones.
En primer lugar, la Unión Europea no tiene competencia general para armonizar las leyes de los Estados miembros con el fin de proteger los derechos humanos. En consecuencia, la Ley de IA «mete con calzador» (26) la protección de los derechos fundamentales en el ámbito de aplicación del artículo 114 del Tratado de Funcionamiento de la Unión Europea (TFUE) (LA LEY 6/1957), que otorga a la UE la competencia para eliminar las barreras al comercio en el mercado interno. Sin embargo, es muy probable que este enfoque fracase, porque no tiene como objetivo principal la protección de los derechos, sino la apertura y configuración de los mercados. (27)
Además, la decisión de la UE de proteger los derechos humanos en la Ley de IA principalmente a través de un enfoque basado en el riesgo, en lugar de un enfoque basado en los derechos, (28) en general no es adecuada. Lo que es más importante, ese enfoque descuida el carácter mínimo y no negociable de los derechos humanos. En cambio, la Ley de IA, con su enfoque basado en el riesgo y su evaluación del impacto en los derechos fundamentales, implica que las violaciones de los derechos fundamentales se pueden cuantificar y medir en grados. Sin embargo, este no es el caso. Como señalan Yeung y Bygrave, si bien es posible hablar de diferentes niveles de culpabilidad, escala y magnitud cuando se habla de derechos fundamentales, «estas variaciones no implican que las violaciones de los derechos fundamentales se puedan clasificar, sin problemas, en una escala móvil que va de triviales a graves». (29) En cambio, los derechos fundamentales siguen una lógica binaria en la que una actividad es legal o ilegal. (30)
Por último, el riesgo suele evaluarse a nivel colectivo o social y no a nivel individual. En lugar de prevenir el daño individual, en el enfoque de riesgo se evalúa el daño a nivel social o a escala de toda la sociedad. Una de las consecuencias de esta naturaleza agregada del riesgo es que las diferencias individuales suelen eliminarse, ya que el análisis de riesgos suele determinar los riesgos aceptables desde el punto de vista del ciudadano medio. (31) Otra consecuencia es que la regulación basada en el riesgo suele implicar disyuntivas a nivel de toda la sociedad (por ejemplo, entre justicia y eficiencia), con el resultado de que incluso los daños individuales inmensos pueden ser desestimados. (32)
Por todas estas razones, un enfoque basado en el riesgo es difícil de conciliar con la protección de los derechos fundamentales.
2. Falta de análisis de riesgo-beneficio
Otro problema de la Ley de IA es que carece de un análisis de riesgos y beneficios, un componente fundamental de un enfoque de regulación verdaderamente basado en el riesgo.
Como se ha señalado anteriormente, (33) un análisis de riesgo-beneficio implica evaluar los posibles riesgos y beneficios de una determinada acción o tecnología para determinar si los beneficios superan a los riesgos. Además de determinar si un sistema tiene el potencial de causar daño y la gravedad del daño probable, el análisis también debe considerar los beneficios y los resultados positivos (probables) de utilizar un sistema, como el avance de los descubrimientos científicos. (34) De lo contrario, no existe un marco adecuado para un régimen regulatorio proporcionado y equilibrado.
En marcado contraste con esto, la Ley de IA no considera los beneficios potenciales de los sistemas de IA junto con los riesgos que plantean. En cambio, se centra principalmente en prevenir los riesgos y las amenazas a la salud, la seguridad y los derechos fundamentales, sin considerar los posibles impactos positivos de los sistemas de IA.
Además de socavar la idea de una regulación verdaderamente basada en el riesgo, este enfoque ignora las contribuciones positivas de la tecnología y también puede dar lugar a la pérdida de oportunidades de progreso e innovación social. En otras palabras, al no considerar los aspectos positivos de la tecnología en el marco regulatorio, la Ley de IA no aprovecha el potencial de los sistemas de IA para mejorar el bien común.
3. Confianza limitada en la evidencia empírica
Otra razón por la que la Ley de IA no se basa verdaderamente en el riesgo es su limitada dependencia de la evidencia empírica para el diseño de las diferentes categorías de riesgo. Como han señalado algunos académicos, (35) la Ley de IA no establece criterios para determinar cuándo la IA plantea un riesgo inaceptable para la sociedad y las personas. En cambio, simplemente proporciona una lista fija de categorías de sistemas de IA que se consideran que plantean «riesgos inaceptables» y, por lo tanto, están prohibidos en la UE.
En el caso de los sistemas de IA de alto riesgo, el artículo 7, apartado 2, de la Ley de IA establece los criterios que debe tener en cuenta la Comisión Europea para modificar la lista de sistemas de IA de alto riesgo del anexo III. Sin embargo, ni los considerandos de la Ley de IA, ni ningún documento de la UE que la acompañe, explican y justifican cómo se aplicaron estos criterios para identificar las áreas enumeradas en el anexo III en primer lugar. Como concluyen GrozdanovskiyDe Cooman, a la hora de elegir qué riesgos abordar, «los reguladores en general no estaban interesados en la evidencia estadística sobre las características posiblemente dañinas de los distintos sistemas». (36)
Esto se aplica tanto a la propuesta original de la Comisión, que no logró reunir evidencia empírica para el diseño de la Ley de IA, como al proceso legislativo posterior.
4. Categorías de riesgo cerradas y predefinidas
Un problema estrechamente relacionado se refiere a la formulación de las propias categorías de riesgo.
A primera vista, muchas de las categorías predefinidas no tienen sentido. Por ejemplo, la Ley de IA no se aplica a las aplicaciones más peligrosas, como los robots asesinos (artículo 2(3) de la Ley de IA); los sistemas de IA desarrollados en la UE para brindar apoyo a dictadores o piratas informáticos fuera de la UE (artículo 2(1)(c) de la Ley de IA); (37) y los vehículos, drones/aviones y buques autónomos (artículo 2(2) en conjunción con el Anexo I, Sección B de la Ley de IA).
Por otra parte, muchas aplicaciones califican como sistemas de IA de alto riesgo según el Anexo III, simplemente porque se utilizan en un sector particular, aunque no representen un riesgo grave de daño, como las herramientas para detectar duplicados en conjuntos de datos o las herramientas para mejorar el lenguaje. (38) Si bien es cierto que en ambos casos los proveedores tienen la posibilidad, en virtud del artículo 6(3) sub 2(a)-(b) de la Ley de IA, de demostrar que sus sistemas no califican en el riesgo alto, esto no cambia el hecho de que estas herramientas pueden estar cubiertas por el Anexo III y solo excepcionalmente exentas, lo que coloca la carga de la prueba (y la documentación, artículo 6(4) de la Ley de IA) sobre el proveedor.
En un nivel más fundamental, los ejemplos analizados apuntan al verdadero problema. La Ley de IA establece una clasificación amplia y bastante abstracta de los sistemas de alto riesgo en el Anexo III. En lugar de proporcionar una clasificación de riesgo caso por caso, utiliza una lista predefinida (cerrada) de aplicaciones típicas de alto riesgo. El hecho de que un sistema de IA utilizado en un sector específico para fines específicos represente un alto riesgo para la salud, la seguridad o los derechos fundamentales no se evalúa en función del riesgo concreto, sino que está predefinido para casos típicos en el Anexo III. En consecuencia, el sistema de gestión de riesgos requerido por el artículo 9 de la Ley de IA solo es obligatorio en situaciones que ya están clasificadas por la Ley de IA como casos de alto riesgo. Como resultado, las obligaciones de gestión de riesgos de los proveedores en virtud de la Ley de IA consisten principalmente en la mitigación de riesgos en lugar de la evaluación de los mismos. (39)
La elección de una regulación de arriba hacia abajo plantea varias cuestiones. En primer lugar, este enfoque conduce a una regulación excesiva, ya que, por ejemplo, un sistema de IA entra en una de las ocho categorías enumeradas en el Anexo III, pero en realidad no plantea un riesgo significativo de daño. En segundo lugar, la lista de sistemas de IA de alto riesgo típicos (si bien con definiciones amplias y abiertas a la actualización) puede no ser fácil de mantener actualizada de manera oportuna para la Comisión Europea, dada la rapidez con la que evoluciona la tecnología de IA. (40) Además, la decisión de delegar (a la Comisión) la facultad de modificar el Anexo III añadiendo, modificando y eliminando sistemas de IA de alto riesgo (artículo 7 de la Ley de IA) plantea inquietudes en términos de asignación de competencias. (41)
Por último, el hecho de centrarse en una lista predefinida de sistemas de IA de alto riesgo también crea una marcada brecha entre esta categoría y otras categorías de menor riesgo que en gran medida no están reguladas (con la excepción de los requisitos de transparencia, artículo 50 de la Ley de IA). En particular, una distinción tan rígida no está justificada en los casos en que un sistema de IA se utiliza en un sector específico (por ejemplo, el sector de la salud) pero no califica como de alto riesgo (por ejemplo, porque el sistema no califica como un dispositivo sanitario de acuerdo con el artículo 6 (1), Anexo I, Sección A, numeral 11 de la Ley de IA y el Reglamento sobre productos sanitarios), (42) pero sin embargo plantea numerosos riesgos (por ejemplo, para los pacientes y los receptores de atención debido a sus efectos directos e indirectos sobre el cuerpo humano y la salud mental). (43)
5. ¿La regulación de los modelos de IA de uso general como contradicción con el enfoque basado en riesgos?
Además, las obligaciones específicas de los proveedores de modelos de IA de uso general (GPAI por su sigla en inglés) de riesgo sistémico de realizar evaluaciones de modelos, evaluar y mitigar potenciales riesgos sistémicos, monitorear y reportar incidentes graves, tomar medidas correctivas y garantizar un nivel apropiado de medidas de ciberseguridad (artículo 55 de la Ley de IA), no son consistentes con un enfoque genuinamente basado en el riesgo.
En primer lugar, por definición, un modelo de uso general no se limita a casos de uso o aplicaciones específicos. En cambio, un modelo de este tipo «presenta un grado considerable de generalidad y es capaz de realizar de manera competente una gran variedad de tareas distintas» de modo que «puede integrarse en diversos sistemas o aplicaciones posteriores» (artículo 3, numeral 63 de la Ley de IA). Dado que los modelos GPAI se pueden utilizar ampliamente en una variedad de industrias, es difícil (si no imposible) formular estándares precisos para clasificar los riesgos como sistémicos.
Por lo tanto, la Ley de IA no especifica qué riesgos son sistémicos; en cambio, el artículo 3, numeral 65 de la Ley de IA se refiere (en general) a los efectos negativos sobre la salud pública, la seguridad pública y los derechos fundamentales. Por lo tanto, los proveedores no tienen orientación sobre qué constituye un riesgo sistémico y cómo mitigarlo. Podría decirse que los proveedores pueden demostrar el cumplimiento a través de códigos de buenas prácticas que serán facilitados por la Oficina de IA hasta que se publique un estándar armonizado (artículo 55(2)(1) de la Ley de IA). Sin embargo, esto no cambia el hecho de que los riesgos «sistémicos» no pueden cuantificarse y especificarse de la misma manera que otros riesgos regulados por la Ley de IA, porque no se refieren a la probabilidad de ocurrencia de un determinado daño (cf. artículo 3, numeral 2 de la Ley IA), sino más bien al impacto en el «mercado de la unión» o en la «sociedad en su conjunto» (cf. artículo 3, numeral 65 de la Ley IA).
Esta regulación del «riesgo» no tiene nada en común con el tipo de regulación basada en el riesgo descrita anteriormente en la Sección 2.2.
6. Definición de IA demasiado amplia
Otro obstáculo importante desde la perspectiva de la regulación basada en riesgos es la definición excesivamente amplia de IA.
Inicialmente, la Comisión Europea justificó su propuesta con las características específicas de los sistemas de software (impredecibles) basados en el aprendizaje automatizado. (44) En consecuencia, muchos de los requisitos y obligaciones de la Ley de IA para los sistemas de IA de alto riesgo intentan mitigar principalmente los riesgos de los sistemas de IA basados en el aprendizaje automatizado, mientras que estas obligaciones de amplio alcance no son estrictamente necesarias para otros sistemas de software.
Desde un enfoque verdaderamente basado en el riesgo, así como desde el principio de neutralidad tecnológica, la Ley de IA debería haber impuesto cargas regulatorias diferentes a los diferentes diseños, porque los sistemas de IA predecibles no plantean los mismos riesgos que los sistemas impredecibles basados en el aprendizaje automatizado. (45)
Sin embargo, esto no sucede así. Según el artículo 3, numeral 1, de la Ley de IA, un sistema de IA es «un sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtuales». (46) Esta definición, una adaptación de la definición actualizada de IA de la OCDE (47) , amplía el significado de los sistemas de IA para cubrir (casi) todos los sistemas de software, (48) ya que (i) no existe un umbral para el nivel de autonomía requerido para que un sistema sea clasificado como tal, y (ii) el uso de la palabra «puede» implica que los sistemas no siempre tienen que exhibir adaptabilidad después de su implementación para ser considerados IA. Por lo tanto, la Ley de IA se aplica no solo al aprendizaje automatizado, sino también a los enfoques basados en la lógica y el conocimiento (considerando 12 de la Ley de IA).
Por ello, incluso los sistemas de software deterministas que se utilizan en sectores de alto riesgo están sujetos a los más altos requisitos. Por ello, como dice Schrepel: «Al no discriminar entre sistemas de IA en función de su funcionamiento, la Ley de IA sanciona indirectamente a aquellos que son más seguros y fáciles de controlar» (49) , lo que contradice el verdadero enfoque basado en el riesgo.
7. Doble carga regulatoria debido al enfoque horizontal
La Ley de IA no sustituye a la legislación vigente de la UE, sino que se aplica simultáneamente a ella. En consecuencia, las empresas y los particulares tendrán que respetar no solo la Ley de IA, sino también otras leyes relacionadas, como la legislación de la UE sobre protección de datos (artículo 2(7) de la Ley de IA), la legislación de la UE sobre derechos de autor y la legislación de la UE sobre seguridad de los productos y de los consumidores (artículo 2(9) de la Ley de IA). Como muchos principios y disposiciones de la Ley de IA se superponen con los de las legislaciones preexistentes, este enfoque horizontal conduce inevitablemente, en muchas áreas, a incertidumbre jurídica, diferentes interpretaciones, contradicciones y, en última instancia, a una doble carga regulatoria, contraria a la idea de una regulación basada en el riesgo.
8. Superposición de estructuras de cumplimiento
Dado que la Ley de IA se aplica además de otras leyes de la UE, también existe el riesgo de que un uso de un sistema de IA pueda estar sujeto a diferentes autoridades reguladoras dentro de un Estado miembro. El artículo 70 de la Ley de IA deja la designación de autoridades competentes a los Estados miembros. (50) Los Estados miembros pueden optar por confiar la aplicación de la Ley de IA a organismos existentes (como las autoridades nacionales de protección de datos) o a organismos administrativos completamente nuevos (como la Agencia para la Supervisión de la IA en España). Lo más probable es que esto dé lugar a estructuras de aplicación superpuestas, duplicación de procedimientos, incoherencias entre estos procedimientos y, en el peor de los casos, multas dobles por el mismo conjunto de hechos. Como resultado, es necesaria la coordinación entre los diferentes organismos reguladores para evitar la doble aplicación y/o la aplicación excesiva, lo que es contrario a los principios constitucionales de ne bis in idem (artículo 50 de la Carta de los Derechos Fundamentales de la UE (LA LEY 12415/2007)) y al principio de proporcionalidad. (51)
A falta de disposiciones específicas sobre mecanismos de cooperación en la Ley de IA y otras leyes de la UE, la superposición de estructuras de aplicación será un desafío importante, aumentando la incertidumbre jurídica y los costos de cumplimiento, una vez más, en contra de lo que indica el enfoque basado en el riesgo.
IV. Regulación de la IA fuera de la UE: lecciones de la Ley de IA
Los legisladores de todo el mundo están estudiando la Ley de IA para determinar si deberían seguir el ejemplo de la Unión Europea y adoptar leyes similares para regular los sistemas de IA. Este es el llamado «efecto Bruselas», un término acuñado por Anu Bradford para describir la huella global de Europa en términos de desencadenar la emulación en otros sistemas legales. En su formulación original, el efecto Bruselas se consideraba principalmente un fenómeno de facto en el que las empresas siguen voluntariamente las reglas de la UE para estandarizar un producto o servicio, lo que simplifica sus procesos comerciales. (52) Sin embargo, también puede tener un efecto de iure cuando los países fuera de la UE adoptan regulaciones similares a las de la UE. (53)
En los últimos años, los académicos se han preguntado si la Ley de IA desencadenará un nuevo efecto Bruselas. Si bien algunos afirman que podría ser así, (54) otros no están de acuerdo. (55) Los líderes políticos de la UE creen firmemente en el efecto Bruselas. Desde el principio, la Ley de IA se diseñó teniendo en mente sus efectos extraterritoriales. (56)
En las secciones siguientes se sostiene que es poco probable que la Ley de IA genere un efecto Bruselas de iure (4.1). Además, considerando las lecciones que la Ley de IA puede enseñar a los legisladores de todo el mundo, dicho efecto también sería indeseable (4.2).
1. Por qué la Ley de Inteligencia Artificial no provocará un efecto Bruselas
Un obstáculo importante para los legisladores extranjeros que simplemente copian y pegan la Ley de IA es la complejidad de la IA como área de política pública. A diferencia del RGPD, que ha servido como modelo para la regulación de la protección de datos en todo el mundo, la IA no presenta un solo problema de política pública (por ejemplo, cómo proteger el derecho fundamental a la privacidad), sino más bien un conjunto de problemas vagamente conectados, que van desde la protección de la salud y la seguridad hasta una variedad de derechos fundamentales. Incluso cuando los legisladores siguen la definición de IA, como se establece en la Ley de IA, que se basa en los principios de la OCDE recientemente actualizados, hay poco acuerdo a nivel mundial sobre quién y qué debe regularse: ¿la administración pública, los organismos encargados de hacer cumplir la ley, el poder judicial, los mecanismos alternativos de resolución de conflictos y/o el sector privado (en su totalidad)? ¿Sistemas de armas autónomas? ¿Vehículos autónomos y otras máquinas ciberfísicas? ¿Dispositivos médicos y sistemas expertos? ¿Puntuación social? ¿Empleo? ¿Bienestar social? ¿Sistemas de identificación/categorización biométrica? ¿Puntuación crediticia? ¿Seguros de vida y salud? ¿Sistemas de recomendación algorítmicos utilizados por plataformas? ¿Contratos basados en IA?
Además, hay poco consenso internacional sobre el cómo de una regulación de este tipo, es decir, cómo aplicar valores fundamentales como la dignidad humana y la autonomía, la equidad, la transparencia, etc., en un contexto determinado. Si bien los acuerdos globales de los últimos años (como la Recomendación sobre IA de la UNESCO y los Principios de IA de la OCDE) reconocen estos principios fundamentales, la ambigüedad de estos acuerdos de alto nivel da cabida a diferentes posiciones políticas y éticas, lo que permite a los Estados interpretarlos de manera diferente. (57) Como señalan Roberts y otros: «Tomemos la equidad de la IA, un principio apoyado por todos los estados miembros del G20, tal como se aplica a la tecnología de reconocimiento facial. La implementación de este principio en el contexto de la UE implica la prohibición propuesta de estas tecnologías, mientras que en China, las tecnologías de reconocimiento étnico son permisibles en nombre del orden y la estabilidad social». (58)
Incluso la adopción de una técnica regulatoria como el enfoque basado en el riesgo, que parece políticamente neutral, implica decisiones políticas fundamentales: ¿un país desea eliminar o prohibir (ciertos) riesgos, reducirlos a un nivel aceptable o lograr un equilibrio entre la reducción de riesgos y los costos de la regulación? Si es esto último, ¿cómo equilibra los riesgos y los beneficios en un sector y/o caso de uso específico?
Otro obstáculo importante para que los legisladores extranjeros sigan simplemente el enfoque de la UE es que la Ley de IA no establece un marco jurídico integral que pueda adoptarse en cualquier caso. En cambio, interactúa de una manera muy compleja con un sistema bastante sofisticado de leyes de la UE existentes. En particular, la Ley de IA complementa la legislación existente sobre seguridad de los productos. (59) y se basa, al mismo tiempo, en esta legislación a efectos de clasificación de riesgos. (60) Además, la Ley de IA complementa la legislación existente de la UE contra la discriminación con requisitos específicos destinados a minimizar el riesgo de discriminación algorítmica. La Ley de IA complementa además la legislación de protección de datos de la UE. Esto significa que cualquier procesamiento de datos personales por un sistema de IA debe cumplir con la legislación de protección de datos de la UE (por ejemplo, el RGPD) y la Ley de IA.
Por último, pero no por ello menos importante, la Ley prevé una serie de instrumentos a prueba de futuro que complementarán el Reglamento, como actos delegados e implementados, códigos de práctica y normas armonizadas.
Como resultado, no tendría sentido adoptar la Ley de IA de forma aislada, ya que una pieza legislativa de este tipo no sería ni comprensible ni significativa sin el rico cuerpo de legislación que existe en la UE.
Por todas estas razones, es poco probable que la Ley de IA se convierta en el nuevo estándar global.
2. Por qué la Ley de IA no debería generar un efecto Bruselas
También hay razones importantes por las que no es deseable que la Ley de IA tenga un efecto Bruselas de iure.
En primer lugar, cabe señalar que la situación económica, social, jurídica y política de los países es muy diferente y, en consecuencia, también es diferente en cómo se ven afectados los países y los ciudadanos por la IA. (61) En segundo lugar, la regulación específica de la IA todavía está en sus primeras etapas y no está claro cuáles serán las consecuencias sociales y económicas de la Ley de IA. Si resulta que la Ley de IA tiene efectos negativos significativos imprevistos, estos se duplicarán en todo el mundo, con un efecto Bruselas. (62) En tercer lugar, la existencia de diferentes regulaciones de IA en diferentes países puede, en las condiciones adecuadas, estimular la experimentación y la innovación en la regulación mediante ensayo y error. (63)
En cuarto lugar, desde una perspectiva de derechos fundamentales, los académicos señalan acertadamente que la Ley de IA es el resultado de restricciones constitucionales. (64) Dado que la UE no tiene competencia general para armonizar los derechos fundamentales en los Estados miembros, se basa en cambio en la competencia para promover el mercado interior (artículo 114 del TFUE (LA LEY 6/1957)). Como resultado, la Ley de IA no sigue un enfoque de derechos fundamentales, sino que utiliza la legislación sobre seguridad de los productos y la regulación de los riesgos. Sin embargo, este enfoque no es adecuado para proteger los derechos humanos. Dado que la mayoría de los países (o incluso regiones) no están sujetos a las mismas restricciones de competencia que la UE, pueden (y deben) utilizar otros enfoques para abordar las cuestiones de derechos fundamentales en relación con la IA.
Por último, los legisladores de todo el mundo deberían tener en cuenta que las disposiciones clave de la Ley de IA no siguen un enfoque verdaderamente basado en el riesgo, en particular en lo que respecta al análisis adecuado de los riesgos y beneficios, la dependencia limitada de la evidencia empírica, las categorías de riesgo predefinidas y cerradas, los riesgos sistémicos de los modelos GPAI, la definición excesivamente amplia de IA, las cargas regulatorias dobles y las estructuras de aplicación superpuestas. También y sobre todo por estas razones, los reguladores fuera de la UE no deberían seguir ciegamente el enfoque de la UE.