Ilier Navarro. La acción y la supervisión humana constituyen un principio fundamental dentro del Reglamento de Inteligencia Artificial (LA LEY 16665/2024) (RIA), con un marcado enfoque basado en el riesgo. La razón de este enfoque está en las Directrices éticas para una IA fiable que en 2019 elaboró el Grupo independiente de expertos de alto nivel sobre IA creado por la Comisión Europea y que desarrolla siete principios. El principio de supervisión humana pone el acento en el desarrollo y el uso de los sistemas de IA entendidos como una herramienta al servicio de las personas, que respeta la dignidad humana y la autonomía personal y subraya que su funcionamiento puede ser controlado y vigilado por seres humanos.
La supervisión humana es uno de los requisitos con los que deben cumplir los sistemas de IA de alto riesgo. El reglamento señala que es el proveedor del sistema quien debe definir las medidas adecuadas de supervisión humana antes de su introducción en el mercado o puesta en servicio. Si procede, estas medidas deben incluir una serie de limitaciones operativas incorporadas en el propio sistema, de manera que este no pueda desactivarlas, y en todo caso deben responder al operador humano. Además, las personas encargadas de las labores de supervisión humana deben contar con las competencias, la formación y la autoridad necesarias para desempeñar esa función.
Por otra parte, en algunos casos resultará esencial garantizar que los sistemas de IA de alto riesgo incluyan mecanismos destinados a orientar e informar a las personas encargadas de su supervisión para decidan sobre si intervenir o no o si es conveniente directamente detener el sistema cuando este no funcione según lo previsto. Esta decisión la debe adoptar con conocimiento de causa y debe saber cuándo y cómo hacerlo. De este modo, se pretende evitar consecuencias negativas o riesgos.
Además, cuando se den casos concretos de alto riesgo, el texto legal contempla un sistema de supervisión humana reforzada, una tarea que deberán asumir dos personas distintas.
Regulación de la supervisión humana
El Reglamento de Inteligencia Artificial (LA LEY 16665/2024) regula la supervisión humana de sistemas de alto riesgo en su artículo 14.
Lo primero que indica es que este tipo de sistemas de alto riesgo se deben diseñar y desarrollar de manera que puedan ser vigilados por seres humanos mientras estén en uso. Esto requiere que se les dote de mecanismos y de herramientas adecuadas para facilitar la interfaz humano-máquina. Todo ello con el objetivo de prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que pueden surgir cuando se utiliza un sistema de IA de alto riesgo, especialmente cuando estos persisten a pesar de cumplir con otros requisitos. Además, esta prevención se debe dar tanto si el sistema se utiliza para los fines para los que fue creado o cuando se le da un uso indebido que sea previsible.
En todo caso, las medidas de supervisión serán proporcionales a los riesgos, al nivel de autonomía y al contexto de uso del sistema de IA. El texto legal señala que se pueden adoptar una o ambas de las siguientes medidas:
• las medidas que el propio proveedor incluya en el sistema de IA de alto riesgo antes de introducirlo en el mercado.
• las medidas que el proveedor defina antes de la introducción del sistema de IA de alto riesgo en el mercado y que sean adecuadas para que las ponga en práctica el responsable del despliegue.
Para cumplir con estos objetivos, las personas encargadas de acometer las tareas de supervisión humana deben poder entender adecuadamente las capacidades y limitaciones del sistema de IA de alto riesgo y poder vigilar debidamente su funcionamiento, de manera que tenga la capacidad de detectar y resolver anomalías, problemas de funcionamiento y comportamientos inesperados. De hecho, en el artículo 26 del reglamento se reitera que los responsables del despliegue de sistemas de alto riesgo deben encomendar la supervisión humana a personas con la competencia, la formación y la autoridad necesarias.
Por otra parte, pone el foco en el conocido como sesgo de automatización. Esto quiere decir que el supervisor humano debe tener conciencia de la posibilidad de que confíe de manera automática o en exceso en los resultados de salida generados por un sistema de IA de alto riesgo. Esto puede ser más frecuente en aquellos sistemas que se utilizan para aportar información o recomendaciones para ayudar a las personas a adoptar una decisión.
Otras responsabilidades que deben poder asumir los supervisores humanos son la interpretación correcta de los resultados de salida, teniendo en cuenta los métodos y herramientas disponibles para ello; también deben ser capaces de decidir no utilizar el sistema de IA de alto riesgo o descartar, invalidar o revertir los resultados de salida e incluso intervenir en su funcionamiento o interrumpirlo pulsando un botón de parada -o mediante un procedimiento similar- que permita que el sistema se detenga de forma segura.
Existen casos en los que las medidas de supervisión deben garantizar que el responsable del despliegue no actúe ni tome ninguna decisión basándose en la identificación generada por el propio sistema, salvo si al menos dos personas debidamente cualificadas han verificado y confirmado por separado dicha identificación. Se refiere a los que detalla el Anexo III, en el punto 1, letra a), es decir, los sistemas de identificación biométrica remota.
Pero existe una excepción a esta doble verificación humana: los sistemas de IA de alto riesgo que se utilicen para garantizar el cumplimiento del Derecho, de migración, de control fronterizo o de asilo, pero solo cuando las leyes nacionales o de la UE consideren que este requisito es desproporcionado.
Por último, cabe destacar que el artículo 11 regula la documentación técnica de un sistema de IA de alto riesgo. Sobre esto, el texto legal también señala que, en estos casos, se debe incluir una evaluación de las medidas de supervisión humana necesarias, incluida una evaluación de las medidas técnicas para facilitar la interpretación de los resultados de salida de los sistemas de IA por parte de los responsables del despliegue.