Carlos B Fernández. Explica Ignacio G.R. Gavilán que los algoritmos implementados a través de complejas redes neuronales, como el deep learning, son los "responsables" de muchos de los éxitos recientes en inteligencia artificial (IA), en especial desde 2016.
Pero estos algoritmos poseen una característica particular: sus programadores a menudo no entienden cómo funciona el programa final. Y es que, tal como destacan López de Mántaras y Meseguer, “actualmente la principal limitación de los sistemas basados en aprendizaje profundo es que son cajas negras sin capacidad explicativa” sobre cómo han llegado a los resultados y conclusiones propuestas.
Una limitación que choca con prescripciones legales como las establecidas en los artículos 13, 14 y 15 del Reglamento General de Protección de Datos (RGPD), en relación con el deber de los responsables del tratamiento de proporcionar a los interesados “información significativa” sobre la “lógica aplicada” por los sistemas de decisión automatizada o de la elaboración de perfiles de que hayan podido ser objeto en los términos del artículo 22 del mismo RGPD.
Y aunque expertos tan reputados como Russell y Norvig consideran que “es muy fácil proporcionar a un algoritmo de decisión un mecanismo de acceso a sus procesos de toma de decisiones, simplemente grabándolos y haciéndoles accesibles como estructuras de datos”, desde el punto de vista jurídico el profesor Mercader Uguina ha subrayado que si bien los mencionados artículos del RGPD no obligan a que haya que suministrar necesariamente una compleja explicación de los algoritmos utilizados o la revelación de todo el algoritmo, la información facilitada sí que debe ser “suficientemente exhaustiva para que el interesado entienda los motivos de la decisión”, ya que “la complejidad no es una excusa para no ofrecer información al interesado”. Información, añadimos, que debe ser la que eventualmente, permita al interesado impugnar la decisión en los términos que prevé el núm. 3 del art. 22 del RGPD.
Por todo ello, no han faltado en los últimos tiempos numerosos estudios y propuestas sobre los principios que han de regir esa explicabilidad algorítmicas. Probablemente una de las más completas sea la guía “Explaining decisions made with AI” del Information Commissioner’s Office británico (ICO), de la que dimos cuenta en su momento.
Más recientemente, el National Institute of Standards and Technology de los Estados Unidos ha presentado un completo informe elaborado por diversos miembros de su Information Technology Laboratory, titulado Four Principles of Explainable Artificial Intelligence (Cuatro principios para una IA explicable), del que, por su relevancia, reseñamos a continuación su principal contenido.
La necesidad de explicar las decisiones de la IA
En este informe se destaca que el espacio de la IA es vasto, complicado y está en continua evolución. Con los avances en la potencia de cálculo y con bases de datos cada vez más grandes, se están explorando y desarrollando algoritmos de IA para su uso en una amplia variedad de ámbitos y usuarios potenciales pero, a la vez, de riesgos asociados.
En este contexto, la comunidad de la IA persigue la explicabilidad como una de las varias características deseables para los sistemas de IA fiables, pero no es la única´. Además de su explicabilidad e interpretabilidad, un sistema de IA fiable debe reunir características de precisión, fiabilidad, solidez, seguridad, robustez, respeto de la privacidad, mitigación de los sesgos perjudiciales, transparencia, equidad y responsabilidad.
Tanto la explicabilidad como otras características de los sistemas de IA interactúan en varias etapas de su ciclo de vida, y aunque todas tienen una importancia crítica, este trabajo se centra únicamente en los principios de explicabilidad que deben reunir los sistemas de IA.
El alcance de la explicabilidad de la IA
El aumento de la exigencia de explicabilidad algorítmica ha supuesto la identificación de un sistema de pautas para caracterizar como buena la explicación ofrecida por un sistema de IA. En primer lugar, esta explicación tiene que estar centrada en el ser humano, porque éste es el destinatario de la misma. En segundo lugar, tiene que ser comprensible para las personas. En tercer lugar, las explicaciones deben reflejar correctamente el proceso seguido por el sistema para generar un resultado. Además, para fomentar la confianza de sus usuarios, el sistema debe indicar cuándo funciona fuera de sus condiciones de diseño. Estos conceptos básicos de una buena explicación son la base de los cuatro principios de la IA explicable.
Aunque la aplicación de estos principios puede afectar al funcionamiento de los algoritmos, los autores del informe señalan que los conceptos no se centran en los métodos algorítmicos ni en los cálculos en sí mismos, ni se refieren al uso del sistema durante su implantación.
Por otra parte, el informe indica que existen diferentes enfoques y filosofías para desarrollar y evaluar la IA explicable. Los enfoques informáticos abordan el problema desde una variedad de técnicas y perspectivas computacionales y gráficas, que pueden conducir a prometedores avances. Un campo en auge sitúa a los seres humanos en primera línea a la hora de considerar la eficacia de las explicaciones de la IA y los factores humanos que la sustentan.
El objetivo de la IA explicable, se señala, ha sido avanzar en la capacidad de los sistemas para producir una explicación de calidad. En este sentido, el informe aborda si los humanos pueden cumplir el mismo conjunto de principios que se han establecido para la IA, ya que las personas sólo demuestran una capacidad limitada para cumplir con los mismo principios que se piden a las máquinas. Esta evidencia proporciona un punto de referencia con el que comparar los sistemas de IA.
Como reflejo de las expectativas de la sociedad, normativa reciente como el RGPD ha impuesto un grado de responsabilidad en los sistemas de IA mediante el requisito de una IA explicable. A medida que se avanza en la IA explicable, es posible que ciertas partes de los sistemas de IA sean más capaces de cumplir con las expectativas y los objetivos de la sociedad que los humanos. La comprensión de la explicabilidad tanto del sistema de IA como del ser humano en la colaboración hombre-máquina, abre la puerta a la búsqueda de implementaciones que incorporen los puntos fuertes de cada uno, mejorando potencialmente la explicabilidad más allá de la capacidad del sistema humano o de la IA por separado.
Explicabiliad humana y explicabilidad de la máquina
El informe se centra en un conjunto limitado de factores humanos relacionados con las decisiones explicables, desde la certeza de que queda mucho por aprender y estudiar sobre la interacción entre los humanos y las máquinas explicables. En este sentido, considerar la interfaz entre la IA y los humanos, la comprensión de los principios generales que impulsan el razonamiento y la toma de decisiones de los humanos puede resultar muy útil para el campo de la IA explicable. En el caso de los humanos, se señala, hay una tendencia general a preferir explicaciones más simples y generales. Sin embargo, hay diferencias individuales en cuanto a las explicaciones que se consideran de alta calidad. El contexto de la decisión y el tipo de decisión que se toma también pueden influir.
Los seres humanos no toman decisiones aisladas de otros factores. Sin ser conscientes de ello, las personas incorporan información irrelevante en una serie de decisiones, como las primeras impresiones, los juicios sobre rasgos de personalidad y las decisiones de los jurados. Incluso cuando se proporciona una misma información a diferentes personas, el contexto, los prejuicios y la forma en que se presenta la información influyen en las decisiones. La consideración de estos factores humanos en el contexto de la IA explicable no ha hecho más que empezar.
Para tener éxito en la IA explicable, la comunidad necesita estudiar la interfaz entre los seres humanos y los sistemas de IA. Las colaboraciones entre humanos y máquinas han demostrado ser muy eficaces en términos de precisión. Es posible que se produzcan avances similares en la explicabilidad de la IA en las colaboraciones entre humanos y máquinas.
Por ello, se indica, los principios definidos en el informe proporcionan una guía y una filosofía para conducir la IA explicable hacia un mundo más seguro, dando a los usuarios un conocimiento más profundo de la realidad de los resultados de un sistema. Las explicaciones significativas y precisas permiten a los usuarios aplicar esta información para adaptar su comportamiento y/o apelar las decisiones adoptadas. Para los desarrolladores y auditores, las explicaciones les dotan de la capacidad de mejorar, mantener y desplegar los sistemas según convenga.
En general, se concluye, una IA explicable contribuye al funcionamiento seguro y a la confianza de múltiples facetas de los sistemas complejos de IA. Y con esta finalidad, el marco común y las definiciones de los cuatro principios ofrecidos se considera que facilitan la evolución de los métodos de IA explicable necesarios para los complejos sistemas del mundo real.
Los cuatro principios aplicables a la explicabilidad de la IA
En opinión de los autores de este documento, son cuatro los principios que recogen las propiedades fundamentales de los sistemas de IA explicables.
Estos cuatro principios proporcionan un marco multidisciplinar con el que explorar este tipo de interacción hombre-máquina. Las necesidades prácticas del sistema influirán en la forma en que se aborden (o descarten) estos principios. Teniendo en cuenta estas necesidades, la comunidad acabará por adaptar y aplicar los cuatro principios para abarcar un amplio abanico de aplicaciones.
Y si bien, como punto de partida, reconocen que no todos los sistemas de IA pueden requerir explicaciones, para aquellos sistemas de IA que se pretende o se requiere que sean explicables, proponen que dichos sistemas se adhieran a los siguientes cuatro principios:
- Explicación (Explanation): El sistema proporciona o contiene pruebas o razones que acompañan a sus resultados y/o procesos.
- Relevancia (Meaningful): El sistema proporciona explicaciones comprensibles para el consumidor o consumidores a los que va dirigido.
- Exactitud de la explicación (Explanation Accuracy): El sistema presenta una explicación que refleja correctamente el motivo por el que se genera el resultado y/o refleja con precisión el proceso seguido por el sistema.
- Límites del conocimiento (Knowledge Limits): El sistema sólo funciona en las condiciones para las que fue diseñado y cuando alcanza una confianza suficiente en su resultado.
Unos principios, añadimos, que no dejan de recordar una idea expuesta por los mencionados Russell y Norvig en su conocida obra Artificial Intelligence. A modern approach: "Una buena explicación sobre el funcionamiento de la IA tiene varias propiedades: debe ser entendible y convincente para el usuario, debe reflejar con precisión el razonamiento seguido por el sistema, debe ser completa y debe ser específico, en el sentido de que diferentes usuarios, en diferentes condiciones y ante diferentes resultados, deben obtener diferentes explicaciones".
El contenido de la explicación depende del destinatario y del contexto
Los autores de este informe reconocen la importancia tanto de las explicaciones basadas en el proceso como de las basadas en los resultados, así como la importancia del propósito y el estilo de las explicaciones.
Además, dado que no existen explicaciones únicas para todos los casos, los distintos usuarios necesitarán diferentes tipos de explicaciones. Por ejemplo, los desarrolladores y diseñadores de IA pueden tener necesidades de explicación muy diferentes a las de los responsables políticos y los usuarios finales. Por lo tanto, el motivo por el que se pide una explicación y la forma de darla pueden diferir dependiendo de los usuarios de la IA.
En este sentido, advierten, los cuatro principios propuestos están muy influenciados por la consideración de la interacción del sistema de IA con el receptor humano de la información. Estas situaciones pueden ser, entre otras, los requisitos legales y reglamentarios, el control de calidad de un sistema de IA y las relaciones con los clientes.
Por ello, los cuatro principios propuestos pretenden captar un amplio conjunto de motivaciones, razones y perspectivas y permiten definir los factores contextuales que hay que tener en cuenta para una explicación, preparando el camino para medir la calidad de la explicación.
Los autores prevén asimismo que, dada la complejidad del espacio de la IA, estos principios se beneficiarán de la comunidad con el paso del tiempo. “Somos plenamente conscientes de que existen otros muchos factores sociotécnicos que influyen en la fiabilidad de la IA más allá de la explicabilidad … este trabajo no es más que un paso en este espacio mucho más amplio, e imaginamos que este trabajo seguirá evolucionará y progresará con el tiempo, al igual que el campo de la IA en general”.