TCAV: La lucha de Google contra el aprendizaje con sesgo en Inteligencia Artificial

No han sido pocas las voces que se ha denunciado el sesgo que muestran muchos modelos de Inteligencia Artificial que emplean grandes compañías al haber sido entrenados con datos que ya tenían ese sesgo, algo que es importante vigilar. Ya en una entrada anterior, se veía como Google Translate demuestra un claro sesgo de género con las traducciones de profesiones, pero no es la única herramienta con ese problema.

Figura 1: TCAV: La lucha de Google contra el aprendizaje con sesgo en Inteligencia Artificial

Hace poco surgieron grandes críticas al sistema de reconocimiento facial de Amazon, presente en departamentos de policías y en oficinas de inmigración, ya que esta herramienta presentaba una tasa de error mayor cuando trataba de identificar pieles más oscuras y rostros femeninos.

¿Cuál es el problema para que aparezcan estos sesgos?

Cuando se entrenan modelos de redes neuronales siempre surge el problema de interpretar cuáles son los conceptos que una red neuronal debe comprender para generar predicciones. Para abordar esto es necesario una profunda comprensión de la materia, ya que en la mayoría de modelos, los conceptos que los humanos entendemos como “decisivos” no tienen por qué ser los que una máquina interprete como relevantes.

Figura 2: Sesgos en profesiones en Google Translate

Por poner un ejemplo, un modelo destinado a predecir el cáncer de piel en fases tempranas, si no está correctamente ajustado, podría tomar como concepto relevante el tono de piel, si el algoritmo ignora los tonos de piel oscura podría suponer un fallo de diagnostico y un potencial riesgo de salud para cierto sector de la población.


Figura 3: Google I/O 2019 Keynote
Por esto es muy importante conocer los Conceptos de Activación en los modelos predictivos, tanto es así, que en el pasado Google I/O 2019, el propio CEO de la compañía, Sundar Pichai, dedicó una gran parte de la conferencia a hablar de los peligros que representa el sesgo dentro del mundo de la Inteligencia Artificial.

Figura 4: A more helpful Google for everyone by Sundar Pichai

Fue aquí donde anunció una de las soluciones con las que la compañía de Mountain View va a intentar frenar este problema: usando técnicas de interpretabilidad. Toda estas información que Sundar Pichai anunció, la dejó plasmada en un artículo que puedes leer online.

Definición de TCAV: Testing with Concept Activation Vectors

TCAV son las siglas de “Testing with Concept Activation Vectors” o “Pruebas con Vectores de Activación de Concepto”. Este nuevo método de interpretación permite comprender qué señales usan los modelos de redes neuronales para sus predicciones. Los métodos de interpretabilidad no son algo nuevo, pero la gran diferencia de TCAV es que muestra la importancia de los conceptos de alto nivel (por ejemplo color, género, raza, etcétera) para una clase de predicción frente a los pesos de cada característica de entrada de los métodos de interpretabilidad comunes.

Figura 5: Paper sobre TCAV de Google Research

Las técnicas de interpretabilidad llevan ya tiempo usándose en modelos de Machine Learning. Fundamentalmente, estas técnicas se basan en exploración de los datos antes de construir los modelos o interpretabilidad asociada a un modelo preexistente. El problema viene que la mayoría de modelos de Machine Learning están diseñados para operar con conceptos de bajo nivel como por ejemplo el color de un solo píxel o la relación con los píxeles adyacentes.

Aunque esta forma de generar los algoritmos de Machine Learning pueden ser muy útiles en detección de ataques de red, o técnicas de bypass de soluciones antimalware, como se explica en el libro de "Machine Learning aplicado a Ciberseguridad: Técnicas y ejemplos en la detección de amenazas" que escribieron mis compañeros, esto es radicalmente diferente a los conceptos de alto nivel que los humanos manejamos, como el color de las hojas de un árbol, el número de ruedas de un coche o las rayas de una cebra, y hace que esos algoritmos - especialmente en servicios cognitivios - sean susceptibles de cometer sesgos de género, raza o sexo.

Figura 6: Machine Learning aplicado a Ciberseguridad:
Técnicas y ejemplos en la detección de amenazas

Aquí es donde entra TCAV, una iniciativa del equipo de Google AI que permite una interpretación del estado interno de una red neuronal usando derivadas direccionales para cuantificar el grado por el cual un concepto definido por un usuario es importante para el resultado de una clasificación.

Funcionamiento de TCA

Poniendo el ejemplo que se detalló en la conferencia vamos a ver el funcionamiento interno de TCAV. Supongamos que tenemos un modelo entrenado para detectar cebras en una imagen. Querríamos saber cuales son las variables relevantes en el proceso de clasificación. TCAV nos permitiría entender si las rayas de la cebra son un detalle importante para la predicción del modelo, siendo verdad en este caso.

Figura 7: Modelo para reconocimiento de cebras + TCA

Ahora es donde entramos en el asunto del sesgo, pongamos que vamos a mirar un modelo entrenado con un Dataset de doctores. Si el modelo ha sido entrenado con demasiadas fotos de hombres con batas blancas y estetoscopios puede que determinen el género masculino como un factor relevante, demostrando que existe un sesgo en nuestro set de datos de entrenamiento. Aquí reside el verdadero poder de TCAV, el entender en lenguaje “Humano” los vectores de activación importantes de nuestro modelo para así tener conocimiento y control sobre este mismo.

Figura 8: TCAV descubre que ser hombre tiene un 37 % de importancia

No voy a detenerme mucho en los conceptos matemáticos detrás de esta técnica, para profundizar más en el tema os recomiendo consultar el paper de TCAV y tienes el código del proyecto en Github donde se puede ver con más detalle la implementación subyacente a esta técnica así como ejemplos prácticos para Tensorflow.

Conclusiones

TCAV es sin duda una buena herramienta para interpretar de forma sencilla el estado interno de un modelo de Deep Learning, pero no es la solución a todos los problemas, las compañías van a tener que seguir haciendo grandes esfuerzos para eliminar los sesgos dentro de sus modelos de Inteligencia Artificial. Sin embargo, esta técnica es un primer paso muy importante para solucionar un problema cada vez más evidente en este nuevo mundo.

Autor: Lucas Fernández Aragón (@lucferbux) investigador en el equipo de Ideas Locas.