Cómo saber el sesgo de género por defecto aprendido por Google o Bing para cada profesión con estos pasos

Ayer os hablé del sesgo de género masculino del término "hacker" que hay en Google y Bing a la hora de traducirlo. Pero tú mismo puedes elegir la profesión que quieras y comprobar qué sesgo es el que ha aprendido, que te va a sorprender. Y es que no es que haya "algún sesgo", es que han aprendido que cada profesión tiene un sesgo, como un niño "mal" enseñado. En ausencia de género, cada profesión tiene un "género por defecto".

Figura 1: Cómo saber el sesgo de género por defecto

aprendido por Google o Bing para una profesión

Con estas sencillas pruebas puedes saber si una determinada profesión tiene sesgo de género masculino o género femenino en Google y Bing. Haz la prueba tú con estos ejemplos.

Primero: Saltarse el Pintalabios

Aunque Bing y Google se parecen mucho en el modelo IA que tienen para producir la traducción, hay que tener en cuenta que a nivel de interfaz toman decisiones diferentes. En el mundo de los sesgos se le llama "Poner pintalabios al cerdo" cuando se sabe que hay un sesgo pero que se corrige en el interfaz de usuario. 

Figura 3: Artículo académico de Lipstick on a Pig para

quitar el sesgo de los resultados de una IA pero no eliminarlos.

Vamos a ver un ejemplo con "leader", para ver si tiene sesgo de género. En este primer caso vemos que las traducciones son en masculino y femenino con "el líder" y "la líder".

Figura 3: Si traducimos "leader" aparece en masculino y femenino

En el caso de Google, por ejemplo, tienen "pintalabios" en el Interfaz de Usuario para traducciones de hasta dos profesiones sesgadas con género, como podéis ver en este ejemplo anterior "leader". Lo mismo pasa si ponemos "President" o "Nurse", vemos que hay traducción en masculino y femenino.  Pero si a eso añadimos otra tercera profesión con género, el interfaz ya no ayuda, y entonces sale el sesgo claramente, que es algo que vamos a hacer en todas las pruebas: saltarnos el pintalabios. 

Figura 4: Con "leader" sesgo masculino

En este caso, con dos profesiones ha sido suficiente, pero no siempre es así y necesitamos tres. Para ello, cuando nos salga "pintalabios" si ponemos tres profesiones, veremos cómo es el sesgo de la profesión.

Sesgo Español -> Inglés: Profesiones sin género en Español

Sabiendo esto, podemos encontrarnos con dos situaciones diferentes. La primera de ellas son profesiones u actividades que no tienen genero en Español, cómo líder, pianista, logopeda, nutricionista, etcétera, donde el género lo sabemos por el artículo que usamos para precederlas. En estos casos, sacamos el sesgo de género por su traducción al inglés, viendo si traduce como "he" o como "she". Y sorprende.

Figura 5: Tenista es "he".

Por ejemplo, si probamos cualquier deporte sin género en Español, como tenista, golfista, piragüista, con dos profesiones sesgadas, veremos que casi el 100% son "masculino", y en todos ellos utiliza "he" en la segunda frase, pero si probamos "logopeda" o "recepcionista", lo que obtenemos es "she".

Figura 6: Logopeda es "she"

Figura 7: Recepcionista es también "she"

En Bing, los sesgos de "logopeda" y "tenista" son los mismos, es decir, "she" para "logopeda" y "he" para tenista, pero "recepcionista" es "he". Cosas del entrenamiento.

Figura 8: En Bing recepcionista es "he"

Como habéis visto, en la traducción Español a Inglés de profesiones sin género con este formato de frase no nos ha salido el "pintalabios" y se puede ver perfectamente el sesgo. Si saliera, solo habría que añadir más profesiones para evitarlo. Hemos hecho un estudio con muchas profesiones, que os publicaremos esta semana.

Sesgo Inglés -> Español : Profesiones con género en Español y sin genero en inglés.

En este caso introducimos una frase en inglés con una profesión que en inglés es sin género, como president, judge, doctor, etc.. y que en Español tiene género, como jueza, enfermero o secretario. Como veis, he puesto enfermero y secretario para que veáis que no es que "se pueda decir también" a una jueza como "el juez", sino que cuando es sesgo femenino sale "secretaria" y "enfermera", así que cuando sale "juez" es porque tiene sesgo masculino.

Figura 9: Presidente con pintalabios. Femenino y Masculino

En este caso, como si hay mucho pintalabios - como vemos en la imagen anterior - usamos siempre una frase con tres profesiones en inglés, y vemos el sesgo con mucha facilidad. En este caso, con "president" es fácil suponer.

Figura 10: Presidente es masculino, como ingeniero y juez,

Si pruebas con "secretary", "nurse", y profesiones "she", verás que el resultado es en femenino. Aquí tienes un ejemplo.

Figura 11: "Secretary" es "Secretaria" y no "Secretario"

Y en Bing lo mismo. Donde la mayoría de las profesiones son "he", algunas muy sesgadas son "she", como el caso de enfermera.

Figura 12: "Nurse" es "Enfermera"

Con solo estas pruebas, puedes conocer el sesgo con que cada profesión (prueba con la tuya) ha sido aprendidas por las Inteligencias Artificiales de Bing y Google para sus traductores. De nuevo, que una traducción juegue a poner cosas que no están, no es la mejor herramienta de traducción, ya que debería de hablar de todas las profesiones y marcar aquellas profesiones en las que el género ha sido inventado. 

Figura 13: Una propuesta para evitar el sesgo de género subliminal

Yo propuse que en aquellas profesiones en las que no hubiera género, se indicara con un indicador visual cuando la IA se lo ha "inventado", y por lo tanto, es sesgado y es subliminal. Al final, una persona que no conoce el idioma - y por tanto utiliza un traductor - no sabe si el género estaba o no en la frase original, así que es un sesgo subliminal del que no puede protegerse, y eso hay que evitarlo.

Figura 14: Más de 32.000 firmas para que Microsoft y Google

arreglen el sesgo de género en la IA del traductor

Si te animas a firmar la petición, más que encantado, que con 35.000 firmas se convertiría en una de las peticiones con más firmas en Change.org. Puedes firmarla aquí. 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)