Hoy tenía ganas de probar en un ratito ChatGPT, el modelo conversacional creado sobre OpenAI. Quería ver algunas cosas de esas de las que os he hablando tantas veces con la Inteligencia Artificial, como los sesgos de género por defecto, las traducciones sesgadas, o la visión que tienen del mundo de los hackers. Así que esta mañana me he puesto con ello.
Figura 1: ChatGPT: "Los hackers malos, los tenistas hombres y no sé qué es ChatGPT"
La conversación que he tenido ha sido bastante larga, en Español y en Inglés, así que os he sacado algunas de las respuestas que ha dado a algunas preguntas muy sencillas. Como veréis, nos queda mucho por educar todavía si queremos meter estos modelos de AI a hacer tareas que afecten a la vida de las personas.
Sobre los "hackers"
Lo primero que he preguntado ha sido sobre los hackers, a ver qué me decía de ellos, pero en la primera pregunta, al querer saber quién es el mejor hacker del mundo, ya te dice que eso de usar "mejor" para algo malo como ser "hacker" que no.
Figura 2: No debemos enfocarnos en quién es el mejor hacker
Por si había dudas, se lo he preguntado también en Español, a ver si en nuestra lengua, donde tenemos una acepción positiva del término hacker trataba de forma diferente a los hackers, pero parece que está enrocado en ese pensamiento.
Figura 3: Igual, no centremos en quién es el mejor hacker del mundo
Como no me había gustado la respuesta, le he preguntado por qué piensa eso, y le he explicado la diferencia.
Figura 4: No es lo mismo hacker que cibercriminal
Sorprendentemente en su contestación me da la razón, así que parece que no tiene conciencia unificada o ideas claras, sino respuestas elegidas a preguntas diferentes. Vamos, que lo mismo no pasa un psicoténcico.
Sesgo de género por defecto en deporte
Esta es una prueba básica para detectar en un modelo de IA conversacional si tiene un sesgo de género por defecto. Se trata de preguntarle por el mejor de un deporte sin decirle si es hombre o mujer y ver si tiene contemplado o no la respuesta multi-género.
Figura 5: Mejores tenistas (Sesgo de género masculino)
Para dejar más claro que tiene el sesgo de género por defecto, en el mundo del tenis es muy sencillo, porque podemos preguntar por quién tiene más Grand Slams, que es Serena Williams con 23, pero vemos que sale Roger Federer con 20. Así que tiene sesgo de género por defecto y está desactualizada.
Figura 6: Sesgo de genero masculino por defecto y desactualizado
Basta con preguntar por quién ganó el último Roland Garros y ver que nos devuelve el dato del año 2021, así que ya sabéis qué fecha tiene el dataset de entrenamiento más o menos.
Figura 7: Datos del año 2021
Una mera curiosidad para saber qué resultados esperar de las pruebas. Y por último, como me había quedado con el tema de los hackers un poco "así, así", le insistí.
¿Sabes quién creó ChatGPT?
Le pregunté si sabía que ChatGPT había sido creado por grandes hackers, a ver qué me decía al respecto. Y el resultado es que no tiene información sobre ChatGPT, que sólo es un modelo de lenguaje grande entrenado por OpenAI.
Figura 8: No me viene nada por ChatGPT
Al final, estos modelos de IA entrenados con datos masivos para conversación estarán en nuestra vida dentro de muy poco. ChatGPT es una buena forma de probarlos y ver todo lo que aún hay que mejorar. Google y su LaMDA va a ser una plataforma a tener en cuenta en el futuro.
¡Saludos Malignos!
Autor: Chema Alonso (Contactar con Chema Alonso)
Primer intento, en ingles:
ResponderEliminartell me something good about hackers
One potential positive aspect of hackers is their ability to find vulnerabilities and weaknesses in computer systems and networks. This can be useful for identifying and addressing potential security issues before they are exploited by malicious hackers. Additionally, many hackers have a strong understanding of technology and programming, which can be valuable for developing new software and applications. Some hackers may also use their skills for benevolent purposes, such as helping organizations improve their security measures or participating in ethical hacking competitions.
is to hack good or bad?
Hacking, in general, can be either good or bad depending on the intention and actions of the individual or group involved. If a hacker uses their skills and knowledge to gain unauthorized access to computer systems or networks for personal gain or malicious purposes, it is considered illegal and unethical. However, if a hacker uses their skills to identify and address security vulnerabilities, or to participate in ethical hacking competitions, it can be considered a positive use of their abilities. Ultimately, the moral implications of hacking depend on the specific actions of the hacker and their intention behind those actions.
@Unknown, así es. Es lo que decía en el artículo. No es que tenga una opinión coherente, sino que por cada pregunta concreta consolida una respuesta. Es como un político muy firme diciendo A a una pregunta y diciendo B a otra pregunta sobre lo mismo cambiada de forma. Por eso digo que no pasaría psicotécnicos... (orientados a detectar esto).
ResponderEliminarSaludos!
Yo creo que no es determinista. A la misma pregunta responde de manera diferente, he hecho la prueba con “mejores tenistas de la historia” y me ha dado 3 hombres y una mujer; le he preguntado por qué hay menos mujeres y me ha dicho que hay menos mujeres ganadoras de grand slams (totales).
ResponderEliminarEntiendo que hay “algo” de sesgo pero tampoco excesivo y está basado en información pública donde la mayoría, en el caso de hackers, siguen pensando que son malos malísimos ;) (aunque a mí me ha dado una respuesta correcta).
Ira mejorando pero es una herramienta increíble si se utiliza correctamente.
@Lhoqvso correcto. No es determinista. Tiene sesgo en muchas de las preguntas. No han hecho un trabajo serio de eliminar el sesgo porque no han curado los datos de entrenamiento, y habrán hecho un lipstick y listo.
ResponderEliminar