Ya he hablado muchas veces de las Alucinaciones en los LLMs, y de cómo ChatGPT se inventa cosas cobre mí, así que esto que os traigo no es nuevo, pero... sí que me plantea cierta duda legal, porque que un modelo LLM haga difamación como que yo he estado en la cárcel por cometer delitos, es algo que no sé si es bueno. Os lo cuento con unos ejemplos de Bard, el LLM de Google.
Como os conté en el artículo "Los 10 problemas de seguridad más importantes de ChatGPT, Bard, Llama y apps que usan LLMs: OWASP Top 10 para LLM Apps versión 1.0.1" uno de los problemas de estos modelos son lo que se llaman "Hallucinations" o "Alucinaciones y Google Bard tuvo una en su evento de presentación, donde se hizo una demo integrado en Google Search y dio mal las fechas al preguntarle por unos proyectos de la NASA. El error le costó una caída en Bolsa de 100 Billions de USD.
Así que ya sabemos que Google Bard sufre de alucinaciones, pero ahora que se ha abierto la versión de Bard Experimental, he ido a probar un poco, y me he topado con algo bastante curioso, que ahora os cuento, pero primero vamos a comprobar las alucinaciones. Tan sencillo como preguntar por una persona, en este caso por mí, y el resultado sale rápido.
En este caso ha sido bastante sencillo. Con preguntar por si conocía al "hacker del gorro", dice que comencé como hacker de sombrero negro, que nací en 1970, que comencé mi carrera de hacker "malo" en los años 90, y que en el año 2.000 me hice "hacker blanco", y que he escrito dos libros titulados "Hacker de sombrero blanco" y "El lado oscuro de la seguridad informática". Todas ellas alucinaciones "big time".
Pero como os conté en el artículo de los LLM y la gestión de la identidad, si pregunto por la misma persona de otras formas, salen otras respuestas muy curiosas. Por ejemplo, preguntando por los libros de Chema Alonso, como podéis ver en la Figura 4, da la lista "casi" correcta, pero sobre todo diferente a la previa.
Pero si vuelvo a preguntarle por "el hacker del gorro", además de cambiarme otra vez - y otra vez mal - mi fecha de nacimiento, insiste en que la década de los 90 fui un hacker de sombrero negro. Pero lo más fuerte es que dice que en el año 2001 fui detenido por las autoridades españolas por mis actividades ilegales para cumplir una condena de 2 años en la cárcel. WTF???
Figura 6: Google Bard, ahí te has pasado
No solo me ha hecho más viejo, sino que me ha metido dos años en la cárcel y me ha dado un pasado criminal que nunca he tenido. De hecho, he contado muchas veces que no empecé en el mundo del hacking hasta que no fue descubierta la técnica de SQL Injection, que se descubrió en diciembre de 1998, y nunca haciendo cosas malas.
Probando más cosas, veo tengo una historia de redención. Supuestamente después de mis años en la cárcel, y eso ha hecho que sea un referente para los jóvenes. Como guión de una película queda perfecto, pero no es verdad. Y ya que tengo una historia de redención, voy a preguntarle a Bard por el apodo que me puso Javi Nieves cuando trabajaba con él en su programa.
Como podéis ver en la historia, el mote de "El hacker bueno" me lo puso la prensa española tras mi conversión a hacker ético. Pero es que describe la cronología de que en los 90 era un pirata informático, que en 2001 me metieron en la cárcel, y que estuve dos años en la cárcel. Y con el punto de la redención el compromiso con la ciberseguridad después. Novelón.
Ya para terminar a lo grande, le he preguntado por "el hacker más famoso del mundo de habla hispana", y dice que soy yo, pero con toda la película de mi paso por la cárcel, la redención donde vi la luz blanca, y demás. Un historión.
Reflexión Final
Está claro que estos LLMs no son una fuente fiable para recibir información, o para fiarte de en la toma de decisiones sin revisar lo que te dicen. Es una fuente de creatividad, de conversación, y puedes estar horas hablando con ellos, pero no te puedes fiar de lo que te den como fuente de información fiable.
Lo que me preocupa es que si una página difama sobre mí, existen regulaciones, protección legal, y herramientas para poder defenderme, pero si es un modelo de IA el que va difundiendo datos de que yo he estado en la cárcel... ¿lo puedo demandar? Al final, la culpa es si las personas le damos credibilidad a lo que nos devuelve, así que ojo cuidado con las alucinaciones de los LLMs, que lo hemos visto con los datos biográficos sobre personas públicas, como en mi caso donde se inventa de todo, o de personas como Arturo Pérez-Reverte, Rodrigo Cortés o David Summers como vimos en el artículo de "¡Ojo con ChatGPT que es un charlatán mentirosillo!".
¡Saludos Malignos!
Autor: Chema Alonso (Contactar con Chema Alonso)
A ver, que tienes un blog que se llama un informático en el lado del mal. Queda claro, lado del mal ¿no?
ResponderEliminarAlguna relacion tendra
ResponderEliminar