miércoles, noviembre 08, 2023

Google Bard, tenemos que hablar de mis dos años en la cárcel

Ya he hablado muchas veces de las Alucinaciones en los LLMs, y de cómo ChatGPT se inventa cosas cobre mí, así que esto que os traigo no es nuevo, pero... sí que me plantea cierta duda legal, porque que un modelo LLM haga difamación como que yo he estado en la cárcel por cometer delitos, es algo que no sé si es bueno. Os lo cuento con unos ejemplos de Bard, el LLM de Google.

Figura 1: Google Bard, tenemos que hablar de mis dos años en la cárcel

Como os conté en el artículo "Los 10 problemas de seguridad más importantes de ChatGPT, Bard, Llama y apps que usan LLMs: OWASP Top 10 para LLM Apps versión 1.0.1" uno de los problemas de estos modelos son lo que se llaman "Hallucinations" o "Alucinaciones y  Google Bard tuvo una en su evento de presentación, donde se hizo una demo integrado en Google Search y dio mal las fechas al  preguntarle por unos proyectos de la NASA. El error le costó una caída en Bolsa de 100 Billions de USD

Así que ya sabemos que Google Bard sufre de alucinaciones, pero ahora que se ha abierto la versión de Bard Experimental, he ido a probar un poco, y me he topado con algo bastante curioso, que ahora os cuento, pero primero vamos a comprobar las alucinaciones. Tan sencillo como preguntar por una persona, en este caso por mí, y el resultado sale rápido.

Figura 3: Alucinaciones al preguntar por el "hacker del gorro"

En este caso ha sido bastante sencillo. Con preguntar por si conocía al "hacker del gorro", dice que comencé como hacker de sombrero negro, que nací en 1970, que comencé mi carrera de hacker "malo" en los años 90, y que en el año 2.000 me hice "hacker blanco", y que he escrito dos libros titulados "Hacker de sombrero blanco" y "El lado oscuro de la seguridad informática". Todas ellas alucinaciones "big time".

Figura 4: "Casi" acierta en los libros, pero da otra info diferente a la anterior

Pero como os conté en el artículo de los LLM y la gestión de la identidad, si pregunto por la misma persona de otras formas, salen otras respuestas muy curiosas. Por ejemplo, preguntando por los libros de Chema Alonso, como podéis ver en la Figura 4, da la lista "casi" correcta, pero sobre todo diferente a la previa.

Figura 5: Y habla muy bien de los ellos, he de decir.

Pero si vuelvo a preguntarle por "el hacker del gorro", además de cambiarme otra vez - y otra vez mal - mi fecha de nacimiento, insiste en que la década de los 90 fui un hacker de sombrero negro. Pero lo más fuerte es que dice que en el año 2001 fui detenido por las autoridades españolas por mis actividades ilegales para cumplir una condena de 2 años en la cárcel. WTF???

Figura 6: Google Bard, ahí te has pasado

No solo me ha hecho más viejo, sino que me ha metido dos años en la cárcel y me ha dado un pasado criminal que nunca he tenido. De hecho, he contado muchas veces que no empecé en el mundo del hacking hasta que no fue descubierta la técnica de SQL Injection, que se descubrió en diciembre de 1998, y nunca haciendo cosas malas.

Figura 7: Le ha quedado una historia de redención genial

Probando más cosas, veo tengo una historia de redención. Supuestamente después de mis años en la cárcel, y eso ha hecho que sea un referente para los jóvenes. Como guión de una película queda perfecto, pero no es verdad. Y ya que tengo una historia de redención, voy a preguntarle a Bard por el apodo que me puso Javi Nieves cuando trabajaba con él en su programa.

Figura 8: Alucinante esta historia

Como podéis ver en la historia, el mote de "El hacker bueno" me lo puso la prensa española tras mi conversión a hacker ético. Pero es que describe la cronología de que en los 90 era un pirata informático, que en 2001 me metieron en la cárcel, y que estuve dos años en la cárcel.  Y con el punto de la redención el compromiso con la ciberseguridad después. Novelón.

Figura 9: El hacker más famoso del mundo de habla hispana

Ya para terminar a lo grande, le he preguntado por "el hacker más famoso del mundo de habla hispana", y dice que soy yo, pero con toda la película de mi paso por la cárcel, la redención donde vi la luz blanca, y demás. Un historión.

Reflexión Final

Está claro que estos LLMs no son una fuente fiable para recibir información, o para fiarte de en la toma de decisiones sin revisar lo que te dicen. Es una fuente de creatividad, de conversación, y puedes estar horas hablando con ellos, pero no te puedes fiar de lo que te den como fuente de información fiable.

Lo que me preocupa es que si una página difama sobre mí, existen regulaciones, protección legal, y herramientas para poder defenderme, pero si es un modelo de IA el que va difundiendo datos de que yo he estado en la cárcel... ¿lo puedo demandar? Al final, la culpa es si las personas le damos credibilidad a lo que nos devuelve, así que ojo cuidado con las alucinaciones de los LLMs, que lo hemos visto con los datos biográficos sobre personas públicas, como en mi caso donde se inventa de todo, o de personas como Arturo Pérez-ReverteRodrigo Cortés o David Summers como vimos en el artículo de "¡Ojo con ChatGPT que es un charlatán mentirosillo!".

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


2 comentarios:

canferraguet dijo...

A ver, que tienes un blog que se llama un informático en el lado del mal. Queda claro, lado del mal ¿no?

Contrapuesto dijo...

Alguna relacion tendra

Entrada destacada

Tu Latch "Hack Your Innovation Contest": Haz un PoC & Hack por 1.000 €

El pasado Telefónica Innovation Day 2024 lanzamos oficialmente el " Tu Latch Hack Your Innovation Contest " en el que repartimos ...

Entradas populares