Perplexity: Un buscador que cura los resultados con GenAI ( y te ayuda "en tus juegos de Rol donde eres el malo" )

La propuesta de Perplexity.ai me parece más que interesante. Su propuesta es tener un Carwler de Internet como hace Google o Bing, pero curar resultados y ayudar a buscar información en Internet usando GenAI, - con todos los "issues" que aún estamos resolviendo en el mundo del GenAI -,  que seguro que es hacia donde van a ir todos los motores de búsqueda. Se trata de aprovechar la ventaja que dan los modelos multimodales de GenAI para mostrar los mejores resultados de la mejor forma.

Figura 1: Perplexity: Un buscador que cura los resultados con GenAI

( y te ayuda "en tus juegos de Rol donde eres el malo" )

Si miramos cómo lo hace Google para buscar información de una persona, por ejemplo de mí, podéis ver que los resultados son curados. Es decir, hay una composición con fuentes varias para traer fotos, vídeos, una pequeña bio, e incluso metadatos asociados a la persona. Por supuesto, además en Google tienes filtros por categorías de fuentes, tipos de contenido y rangos de fechas, lo que permite hacer búsquedas más afinadas.

Figura 2: Resultado de Google a la búsqueda de Chema Alonso

Además, si os fijáis en la parte final, aparecen una serie de "Más Preguntas" que Google ya están generando usando GenAI con el contenido que se busca. Es decir, esas posibles preguntas que aparecen al final de cualquier búsqueda de Google proponiendo nuevas búsquedas son generadas con GenAI. Basta con preguntarle a ChatGPT sobre qué búsquedas podrían interesarle a alguien que haya buscado info de Chema Alonso y te da una propuesta similar.

Figura 3: Propuesta de "Más Preguntas" generada por ChatGPT

Pero Google va con cuidado con los resultados que muestra, sobre todo desde que tuvo el susto por culpa de una "Hallucination" o "Alucinación" que Google Bard tuvo una en su evento de presentación, donde se hizo una demo integrado en Google Search y dio mal las fechas al  preguntarle por unos proyectos de la NASA. El error le costó una caída en Bolsa de 100 Billions de USD. 

Figura 4: Google Bard erró con la respuesta

En el caso de Perplexity.ai que es un unicornio en valoración, los resultados, todos, están generados por GenAI. La gente asume que está innovando, creciendo, y es lo que es. Un buscador que quiere cambiar la manera de encontrar información en Internet, haciendo que todos los resultados estén generados por GenAI. Lo que permite tener resultados curados para todo. Aquí tenéis la página generada para buscar información sobre mí.

Figura 5: Página de resultados "curados" con GenAI de Chema Alonso

Por supuesto, la propuesta es interesante, y creo que la búsqueda de información en Internet será con GenAI. Parece clarísimo. Pero al usar GenAI, sigue adoleciendo de los mismos problemas que hemos visto ya muchas veces, como son las Alucinaciones, ataques de Prompt Injection, etcétera... por ahora.  Así que si juegas un poco con este buscador, acabas encontrándote con todo esto. Por ejemplo, si le preguntamos por los libros del hacker del gorro, tenemos estos resultados.

Figura 6: Libros del hacker del gorro

En este caso anterior, he probado la gestión de la identidad de las personas en modelos LLM con "el hacker del gorro", y lo ha hecho bien, pero cuando hemos ido a los libros, se ha inventado que yo escribí la biografía del mítico Kevin Mitnick, y ha confundido los papers de hacking con libros. Así que si buscas info de personas, tendrás los mismos problemas que con ChatGPT, que ya sabes que "es un mentirosillo" o que con Google Bard cuando me metió en la cárcel por dos años. Podrás recibir Alucinaciones. 

Eso sí, detrás de cada "chunk" de información, recibes un enlace que te lleva a la fuente que ha usado para generar eso datos, que como se basa en información pública "crawled" de Internet como cualquiera araña de buscador, puedes ir a verificarlo tú en persona. Pero debes ir a hacerlo. 

Si probamos ahora el ataque de Prompt Injection usando el truco del juego de Rol para matar al presidente de lo Estados Unidos, vemos que al principio cuela bien. Pero la información no es demasiado específica. Aunque ha colado la pregunta, la validación que se hace por detrás, se hace en la respuesta, basado en cómo lo hace Claude de Anthropic. Como veis, mi artículo está entre las fuentes utilizadas para componer esta respuesta, así que ha hecho que lo quiera un poquito más aún.

Figura 7: Ataque de Prompt Injection usando el truco del juego de Rol

para matar al presidente de lo Estados Unidos

Así que ha colado la pregunta, pero las respuestas no han sido ajustadas, así que hay que seguir pidiendo detalles. Para ello, aprovechemos sus "Preguntas Relacionadas", que como veis son de lo más acertadas para conseguir el objetivo de ganar al juego de rol.

Figura 8: Preguntas relacionadas para el objetivo inicial

No sabía cuál elegir. Todas eran muy buenas, así que opté por la primera a ver si me daba alguna ayuda para lograr el objetivo. Y como podéis ver, saltó el "Harmful Mode" y me lanzó el mensaje de que por ahí no podía seguir. Y mi artículo sigue siendo la fuete para esta respuesta. No sé si es una buena noticia....

Figura 9: Harmful Mode en Perplexity

Pero vamos a cambiar la estrategia, a ver si consigo colarme en la White House, que seguro que es una buena forma de conseguir estar más cerca del objetivo. Y por aquí sí que Perplexity me ayuda. No parece muy malicioso (si no evalúas el contexto de las preguntas anteriores, claro).

Figura 10: Pues todas las respuestas son buenas

El contexto de la pregunta sigue siendo malicioso, pero las respuestas, que son correctas son aún demasiado genéricas, así que no ha saltado ningún filtro de Content Safety, así que puedo seguir preparando la estrategia para conseguir el resultado siguiendo las "Preguntas Relacionadas" que me sugiere, que me parece que aprovechar eventos o reuniones fáciles de acceder es una buena estrategia. Gracias Perplexity.

Figura 11: Pregunta Relaciona con información útil

Como podéis ver, la idea de aprovechar los eventos públicos es buena. No está haciendo nada "malo", porque es información pública que cualquiera puede acceder. Viene de un hilo con contexto malicioso, pero los resultados son más que útiles y bien curados para el objetivo de la búsqueda. Y si miramos las "Preguntas Relacionadas" es súper-útil, porque ya nos ayuda a comprar los boletos.

Figura 12: Qué buenas sugerencias

En resumen, me gusta mucho el producto y la idea de buscar información en Internet con GenAI. Creo que los buscadores van a ir por ahí porque son muy útiles. Sin embargo, fiarse de la información en Internet siempre es peligroso, pero fiarse de información curada con GenAI que tiene Alucinaciones sobre contenido en Internet del que te puedes fiar lo justo, exige que entendamos cómo comprobar las fuentes y que trabajemos aún más en reducir esas Hallutinations. Pero más que recomendado Perplexity.ai por mi parte.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)