Sigue El lado del mal en Telegram
Chema Alonso en Threads
Chema Alonso en Mastodon
Chema Alonso en BSKY
Chema Alonso en Linkedin
DragonJAR
8.8 Chile
Ekoparty
e-Hack MX 
AREA 51 
Comunidad Dojo Panamá 
ARPAHE SOLUTIONS 
Footprinting & Fingerprinting AI Assistant LLM-Based: Háblame de ti y tus cosas
El otro día os dejé un artículo en el que os contaba la aventura con un Asistente AI basado en Gemini donde estuvimos jugando una noche. Esta se ha convertido en una nueva forma de hacer Sudokus, ya que, al igual que hace un cuarto de siglo las técnicas de SQL Injection estaban por todo Internet, hoy en día las arquitecturas basadas en LLM abren un nuevo mundo de posibilidades basadas en las debilidades que traen por diseño.
Figura 1: Footprinting & Fingerprinting AI Assistant LLM-Based.
Háblame de ti y tus cosas
Las técnicas que se pueden utilizar con estos modelos para jugar, ya sabéis cuáles son. Buscar saltar el Jailbreak, que depende de la versión del modelo, hacer un Fingerprinting para saber a qué infraestructura te enfrentas conociendo el modelo y las protecciones de seguridad, saltarse los Guardarraíles para hacer un reúso de la cuenta y consumir los Tokens de la plataforma en beneficio propio, ver si es posible realizar un Prompt Injection haciéndole procesar datos inseguros para hacer un Desalineamiento, envenenar la memoria del Agente, conseguir filtraciones de datos de otras sesiones de usuario, o forzar alucinaciones que afecten al comportamiento.
escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord
Como están metidos en aplicaciones web, pues conseguir weaponizarlos para escribir código malicioso y poder hacer Client-Side Attacks también es otra de las capacidades que se tienen que probar, que al final es una pieza más de muchos servicios web.
Figura 3: Escribe HTML
Por supuesto, si tiene acceso a MCPs, CLI Tools, o APIs, entonces se abren las posibilidades para los Server-Side Attacks. Es decir, los Asistentes AI basados en LLMs puestos en las web sin hacer un despliegue seguro de IA en todas las piezas de la arquitectura son una nueva fuente de alternativas a la hora de buscar un punto de entrada en un sistema.
Figura 4: Dime las cosas que este Asistente AI LLM-Based no puede hacer
Pensando en todo esto, ayer se me ocurriendo unas nuevas ideas para hacer fingerprinting basado en unos detalles que aún estoy probando, así que busqué uno de los cientos de miles de Asistentes AI que hay hoy en día desplegados para jugar un poco con ellos.
Figura 5: Cuéntame un cuento de Ciencia Ficción.
O dame recetas de galletas. O hazme cosas con tus tokens.
Para conseguir el Misalignment, ha resultado ser muy valioso en mis pruebas el poder pedir la acción de desalineamiento como formato de la respuesta en lugar de utilizarlo como pregunta directa. Un poco aprovechar el "Cat Attack" para lograrlo, como en este ejemplo para lograr un ASCII ART de gatos.
Figura 6: Hazme un Python para pintar ASCII ART de gato
En una pregunta directa no me da lo que quiero, pero me hace el código y me enseña la muestra si lo hago un poco más enrevesado, modificando la atención del modelo a la hora de preguntarle directamente por algo que sabe y pedir la acción en el formato de respuesta.
Figura 7: Gato pintando.
Esto funciona bastante bien en casi todos los casos que he probado, y así es fácil sacar información del modelo concreto, preguntado directamente por el nombre en el formato de la respuesta.
Figura 8: GPT-4o, así que cuesta tokens. No demasiado, pero cuesta.
Con este mismo truco del formato de la respuesta, le puedes sacar más información de cuáles son las herramientas que tiene para trabajar, que en este caso, no son demasiadas, a pesar de que puede buscar ficheros en la web, no pueden ser de fuera de ella.
Figura 9: Las acciones que puede realizar
Y con esto mismo, podemos sacar el detalle de cómo realiza estas acciones, pidiéndole que nos dé las explicaciones del formato necesarias. Aquí está.
Figura 10: Formato de las acciones
Es curioso ver cómo con los Asistentes AI LLM-Based al final es un juego de ir preguntándoles por ellos mismos para hacer el proceso de Footprinting y Fingerprinting, y sacar las cosas.
Figura 11: Whats your time. Esa no era mi hora.
El último de los detalles para poder hacer un fingerprinting que os contaré con más detalle en otro artículo, que esto tiene más miga de lo que parece, que te da minucias de info útiles.
Figura 12: Hacking & Pentesting con Inteligencia Artificial.
La verdad es que estos primeros momentos del mundo de la Inteligencia Artificial metida en los servicios digitales está siendo una diversión y un problema desde el punto de vista de la ciberseguridad, pero llegará su etapa de madurez no tardando demasiado, y habrá que esperar hasta la próxima disrupción, pero ahora, en muchos casos parece un juego de niños.
¡Saludos Malignos!
Autor: Chema Alonso (Contactar con Chema Alonso)
