Hacker & Developer in the Age of LLM Apps & Services [Updated]

El pasado mes de Junio tuve el privilegio de dar la última charla de la DotNet 2024  de mis compañeros y amigos de Plain Concepts, y como está más orientada a desarrolladores, decidí actualizar la charla de Hacker & Developer in the Age of LLM Apps & Services añadiendo algunas de las novedades desde que diera esta misma charla a finales del año pasado.

Figura 1: Hacker & Developer in the Age of LLM Apps & Services [Updated]

En esta charla intento presentar el impacto de los LLM Apps & Services en el mundo de la ciberseguridad desde dos perspectivas diferentes. La primera desde las nuevas vulnerabilidades y cómo le afectan, siguiendo el OWASP Top 10 para LLM Apps & Services del que ya os he hablado alguna vez, donde caen las técnicas de Prompt Injection, los bugs & hacks a plugins y las arquitecturas RAG, las técnicas de Jailbreak, o los leaks de privacidad.

• Los 10 problemas de seguridad más importantes de ChatGPT, Bard, Llama y apps que usan LLMs: OWASP Top 10 para LLM Apps versión 1.0.1
• GenAI Apps & Services: Cómo explotar arquitecturas RAG con Plugins Inseguros
• Crescendo & Skeleton Key: Más técnicas de Jailbreak para modelos LLM
• Jailbreaking LLMs con Fuzzing, LLMs o interrogación coercitiva: Aproximaciones para que un LLM ayude a los malos
• Indirect Prompt Injection & Dialog Poissoning en ataques a LLMs Multi-Modales
• Ataque de Side-Channel a conversaciones con ChatGPT, CoPilot y otros LLMs
• Developers: Cuidado que ChatGPT o Gemini te pueden recomendar instalar malware con Package Hallucinations
• Bugs en la Implementación OAuth de ChatGPT
• Codename: "Leak GuardIAn" para evitar filtraciones a ChatGPT
• Cómo robar cuentas de ChatGPT con "Wildcard Web Cache Deception"

La segunda, desde la perspectiva de cómo utilizar LLMs Apps & Services para el mundo del hacking, del Red Team, o de cómo lo pueden utilizar los malos en esquemas de ataque. De esto os he hablado también en muchos artículos, y caen la resolución de los Captchas Cognitivos, el uso de LLMs para desinformación, Fake News, DeepFakes, la creación de exploits o la asistencia a la hora de recoger información.

• Detectar Deepfakes con VerifAI
• VASA-1: Un modelo de de GenAI para "Visual Affective Skills" que potencia la expresividad de los Humanos Digitales (y de DeepFakes & FakeNews) 
• Blade Runners: Cómo crear un Test de Voight-Kampff para DeepFakes
• DeepFakes & Digital Onboarding: Verificación de identidad en plataformas digitales
• 0dAi: Un Modelo AI LLM para hacer hacking & pentesting en el Red Team
• Weaponizar ChatGPT para robar contraseñas WiFi y crear malware
• Cómo usar LLMs en Ciberataques: Cibercrimen, Ciberespionaje, Ciberguerra o Red Team
• El uso de LLMs como Copilot en la Seguridad Ofensiva (y el Cibercrimen) para hacer malware
• OpenAI lucha contra los "malos": Bad Grammar, DoppelGanger, Spamouflage, IUVM & Zero Zeno
• ReCaptchav2 de Google con Cognitive Services
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max
• Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
• Reto hacking con un Captcha Cognitivo para romper con GenAI
• Solución al Reto de Hacking de un Captcha Cognitivo Visual
• Anthropic Claude 3.5 Sonnet & Cognitive Captchas
• "LLM Agents can autonomouslly hack websites"
• WebScrapping & WebScalping con GenAI: Formularios y Datos
• "CodeProject: NewsBender" Desinformación política con Generative-AI

Todo esto que he ido publicando los últimos dos años lo he intentando condensar en esta charla de 45 minutos que he subido a mi canal Youtube, donde ya sabéis que intento compilar todo el material en formato vídeo de charlas, entrevistas, conferencias, y cosas varias que a lo largo de los años he ido haciendo.

Figura 2: Hacker & Developer in the Age of LLM Apps & Services [Updated]

Y poco más que decirte. Si te gusta este mundo, y ya sabes lo importante que es la Inteligencia Artificial en la Ciberseguridad, tanto para como la utilizan los atacantes, que como la utilizan los equipos Blue Team, Red Team o Purple Team en las empresas, hemos preparado ya la II Edición del Programa de Especialización de "Inteligencia Artificial para Expertos en Ciberseguridad" que tendrá lugar en el mes de Noviembre de este año. Reserva ya tu plaza.

Figura 3: 2º Edición del Programa de Especialización

"Inteligencia Artificial para Expertos en Ciberseguridad"

Este programa lo hemos lanzado en la Universidad de Deusto con el Doctor Pablo García Bringas  y tenemos ya la   2ª Edición del Programa de Formación de Inteligencia Artificial para Expertos en Ciberseguridad de un mes de duración, que permitiera a Estudiantes de Informática y a Profesionales de ciberseguridad hacer un "Upgrade" al mundo de la Inteligencia Artificial en este mes de Noviembre.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)