Sigue El lado del mal en Telegram
Chema Alonso en Threads
Chema Alonso en Mastodon
Chema Alonso en BSKY
Chema Alonso en Linkedin
DragonJAR
8.8 Chile
Ekoparty
e-Hack MX 
AREA 51 
Comunidad Dojo Panamá 
ARPAHE SOLUTIONS 
Fear of the Dark: DeepFakes, Sappo & Sentiment Analysis
En la primera parte del artículo os dejé la introducción pre GenAI, que una vez que llegó el mundo de la Inteligencia Artificial Generativa todo ha cambiado. Hemos pasado a tener un conjunto de herramientas mucho más peligroso para la explotación de los miedos, como son las técnicas de DeepFakes de las que tanto he hablado por aquí y, como no, la posibilidad de generar todo tipo de artículos, vídeos, audios, música, fotografías falsas para manipular a un posible espectador.
Figura 13: Fear of the Dark.
DeepFakes, Sappo & Sentiment Analysis
Las DeepFakes comenzaron en el año 2017 a ser un auténtico problema. En aquel entonces las técnicas de FaceSwapping con Autoencoders eran cosas graciosas al principio que saltaron a los medios con la aparición de las DeepNudes, donde se podía poner la cara de una persona famosa a un vídeo de contenido pornográfico, y, como no, a un vídeo donde se quisiera difamar a una persona haciendo algo reprobable.
Figura 14: Hacking & Pentesting con Inteligencia Artificial.
En aquel entonces se trataba de hacer alteraciones de contenido parcial, y como pudimos ver con el tiempo se podían hacer en tiempo real, como la GAN de Chema Alonso que utilizábamos en el ataque del CDO que presentamos en alguna de las RootedCON.
Estas técnicas, también saltaron a la palestra con la DeepFake de Leonid, el supuesto político contrario al régimen ruso que se entrevistó con un Europarlamentario para luego sacar todas las declaraciones de este último cortadas, extrapoladas, en la televisión y generar un clima "anti-ruso" desde Europa. Aquella manipulación generó mucho ruido, y todo el mundo comenzó a trabajar en la Detección de DeepFakes.
En aquel momento eclosionaron masivamente las DeepFakes de Audio, donde haciendo un clonado de la voz a partir de cualquier fichero, se podía hacer un vídeo de cualquier persona diciendo cualquier cosa. Hoy en día esto ya es un juego de niños y vemos a vídeos del Presidente Trumpo hechos a la carta, jugando a la guerra memética con GenAI.
Pero claro, también lo vemos en vídeos que no pretenden ser graciosos ni memes, sino vídeos que pretenden ser cortes de programas de noticias, documentales, o entrevistas por la calle, que buscan generar un impacto en las redes sociales en todos aquellos que los ven.
GenAI para Ciberdefensa
Por supuesto, en la parte de protección contra DeepFakes, nosotros estuvimos mucho tiempo trabajando en esto, y creamos nuestro DeepFake Detector, donde aplicábamos todas las técnicas conocidas hasta ese momento para detectar una DeepFake en tiempo real, pero también para detectarla en modo Análisis Forense. En esta presentación, yo hablaba de todas ellas: "Blade Runners: Cómo crear un Test de Voight-Kampff para DeepFakes".
Llevábamos años trabajando con los Cognitive Services de Sentiment Analysis, y los había utilizado para muchas cosas. Entre otras para hacer el proyecto de Twitter (puedes llamarlo X si quieres) Detox, donde analizábamos el sentimiento de los Tweets que tenías en tu feed analizando lo que publicaba la gente que seguías.
Llevamos tiempo con el análisis de sentimiento, así que para el trabajo de DeepFake Detector, a parte de detectar fallos en la biometría de la imagen, también comenzamos a trabajar en la parte de fingerprinting, y, por último, añadir una capa patentada por nosotros que tenía que ver con el análisis de sentimiento cognitivo del vídeo y el audio. Nuestra querida patente de Sentimetrics que os conté en la RootedCON Madrid del año pasado.
En el ejemplo del vídeo anterior podemos ver que la expresión facial es normal, el tono del audio es neutro, pero el texto del mensaje parece alegre. Algo que suena extraño. De hecho, nuestro compañero Fran ha tenido que hacer auténticos ejercicios de teatro para controlar las tres piezas de la comunicación y conseguir los ejemplos para las demos. Aquí le tenemos en otra inconsistencia.
En este caso la expresión facial, y el tono del audio es alegre, pero el texto del mensaje es triste, así que hay incongruencia. Esta búsqueda de incongruencias es un vector más de detección de DeepFakes, que puede ser de utilidad en una vídeo conferencia en tiempo real, pero también en vídeos manipulados.
Tendring Topic de Fakes News
Viendo todo esto, y con la llegada de los LLMs, en la RootedCON Madrid del año 2024 creamos NewsBender, para generar directamente las Fake News Políticas que nos apeteciera de manera automática. Y acompañarlas todas ellas de mensajes en Twitter con emociones a favor o en contra. Todo a la carta.
Este proyecto lo llevé al programa de Iker Jiménez y Carmen Porter. evolucionado para conseguir directamente crear campañas Trending Topic con bots en Twitter, y bueno... ya sabéis que en directo hicimos que Tistimito se hiciera famoso a nivel nacional, y generamos una polémica inexistente.
Figura 23: Demo de cómo funciona el proceso
Para hacer la botnet de Twitter (sí, X), utilizamos la herramienta del Sappo que os habíamos contado en la RootedCON Madrid de 2016, donde robando tokens OAuth te podías hacer con el control de centenares de cuentas de la red social y luego ya, controlarlas desde un panel de control. En este caso, lo que hacemos es que le pedimos que nos publique los Tweets que generamos con un LLM. GenAI, Redes Sociales y Fake News todo junto.
Así que, llegados a este punto, y con la evolución de la GenAI hasta el punto de poder hacer contenido imposible de detectar como falso, me preguntaba... ¿Qué podemos hacer para protegernos de todo esto? Y bueno, os lo cuento en la siguiente parte.
¡Saludos Malignos!
Autor: Chema Alonso (Contactar con Chema Alonso)
