OpenAI lucha contra los "malos": Bad Grammar, DoppelGanger, Spamouflage, IUVM & Zero Zeno

Ya hemos hablado de cómo los LLMs se utilizan en el mundo de la Seguridad Ofensiva, pero también en el mundo del cibercrimen, ciberguerra y ciberespionaje. Y juego mucho yo con sus usos para automatizar campañas saltándose Captchas Cogntivos, y para crear campañas de desinformación en las redes sociales, como el caso de "CodeProject: NewsBlender - Desinformación política con GenAI" que presentamos en el programa de Horizonte con Iker Jiménez y Carmen Porter.

Figura 1: OpenAI lucha contra los "malos": Bad Grammar,

DoppelGanger, Spamouflage, IUVM & Zero Zeno 

Ahora, OpenAI ha publicado un documento en el que explica cómo han utilizado su ChatGPT actores enemigos en campañas de desinformación, que han denominado con los nombres de Bad Grammar, DoppelGanger, Spamouflage, IUVM & Zero Zeno. El paper se llama AI Covert Influence Operations: Latest Trends y explica el uso malicioso de los LLMs para usos en operaciones de ciber-propaganda, fake news o difamación.

Figura 2: AI Covert Influence Operations: Latest Trends

Los casos de estudio que se presentan son el de un actor ruso "BAD GRAMMAR" operando con bots en Telegram - de la misma manera que nosotros operábamos en Twitter/X con nuestro ejemplo de desinformación política -, con objetivos en Ukrania, Moldavia, los países del Báltico y Estados Unidos. 

Figura 3: Mensajes de la cuenta en Telegram

En el ejemplo anterior se puede ver cómo se generan estos comentarios desde una cuenta en Telegram, pero si vemos más adelante, esa cuenta se ha pasado de frenada, y ha hecho saltar el Harmful Mode de ChatGPT, generando la respuesta que permite detectar cómo hay un bot con LLM detrás de los mensajes.

Figura 4: Mensaje del bot con el error del Harmful Mode de ChatGPT

El contenido que publica el bot además elige la forma de hablar dependiendo de en qué bot se quiere cargar. Como cuando nosotros le hacíamos hablar como un "gallego" o un "político", o con una ideología política concreta, se le puede pedir que los comentarios sean de una persona con una determinada forma de hablar os expresarse.

Figura 5: Mensajes enviados por un bot usando LLM

En definitiva, una serie de bots controlados por este actor ruso que va cambiando la temática de la polémica y los mensajes a compartir. Se trata de mantener "caliente" un determinado mensaje en los canales sociales haciendo uso de la potencia de los LLMs

Figura 6: La operación "Zero Zeno"

En el caso de la campaña Zero Zeno se trata de generar contenido sobre conflicto de Gaza, y detrás de ella está una compañía de Israel llamada STOIC, que está haciendo uso de los LLMs para generar todo tipo de contenido en redes, con la creación de largos artículos en inglés y francés sobre el conflicto. Ademas, por supuesto, de generar contenido en comentarios de Instagram, Twitter/X o Telegram

Figura 7: Doppelganger, Spamouflage & IUVM

Además de estas operaciones, el estudio recoge el uso que hacen las operaciones Doppelganger, también de origen ruso, Spamouflage con origen chino y la International Union of Virtual Media (IUVM) de origen iraní. Cada una con objetivos de difusión de información distinta, y con generación de contenido diferente - usando imágenes, bots en X, Telegram, Instagram o artículos en blogs -, pero todas ellas utilizando LLMs.

Figura 8: Posts en X creados por Doppelganger

Y como en el ejemplo de la Spammer "Linda Fake Broker" donde se creaban comentarios en Instagram y Youtube para simular engament, estas campañas también hacen lo mismo para simular interacción y actividad, y lograr que algo sea Trending Topic, como hice yo con el ejemplo de Tistitimito. Estas técnicas denominadas de Faking Engagement.

Figura 9: Campañas de Faking Engagement

Al final, gracias a los LLMs, las cuentas bots controladas por los atacantes pueden hacer una interacción "inteligente" en las redes sociales, creando contenido "nuevo", "diferente", "distinto", y con los tintes ideológicos que le pidas.

Figura 10: La campaña en Twitter contra Tistimito diseñada por ChatGPT

Por supuesto, esto tiene la gracia de que estas campañas están utilizando los modelos LLMs de OpenAI a través de ChatGPT, pero si la organización tiene su propio LLM, por ejemplo porque le hayan hecho una copia en su Tenant privado militar, nunca nos enteraremos de ello, y se podría estar utilizando hoy. ¿Tú crees? Naaaaaa..

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)