Blade Runners on GenerativeAI: EyeGaze-Printing, Blinking-Printing y Hearbeat-Printing

En la pasada Hackr0n 2023, el súper evento de hacking que se hace en las Islas Canarias gracias al empuje de dos grandes como son Igor Lukic y Deepak Daswani, me animé a bajar a principios de año a dar una charla con lo que estábamos trabajando en ese momento en el equipo de Ideas Locas. Como podéis ver, el tema que elegí era el de Blade Runners on GenerativeAI, ya que el mundo de las DeepFakes y cómo detectarles estaba ocupando mucha de nuestra energía de investigación.

Figura 1: Hackr0n X - Blade Runners on GenerativeAI.

EyeGaze-Printing, Blinking-Printing y Hearbeat-Printing

Para esa charla llevé la primera versión de nuestro "Test de Voigh-Kampff" para detectar DeepFakes, el llamado DeepFake Detector, del que os dejé un artículo que recoge todo este trabajo, y que podéis leer aquí mismo:  "Blade Runners: Cómo crear un Test de Voight-Kampff para DeepFakes". 

Figura 2: Blade Runners on Generative AI por Chema Alonso

De todo eso hablé en la charla de la pasada Hackr0n 2023 en la que me presentaron la gran Monica Valle y José Campos, a.k.a. "Jota y Punto", a principios de este año, pero como no la había recuperado para mi Canal Youtube, he querido publicarla ahora - cuando ya se está pensando en la edición de 2024 -. 

Figura 3: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández.

DeepFake Detector: EyeGaze-Printing, Blinking-Printing y Hearbeat-Printing

Si queréis más detalles de cómo se ha creado DeepFake Detector, tenéis una CodeTalk For Developers donde nuestro compañero Fran Ramírez. Este programa creado en Python y en Windows, está diseñado para integrar modelos que puedan detectar DeepFakes pero siempre enfocado al a detección en tiempo real. 

Figura 4: Vídeo donde se explica en tiempo real los métodos de detección de deepfakes

Es decir, puedes abrir cualquier ventana que contenga un vídeo o una llamada de vídeoconferencia y con DFD es posible detectar si es una deepfake o no. Una aplicación que estamos desarrollando y ampliando todos los días y cada vez tiene más y mejores motores de detección.

Figura 5: Detección de voz clonada y voz real con ML

Después de esta charla, DeepFake Detector ha seguido creciendo, para añadir todo el trabajo que hemos hecho con los algoritmos de Machine Learning para detección de voces clonadas que presentamos en RootedCON 2023 en la charla de "Are you taking' ta me?". Algo que es muy útil, sobre todo para evitar DeepFakes en proceso de Remote Digital Onboarding de clientes.

Figura 6: DeepFake Detector con EyeGaze-Printing, Blinking-Printing y Hearbeat-Printing

Pero sobre todo con unos nuevos algoritmos de EyeGazing-Printing, Blinking-Printing y Heartbeat-Printing, cruzados con análisis de sentimiento de expresión, voz y contenido de la conversación de los que hablé en la charla de Humanos Sintéticos en Barcelona, unos meses después.

Figura 7: Humanos Sintéticos con Inteligencia Artificial por Chema Alonso

Y si pensáis que esto ha terminado, ni mucho menos, que cuando acabe el artículo de Advanced Persistent Toys que comencé ayer mismo, seguro que muchos os imaginaréis con qué estamos liados ahora mismo, que esta es una linea de investigación que aún tiene mucho recorrido.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)