Deep Live Cam & VerifAI: Detección de DeepFakes en Vídeo Conferencias

En el año 2021 comenzaron a aparecer los proyectos que permitían utilizar una única fotografía para hacer una DeepFake en Vídeo Conferencias. La idea es tan sencilla como construir en tiempo real un stream de vídeo con la DeepFake y publicarla como una Virtual Cam para que pudiera utilizarse en cualquiera de las plataformas de Vídeo Conferencias, como Zoom, Meet o Teams. 

Figura 1: Deep Live Cam & VerifAI.

Detección de DeepFakes en Vídeo Conferencias

En aquel tiempo trabajamos primero con FaceIT Live y FaceIT Live3 posteriormente, y para poder construir las Virtual Cams fácilmente en los entornos Windows, creamos nosotros una pequeña PoC para tener un sencillo GUI que llamamos By The Face, pero que utilizaba por debajo el software de FaceIT Live3.

Figura 2: By The Face para vídeo conferencia con DeepFake de FaceIT Live3

Esta idea ha continuado evolucionando, y la última herramienta que ha aparecido, por su calidad y su facilidad de uso es Deep Live Cam, que hace exactamente lo que os he contado. 

Figura 3: Repositorio GitHub de Deep Live Cam

Con una fotografía te hace la DeepFake en tiempo real y te crea la Virtual Cam de la misma manera que se ve en el vídeo de la  Figura 2 con By the Face, pero muy mejorada la calidad de la DeepFake.

Figura 4: GUI de Deep Live Cam

Y el resultado es el que podéis ver en este GIF que se presenta de demo en el repositorio de GitHub de Deep Live Cam, que es el que puedes esperar, pero con una muy buena calidad. 

Figura 5: Demo con DeepFake de Elon Musk

Como os podéis imaginar, esta herramienta es más que suficiente para que sea utilizada por los cibercriminales a la hora de realizar ciberestafas de suplantación de famosos, lo que lleva a que muchas personas les den su dinero pensando que están ayudando a sus ídolos.

Figura 6: "Ciberestafas: La historia de nunca acabar" (2ª Edición).por Juan Carlos Galindo en 0xWord.

Así que cuando hemos visto el vídeo de demo publicado en el artículo de Ars Technica, y el vídeo de demo subido en el propio repositorio de GitHub de Deep Live Cam, hemos querido probarlos con nuestro querido Tu VerifAI, a ver si los detectaba.

Figura 7: Tu VerifAI para detectar GenAI Pics & DeepFakes

El objetivo es ver si la tecnología de detección que tenemos ahora metida en Tu VerifAI es capaz de detectar Deep Live Cam en su uso en tiempo real para estafar por vídeo conferencia a un empleado de una empresa o a un particular. Así que le hemos subido los vídeos de demo hechos con ella.

Figura 8: Vídeo de Demo de Deep Live Cam

El primero ha sido el vídeo de demo del repositorio oficial, recortado para que solo se vea la imagen de la cámara en el vídeo, y se lo he subido a Tu VerifAI, y el resultado ha sido que lo ha detectado bien.

Figura 9: Detección de la DeepFake con Tu Verifai

Los siguientes vídeos, los hemos ido dividiendo en cada uno de los caracteres que se van utilizando, para no confundir a la herramienta y ponérselo fácil con muchos cambios de cara, así que hemos ido subiendo uno a uno. Primero el de George Clooney.

Figura 10: Deep Fake con George Clooney.

(Qué bien me cae ese tipo)

Y el resultado tras subir esta DeepFake hecha con Deep Live Cam a Tu VerifAI es que lo detecta perfectamente.

Figura 11: Tu Verifai da un resultado de "MUY PROBABLEMENTE"

El siguiente ejemplo es con Mark Zuckerberg, que como podéis ver, es con la misma persona y en el mismo entorno.

Figura 12: Deep Fake con Mark Zuckerberg

Ahora el mismo proceso. Subimos el vídeo a Tu VerifAI y esperamos resultado, que en este caso es otra vez MUY PROBABLEMENTE con mayor grado de certidumbre.

Figura 13: Tu VerifAI da un resultado de "MUY PROBABLEMENTE"

Ahora vamos con el actor Hugh Grant, que también se muestra en el vídeo de demostración que estamos analizando.

Figura 14: Deep Fake de Hugh Grant

Y el resultado, que como ya os podéis imaginar, es que Tu VerifAI detecta que se está utilizando tecnología de DeepFake en ese vídeo.

Figura 15: Tu VerifAI da un resultado de "MUY PROBABLEMENTE"

El último vídeo, que he querido probar todos para que se queden guardados en el artículo por si hay que reusarlos el día de mañana.

Figura 16: Vídeo con DeepFake de JD Vance

Como podríais suponer, el resultado no cambia para este vídeo tampoco, aunque de nuevo varía el grado de certidumbre del algoritmo.

Figura 17: Tu VerifAI da un resultado de "MUY PROBABLEMENTE"

Por desgracia, a pesar de que para la tecnología de detección estas DeepFakes no pasan el filtro de Tu VerifAI, para empleados de empresas y personas particulares sí que lo hará, lo que les convertirá en víctimas de ataques del CEO con DeepFakes o Estafas de Famosos en Apuros.

Usar VerifAI en tu empresa

Si quieres probar estas tecnologías, integrar esta solución en tus productos, o en las herramientas de vídeo conferencia de tu organización, no dudes en ponerte en contacto con nosotros a través de la web de Tu para Empresas, y te ayudaremos con ello.

Figura 8: Contacta con nosotros si quieres más info de VerifAI

Por supuesto, si quieres ser nuestro partner, y distribuir estas tecnologías o ayudar a desplegarlas en tus clientes, también contacta con nosotros.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)