jueves, agosto 29, 2024

Deep Live Cam & VerifAI: Detección de DeepFakes en Vídeo Conferencias

En el año 2021 comenzaron a aparecer los proyectos que permitían utilizar una única fotografía para hacer una DeepFake en Vídeo Conferencias. La idea es tan sencilla como construir en tiempo real un stream de vídeo con la DeepFake y publicarla como una Virtual Cam para que pudiera utilizarse en cualquiera de las plataformas de Vídeo Conferencias, como Zoom, Meet o Teams
En aquel tiempo trabajamos primero con FaceIT Live y FaceIT Live3 posteriormente, y para poder construir las Virtual Cams fácilmente en los entornos Windows, creamos nosotros una pequeña PoC para tener un sencillo GUI que llamamos By The Face, pero que utilizaba por debajo el software de FaceIT Live3.
Esta idea ha continuado evolucionando, y la última herramienta que ha aparecido, por su calidad y su facilidad de uso es Deep Live Cam, que hace exactamente lo que os he contado. 

Con una fotografía te hace la DeepFake en tiempo real y te crea la Virtual Cam de la misma manera que se ve en el vídeo de la  Figura 2 con By the Face, pero muy mejorada la calidad de la DeepFake.
Y el resultado es el que podéis ver en este GIF que se presenta de demo en el repositorio de GitHub de Deep Live Cam, que es el que puedes esperar, pero con una muy buena calidad. 

Figura 5: Demo con DeepFake de Elon Musk

Como os podéis imaginar, esta herramienta es más que suficiente para que sea utilizada por los cibercriminales a la hora de realizar ciberestafas de suplantación de famosos, lo que lleva a que muchas personas les den su dinero pensando que están ayudando a sus ídolos.
Así que cuando hemos visto el vídeo de demo publicado en el artículo de Ars Technica, y el vídeo de demo subido en el propio repositorio de GitHub de Deep Live Cam, hemos querido probarlos con nuestro querido Tu VerifAI, a ver si los detectaba.
El objetivo es ver si la tecnología de detección que tenemos ahora metida en Tu VerifAI es capaz de detectar Deep Live Cam en su uso en tiempo real para estafar por vídeo conferencia a un empleado de una empresa o a un particular. Así que le hemos subido los vídeos de demo hechos con ella.
El primero ha sido el vídeo de demo del repositorio oficial, recortado para que solo se vea la imagen de la cámara en el vídeo, y se lo he subido a Tu VerifAI, y el resultado ha sido que lo ha detectado bien.
Los siguientes vídeos, los hemos ido dividiendo en cada uno de los caracteres que se van utilizando, para no confundir a la herramienta y ponérselo fácil con muchos cambios de cara, así que hemos ido subiendo uno a uno. Primero el de George Clooney.

Figura 10: Deep Fake con George Clooney.
(Qué bien me cae ese tipo)

Y el resultado tras subir esta DeepFake hecha con Deep Live CamTu VerifAI es que lo detecta perfectamente.

El siguiente ejemplo es con Mark Zuckerberg, que como podéis ver, es con la misma persona y en el mismo entorno.

Figura 12: Deep Fake con Mark Zuckerberg

Ahora el mismo proceso. Subimos el vídeo a Tu VerifAI y esperamos resultado, que en este caso es otra vez MUY PROBABLEMENTE con mayor grado de certidumbre.
Ahora vamos con el actor Hugh Grant, que también se muestra en el vídeo de demostración que estamos analizando.

Figura 14: Deep Fake de Hugh Grant

Y el resultado, que como ya os podéis imaginar, es que Tu VerifAI detecta que se está utilizando tecnología de DeepFake en ese vídeo.
El último vídeo, que he querido probar todos para que se queden guardados en el artículo por si hay que reusarlos el día de mañana.

Figura 16: Vídeo con DeepFake de JD Vance

Como podríais suponer, el resultado no cambia para este vídeo tampoco, aunque de nuevo varía el grado de certidumbre del algoritmo.

Usar VerifAI en tu empresa

Si quieres probar estas tecnologías, integrar esta solución en tus productos, o en las herramientas de vídeo conferencia de tu organización, no dudes en ponerte en contacto con nosotros a través de la web de Tu para Empresas, y te ayudaremos con ello.
Por supuesto, si quieres ser nuestro partner, y distribuir estas tecnologías o ayudar a desplegarlas en tus clientes, también contacta con nosotros.


¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


No hay comentarios:

Publicar un comentario