Una historia de Blade Runners & Virtual Replicants (Parte 5 de 5)

Para automatizar todas las técnicas forenses que van apareciendo a la hora de detectar DeepFakes, nosotros nos hemos hecho un servicio en el integramos cada nueva herramienta pensada para detectar un tipo de vídeo falsificado con DeepFakes, así tenemos una opinión clara de cuáles son las probabilidades de que estemos ante una estafa.

Figura 45: Una historia de Blade Runners & Virtual Replicants (Parte 5 de 5)

Se trata solo de tener una visión completa y actualizada de lo que opinan las diferentes soluciones que van apareciendo día a día en este mundo de las técnicas forenses de DeepFakes.

2020 - DeepFake Exposer

Su funcionamiento es muy sencillo, basta con subir un vídeo o darle la URL de donde está publicado, y lo pasamos por las herramientas forenses que se van publicando en GitHub gracias a los artículos científicos anteriormente citados.

Figura 46: Arquitectura de DeepFake Exposer

El funcionamiento es muy sencillo. Se le proporciona el vídeo para saber qué opinión tiene al respecto el sistema, y nos dice qué han dicho cada una de las herramientas que hemos lanzado para analizarlo.

Figura 47: Demo de DeepFake Exposer

En el momento del ejemplo, DeepFake Exposer implementa las herramientas proporcionadas por estos cuatro artículos científicos de los que hemos hablando con anterioridad.

Figura: Soluciones implementadas en DeepFake Exposer

Para nosotros es una solución cómoda, porque nos permite ir metiendo todos los avances en el análisis forense de DeepFakes, y poder tener una visión holística.

Detección de Virtual Replicants

Dentro de todas las medidas que se están desarrollando para detectar DeepFakes, son especialmente importantes aquellas. que se pueden incluir directamente en un sistema de videoconferencia en tiempo real para detectar que alguien se está enmascarando detrás de una GAN cuando estás teniendo una reunión virtual con él. Es decir, detectar que estás hablando con un Virtual Replicant - haya detrás un humano o un bot -en lugar de con la persona de verdad que se encuentra detrás de esa máscara que estás viendo. Para ello, vamos a ver un par de técnicas que se han popularizado, y que buscan detectar biometría humana creíble en las imágenes transmitidas por vídeo.

2018 - Detección del parpadeo humano

Fue una de las primeras medidas para detectar humanos en vídeos que pudieran haber sido falsificados con DeepFakes. Básicamente se basa en que una persona adulta sana, generalmente, entre cada parpadeo hay un intervalo de 210 segundos, pero las tasas reales varían según el individuo y la actividad que esté realizando. La velocidad media de parpadeo en reposo es de 17 parpadeos/min o 0.283 parpadeos por segundo. Durante la conversación, esta tasa aumenta a 26 parpadeos/min, y disminuye a 4,5 parpadeos/segundo mientras que la lectura de esta diferencia puede ser interesante en nuestro análisis, ya que muchos de los políticos que hablan probablemente estén leyendo cuando están siendo filmado. 

Figura 48: Detectar DeepFakes por parpadeos no humanos

La duración de un parpadeo puede oscilar entre 0.1-0.4 segundos/parpadeo. Por lo tanto, tomaremos como referencia de parpadeo normal una duración en el intervalo 0.1-0.4 segundos y una tasa de parpadeo que oscile entre los 17 y los 26 parpadeos/min. La detección del parpadeo de una persona es un problema de visión artificial que los servicios cognitivos llevaban tiempo analizando. En nuestro ejemplo implementamos esta solución de Pathak-ashutosh.

Figura 49: Detección de una DeepFake en un Microsoft Teams. Cero parpadeos.

No llegamos a implementar una solución específica para calcular si estaban los parámetros humanos o no, sólo hicimos una aproximación contando los parpadeos y ajustándolo a los datos dentro del rango humano (básico). Teniendo los datos, es sencillo implementar la solución completa propuesta en el artículo anterior.

   
2020 - Detección de pulso con DeepFakesON-Phys

Otra de las técnicas que se ha comenzado a utilizar en la detección de Virtual Replicants utilizando DeepFakes es la de estimar si el latido del corazón - el pulso - es normal para la imagen que estamos viendo. Para ello se trata de monitorizar con imágenes la detección del pálpito del corazón.  Las dos técnicas más utilizadas para esto son la Fotopletismografía en remoto (rPPG) y el Balistocardiograma (BCGs). Nos centramos en la Plestimografía y más en concreto en, como hemos dicho en La Fotoplestimografía.

Figura 50: Detección de pulso en imágenes de cabeza en vídeo

La Plestimografía es una técnica del cálculo del latido del corazón de un individuo a través de los distintos cambios de presión que sufre su piel, y es muchas veces utilizada para monitorizar a un individuo en cuestión, convirtiéndose también en un problema a resolver en el mundo de la visión artificial como Fotoplestimografía, como se puede ver en el artículo científico anterior del año 2013.

Figura 51: 2020 - Artículo científico de DeepFakesON-Phys usa Fotoplestimografía

La Fotoplestimografía en remoto es una técnica de Computer Vision que intenta emular esa técnica utilizando un vídeo del sujeto y, por tanto, calcular los cambios de presión a partir de diferencias de intensidad de píxel en los canales RGB de éste el movimiento de la cabeza y la respiración. Esta técnica tiene muchas desventajas debido a que su precisión está altamente influenciada por parámetros externos, como la luz ambiental, la calidad de la cámara, el color de piel del individuo o la distancia entre la cámara y el sujeto, pero nos puede servir para detectar DeepFakes como explica el artículo científico de DeepFakesON-Phys.

Figura 52: Arquitectura de DeepFakesON-Phys

En la figura anterior aparece la arquitectura del modelo utilizado en DeepFakesON-Phys, que se basa en dos modelos de redes neuronales: Motion Model para la detección de movimiento de la cabeza, y Appearance Model, para la detección de cambios en la densidad de píxel.

Figura 53: Análisis de pulso de un Virtual Replicant usado por un Bot de GPT3

que usa una DeepFake. Se pueden ver parámetros raros.

Como se puede ver en este ejemplo donde analizamos las imágenes que se reciben por una webcam, podemos ver los dos análisis que nos dan datos para poder saber si son normales o no, y estamos hablando con una persona o un Virtual Replicant.    

Virtual Replicants del futuro cercano: Metahuman & Bots con AI

Un paso más hacia la creación de los Virtual Replicants o Digital Clones completos es MetaHuman. Creado por EpicGames utilizando el motor de Unreal, nos acerca a un nivel de detalle realmente espectacular. Podemos modelar personas y moverlas como queramos, con sus expresiones humanas completas y detalles como los poros de la piel, parpadeo, respiración, etcétera. Una herramientas más que ayudará la demotraticación de las DeepFakes que habrá que tener muy en cuenta en un futuro cercano, exigiendo que las técnicas de biometría sean cada vez más perfectas, porque podrían emular todo.

Figura 54: MetaHuman se salta el Blink Detector de DeepFakes

Aunque en principio Metahuman no permite renderizar con fotos o imágenes externas - de momento tiene modelos predefinidos para ir jugando con ellos -, esto será posible seguro en un breve intervalo de tiempo. Por lo tanto, con una o varias fotos de calidad, será posible crear un modelo en 3D de la persona que queramos, con un nivel de detalle realmente espectacular.

Figura 55: Dos bots con DeepFakes con GPT-3 hablando de ser humano.

Además, ya hemos visto pruebas de que es posible crear bots con AI y DeepFakes como los populares Joi de Blade Runner 2049. Para ellos podemos utilizar GPT-3, un modelo de Lenguaje Autorregresivo (AR) que utiliza DeepLearning creado por OpenAI capaz de generar texto muy similar a un ser humano. La calidad de GPT-3 es tan alta que ya no podemos distinguir si es un humano o no quién está detrás del bot. GPT-3 Tiene una capacidad de 175.000 millones de parámetros y podemos conversar con él hablando de prácticamente cualquier tema que se nos ocurra. Esto es posible ya que GPT-3 se entrenó con Internet, de fuentes como Wikipedia o artículos científicos.

2021-2022: Detección de Virtual Replicants: Tenemos un problema

Algunos métodos de detección mencionados no funcionan según la precisión o el algoritmo utilizado para detectar DeepFakes. Las detección de voces también depende del algoritmo utilizado y la calidad del mismo. El Test de Turing tampoco funciona a la hora de detectar si es un bot … y cada día se mejoran las técnicas de creación de Virtual Replicants, lo que nos hace que estemos cada vez más cerca del Replicante de Blade Runner. ¿Qué nos queda? Habrá que reinventar un nuevo Test Voigh-Kampf.

Figura 56: BladeRunners & Virtual Replicants con DeepFakes

Puedes ver la charla que dio Chema Alonso, sobre todo lo visto en este artículo, de Blade Runners y Virtual Replicants en la OpenExpo 2021, que ya tienes publicada.

Autores: Chema Alonso, Pablo González, Fran Ramírez

**************************************************************************************************
- Una historia de Blade Runners & Virtual Replicants (Parte 1 de 5)
- Una historia de Blade Runners & Virtual Replicants (Parte 2 de 5)
- Una historia de Blade Runners & Virtual Replicants (Parte 3 de 5)
- Una historia de Blade Runners & Virtual Replicants (Parte 4 de 5)
- Una historia de Blade Runners & Virtual Replicants (Parte 5 de 5)
**************************************************************************************************