Cómo usar el sensor de luz de ambiente para tener visión artificial usando Inteligencia Artificial

Este mes se ha publicado en la revista Science Advances un interesante artículo de cómo utilizar el sensor de luz que viene en muchos equipos para poder "ver" qué hay delante de él. Estos sensores de luz son los que utilizan los terminales móviles, tablets, los equipos portátiles, sensores en el hogar o los mismos automóviles para saber si estamos en una zona de poca o mucha oscuridad, y ajustar el brillo, activar los modos "Dark" o encender las luces de un coche o de casa.

Figura 1: Cómo usar el sensor de luz de ambiente

para tener visión artificial usando Inteligencia Artificial

Son muy comunes hoy en día en casi todos los dispositivos que utilizamos en nuestra actividad común, y unos investigadores han desarrollado un sistema para poder utilizar los cambios de luz en el sensor, crear imágenes de lo que hay delante de él.

Figura 2: Imaging privacy threats from an ambient light sensor

El objetivo es, conociendo la fuente de luz que emite la pantalla - algo que controla el atacante - medir las variaciones que se producen en el sensor. Estas variaciones pasarlas por un algoritmo de inteligencia artificial de eliminación de ruido - un CNN-based denoiser -, permite a los investigadores recomponer con cierta precisión la escena delante.

Figura 3: Esquema del experimento realizado

Por supuesto, conseguir una imagen nítida con un sensor que solo mide el nivel de luz en un mapa de píxeles sin lente, es un auténtico reto, así que el ataque precisa de una emisión continua de imágenes en la pantalla controladas, y una captura de la escena durante un periodo de tiempo, para reconocer, en principio la mano que utiliza la pantalla de una tablet.

Figura 3: Ejemplo para reconocer gestos de la mano

Cuanto más tiempo se capturan los datos, el resultado es cada vez mejor, logrando resultados que sorprenden, ya que permiten llegar a detectar formas que podrían servir para identificar qué gestos se están haciendo sobre la tablet.

Figura 4: Reconocimiento de gestos en un tablet

Por último, con el uso de oclusores, los resultados para obtener la imagen que está delante de un sensor de luz son bastante prometedores, porque se puede ver parcialmente una cara, y las tiras de colores puestas delante del sensor.

Figura 5: Ejemplo con el uso de oclusores

El trabajo es un avance en visión artificial utilizando un sensor lumínico, sin lente, y con muy poca definición, y a pesar de eso, gracias al uso de la Inteligencia Artificial, comienza a ser un prometedor riesgo de privacidad si un malware es capaz de llegar a las señales de él. Muy interesante.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)