Pigeon: Una IA que sabe dónde estás por una foto de tu Instagram

Hoy os quería hablar de este paper que he leído este fin de semana, y que me ha gustado mucho por ser algo que los que hemos hecho informes de investigación de personas o identidades en la red usando técnicas OSINT (Open Source Intelligence) hemos hecho alguna vez. Se trata de averiguar la ubicación de una fotografía. Ya sea para averiguar dónde está una persona, dónde vive, o dónde ha sucedido un hecho.

Figura 1: Pigeon - Una IA que sabe dónde estás por una foto de tu Instagram

Esto, que se puede hacer con los Metadatos - una de los grandes divertimentos con la FOCA en sus inicios - también se puede hacer jugando con una fotografía de Instagram y Google Street View, por ejemplo. Se traba de descubrir elementos en la fotografía que son únicos, que indican una determinada ubicación, un país, una fecha del año, un clima, etcétera. 

Figura 2: Open Source INTelligence (OSINT): Investigar personas e Identidades en Internet 2ª Edición de 0xWord, escrito por Vicente Aguilera y Carlos Seisdedos

En ese caso, los detalles son importantes, y se pueden mezclar con información pública dada gracias a detalles en comentarios, o publicaciones en redes sociales. Cualquier detalle cuenta, como una matrícula de un coche, el idioma de una tienda, o el tipo de planta que se ve en la fotografía. Algo que se puede utilizar en una investigación si eres alguien que trabaja en ciberseguridad, o simplemente como reto para entretenerse.

Figura 3: Pigeon: Predicting Image Geolocations

PIGEON es un algoritmo de IA que ha sido entrenado con un 10% de las imágenes del juego GeoGuessr, donde se trata de que los jugadores hagan justo lo que os he explicado anteriormente. Es decir, está entrenado con un dataset de algo más de 400.000 imágenes al inicio - si lees el paper verás que lo han ido enriqueciendo -, y que aprende todos esos detalles de la fotografía.

Figura 4: GeoGuesser el juego en el que tienes que saber dónde estás

Me ha encantado que han utilizado para entrenar el modelo de IA, un diagrama de Voronoi Tessellation para elegir el mejor dataset de fotografías y tener un entrenamiento con la mejor dispersión en cada una de las geo-celdas que se han creado.

Figura 5: Generación de geoceldas usando un diagrama de Voronoi

Estas fotos de Street View permiten que se le pueda dar cualquier otra fotografía, y el algoritmo pueda predecir la ubicación, el clima, la fecha del año, etcétera, lo que supone una nueva forma de tener "metadatos" o de detectar que los metadatos han sido modificados para hacer un engaño.

Figura 6: Focalizado en fotografías de "Street View"

Desde el punto de vista de utilidad, tiene muchas sociales, de investigación, de "failsafe" - por ejemplo - para un vehículo autónomo o un drone que pierda conectividad, pero desde el punto de vista de seguridad personal demuestra que hay que tener más cuidado con imágenes tiradas desde tu casa o desde la ubicación donde te encuentras, ya que sería fácil saber dónde estás o dónde vives.

Figura 7: Información y metadatos generados por IA

Así que, a partir de ahora, cuando vayas a publicar una fotografía de un lugar, por muy poca información que parezca que da, asume que estás descubriendo tu ubicación, ya que la posición del sol, la hierba del lugar, el tipo de bancos, farolas, los materiales de construcción de los edificios o las aceras, están diciéndole a la IA dónde te encuentras en ese momento, como si lo hubieras publicado tú.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)