Audio Snooping: Escuchar tus pulsaciones de teclado y saber qué escribes (Con y Sin Deep Learning)

El año pasado, con un smartphone grabando el audio y subiendo las pulsaciones a un C&C, se demostró que se podría llegar a saber lo que teclee una persona en los ordenadores cercanos, ya que las técnicas de Audio Snooping están a un nivel altísimo. Según ese artículo  académico "A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards" publicado el pasado 2 de Agosto de 2023,  llegaban a conseguir ratios de acierto de hasta el 95%.

Figura 1: Audio Snooping: Escuchar tus pulsaciones de teclado

y saber qué escribes (Con y Sin Deep Learning)

En ese trabajo utilizaban un setup como el que puedes ver en la Figura 3, y luego todas esas señales de audio se enviaban a un C&C donde se analiza la onda de sonido con un modelo de Deep Learning. Es decir, después de extrayendo las features de las señales para poder saber qué es lo que se ha tecleado.

Figura 2: A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards

En este trabajo es necesario procesar grandes cantidades de datos, además de que estos están asociados al sonido de un teclado y al patrón de escritura de una determinada persona, para poder entrenar primero el modelo y luego poder deducir el resultado de lo escrito a posteriori a partir de una señal de audio.

Figura 3: A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards

Por supuesto, con estos ratios no parece que sea otra la línea de investigación para hacer Audio Snoping que modelos de Machine Learning utilizando DeepLearning que afinen ese trabajo publicado por los investigadores.

Figura 4: Libro de Machine Learning aplicado a Ciberseguridad de

Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

Sin embargo, con una aproximación diferente, un grupo de investigadores ha publicado este 13 de Marzo de 2024, titulado "Acoustic Side Channel Attack on Keyboards Based on Typing Patterns", con un nuevo punto de vista para atacar este problema, en el que utilizan un modelo estadístico entrenado que se basa en el patrón de escritura. Es decir, que se centra en los tiempos de pulsación de cada tecla y su volumen, así como su relación con el volumen y el tiempo de pulsación con la siguiente.

Figura 5: Acoustic Side Channel Attack on Keyboards Based on Typing Patterns

Al final, es verdad que cada palabra que tecleamos en nuestro ordenador está tecleada muchas veces y nuestra memoria muscular recuerda esos movimientos de manera inconsciente. De hecho, si yo trato de escribir conscientemente no soy capaz de escribir tres palabras seguidas, pero cuando escribo de manera insconsciente mis dedos son capaces de meter más de 300 pulsaciones por minuto con total naturalidad y de forma sostenida.

Figura 6: El modelo estadístico se fija en volumen e intervalos

Por supuesto esta aproximación basada en el modelo estadístico tiene ventajas e inconvenientes, que hay que tener en cuenta, pero es, como os he dicho antes, una nueva aproximación al objetivo del estudio de Audio Snooping que seguro que dará mejoras en el futuro.

Figura 7: Herramienta en C# para entrenamiento del modelo

Entre ellas, primero hay que entrenar el modelo, para lo que se hizo una herramienta como la que está en la imagen para teclear letras aleatorias, luego frases comunes, y por último palabras muy, muy, muy comunes pre-establecidas, que ayudarán a sacar los ritmos aprendidos de la memoria muscular de cada usuario.

Figura 8: El modelo DeepLearning tiene más éxito pero con otras barreras

Luego, el trabajo de ajustar la predicción al diccionario inglés, y ver el resultado que tenéis en la tabla. Como se puede ver, sus números están por debajo del resultado ofrecido por el artículo académico del año 2023 donde se utiliza DeepLeaning, pero consigue un digno 43% de éxito con unas características de ejecución distintas. Y recordad que estas técnicas son la base de TEMPEST y pueden llegar hasta a sacar las claves de cifrado por cómo suena tu microprocesador....

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)