Sigue El lado del mal en Telegram
Chema Alonso en Threads
Chema Alonso en Mastodon
Chema Alonso en Linkedin
DragonJAR
8.8 Chile
Ekoparty
e-Hack MX 
AREA 51 
Comunidad Dojo Panamá 
ARPAHE SOLUTIONS 
"Cognitive Services & Cyber Security: Ideas Locas": Primera Parte
Los Cognitive Services llevan tiempo desarrollándose, consiguiendo el reto de convertirse en una pieza fundamental en la construcción de tecnología de hoy en día. Estos servicios se han aprovechado de la evolución exponencial que ha sufrido la Inteligencia Artificial en la última década, ya que entro de las capacidades de utilizar sistemas de IA para resolver problemas complejos, hay toda una rama dedicada a construir modelos y tecnologías que resuelvan los problemas cognitivos que resolvemos los humanos.
Figura 1: "Cognitive Services & Cyber Security: Ideas Locas": Primera Parte
Para un humano son problemas que resolvemos con relativa facilidad en nuestro motor de inteligencia – el cerebro – utilizando nuestros sensores de entrada y salida de datos: la vista, la voz, el oído, el tacto y el gusto.
Son estas disciplinas de Visión, Habla, Razonamiento o Escucha, las que han estado desarrollándose durante los últimos años a una velocidad increíble. En el mundo de la computación, durante muchos años los humanos hemos aprendido los interfaces de la tecnología y gracias a los servicios cognitivos conseguimos que la tecnología aprenda los interfaces de los humanos.
Paridad Humana en Cognitive Services
Eso se debe al nivel de madurez que tienen hoy en día estos Cognitive Services. Existe una unidad de medición de la calidad de los modelos de Inteligencia Artificial para Servicios Cognitivos que se llama “Paridad Humana”. Se utiliza la Paridad Humana como barrera de medición de la tasa de error de los seres humanos en una disciplina cognitiva. Y decimos que si un servicio cognitivo se equivoca menos que la media de los seres humanos en esa misma disciplina, entonces es que ese servicio ya ha superado al ser humano y alcanzado - y superado - la Paridad Humana.
Imaginemos un servicio de atención de llamadas telefónicas. Imaginemos ahora que tenemos un equipo de humanos con Servicios Cognitivos de reconocimiento del habla en inglés para todos los ciudadanos que hablan en esa lengua en ese país. La tasa de veces que ese equipo de humanos falla al reconocer una frase de otros humanos es superior al que tendríamos si pusiéramos una Inteligencia Artificial a reconocerlos. Y es que la Paridad Humana en Speech Recognition en lengua inglesa se superó ya en el año 2017.
 |
| Figura 2: Paridad Humana en Speech Recognition |
Ejercicios similares han ido pasando a lo largo de los últimos tres años. Fue ya en el año 2015 cuando los servicios cognitivos de Artificial Vision superaron la Paridad Humana en reconocimiento de objetos. Y hace no más de un año y unos meses, en Enero de 2018 se superó la Paridad Humana en Comprensión Lectora. Sí, puedes dar un texto a una Inteligencia Artificial y hacer todo tipo de preguntas que se pueden extraer de ese texto en base a la información que en él existe y empezar a preguntarle. Su tasa de error es menor que la de los seres humanos.
Figura 3: Skype Translator powered with Cognitive Services
En Marzo de 2018 se consiguió superar la Paridad Humana en traducción inglés-chino, y supongo que a todos os emociona ver el uso de esta capacidad en Skype para que en tiempo real dos niñas de México y Estados Unidos se comuniquen sin barrera de idioma de por medio.
Y en 2019 una Inteligencia Artificial del Proyecto Alter EGO superó la Paridad Humana en lectura de labios, como en la película de 2001: Una odisea en el espacio.
 |
| Figura 4: AlterEgo, desarrollado por el MIT Lab |
Y esto se está masificando y comoditizando, generando una serie de posibilidades en mundo de la ciberseguridad, que es de lo que vamos a tratar en este artículo centrado en justo eso, en Cognitive Services & Cyber Security.
Cognitive Services & Cyber Security
La primera de las posibilidades es la de encontrar "bugs" de seguridad o privacidad explotando comandos cognitivos, en lugar de comandos SQL o JavaScript, ya que los nuevos interfaces son humanos.
La segunda de las posibilidades consiste en auditar el uso de un Cognitive Service, ya que tenemos un serio problema de explicabilidad de muchos modelos de IA, y estos pueden venir con sesgos, con errores funcionales, o incluso con defectos estructurales solo por un mal entrenamiento o un mal curado de datos.
Figura 5: BladeRunners & Virtual Replicants con DeepFakes
La tercera de las posibilidades consiste en cómo utilizar estos servicios para crear esquemas de ataque - como en el ejemplo de las DeepFakes que hemos tratado en profundidad en la charla y el artículo de Blade Runners & Virtual Replicants, donde los servicios cognitivos son claves en la construcción de los modelos de IA que se utilizar para suplantar.
Y la última de las posibilidades es cómo podemos utilizar estos servicios cognitivos para darle una vuelta de tuerca a los servicios y herramientas de seguridad, para crear nuevas posibilidades, o dotar de interfaces humanos a la creación de procedimientos de pentesting.
Interfaces Cognitivos como forma de ataque
Dejando atrás el mundo de las DeepFakes, los Blade Runners y los Virtual Replicants, de los que hemos escrito y hablado mucho - y habrá que volver a hacerlo que este es un mundo en completa evolución -, lo primero de lo que hay que hablar es de cómo se utilizan los Cognitive Services como interfaz de ataque a la privacidad y seguridad de los usuarios. En lugar de utilizar inyecciones de comandos SQL, se puede construir todo un conjunto de comandos de voz, por ejemplo, para atacar la privacidad o la seguridad de una tecnología con un interfaz cognitivo basado en la voz.
Por ejemplo, los ataques a iPhone utilizando Siri se popularizaron desde el principio, consiguiendo poder ver la lista de contactos, publicar en Facebook, leer tus mensajes de WhatsApp, o averiguar quién era el dueño de un terminal y obtener su dirección de correo electrónico solo con preguntarle a Siri "¿Quién soy yo?", lo que llevaba a poder hacer robos de cuentas a dueños de iPhone con un sencillo truco de bar.
 |
| Figura 7: Libro de Hacking iOS:iPhone & iPad (2ª Edición) en 0xWord de Chema Alonso, Ioseba Palop, Pablo González y Alejandro Ramos entre otros. |
De hecho, si hay un sistema cognitivo que ha sufrido este tipo de ataques es, por impacto en el mundo, Siri de Apple. Nosotros le dedicamos un capítulo entero en el libro de "Hacking iOS: iPhone & iPad" , y basta con ir a la base de CVE del Mitre para ver que hay catalogados 58 expedientes de seguridad que afectan a la privacidad y seguridad de los usuarios de iPhone por problemas concernientes a los límites de los comandos cognitivos cuando el terminal está bloqueado. Y a esos, hay que sumar los leaks que no tiene CVE pero que se hicieron públicos en la red.
Si vamos a Alexa, también tenemos situaciones similares. El que la conexión de la cuenta de Alexa con la tienda de Amazon sea tan profunda, lleva a situaciones como las que hemos contado en artículos anteriores. Un visitante - o vecino - podría pedir que te agregaran productos a la tienda, configurasen alertas despertador, y hasta comprar objetos en modo susurro. No son grandes problemas de seguridad, porque se pueden restringir, pero sí que son límites a la privacidad y seguridad que se explotan solo con hablar con el dispositivo.
Son muchos más los escenarios que te puedes encontrar para atacar una plataforma utilizando la voz, o explotando un chatbot, o engañando a un sistema de visión artificial. Nosotros hicimos el experimento de cómo troyanizar un iPhone con el lenguaje Klingon cuando tienen el interfaz de voz activado, y son famosos los ataques a los sistemas de visión artificial de Tesla en AutoPilot, permitiendo robar coches. Ahí no hay ningún SQL Injection, solo unas imágenes especialmente construidas para engañar al Cognitive Service de Artificial Vision que utiliza Tesla en AutoPilot.
Figura 10: Vídeo de ataques a la Visión Artificial de Tesla Autopilot
En las siguientes partes iremos viendo algunas de las ideas en forma de PoCs que hemos ido construyendo en el equipo de Ideas Locas, donde nuestro objetivo es ir jugando con la tecnología para ver qué podemos esperar de ella, qué debemos introducir en nuestros productos, o qué aprendizaje sacamos de cada uno de estos experimentos.
¡Saludos Malignos!
*****************************************************************************************
*****************************************************************************************
Autor: Chema Alonso (Contactar con Chema Alonso)
No hay comentarios:
Publicar un comentario