OMLASP "Open Machine Learning Security Project"

Cada vez más utilizamos diariamente todo tipo de tecnologías que se basan en modelos de Inteligencia Artificial. Las fábricas utilizan modelos de visión por ordenador para detectar personas en las proximidades de, por ejemplo, una cinta de ensamblaje. También las cámaras de seguridad reconocen patrones como acciones sospechosas o incluso armas. Y el caso más extremo, los datos médicos (como imágenes o datos de diagnósticos) también utilizan modelos de Machine Learning. 

Figura 1: OMLASP "Open Machine Learning Security Project" 

Por este motivo y debido al tremendo impacto en la sociedad que tienen estas tecnologías, debemos de estar seguros que estos modelos no se han manipulado y sea posible cambiar la predicción o clasificación que obtenemos a la salida. Si te interesa la ciberseguridad y la Inteligencia Artificial, tenemos justamente un libro que habla de esto en la editorial 0xWord.

Figura 2: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

En el equipo de Ideas Locas ya sabéis que todo lo que esté relacionado con la Ciberseguridad nos interesa. Por este motivo, hace un año empezamos a trabajar en OMLASP, Open Machine Learning Security Project, una colección de herramientas que implementa la teoría de los diferentes ataques y defensas que se pueden ejecutar contra los diferentes modelos de Machine Learning. Estas implementaciones en modo de herramientas nos permiten auditar nuestros propios modelos antes de ponerlos en producción y así detectar a tiempo sus vulnerabilidades.

OMLASP (Open Machine Learning Security Project)

  
OMLASP abarca como auditar de momento (es un proyecto que está en continua renovación) Árboles de decisión, ataques FGSM, Regresiones, Redes Neuronales y Ataques de Escalado (Scaling). Todos ellos con su respectiva herramienta, documentación y ejemplo de ejecución el cual podéis encontrar en su repositorio de GitHub que acabamos de publicar:

Figura 3: OMLASP "Open Machine Learning Security Project" en GitHub

Hemos querido enfocar la herramienta desde nuestro punto de vista de la ciberseguridad, es decir, utilizar las mismas aproximaciones que realizamos de manera habitual dentro de, por ejemplo, un pentesting o una auditoría de ciberseguridad clásica. Y nada mejor para guiarnos que la magnífica matriz MITRE ATT&CK. De esta forma queremos ir poco a poco rellenando la información relativa a este tipo de ataques con nuestras diferentes implementaciones:

Figura 4: Primeros elementos de nuestra matriz OMLASP.

OMLASP "Open Machine Learning Security Project" se presentará oficialmente este próximo sábado día 22 de octubre en nuestra querida NoHat (Bérgamo, Italia), uno de nuestros eventos de seguridad favoritos. Allí estaremos Pablo González y yo mostrando sus funcionalidades y realizando alguna que otra demo. Ya estuvimos dando una charla en NoHat en plena pandemia, en 2020, donde hablamos de DeepFakes la cual podéis ver aquí:


Figura 5: DeepFakes en NoHat 2020
Además, tenemos el placer y el orgullo de comunicaros que estaremos de nuevo (y ya van seis contando OMLASP) en la BlackHat de Londres en su apartado Arsenal (formato en el cual se presentan diferentes herramientas en pequeñas franjas de tiempo) los días 7 y 8 de diciembre. Aquí tenéis un listado de todas las herramientas (y un enlace a su Github) que hemos presentado en diferentes ediciones de BlackHat Europe Arsenal:

2017 uac-a-mola

• Github uac-a-mola

• BlackHat Arsenal Link uac-a-mola

2018 iBombShell

• Github iBombShell

• BlackHat Arsenal Link iBombShell

2019 HomePWN

• Github HomePWN

• BlackHat Arsenal Link HomePWN

2020 ATTPwn (BlackHat Arsenal USA)

• Github ATTPwn

• BlackHat Arsenal Link ATTPwn

2021 on-the-fly

• Github on-the-fly

• BlackHat Arsenal Link on-the-fly

2022 OMLASP (diciembre 2022)

• Gitghub OMLASP

• BlackHat Arsenal Link OMLASP (aún no se ha publicado la agenda)

Más sobre OMLASP

Estad atentos/as porque publicaremos más adelante tanto por un lado nuestra experiencia en NoHat como más a nivel técnico detalles de OMLASP y su funcionamiento. Queremos agradecer enormemente el gran trabajo realizado por el equipo de Ideas Locas, sobre todo Marcos Rivera y Javier Del Pino, sin los cuales este proyecto no podría haberse llevado a cabo.

 

Saludos,  

Fran Ramírez  es investigador de seguridad y miembro del equipo de Ideas Locas en CDO en Telefónica, co-autor del libro "Microhistorias: Anécdotas y Curiosidades de la historia de la informática (y los hackers)", del libro "Docker: SecDevOps", también de "Machine Learning aplicado a la Ciberseguridad” además del blog CyberHades. Puedes contactar con Fran Ramirez en MyPublicInbox.

 Contactar con Fran Ramírez en MyPublicInbox