domingo, junio 06, 2021

Drones "asesinos" militares con Inteligencia Artificial que ya atacan a soldados humanos por decisión propia

Hace apenas un par de semanas os hablamos de Fedor, el nuevo robot de combate del ejército ruso que funcionaba gracias a la inteligencia artificial. Hoy os hablaremos de cómo otra de las aplicaciones de la Inteligencia Artificial enfocada al ámbito militar ha causado un gran revuelo en Libia, el lugar donde tuvieron lugar los  hechos, y en todo el mundo, ya que se trata de la primera información contrastada de que un sistema militar dotado de Inteligencia Artificial atacó a un objetivo humano por decisión propia. Y fue en Marzo del año 2020.

Figura 1: Drones "asesinos" militares con Inteligencia Artificial
que ya atacan a soldados humanos por decisión propia

Cuando oímos hablar de tecnología militar o armamentística autónoma, una de las primeras cosas que se nos pasa por la cabeza es la posibilidad de un futuro distópico dominado por las máquinas como en algunas películas de ciencia ficción del estilo de Terminator.  Una vez dejamos esta idea atrás, recordamos que la mayoría de potencias mundiales disponen de modernos drones de reconocimiento utilizados por sus ejércitos para controlar la situación y realizar el seguimiento de objetivos durante conflictos bélicos. 

Figura 2: Libro de "Hacking con Drones: Love is in the air"
escrito por David Meléndez Cano a.k.a. TaiksonTexas en 0xWord

Sin embargo, la situación expuesta anteriormente podría no estar tan lejos como nos imaginamos, hace unos días un dron turco operado por IA ha atacado a unas personas sin recibir la orden expresa para llevar a cabo el ataque letal contra esos objetivos en lo que según un informe de las Naciones Unidas se ha convertido en la primera vez que una IA decide atacar a personas de forma autónoma.

Figura 3: Dron Kargu-2 de STM.

El dron en cuestión se trata de un STM Kargu-2 fabricado por la empresa Defense Technologies Engineering and Trade Inc (STM). Este tipo de drones lleva fabricándose desde el año 2017. En su primera versión estos drones eran capaces de volar con una autonomía de hasta 30 minutos y alcanzar velocidades de 145 Km/h, su reducido peso, de tan solo 7 kilos, dotaba a estos drones de una gran agilidad en su vuelo. En el año 2019 se presentó su versión mejorada, los Kargu-2 capaces de volar de forma autónoma y fuertemente armados y capaces de realizar ataques de enjambre. Según STM estos drones están diseñados para la guerra asimétrica y la lucha antiterrorista.


Figura 4: KARGU - Autonomous Tactical Multi-Rotor Attack UAV

Según la empresa fabricante de los drones, los algoritmos de Machine Learning de los mismos es muy avanzado. La Inteligencia Artificial de los Kargu-2 les permiten diferenciar una gran cantidad de objetos. Reconocer y diferenciar vehículos de transporte, vehículos pesados para el combate, coches o camiones.  Sin embargo, como afirma STM, el entrenamiento de cada dron depende directamente del ejercito que lo utilice, esto quiere decir que es posible entrenar la IA del dron para focalizarse en un enemigo, solo hay que darle bases de datos con información de qué tipos de objetivos se quiere eliminar. 

Figura 5: Drones Kargu-2 en su planta de producción en Turquía.

Por desgracia, los que trabajamos con estas tecnologías sabemos que, tanto los drones como sus algoritmos no son perfectos, y podrían fallar e identificar civiles, vehículos o personas inocentes como posibles amenazas. Si se da este caso y el dron es capaz de decidir por si mismo si lanzar un ataque, la preocupación de todos es que las consecuencias pueden ser fatales. 

Kargu-2: Ataques en enjambre

Es importante recordar que el Kargu-2 está preparado para realizar ataques de enjambre. Si un solo dron ya es letal y va fuertemente armado, el peligro aumenta cuando éste vuela junto a su enjambre. Gracias al sistema KERKES el Kargu-2 puede volar, seleccionar objetivos y atacarlos de forma coordinada junto a un enjambre de hasta 20 drones. Los Kargu-2 al igual que la mayoría de drones militares armados utilizan la técnica “Fire and Forget”, esto significa que una vez que se lanza el dron no se espera que este vuelva. Son drones de un solo uso para utilizar en ataques kamikaze o suicida.


Figura 6: sistema KERKES vuelos en enjambre Kargu-2

Su funcionamiento es sencillo, un operador carga en el software del Kargu-2 las coordenadas para el ataque y el tipo de objetivos a los que dirigirse y lo hace despegar. Hecho esto, cualquier decisión tomada por el dron a posteriori depende únicamente de cómo haya sido entrenada su Inteligencia Artificial. Una vez el dron se encuentra sobrevolando las coordenadas que se cargaron en su software, éste utiliza sus numerosos sensores para localizar sus objetivos. Con su objetivo localizado, el dron comienza su maniobra de ataque, se deja caer en picado directo hacia su objetivo, siendo capaz de recalcular la trayectoria si este se encuentra en movimiento, y al alcanzarlo se autodestruye detonando una carga explosiva.

Figura 7: Despliegue de drones Kargu-2.

Tras los acontecimientos sucedidos la semana pasada, desde la Unión Europea han advertido del peligro que suponen las armas letales autónomas o “robots asesinos”. Las Naciones Unidas llevan desde el año 2013 luchando contra el uso de estas tecnologías, y afirman que este tipo de herramientas representan un desafío legal, moral y ético. Por eso mismo, un grupo de la convención de las Naciones Unidas se ha reunido esta semana en Ginebra para debatir sobre la prohibición del uso y la fabricación de armas totalmente autónomas, controladas por Inteligencia Artificial. El resultado de esta reunión ha concluido con la insistencia de algunos países de llevar a cabo una negociación formal durante el próximo año para regular y poner limitaciones al uso de este tipo de armas.


Ante la posibilidad de la prohibición de las Armas Letales Autónomas dos de las grandes potencias han tirado por los suelos las negociaciones, Estados Unidos y Rusia, que han contado con el apoyo de otros países como Australia, Corea del Sur o Israel se han negado rotundamente a cesar en el uso y la producción de este tipo de armas. Durante los últimos años grandes personalidades del sector tecnológico y de la IA, como Elon Musk, fundador de OpenAI, han pedido reiteradamente que se prohíba el uso de este tipo de tecnologías con aplicaciones militares y han tratado de concienciar de los riesgos que suponen para la humanidad, pero sus mensajes parecen haber caído en saco roto. Este es el mundo en el que estamos ahora. ¿Qué tendremos en 2030?

Saludos,
 
Autor: Sergio Sancho, Security Researcher en Ideas Locas.

4 comentarios:

Kalvin dijo...

Mmmm cagada gorda… Elon Musk fundo OpenAI no DeepMind

Kalvin dijo...

Mmm cagadilla… Elon Musk fundó OpenAI no DeepMind…

Kalvin dijo...

Aunque si que invirtio en ella…

Andrea Alban dijo...

Y si ya no quieren realizar el ataque los pueden parar, como indicas ya tienen toda la información cargada, podría parar el ataque o ya una vez que están en el aire ya no tienen control alguno??

Entrada destacada

Tu Latch "Hack Your Innovation Contest": Haz un PoC & Hack por 1.000 €

El pasado Telefónica Innovation Day 2024 lanzamos oficialmente el " Tu Latch Hack Your Innovation Contest " en el que repartimos ...

Entradas populares