Robots tueurs, des armes aux mains de l'IA | ARTE

Le 12 mars 2022, Ukraine est au 17e jour de la guerre. Un drone amorce sa descente au-dessus de la capitale.

Le drone a une envergure d'à peine plus d'un mètre et ne semble transporter aucune arme. C'est un coub bla, une munition reutilisable également appelée drone kamikaze.

Le drone peut être dirigé par une intelligence artificielle. Il survole une zone de façon autonome pour détecter la cible sur laquelle il s'écrase.

Avec le coub bla s'amorce un gigantesque bond en avant technologique qui changera à jamais le visage des conflits.

• Opérations militaires rapides comme l'éclair • Attaques de drones autonomes • Intelligence artificielle dans les airs, en mer et sur Terre

Depuis des années, des experts tentent d'avertir du risque de perdre le contrôle. Cependant, les nouveaux conflits rapportent beaucoup d'argent à l'industrie de l'armement.

L'IA n'est pas seulement utilisée en temps de guerre mais aussi pour les pandémies, les troubles sociaux et les démocraties vacillantes.

L'intelligence artificielle a initié une nouvelle escalade dans la militarisation des services de police américains, qui fonctionnent déjà comme des forces d'occupation.

L'IA offre une plus grande précision et permet de limiter les pertes civiles. Certains soutiennent qu'elle peut rendre la guerre plus humaine dans certains cas.

Le grand espoir était que la guerre devienne plus propre, mais le problème est que les guerres resteront toujours sales et feront toujours des morts.

Il y a déjà bien plus d'intelligence artificielle dans le domaine militaire que le profane n'en a conscience. Elle est utilisée pour améliorer la logistique et accélérer les processus.

L'IA n'est pas seulement employée sur le front. Elle joue un rôle toujours plus grand dans le domaine militaire et cette tendance va certainement s'amplifier.

Les SALA sont des machines de guerre pouvant repérer et attaquer une cible sans intervention humaine. On les appelle aussi robots tueurs.

Pour l'instant, ces systèmes sont rarement tout à fait autonomes, mais la voie est toute tracée.

Beaucoup de gouvernements européens sont encore réticents et préfèrent éviter d'utiliser les SALA dans le domaine militaire. Le problème est que le reste du monde le fait.

Les gouvernements ont conscience des risques impliquant une telle concession, mais personne ne veut être à la traîne sur la scène internationale qui redistribue les cartes.

La France préconise une architecture de sécurité paneuropéenne. Le groupe d'armement français Nexter produit une gamme de technologie militaire moderne.

La branche Nexter Robotics se consacre à la fabrication de robots pour l'armée, les sapeurs pompiers et les unités spéciales de la police. Cela inclut des robots espions et des engins comme l'Opteo x20, un robot tactique polyvalent armé.

Diriger des robots terrestres pose de sérieux défis aux développeurs. La plupart des robots actuellement utilisés sont des robots télécommandés.

L'enjeu est d'augmenter l'autonomie des robots pour qu'ils puissent accomplir de plus en plus de tâches seuls. Pour cela, on fait appel à l'intelligence artificielle.

Sur un théâtre d'opération, le GPS peut être brouillé. On considère que le GPS ne va pas fonctionner et que le robot sur le terrain ne sera pas capable de se localiser.

On développe des fonctions qui permettront au robot de se repérer dans un environnement même local, sans dépendre d'un système de navigation global.

Les conflits modernes montrent que les dispositifs de brouillage comptent parmi les moyens les plus efficaces pour lutter contre les systèmes d'armes automatisés.

Les machines devront s'appuyer sur des données locales pour acquérir plus d'autonomie. Elles doivent détecter les bâtiments, les rues et estimer les distances comme le font les humains.

L'idée est d'avoir une répartition des rôles entre l'homme et le robot avec un niveau de supervision de l'opérateur de plus en plus limité, mais néanmoins précis.

Pour les applications militaires, on ne va pas nécessairement chercher l'autonomie complète. Les militaires veulent garder le contrôle de la mission.

Malgré d'immenses progrès, les robots terrestres de grandes dimensions ont encore des fonctions limitées. Toute erreur pourrait être fatale.

Même les plus méfiants se rendent à l'évidence : les nouveaux conflits font apparaître de nouvelles réalités auxquelles les Européens sont mal préparés.

Notre société a grandi après la fin de la Seconde Guerre mondiale dans le rejet de la violence.

Quand on en arrive à une escalade comme actuellement, ces nouvelles armes restent quelque chose que la société connaît mal et qu'elle a du mal à accepter.

Pour les soldats qui ont été familiarisés à ces technologies, ce n'est peut-être plus de la science-fiction. Cependant, c'est quelque chose que la société connaît mal.

Il y a une différence entre la familiarité militaire avec les technologies et l'acceptation sociale de leur utilisation.

Marcos Reisner est colonel de l'armée fédérale autrichienne. Ses analyses précises de la guerre en Ukraine ont fait de lui un expert très demandé.

Il a été envoyé dans de nombreuses régions en crise à travers le monde et s'est forgé une grande expérience en matière d'intelligence artificielle.

Il a travaillé pour EMT, une entreprise allemande de fabrication de drones. En 2018, il a publié un livre sur la robotisation de la guerre.

Avec les systèmes autonomes, on réduit le risque pour nos soldats et on réduit les pertes humaines.

Depuis des décennies, les forces militaires font face à un dilemme : d'un côté démontrer sa force sans sacrifier ses soldats, de l'autre atteindre ses objectifs en procédant prudemment.

Les systèmes robotisés semblent intéressants car ils permettent d'atteindre les cibles sans risquer de sacrifier des soldats.

Dans les démocraties occidentales, la volonté de prendre les armes n'a jamais été aussi faible.

Il y a une tentative de laisser des drones mener les guerres à notre place.

Le système Switchblade est un système américain dont les Ukrainiens espèrent qu'il les avantagera considérablement dans la suite du conflit.

L'intelligence artificielle devrait bientôt servir à remplacer les soldats.

Le concept de révolution dans les affaires militaires (RMA) n'est pas nouveau. Les méthodes et stratégies de guerre ont régulièrement changé avec l'évolution des systèmes d'armes, comme l'avion ou les armes atomiques.

La vitesse des systèmes numériques accélère l'évolution.

• Système Phalanx américain • Iron Dome israélien • Mantis allemand

Ces systèmes défensifs réagissent aujourd'hui déjà automatiquement et toujours plus vite au dangers imminent. L'opérateur humain ne conserve que le pouvoir de désactiver le système en cas de doute.

Cela fait gagner un temps précieux, d'autant plus que les drones d'attaque accomplissent d'ores et déjà une grande partie de leur mission de manière autonome.

On programme le drone de sorte qu'il soit autonome dans les airs et signale à l'opérateur qui prend en charge et déclenche les armes immédiatement après.

L'opérateur retrouve son autonomie propre qui rentre de lui-même à la base ou lance suivant, mais on voit bien que c'est un processus graduel où l'être humain est de plus en plus relégué au second plan.

Séduit par la promesse de systèmes d'armement plus efficaces, de plus en plus d'États aspirent à l'automatisation de leur armée.

Pour les puissances mondiales, il s'agit de conserver leur leadership en matière de développement de l'intelligence artificielle. Ce sont encore les États-Unis qui mènent le jeu.

Cela représente un enjeu géopolitique majeur pour le leadership technologique mondial.

Jane Pinellis a dirigé pendant de nombreuses années le service de test de l'intelligence artificielle au sein du ministère américain de la Défense.

Aujourd'hui, elle travaille au laboratoire universitaire de physique appliquée John Hopkins, un institut de recherche proche du Pentagone.

Quand on parle d'intelligence artificielle, il faut avant tout se mettre d'accord sur la définition. Un système qui utilise l'IA pour certains aspects de son fonctionnement est simplement un système autonome.

On y a recours dans l'armée depuis plus de 70 ans. Quand on donne une destination à une torpille, elle se débrouille pour l'atteindre.

Aujourd'hui, on sait programmer des machines pour qu'elles identifient des schémas et des données. Les machines peuvent identifier les camions ou d'autres types de véhicules dans divers contextes et scénarios.

On entre dans une autre ère où les machines devant plusieurs actions possibles sont capables de choisir la conduite appropriée.

C'est le cas du drone israélien Harpy. On lui désigne une direction où cette zone et il peut sans aucune intervention humaine localiser les radars ennemis et les détruire.

La technologie kamikaze est similaire à celle déployée en Ukraine et pourra-t-elle un jour être combinée à un logiciel de reconnaissance faciale ? C'est une question qui se pose depuis des années.

Ce qu'on recherche maintenant, ce sont des perceptions autonomes, des machines capables de raisonner.

Si un humain est localisé près d'un bâtiment et que subitement cet humain disparaît, on aimerait que la machine puisse nous informer qu'il est entré dans ce bâtiment et qu'il y a désormais une personne de plus à l'intérieur.

Les machines doivent être capables d'apprendre sans supervision et peut-être même de déterminer ce qu'elles devraient apprendre, de naviguer en toute autonomie.

Dans un futur proche, les machines deviendront des membres à part entière des unités de combat et collaboreront entre elles.

La recherche s'oriente en particulier sur les essaims de drones. En travaillant de concert, ces ensembles coordonnés de drones augmenteraient considérablement la force de frappe d'une armée.

D'énormes progrès ont déjà été réalisés dans ce domaine.

Ce qu'il est nettement plus difficile d'inculquer aux machines, ce sont les notions d'éthique. C'est là que de nombreux scientifiques voient le plus grand danger.

Les systèmes d'armes autonomes peuvent servir à porter physiquement atteinte aux êtres humains d'une façon indigne et à très grande échelle.

On est à la recherche d'un avenir plus confortable où les technologies occuper une place de choix. On devrait insister sur le potentiel des technologies à faire le bien.

Les systèmes d'armes autonomes peuvent par essence porter atteinte à la dignité humaine et au-delà de tout ce qu'on imagine.

Moon est roboticienne à l'Université McGill de Montréal. Elle dirige un groupe interdisciplinaire qui se penche sur les questions d'éthique dans le domaine de la robotique.

Il y a des façons dignes et inddignes de mourir, et la place qu'on accorde à un système d'armement mécanique est crucial tant sur le plan psychologique que vis-à-vis de l'opinion publique.

Comme les questions d'éthique demeurent souvent à l'arrière-plan, Moon réclame depuis des années des réglementations plus strictes en matière d'armes autonomes.

Moon pense que les armes autonomes représentent une menace bien réelle et que l'impact sera encore pire que ce qu'on est en mesure d'imaginer aujourd'hui.

Il faut mettre en place une réglementation et un leadership. Il faut initier un mouvement mondial et se mettre tous d'accord sur le fait que ce n'est pas un avenir envisageable.

Beaucoup disent que ce n'est pas une arme parce que ça ne tue pas, mais la distinction est d'ordre philosophique. L'arme n'est pas la balle mais l'instrument qui dit à la balle où aller.

Alberto Pelicone est cofondateur de Reacta, une entreprise de cybersécurité qui a été racheté par IBM. Reacta utilise l'intelligence artificielle pour stopper les cyberattaques.

Ils travaillent aussi bien avec des institutions qu'avec des entreprises dans le secteur financier et dans le secteur public.

L'intelligence artificielle aide à construire le profil de l'infrastructure informatique, à comprendre comment elle fonctionne et à identifier en premier lieu tout ce qui est normal et ensuite ce qui ne l'est pas.

Alberto est convaincu que cela peut rendre le monde plus sûr mais il en connaît aussi les dangers.

Alberto a travaillé pour l'un des fabricants de logiciels de piratage les plus connus d'Europe : Hacking Team, une agence qui développe des vecteurs d'infection ou logiciels espion.

• Pouvait être installé sur des ordinateurs, des téléphones ou des serveurs • Capture des fichiers reçus • Capture des messages et emails • Prise de clichés par l'appareil photo intégré • Localisation GPS

Les clients étaient principalement des forces de l'ordre et des agences de renseignement. Le produit était utilisé pour des opérations de sécurité nationale, contre-terrorisme, contrôle du trafic d'êtres humains ou du trafic de drogue.

Au début, Alberto avait la sensation que l'équipe faisait quelque chose de bien, qu'on faisait partie d'une structure qui contribuait à rendre la société meilleure ou plus sûre.

Mais ensuite ça a changé parce que le marché a changé. Les gouvernements européens ont commencé à développer leur propre logiciel espion en interne.

La clientèle de Hacking Team venait de plus en plus de pays qui avaient des valeurs morales et éthiques extrêmement différentes des nôtres.

De plus en plus d'articles dénoncent le lien entre les logiciels Hacking Team et des opérations menées à l'encontre d'activistes et de journalistes.

Il apparaissait que dans 9 cas sur 10, le produit était utilisé à mauvais escient. Un après l'autre, les membres de l'équipe ont quitté l'entreprise.

Le concept n'est pas nouveau : propagande, publicité ou guerre psychologique, il s'agit toujours d'exercer une influence mentale en temps de guerre comme de paix.

Ce qui est nouveau, c'est l'efficacité des algorithmes modernes et la façon dont ils modifient notre perception.

Peu importe à la machine si nous sommes des clients ou des ennemis. Le ciblage hyper-technologique et le trucage influencent tous les deux.

La désinformation générée par l'être humain devient un ensemble de données dont se nourrit un algorithme insatiable.

Les Russes ont mis au point le système Périmétr, un système d'armes autonome de l'époque de l'Union soviétique.

L'idée était que si les Américains utilisaient l'arme nucléaire contre eux, même dans le cas où l'ensemble de la population russe serait anéantie, le système pourrait déclencher de lui-même une contre-attaque.

Ce mécanisme de riposte autonome est surnommé dead hand ou main morte et remonte à l'Union soviétique et serait encore pleinement fonctionnel.

La menace nucléaire ne fait que s'aggraver avec les nouveaux systèmes d'IA qui pourraient potentiellement rendre les océans transparents, remettant en question les stratégies de dissuasion nucléaire.

D'un côté il y a la course à l'armement si les autres possèdent un système supérieur au nôtre on ne veut pas rester en rade. De l'autre il y a la raison : il n'y a que l'entendement humain qui puisse dire STOP.

On se retrouve dans une spirale infernale dont il est difficile de ressortir.

Il faut développer des choses qu'on contrôle et non pas quelque chose qu'on contrôle plus.

L'attention doit rester sur la capacité à maintenir le contrôle humain au cœur de ces systèmes technologiques.

Pendant le projet Manhattan, aucun moment les scientifiques n'ont dit, en tout cas pas officiellement, qu'on est sur le point de créer quelque chose qui peut détruire le monde.

Ce n'est qu'après le largage des bombes nucléaires qu'Oppenheimer a fait son autocritique en se décrivant comme le destructeur des mondes.

Le problème est qu'on ignore quelle influence l'intelligence artificielle exercera dans les guerres mais aussi dans la société de façon générale.

Dans des domaines de recherche, il est impossible de renoncer parce que les bénéfices potentiels sont existentiels.

Les chercheurs ont développé des choses extrêmement dangereuses comme la bombe atomique. Si on s'est pas arrêté devant une invention qui objectivement peut anéantir l'humanité entière, on s'arrêtera devant rien.

Il y a des situations où tout le monde a une part de responsabilité.

Mais affirmer ça, c'est dire aussi qu'aucun être humain ne peut être tenu comme seul responsable.

Quand il s'agit de système d'armement, il faut un leadership capable de diriger l'élan de la base vers le sommet en disant qu'on est responsable collectivement.

On devrait avoir une sorte de boussole morale qui fait que l'on ne conçoit et développe des choses que de manière responsable.

Il faudrait aussi un leadership capable de diriger l'élan qui va de la base vers le sommet dans telle ou telle direction.

Les décideurs doivent dire qu'on va dire qu'on est responsable de cette décision qu'on prend collectivement.

Pour pouvoir nous engager tous ensemble dans la bonne direction malgré l'incertitude.