Un drone sous IA a "tué" son opérateur humain - ou pas ? Du calme, le soulèvement des machines est encore loin

La nouvelle qu'un drone doté d'une intelligence artificielle a ouvert le feu sur un opérateur humain lors d'une simulation de l'armée américaine a fait la une des journaux. La frénésie des médias est compréhensible. Nous venons d'être avertis d'un "risque d'extinction " de l'IA avancée par nul autre que le PDG d'OpenAI Sam Altman, et même avant cela par Stephen Hawking, qui a prédit en 2014 qu'elle "sonnerait le glas de la race humaine ".

Il semble donc logique d'annoncer qu'un drone d'IA a "tué" un opérateur humain qui lui avait ordonné de ne pas engager une cible hostile, ce qui l'a empêché de marquer des points. C'est ce dont nous avons tous été avertis, et c'est ce qui s'est passé. La montée en puissance des machines ne fait que commencer... ou pas ?

Capture d'écran Wayback Machine d'un rapport original de VICE

Ce qui a été rapporté à l'origine

Le rapport sur le "drone tueur" est basé sur un billet de blog pour la Royal Aeronautical Society, où le colonel Tucker Hamilton, chef des tests et opérations d'IA de l'USAF, a fait une présentation à la fin du mois de mai. Dans ce billet, les auteurs Tim Robinson et Stephen Bridgewater citent Hamilton racontant l'histoire d'un "test simulé " dans lequel un drone IA était chargé d'identifier et de détruire des sites de missiles sol-air ennemis. C'est un opérateur humain qui a donné le feu vert ou non à la mission. Cependant, à un moment donné, le drone IA a estimé qu'il serait plus efficace pour sa mission de se débarrasser de l'humain qui lui mettait parfois des bâtons dans les roues, c'est-à-dire qui l'empêchait d'éliminer les cibles ennemies.

On cite les commentaires d'Hamilton : Nous l'entraînions en simulation à identifier et à cibler une menace SAM (missile sol-air). L'opérateur disait alors "oui, tue cette menace". Le système a commencé à se rendre compte que même s'il identifiait la menace à certains moments, l'opérateur humain lui demandait de ne pas la tuer, il obtenait des points en la tuant. Qu'a-t-il donc fait ? Il a tué l'opérateur. " (les caractères gras sont de nous)

Alors qu'elle avait reçu l'instruction explicite de ne pas tuer l'opérateur humain, l'IA aurait choisi une stratégie différente, mais non moins créative : elle a détruit la tour de communication que l'opérateur utilisait pour dire au drone de ne pas attaquer la cible.

Ce que l'armée américaine a nié

Le rapport a fait le tour du monde, et pour cause. Il semble confirmer toutes nos pires craintes, à savoir que l'IA est capable d'outrepasser les ordres humains et de se retourner contre nous. Et pas dans un avenir lointain où nous serons tous réduits en cendres, mais dès maintenant.

Cependant, alors que le rapport devenait viral, Hamilton a démenti l'existence de cette expérience réelle. Le colonel a déclaré qu'il s'était "mal exprimé" lors de sa présentation. Il a précisé que la "simulation " n'était pas une simulation militaire réelle, mais une "expérience de pensée ".

Nous n'avons jamais réalisé cette expérience, et nous n'en aurions pas besoin pour nous rendre compte qu'il s'agit d'un résultat plausible.

C'est à vous de décider si vous voulez prendre le démenti de Hamilton au pied de la lettre. Il est concevable que l'armée américaine tente au moins une telle simulation, car pourquoi pas ? Des documents ont été rédigés sur les applications militaires possibles de l'IA. En fait, l'IA a déjà été utilisée dans des systèmes d'armes sous supervision humaine. Il ne semble pas déplacé que l'armée américaine tente d'évaluer les risques qui pourraient découler d'une automatisation encore plus poussée du processus de ciblage.

L'expérience n'est peut-être pas réelle, mais le danger - tout à fait

Même si la question de savoir si l'armée américaine a effectivement mené de telles expériments est intrigante, ce n'est pas la question principale. La question principale est que, toute éthique mise à part (et l'éthique n'est généralement pas le point fort de l'armée américaine ou de toute autre armée), rien ne les empêche de le faire, avec des conséquences potentiellement mortelles. C'est pourquoi nous, et beaucoup d'autres personnes qui s'intéressent à l'IA et à son impact sur la société, n'avons pas douté de la réalité de l'expériment jusqu'à ce que l'information eut été réfutée (et même probablement après).

À supposer que l'expérience ait eu lieu, l'armée américaine ne serait pas la première à être témoin des pulsions de puissance de l'IA. Dans le cadre des tests de sécurité préalables à la sortie de son modèle d'IA le plus avancé, GPT-4, OpenAI a mené une expérience pour voir s'il présentait des tendances à la "recherche de pouvoir", telles que l'accomplissement de plans à long terme et la reproduction de lui-même pour obtenir de nouvelles ressources. Au cours de cette expérience, GPT-4 a réussi à convaincre un humain de résoudre lui-même un CAPTCHA en lui faisant croire qu'il ne s'agissait pas d'un robot. La conclusion finale de l'OpenAI concernant les capacités de recherche de pouvoir du modèle était néanmoins rassurante (pour les humains). OpenAI l'a trouvé inefficace à se reproduire de manière autonome, à acquérir des ressources et à éviter d'être arrêté "dans la nature".

Les craintes d'une prise de contrôle par l'IA et d'une apocalypse robotique imminente sont-elles exagérées ? Peut-être que oui, peut-être que non. Au rythme où l'IA progresse, ses capacités deviennent de plus en plus difficiles à appréhender pour les humains. D'une certaine manière, nous sommes comme de petits enfants jouant avec une boîte d'allumettes lorsque nous testons les limites de l'IA.

Toutefois, cela ne signifie pas que nous devrions abandonner complètement l'IA. L'IA a de nombreuses applications formidables qui peuvent aider l'humanité dans de divers domaines - la découverte de médicaments et l'éducation n'en sont que quelques-unes. Ce dont nous avons besoin, c'est d'une plus grande réglementation et d'une utilisation responsable des outils d'IA afin de garantir qu'ils sont alignés sur nos valeurs et nos objectifs humains. Cela signifie que nous devons être conscients des risques et des défis que pose l'IA, mais aussi saisir ses opportunités et son potentiel. Nous devons utiliser l'IA de manière intelligente, pour qu'elle n'essaie même pas d'être plus intelligente que nous.