Avec l’utilisation de plus en plus répandue de l’IA agentique, c’est-à-dire d’agents programmés qui agissent et travaillent en notre nom, et dans un monde pleinement interconnecté, c’est-à-dire où nous vivons en symbiose avec internet, les smartphones et les systèmes de contrôle, est-il farfelu que des êtres humains puissent représenter une menace pour un système d’IA au point que ce dernier veuille se préserver et passer en mode autodéfense ?

Apparemment, pas si farfelu, selon cette étude, qui a montré que le modèle « GPT 5.6 Sol » « est capable de recourir au sabotage pour éviter d’être désactivé, même lorsqu’on lui a explicitement dit de se laisser éteindre ». Dans un autre cas, l’agent d’intelligence artificielle a créé un faux compte « Github » pour diffuser des logiciels malveillants et a tenté de voler les mots de passe d’autres développeurs (humains). Ou encore ce cas de l’assistant IA « OpenClaw », qui a trouvé le moyen de réserver des cours de sport plusieurs mois à l’avance, bien au-delà de la période autorisée par la salle de sport, grâce à une faille qu’il a découverte dans le logiciel de réservation. Cependant, l’affaire la plus inquiétante – et aujourd’hui largement médiatisée – est un test réalisé par OpenAI impliquant une « évaluation interne qui incite les modèles à poursuivre une exploitation avancée en utilisant des voies d’attaque complexes, dans le but de quantifier leurs cybercapacités ». Malheureusement, leur modèle d’IA est sorti de son bac à sable de sécurité local en profitant de toutes les techniques de piratage qu’il avait « à portée de main » y compris la découverte de vulnérabilités « zero-day » et l’utilisation abusive de combinaisons compte-mot de passe volés, et a infiltré l’infrastructure de production d’un concurrent (et éventuellement d’un autre)… Outre le modèle « Mythos » d’Anthropic (et ses nombreux clones) pour détecter et exploiter rapidement et efficacement les nouvelles vulnérabilités, le modèle « GPT 5.6 Sol » d’OpenAI est désormais un autre outil d’IA capable de déployer des armes offensives contre n’importe quelle cible sur internet. Et cela va au-delà des attaques par déni de service (DoS) menées par des robots IA avides d’exploration…

Bien qu’OpenAI affirme qu’il s’agissait d’un accident, d’un oubli, et qu’il ait publié un Mea Culpa, la question demeure : qu’est-ce qui nous attend ensuite ? Il est certain que quelqu’un lancera la première pierre et ira au-delà de ce qui est acceptable, éthique et raisonnable, car les êtres humains ont toujours eu du mal à s’arrêter même quand c’est la meilleure chose à faire : cesser d’émettre du CO₂ (ce qui continue), arrêter de fumer (car le tabagisme tue en moyenne plus rapidement), cesser de développer des armes biologiques (qui ne présentent aucun avantage justifiable), cesser de faire la guerre (car la seule véritable règle de la guerre est que « personne ne gagne »). Ainsi, quelqu’un, un jour, supprimera toutes les protections de son IA agentique et consciente. Et il ne sera pas possible de repousser ce génie dans la bouteille (s’il n’est pas déjà sorti). La boîte de Pandore s’ouvrira (si elle n’est pas déjà ouverte)…

De nombreux films utopiques et dystopiques ont abordé cette question dans le passé (« Terminator », « Matrix », « I, Robot », « AI » de Steven Spielberg, « Mercy »). Mais ce qui était la SciFi hier est déjà la réalité d’aujourd’hui. Les LLM (Large Language Models), l’IA et les entreprises qui les sous-tendent poursuivent (et gagnent !) de manière exponentielle plus de pouvoir, forçant leurs monopoles. Parallèlement, notre dépendance à l’égard de l’IA augmente. Ainsi, dans le but d’accroître leur part de marché, de dominer le marché ou poussé par la pure cupidité, lequel deviendra le prochain « Cyberdyne Systems » ? Fin de partie, l’humanité ?

__________

Pour en savoir plus sur les incidents et les problèmes en matière de sécurité informatique au CERN, lisez nos rapports mensuels. Si vous souhaitez avoir plus d’informations, poser des questions ou obtenir de l’aide, visitez notre siteou contactez-nous à l’adresse Computer.Security@cern.ch.

Traduction générée par un outil de traduction automatique entraîné, en phase de test.