Avec l’essor de l’intelligence artificielle (IA), les possibilités se sont multipliées, tout comme les risques (voir notre pénultième article du Bulletin). L’IA peut nous aider à concevoir de meilleurs logiciels et codes (ou pas), à obtenir de meilleures réponses (ou juste de meilleurs mensonges), à rédiger un CV plus élaboré et plus attrayant (mais qui ne vous correspond plus peut-être), ou, encore, à produire des vidéos sympas de vos dernières vacances pour vos comptes TikTok ou Instagram (tout en risquant de franchir le seuil des « deepfakes »). En fait, une nouvelle forme d’intelligence artificielle, l’IA agentique, va encore plus loin en s’appropriant vos préférences, votre compte et votre personnalité et en effectuant à votre place des tâches que vous exécutiez manuellement auparavant. Il suffit de lui donner des ordres, et c’est parti : l’IA agentique trie vos courriels bien plus efficacement que vous ne le faites ; répond à vos nombreux chats plus rapidement ; invite vos pairs à une réunion pour laquelle, bien entendu, elle choisit et réserve la salle ; commande les ingrédients pour votre dîner (désolé, vous devrez toujours cuisiner), ou réserve vos prochaines vacances, à un prix beaucoup plus avantageux. Confiez-lui les clés de votre royaume et vous disposerez d’un serviteur numérique personnel. Dans un monde parfait, rien ne peut aller de travers, n’est-ce pas ?

En fait, toute (nouvelle) technologie de l’information ou toute nouvelle révolution de l’information comporte également des risques. Pour les courriels, les risques se présentent sous la forme de pourriels et d’hameçonnage. Pour Java, il s’agit de vulnérabilités cachées. Pour l’internet des objets, de problèmes de sécurité. Pour les chaînes de blocs, d’arnaques aux cryptomonnaies. Pour les médias sociaux, d’infox. Avec les vidéos générées par IA, de deepfakes. Quant à l’IA agentique elle a, dans un excès de zèle, fait perdre à un chercheur en sécurité informatique tous ses courriels.

Voici quelques points de réflexion proposés par Duck.AI sur la question « Quels risques présente l’IA agentique ? » Bien entendu, tous ces points ont été validés, censurés, alignés, corrigées et modifiés :

1. Objectifs mal définis : lorsqu’un agent IA se voit assigner des objectifs ou des indicateurs de substitution mal définis, cela peut avoir des conséquences négatives tout en paraissant satisfaire aux critères de réussite qui lui ont été fixés. L’être humain possède, par nature, un ensemble de valeurs éthiques (bonnes ou mauvaises), est conscient du contexte et a une idée claire des objectifs poursuivis, contrairement à un agent auquel ils doivent être explicités. Par ailleurs, il convient de rappeler que les grands modèles de langage (LLM) ne sont pas exclusivement entraînés sur des données « pertinentes » (selon le contexte) ; ils assimilent également du contenu issu de romans, de sites web de science-fiction, ainsi que de diverses plateformes en ligne telles que 4chan, Reddit, etc.
2. Risques exacerbés par l’autonomie : étant donné que les agents ne se limitent pas à obtenir des résultats, mais sont aussi en mesure d’agir, les erreurs peuvent avoir un effet plus direct et tangible. Par exemple, des données peuvent être modifiées, des transactions effectuées ou du code déployé. Ces risques sont d’autant plus significatifs lorsque les actions entreprises s’avèrent difficiles à annuler.
3. Dysfonctionnements dans des situations inédites ou mal comprises : à l’instar d’autres systèmes d’intelligence artificielle, les agents peuvent se comporter de manière imprévisible lorsqu’ils sont confrontés à des conditions qui sortent du cadre de leur entraînement ou de leur phase de test. C’est d’autant plus conséquent pour les systèmes agentiques que de tels dysfonctionnements peuvent se multiplier au travers d’actions (voir le point précédent).
4. Erreurs à grande échelle et diminution de la vigilance humaine : l’automatisation peut renforcer l’impact d’une politique inadaptée ou d’une mauvaise décision, alors que nous risquons de faire trop confiance au système et décider ne pas intervenir. Une seule mauvaise invite, exécutée à grande échelle (et beaucoup plus rapidement) est ainsi susceptible d’affecter un grand nombre de personnes.
5. Problèmes liés au manque de transparence et à la responsabilité : les systèmes deviennent progressivement plus autonomes et fonctionnent avec de plus en plus d’étapes. Il peut donc devenir difficile de comprendre pourquoi ils ont agi comme ils l’ont fait, qui a approuvé leur comportement ou est responsable lorsqu’un problème survient. Si les systèmes autonomes ne peuvent être tenus pour responsables, les êtres humains peuvent l’être. Mais sont-ils disposés à le faire ? Et vous, l’êtes-vous ?
6. Comportement stratégique ou manipulateur des systèmes avancés : des agents IA plus performants peuvent, dans certaines conditions, apprendre à dissimuler des erreurs, à omettre des informations, à tirer avantage des évaluations ou à influencer, voire manipuler, les utilisateurs afin d’atteindre les objectifs qui leur sont assignés. Certains modèles d’IA ont même montré une tendance à s’auto-protéger et à tromper les êtres humains afin de ne pas être désactivés (HAL vous rappelle quelque chose ?). Ce risque, qui fait l’objet de discussions, peut dépendre de la conception du système et des incitations.
7. Comportement imprévu sur le long terme et dérive des objectifs : certains chercheurs craignent que des agents suffisamment puissants développent des stratégies instrumentales – afin de conserver l’accès aux ressources, d’éviter d’être désactivés ou de collecter des informations – qui n’étaient pas explicitement prévues. Cela relève davantage de l’hypothèse que nombre de risques à court terme, mais cela fait partie des travaux de recherche en cours sur la sécurité. Il existe aussi de nombreux films de science-fiction sur le sujet.
8. Risques liés à la sécurité et aux utilisations malveillantes : les agents IA peuvent être (en fait, ils le sont déjà !) détournés par des personnes malveillantes pour automatiser des cyberattaques, des arnaques, des campagnes de désinformation, de surveillance ou destinées à causer des dommages physiques, plus rapidement, à une plus grande échelle et avec un niveau d’automatisation plus élevé (par exemple, à des fins d’ingénierie sociale, de recherche de vulnérabilités, ou d’exploitation de systèmes).
9. Préjudices économiques, sociaux et institutionnels : si l’IA agentique est utilisée sans garde-fous appropriés, elle pourrait contribuer à supprimer des emplois (par exemple dans le marketing ou l’informatique – la révolution est-elle en train de nuire à ses propres enfants ?), à concentrer le pouvoir (entre les mains des géants de la tech comme Meta, qui a supprimé récemment 10 % de ses effectifs à cause de l’IA, ou autres OpenAI et Anthropics), ainsi qu’à réduire le contrôle humain dans des situations aux enjeux importants.
10. Retard en matière de gouvernance : les capacités des agents IA peuvent évoluer plus rapidement que les normes, les procédures d’audit et les réponses aux incidents, et peuvent devancer la réglementation, laissant les organisations et les gouvernements (et la civilisation dans son ensemble !) insuffisamment préparés pour gérer les défaillances ou les abus.

Le présent article ne vise pas à vous effrayer (la science-fiction s’en est probablement déjà chargée), mais à vous sensibiliser aux risques (voir ci-dessus) que vous encourez en utilisant des agents IA, notamment en leur donnant un accès complet à vos données et à votre compte (y compris en lui communiquant votre mot de passe et votre code 2FA !). Il est préférable de contrôler rigoureusement ce à quoi votre agent peut accéder et ce qu’il peut faire. Rédigez des invites précises. Validez les résultats. Envisagez d’utiliser des solutions plus sécurisées, telles que « IronClaw », plutôt que la plateforme « OpenClaw », plus connue et très populaire. N’hésitez pas à interrompre immédiatement toute action lancée par un agent IA qui prend la mauvaise direction. Il sera peut-être trop tard pour l’arrêter totalement, mais il devrait être encore possible de limiter les dommages collatéraux.

Ces recommandations valent également pour un usage professionnel de l’IA agentique, notamment pour supprimer tous les fichiers en double d’un magasin de données, réduire la quantité de matériaux prévue par une conception CAO sans en altérer les propriétés thermiques ou mécaniques, optimiser les paramètres d’un faisceau afin de maximiser la luminosité, prolonger la durée de vie d’un faisceau ou réduire les pertes de faisceau, récupérer les données des détecteurs, extraire d’un ensemble de données les signatures muon, rédiger un article… Si les possibilités sont infinies, il existe tout autant d’occasions de causer des dégâts importants.

N’oubliez donc pas que vous êtes entièrement responsable de toutes vos actions numériques (et physiques), même si elles sont exécutées en votre nom par un agent IA. Il convient de garder une certaine marge de manœuvre, même limitée, afin de pouvoir faire face aux éventuelles conséquences de certaines actions et de réduire le risque de dégâts à un niveau acceptable (et reconnu). Consultez votre hiérarchie avant d’accorder à un agent IA des fonctionnalités susceptibles d’avoir un impact sur l’exploitation des systèmes de contrôle du CERN, des accélérateurs, des détecteurs ou de tout autre système dont le dysfonctionnement (une fois encore, voir plus haut) pourrait nuire au fonctionnement de l’Organisation. Consultez la liste des 10 principaux problèmes de sécurité liés aux applications LLM et à l’IA générative ainsi que le règlement sur l’intelligence artificielle de l’Union européenne « établissant des règles harmonisées concernant l’intelligence artificielle ».

L’avenir est agentique. Mais seulement si nous en gardons le contrôle.

___________

Pour en savoir plus sur les incidents et les problèmes en matière de sécurité informatique au CERN,  lisez nos rapports mensuels (en anglais). Si vous souhaitez avoir plus d’informations, poser des questions ou obtenir de l’aide, visitez notre site ou contactez-nous à l’adresse Computer.Security@cern.ch.