Créer des agents ne se résume pas à une question de rapidité. La confiance est devenue le nouvel enjeu prioritaire et les développeurs ont besoin de garde-fous à toute épreuve pour transformer une IA hors cadre en outils fiables.
Sydney Scott
Editorial Strategist, AI
Workday
Une mauvaise réponse d'un chatbot IA nuit à sa réputation. Par contre, un agent IA défaillant qui a accès à la production peut quant à lui provoquer une véritable crise opérationnelle.
Ce risque occupe désormais une place centrale dans le développement logiciel. Alors que l'IA ne se contente plus de suggérer du code mais planifie le travail et agit, les développeurs doivent déterminer ce qui doit arrêter un système lorsqu'il se trompe.
L'utilisation de l'IA a largement dépassé la confiance qu'on lui accorde. Réalisée auprès d'environ 5 000 professionnels de la technologie en septembre 2025, l'étude DevOps Research and Assessment (DORA) de Google Cloud a révélé que 90 % d'entre eux utilisaient l'IA au travail et que plus de 80 % estimaient qu'elle améliorait la productivité. Pourtant, seuls 24 % d'entre eux faisaient « beaucoup » ou « vraiment » confiance à cette technologie. 30 % supplémentaires lui faisaient peu ou pas du tout confiance.
Cette inquiétude est fondée. Plus tôt cette année, alors qu'il effectuait une tâche de routine pour l'éditeur de logiciels PocketOS, un agent de codage Cursor est tombé sur une incohérence d'identifiants, a découvert un jeton d'accès aux permissions trop larges et a supprimé la base de données de production de l'entreprise ainsi que ses sauvegardes au niveau des volumes en un seul appel Cloud.
L'opération de suppression n'a duré que neuf secondes. Cet incident a révélé un danger que les développeurs n'avaient pas anticipé : un agent censé opérer dans un environnement de test pouvait en réalité atteindre les systèmes en production et y effectuer une action irréversible sans aucune approbation humaine.
Cet écart de confiance s'accompagne désormais d'enjeux bien réels. Il engendre un problème d'ingénierie, un risque pour l'entreprise et un conflit sur le contrôle de logiciels de plus en plus performants. Les entreprises recherchent la rapidité qu'offre l'IA. Il incombe aux développeurs d'éviter que cette rapidité ne provoque des dégâts.
Alors que l'IA ne se contente plus de suggérer du code mais planifie le travail et agit, les développeurs doivent déterminer ce qui doit arrêter un système lorsqu'il se trompe.
Rapport
Le contrôle des risques ne peut plus attendre une revue de conformité finale. À ce stade, les équipes ont déjà fait les choix qui comptent : ce qu'un agent peut voir, les outils qu'il peut appeler, s'il peut écrire ou supprimer des données, et à quel moment une personne doit intervenir.
Avec les agents, les enjeux sont plus élevés. Un assistant de codage peut suggérer un mauvais correctif. Un agent disposant d'un accès aux données de l'entreprise et à la production peut quant à lui agir sur cette base.
La confiance est désormais intégrée directement dans le produit lui-même. Dans tout l'écosystème, les géants de la tech intègrent des garde-fous : AWS utilise Bedrock AgentCore pour imposer des limites strictes aux applications, tandis que l'Agent Control Specification de Microsoft intercepte les risques à chaque étape, de la saisie initiale jusqu'à l'exécution finale.
Des normes partagées pourraient empêcher les contrôles de rester dépendants du système d'un seul fournisseur. L'Agentic AI Foundation de la Linux Foundation héberge des projets tels que Model Context Protocol (MCP), le cadre d'agent Goose et AGENTS.md, en mettant l'accent sur les systèmes d'agents et les modèles de sécurité communs.
Le signal du marché est difficile à ignorer. Les limites d'autorisation, les points d'approbation, les vérifications de politique et les registres d'audit deviennent partie intégrante du mécanisme. Les fournisseurs qui rendent ces contrôles clairs et portables pourraient obtenir un avantage auprès des entreprises qui décident du niveau d'autorité à confier.
Mais les outils seuls ne suffiront pas à corriger une entreprise fragile. L'étude DevOps Research and Assessment (DORA) décrit l'IA comme un amplificateur : les workflows clairs et les équipes solides se renforcent, tandis que les responsabilités vagues et les mauvaises habitudes de révision se propagent plus rapidement.
La confiance devient ainsi à la fois un contrôle technique et un véritable test pour l'entreprise. Les développeurs doivent pouvoir remettre en question un résultat incertain et retarder une mise en production sans que cela leur porte préjudice. Imposer l'adoption de l'IA peut conduire à une non-conformité silencieuse : les collaborateurs s'en servent alors pour cocher une case, tout en l'écartant des tâches qui comptent réellement.
Si l'équipe dirigeante mesure le succès uniquement en fonction du volume de code produit ou du nombre de tickets résolus, elle récompense involontairement la vitesse brute au détriment de la sécurité systémique.
Créer avec l'IA ne consiste pas simplement à produire du code à toute vitesse. Cela nécessite de développer des systèmes sûrs et fiables. Aujourd'hui, le véritable travail d'un développeur ne se limite pas à écrire de la syntaxe : il consiste à agir comme un architecte système. Il doit cadrer les problèmes majeurs, fixer des limites opérationnelles strictes et empêcher qu'une seule modification automatisée ne mette en péril l'ensemble de l'entreprise.
Avant de déployer tout nouveau système d'IA, les équipes avisées utilisent une check-list simple pour établir leurs règles de base. Les développeurs doivent obtenir une réponse claire à quatre questions clés :
Ces questions permettent de recentrer l'attention : au lieu de se demander à quel point un modèle d'IA impressionne, on cherche à savoir si l'ensemble du système se comporte réellement de façon fiable.
Pour transformer ces limites en pratique quotidienne, les équipes de l'entreprise s'appuient sur le cadre de gestion des risques liés à l'IA du National Institute of Standards and Technology (NIST). Ce cadre décompose la sécurité en quatre fonctions continues :
Nommez des leaders spécifiques pour la sécurité, la confidentialité et les risques juridiques avant même de commencer tout développement. Identifiez clairement qui a l'autorité pour désactiver le système ou approuver un nouvel accès aux données.
Recensez les utilisateurs, les données, les outils et les façons potentielles dont le système pourrait être utilisé de manière abusive. Appliquez des contrôles légers aux tâches simples (comme résumer un document) et un examen minutieux aux actions risquées (comme le transfert de fonds).
L'IA peut générer du code qui semble irréprochable en surface mais dissimule peut-être une logique confuse, des failles de sécurité ou des dépendances fragiles. Cela entraîne une accumulation considérable de revues de code en attente. Si l'équipe dirigeante mesure le succès uniquement en fonction du volume de code produit ou du nombre de tickets résolus, elle récompense involontairement la vitesse brute au détriment de la sécurité systémique.
Plutôt que de suivre la production brute, testez le parcours réel de l'IA et privilégiez des indicateurs de vitesse intelligents :
Comme les systèmes IA évoluent constamment, les équipes doivent surveiller les comportements inhabituels en temps réel. Lorsqu'un incident survient inévitablement, évitez de chercher un coupable. Interrogez-vous sur les raisons pour lesquelles le système a pu causer de tels dommages, puis convertissez cet incident concret en test automatisé pour éviter qu'il ne se reproduise.
Intégrer les contrôles au produit dès le premier jour ne freine pas la vitesse d'exécution : c'est au contraire le feu vert pour aller plus vite.
Si un système IA est une boîte noire, les humains sont contraints de le microgérer, ce qui va à l'encontre de la finalité même de l'automatisation. Mais lorsqu'un agent est encadré par des autorisations strictes et une visibilité claire, la dynamique s'inverse. La machine peut gérer en toute sécurité un travail complexe car les humains savent exactement où se situent les limites.
Cette confiance constitue l'accélérateur ultime pour l'entreprise, lui permettant de dépasser la peur d'une suppression catastrophique du système pour évoluer vers une croissance maîtrisée. Le pouvoir de marché ne repose plus uniquement sur l'intelligence des modèles, mais se tourne désormais vers des plateformes garantissant une transparence totale et un mécanisme d'arrêt fiable.
Le prochain avantage concurrentiel ne viendra pas de l'agent IA le plus impressionnant. Il viendra de l'infrastructure qui le maintient sous contrôle : des garde-fous infaillibles, des normes de sécurité portables et des architectures conçues pour contenir le rayon d'impact d'une erreur.
Intégrer ces contrôles au produit dès le premier jour ne freine pas la vitesse d'exécution : c'est au contraire le feu vert pour aller plus vite. Les entreprises qui instaurent la confiance en amont devanceront la concurrence, car lorsque leurs systèmes trébucheront inévitablement, les dégâts seront déjà contenus, visibles et faciles à corriger.
Rapport
Le véritable enjeu du ROI est l'écart entre les efforts engagés et l'impact généré. Découvrez la solution.