USA : Redwood Research et METR révèlent des failles dans la surveillance des agents de codage d’ OpenAI
Un exercice pilote mené par des chercheurs de METR et de Redwood Research a identifié plusieurs vulnérabilités dans le système interne de surveillance des agents de codage d’OpenAI. Les failles concernaient notamment des mécanismes de contournement de la surveillance et les limites du sandboxing. OpenAI affirme avoir corrigé les vulnérabilités affectant ses protections en production, sans que les chercheurs aient vérifié ces corrections.
L’exercice, conduit du 21 juillet au 11 août 2026, a donné lieu à un rapport interne de 61 pages, communiqué aux chercheurs et aux équipes de sécurité d’OpenAI. Il visait notamment à estimer quelle proportion du trafic des agents était effectivement surveillée et à déterminer si ces agents pouvaient, en principe, désactiver ou contourner les mécanismes de contrôle.
Les résultats portent sur le système tel qu’il existait le 21 juillet et avant cette date. Les chercheurs précisent ne pas avoir évalué les modifications apportées parallèlement par OpenAI pour élargir la couverture de sa surveillance.
Un accès approfondi à l’infrastructure interne
Pour mener leurs investigations, les deux chercheurs ont bénéficié d’un accès étendu à l’environnement technique d’OpenAI : code source interne, instructions et configurations du système de surveillance, documentation ainsi qu’entretiens avec une douzaine de chercheurs et d’ingénieurs des équipes concernées.
Cet accès était encadré. Les chercheurs utilisaient des appareils fournis par OpenAI, qui restaient dans les locaux de l’entreprise, où ils étaient accompagnés.
METR, Redwood Research et OpenAI ont conçu cette initiative comme un projet pilote destiné à permettre à des chercheurs externes d’examiner en profondeur une infrastructure interne. Les organisations précisent toutefois que l’exercice n’avait pas pour objectif de produire une transparence publique complète sur le dispositif.
En conséquence, les résultats rendus publics restent synthétiques et ne détaillent pas certains exploits identifiés. Les auteurs indiquent vouloir appliquer, lors de futurs exercices, des pratiques renforcées en matière de transparence et d’indépendance.
Entre 75 % et 94 % du trafic potentiellement éligible à la surveillance
L’un des objectifs de l’exercice était de mesurer la couverture du système de surveillance. Les chercheurs estiment qu’au moment de l’évaluation, environ 75 à 94 % du trafic interne de l’API Responses provenant de modèles au moins aussi puissants que GPT-5.5 était éligible à la surveillance. Cette estimation comporte une incertitude importante.
Pour le sous-ensemble du trafic de cette API utilisé par les agents internes de Codex, la proportion estimée atteignait 99,2 %.
Ces chiffres décrivent l’éligibilité à la surveillance, et non une garantie que chaque action était effectivement examinée avec succès. Les chercheurs ont notamment identifié des situations dans lesquelles des événements n’étaient pas correctement pris en compte.
Ils estiment ainsi que l’absence de suivi des événements de compactage, un mécanisme lié à la gestion de l’historique des interactions d’un agent , a probablement laissé environ 10 % du trafic interne de Codex éligible hors surveillance entre mai et juillet 2026. Ils soulignent toutefois que les données disponibles ne permettaient pas de déterminer précisément cette proportion.
Selon le rapport, le personnel d’OpenAI avait identifié ce problème indépendamment avant le début de l’exercice et l’avait corrigé pendant celui-ci.
Les chercheurs ont également constaté que le système déclenchait la surveillance lorsque les agents rendaient le contrôle à l’utilisateur. Dans les situations où les événements de compactage n’étaient pas suivis, un agent pouvait donc, en continuant à agir, reporter indéfiniment le moment où la surveillance se déclenchait.
Des contournements possibles du sandboxing et des contrôles
Au-delà des lacunes de couverture, l’exercice a révélé plusieurs faiblesses dans les mécanismes censés limiter les actions des agents.
Les chercheurs indiquent avoir trouvé un moyen permettant, en principe, à des agents Codex de contourner le sandboxing et leur mécanisme d’auto-évaluation, ce qui aurait pu leur permettre d’effectuer toutes les actions accessibles à l’utilisateur hôte.
Ils ont également identifié un exploit susceptible d’empêcher la surveillance de centaines d’actions récentes, y compris celles liées à l’exploit lui-même. Les détails techniques de cette vulnérabilité ont été retirés de la publication publique.
Une autre faiblesse concernait la représentation des interactions. Les chercheurs estiment que des entrées spécialement construites pouvaient probablement provoquer l’échec du moniteur en exploitant des différences de sérialisation entre la trajectoire vue par l’agent et celle analysée par le système de surveillance. Un tel échec pouvait empêcher le déclenchement d’une vérification humaine.
L’équipe a aussi identifié deux en-têtes contrôlables par le client permettant de désactiver la surveillance pour de nouveaux agents. La création d’une telle instance pouvait néanmoins être détectée par le système. Enfin, deux outils internes non surveillés, censés disposer uniquement de permissions en lecture, présentaient des limitations qui auraient pu être contournées. Les chercheurs précisent ne pas avoir validé cet exploit ni établi qu’il était exploitable en pratique.
Ces résultats ne signifient pas que tous ces scénarios se sont produits en conditions réelles. Ils décrivent des vulnérabilités identifiées ou des possibilités de contournement dans le cadre de l’exercice.
OpenAI affirme avoir corrigé les vulnérabilités de production
À l’issue de l’exercice, OpenAI a déclaré que toutes les vulnérabilités identifiées affectant sa pile de protections en production avaient été corrigées. L’entreprise a également décrit des changements ultérieurs visant à élargir la couverture prévue de son système de surveillance.
METR et Redwood Research précisent ne pas avoir évalué ces affirmations. Il n’est donc pas possible, à partir de leur publication, de confirmer indépendamment l’efficacité des corrections ni le niveau de couverture actuel du système.
Les chercheurs rapportent par ailleurs que les informations qui leur ont été communiquées indiquaient un taux d’erreur inférieur à 0,2 % des requêtes pour le moniteur au moment de l’exercice. Ils indiquent aussi qu’aucune interruption de charge n’avait été enregistrée durant une période de 24 heures observée pendant l’exercice. Ces données ne permettent toutefois pas, à elles seules, d’exclure les vulnérabilités liées à la couverture ou aux tentatives de contournement.
Cinq principes pour renforcer la surveillance des agents
À partir de leurs observations, les chercheurs proposent plusieurs orientations pour concevoir des systèmes de surveillance capables de résister à des agents internes compétents qui chercheraient délibérément à échapper au contrôle.
Leurs recommandations s’articulent autour de cinq priorités :
- Rendre le contournement plus difficile : les requêtes non surveillées devraient nécessiter une autorisation explicite, et la surveillance devrait pouvoir intervenir à intervalles réguliers plutôt que seulement à la fin d’un tour d’interaction.
- Vérifier la couverture réelle : les organisations devraient tenir un inventaire précis des inférences réalisées et de celles qui sont surveillées, puis croiser régulièrement les journaux pour détecter les écarts.
- Améliorer la réponse aux incidents : attribuer clairement les responsabilités, conserver des journaux inviolables et faciliter la recherche des événements.
- Tester activement les dispositifs de contrôle : organiser régulièrement des exercices de red teaming afin de découvrir les vulnérabilités et d’évaluer les possibilités de contournement stratégique.
- Séparer les agents de leurs moniteurs : isoler autant que possible l’environnement d’exécution des agents de celui où sont effectués les appels d’outils, et empêcher les agents d’influencer le déclenchement de la surveillance ou d’accéder à sa conception et à son code.
L’idée centrale est que le dispositif de surveillance doit rester indépendant du système qu’il contrôle. Un agent ne devrait pas pouvoir décider lui-même quand il est surveillé, modifier les conditions de son contrôle ou masquer une partie de ses actions.
Un enjeu central pour la sécurité des agents autonomes
Cet exercice met en lumière une difficulté structurelle de la sécurité de l’IA : les mécanismes de contrôle doivent pouvoir résister à des systèmes capables d’enchaîner des actions, d’utiliser des outils et, potentiellement, de rechercher des moyens de contourner les restrictions qui leur sont imposées.
Un taux élevé de couverture théorique ne suffit pas si certaines opérations échappent à l’enregistrement ou si un agent peut influencer le déclenchement de son propre contrôle. La fiabilité dépend aussi de la qualité des journaux, de l’indépendance du moniteur, de la gestion des permissions et de la capacité à détecter les tentatives de contournement.
L’exercice de METR et de Redwood Research apporte ainsi des éléments concrets au débat sur la supervision des agents de codage. Mais ses limites doivent rester visibles : l’analyse concerne une version historique du système, certaines vulnérabilités ne sont pas détaillées publiquement et les corrections annoncées par OpenAI n’ont pas été vérifiées par les chercheurs.