INTERNATIONAL : Le chercheur britannique Jacob COXON quitte Anthropic et accuse les laboratoires de « jouer avec nos vies »
Après trois années de recherche sur le pré-entraînement des modèles chez OpenAI puis Anthropic, Jacob Coxon annonce son départ de l’industrie. Il dénonce une course vers la superintelligence auto-améliorante qu’il juge dangereuse pour l’humanité.
Jacob Coxon a annoncé le 9 septembre sa démission d’Anthropic dans un long message publié sur X. Le chercheur britannique, qui a travaillé ces trois dernières années sur le pré-entraînement des modèles d’IA, d’abord chez OpenAI puis chez Anthropic, affirme que les deux entreprises ne prennent pas suffisamment au sérieux les risques liés à leurs technologies.
« Elles foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies », écrit-il.
Selon Coxon, les personnes qui développent ces systèmes savent elles-mêmes que l’IA pourrait représenter un risque extrême pour l’humanité. Il affirme que certains chercheurs et dirigeants expriment en privé des inquiétudes bien plus fortes que celles qu’ils formulent publiquement.
Une course que Coxon juge dangereuse
Le chercheur établit toutefois une différence entre les deux entreprises.
Chez OpenAI, estime-t-il, une partie des équipes n’aurait pas pleinement pris la mesure des conséquences « civilisationnelles » du développement de l’IA. Chez Anthropic, il considère au contraire que les risques sont largement compris, mais que l’entreprise serait enfermée dans une course avec ses concurrents.
Son raisonnement serait le suivant : si les autres avancent, il faut avancer soi-même pour être celui qui parviendra le premier à développer une IA suffisamment sûre.
Coxon rejette cette logique. À ses yeux, accepter cette course et entrer dans ce qu’il qualifie d’« endgame » constitue un pari extrêmement dangereux lorsqu’il est décidé au sein d’une entreprise privée.
Des capacités qui pourraient bouleverser tous les secteurs
Dans les différents messages accompagnant sa démission, le chercheur appelle à ne pas sous-estimer la puissance des technologies en développement.
Il estime que les systèmes de prochaine génération pourraient devenir capables d’agir dans de nombreux domaines, d’acquérir des ressources et d’exercer une influence considérable. Selon lui, leur progression ne montre aucun signe de ralentissement.
Coxon appelle ainsi les chercheurs travaillant dans les laboratoires d’IA à s’interroger sur les prochaines années : veulent-ils réellement voir apparaître une intelligence artificielle surhumaine sans avoir auparavant résolu les problèmes fondamentaux de contrôle et d’alignement ?
Un avertissement relayé de l’intérieur d’Anthropic
Le message de Coxon a trouvé un écho particulièrement notable chez certains chercheurs encore employés par Anthropic.
Evan Hubinger, responsable des recherches sur l’alignement chez Anthropic, a publiquement reconnu la gravité du problème. Il estime personnellement à plus de 10 % la probabilité qu’une IA provoque une catastrophe conduisant à la disparition de l’humanité au cours de la prochaine décennie. Il précise cependant qu’Anthropic cherche à réduire ces risques, tout en reconnaissant que l’entreprise ne dispose pas encore d’un plan permettant de résoudre l’alignement d’une éventuelle superintelligence.
Cette prise de position donne une portée particulière à la démission de Coxon : l’alerte ne vient pas seulement d’un observateur extérieur, mais d’un chercheur ayant directement participé au développement des modèles de deux des principaux laboratoires mondiaux.
La question du contrôle humain
Le départ de Jacob Coxon intervient alors que les débats sur les risques liés à la superintelligence prennent une nouvelle ampleur aux États-Unis et au sein de la communauté scientifique.
Son avertissement ne constitue pas une démonstration que la superintelligence conduira effectivement à une catastrophe. Il témoigne plutôt d’une fracture croissante au sein même de l’industrie de l’IA : faut-il poursuivre la course aux capacités en espérant parvenir à maîtriser les systèmes au fur et à mesure, ou ralentir leur développement jusqu’à disposer de garanties suffisantes ?
Pour Coxon, la réponse est claire : la vitesse de développement ne devrait pas précéder la capacité de contrôle.
Et cette question pourrait devenir l’un des grands enjeux de la gouvernance mondiale de l’intelligence artificielle.