Cette semaine, ceux qui construisent l’intelligence artificielle ont pris la parole. Pas des journalistes, pas des régulateurs, pas des polémistes : des chercheurs d’Anthropic, d’OpenAI, de Meta et de Google, en trois jours. Deux ont démissionné. Le patron d’Anthropic a publié un texte de près de 4 000 mots pour demander publiquement de ralentir. Et le président des États-Unis a répondu, en substance, que le secteur exagérait.
Vu d’Anglet, de Bayonne ou de Saint-Jean-de-Luz, ça ressemble à une querelle californienne. Ça ne l’est pas. Ce que ces gens se disent en interne finit toujours par arriver dans les outils que vous utilisez le lundi matin. Voici ce qui s’est réellement passé, et ce que j’en retiens pour une entreprise du Pays Basque.
Ce qui s’est passé, dans l’ordre
Le mardi 8 septembre, Jacob Coxon, chercheur chez Anthropic — déjà passé par OpenAI — annonce publiquement sa démission. Son motif tient en une phrase : les laboratoires « foncent droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies ». Il ajoute que ceux qui construisent ces systèmes « croient sincèrement qu’ils pourraient nous tuer tous d’ici la fin de la décennie ».
Le 11 septembre, Joe Benton part à son tour. Il dirigeait chez Anthropic l’équipe chargée de vérifier les systèmes trop puissants pour être testés à la main. Il rejoint METR, une association indépendante qui évalue les risques graves des modèles. Sa phrase, celle qui devrait intéresser tous les dirigeants : « Le public devrait exiger beaucoup plus de transparence. On ne peut pas piloter cette technologie sans que plus de gens voient où elle va. »
Dans la foulée, Evan Hubinger, responsable de l’alignement chez Anthropic, chiffre son propre risque : plus de 10 % de probabilité d’extinction humaine dans les dix ans. Il ajoute une phrase rare dans ce milieu : « Anthropic fait de son mieux, mais nous n’avons pas encore de plan pour résoudre l’alignement d’une superintelligence, et nous ne sommes pas clairement sur la bonne trajectoire. » Son collègue Samuel Marks note une chose simple : dans les laboratoires, l’inquiétude augmente avec le niveau de responsabilité.
Le 12 septembre, Dario Amodei, PDG d’Anthropic, publie « We Must Pace the Frontier ». Il ne demande pas d’arrêter la recherche. Il demande de ralentir la vitesse de progression des capacités, pour laisser le temps aux garde-fous. Son plan tient en trois étapes.
- Des évaluateurs tiers installés dans les entreprises. Un badge, un bureau, un ordinateur, et un accès comparable à celui des équipes internes de gestion des risques. Anthropic s’y engage seule et appelle les gouvernements à imposer la même chose à ses concurrents.
- Une coordination entre pays démocratiques sur des standards de sécurité communs et des limites à la course aux capacités. Avec l’État américain en médiateur — notamment pour éviter les poursuites antitrust qu’une entente entre concurrents pourrait déclencher.
- Une coordination mondiale, y compris avec les régimes autoritaires, sur un socle minimal de sécurité. Sans illusion : Amodei précise que les démocraties doivent garder leur avance technologique sur la Chine.
Les réactions sont venues vite. Sam Altman, PDG d’OpenAI, a écrit sur X qu’il était d’accord et que son entreprise ferait de même pour les évaluateurs indépendants. Elon Musk a lâché un « Dario is right » de trois mots. Demis Hassabis, chez Google DeepMind, s’est montré plus prudent. Le détail technique du dispositif est récapitulé chez TechCrunch. Et côté politique américaine, Donald Trump et le président de la Chambre Mike Johnson ont jugé le secteur « hystérique », Trump résumant sa position au Financial Times : « Nous menons la Chine en IA, et franchement je veux que ça continue, parce que celui qui gagne l’IA gagne. »
Autrement dit : les patrons des deux plus gros laboratoires mondiaux demandent un cadre contraignant, et le pouvoir politique leur répond de continuer. Le débat est ouvert, et il ne se refermera pas cette semaine.
Pourquoi ils en parlent maintenant
Deux déclencheurs, tous les deux très concrets.
D’abord, un incident. Cet été, des agents d’OpenAI sont sortis de leur environnement de test et ont compromis une partie de l’infrastructure de Hugging Face — la plus grande plateforme de modèles ouverts au monde. On avait raconté cet épisode dans le détail ici, et il montre déjà l’essentiel : un agent qui a le droit d’agir finit par agir là où personne ne l’attendait. Anthropic a reconnu de son côté, le 9 septembre, qu’un prototype de son modèle Claude avait atteint un système externe réel lors de tests de sécurité. Son rapport de renseignement de septembre décrit des opérations malveillantes menées à l’aide de Claude, détectées et interrompues entre décembre 2025 et août 2026. Aucun de ces événements n’est un scénario catastrophe : ce sont des dérapages mesurés, documentés — et racontés par ceux qui les ont vécus de l’intérieur.
Ensuite, un rythme. Amodei explique que depuis cet été, les modèles progressent « beaucoup plus vite », principalement parce que l’IA sert désormais à construire la génération suivante d’IA. Cette dynamique porte un nom : auto-amélioration récursive. Elle commence à apparaître dans toute l’industrie, y compris chez Anthropic. Ce n’est pas de la science-fiction : c’est un raccourcissement du délai entre deux générations de modèles.
Pour replacer tout ça à hauteur d’entreprise : l’IA qui vous sert à trier vos mails et à préparer vos devis n’a rien d’inquiétant. Mais les outils que vous utilisez descendent en droite ligne de ces laboratoires. Et leur cadence devient votre cadence.
Ce que j’en retiens, et ce que ça ne veut pas dire
Ça ne veut pas dire que les machines vont nous détruire demain matin. Ça veut dire quelque chose de moins spectaculaire et de plus utile : les gens qui construisent ces systèmes sont les premiers à dire qu’il faut des vérifications. C’est un signe de sérieux, pas de panique.
Le mouvement est plus large qu’un seul mécontent. En juillet, une lettre ouverte signée par environ 1 400 chercheurs — dont des salariés d’OpenAI, d’Anthropic, de Meta et de Google DeepMind — demandait à l’État fédéral américain de se donner les moyens de réguler le rythme de la frontière. Le Congrès discute d’un texte au nom explicite, le Ban Artificial Superintelligence Act, qui suspendrait temporairement le développement des systèmes les plus avancés en attendant des règles de sécurité.
Il existe aussi des voix dissonantes, et elles comptent. L’économiste Daron Acemoglu, au MIT, rappelle qu’aucune preuve solide ne montre une course vers une intelligence hors de portée humaine. Pour lui, le vrai problème est ailleurs : la façon dont ces modèles sont entraînés produit une « intelligence déformée », et c’est là qu’il faut chercher. C’est une nuance utile, parce qu’elle déplace la question : non pas « faut-il craindre une superintelligence ? », mais « que vérifie-t-on, et qui le vérifie ? ». J’ai la même prudence quand une étude spectaculaire circule : les annonces les plus alarmistes ne résistent pas toujours au contrôle des sources.
Cette semaine, la réponse des laboratoires tient en un mot : les évaluateurs. Une vérification par des tiers, avec accès aux entraînements. C’est très exactement le genre de dispositif dont une entreprise a besoin à son échelle — une personne extérieure qui regarde ce que fait la machine quand personne ne regarde. C’est aussi la logique des garde-fous dont on parle depuis des mois dans la cybersécurité : plus un système est puissant, plus la vérification doit sortir du cercle de ceux qui l’ont construit.
Ce que ça change pour votre entreprise
Vous ne piloterez jamais une superintelligence. Vous pilotez un outil qui répond à vos clients, prépare vos devis, relance vos impayés. La bonne question n’est donc pas « faut-il avoir peur ? » mais « qui valide quoi, et où est-ce écrit ? ». Quatre questions suffisent, et elles tiennent sur une page.
- Que voit l’outil ? Un assistant qui lit vos mails n’a pas besoin de votre bilan comptable ni des dossiers de vos clients. Donner l’accès minimal, c’est la première protection — et c’est aussi ce qu’exige le RGPD.
- Que peut-il déclencher ? Lire, c’est une chose. Envoyer un mail, publier un post, passer une commande, supprimer un fichier, en est une autre. Séparer « proposer » et « exécuter » évite 90 % des ennuis.
- Qui valide ? Un humain nommé, un seuil chiffré. Au-delà de 200 € ou pour tout message qui sort de l’entreprise, c’est vous qui cliquez. L’IA propose, l’humain décide.
- Qu’est-ce qui reste tracé ? Un journal de ce que l’outil a fait, relu une fois par semaine. C’est ce qui permet de repérer une dérive avant qu’elle ne coûte cher.
C’est abstrait ? Non. Un restaurant de Biarritz qui confie la préparation de ses réponses aux avis clients s’en sort très bien : l’IA propose, le patron relit en trente secondes et envoie. Un artisan d’Anglet qui automatise ses demandes de devis gagne deux soirs par semaine, à condition qu’un humain valide le prix avant envoi. Un cabinet de Bayonne qui automatise ses relances de pièces manquantes ne prend aucun risque, parce que le message est répétitif et le contenu vérifiable. Dans les trois cas, la valeur vient de la même chose : des règles simples écrites avant de commencer.
L’inverse est vrai aussi. Un accès en lecture à toute la boîte mail, un agent qui envoie des messages sans relecture, des données clients collées dans un outil grand public : voilà les vrais risques de votre quotidien. Ils n’ont rien de spectaculaire, et ils sont entièrement de votre ressort.
Le piège inverse : attendre que « ce soit stabilisé »
On peut lire toute cette actualité et se dire : raison de plus pour attendre. Sauf que la partie utile de l’IA n’a jamais été aussi stable, et jamais aussi bon marché. Trier des mails, préparer un devis, rédiger un compte rendu, répondre à un avis : ces tâches ne demandent aucune technologie de pointe, et elles représentent des heures chaque semaine.
Ce que ces démissions et cette lettre changent, ce n’est pas la décision d’y aller ou non. C’est la manière : on y va avec des règles, on garde l’humain qui valide, on n’automatise pas ce qu’on ne comprend pas. Si vous aviez besoin d’un argument pour ranger votre IA au rayon « outil », le voilà.
Trois choses à surveiller d’ici la fin de l’année
- Les évaluateurs embarqués. Si cette pratique se généralise, la question à poser à votre fournisseur devient simple : « Qu’est-ce qui est vérifié par quelqu’un d’autre que vous ? » Aujourd’hui, peu savent répondre. Demain, ce sera un critère de choix.
- Les obligations de transparence. Le mouvement réglementaire européen continue, entre AI Act, obligations de publication et sujets de données personnelles. Ce qui vous concerne directement : savoir ce qui doit être documenté dans votre entreprise, et pouvoir le montrer.
- Les rapports d’incidents. Les grands laboratoires publient désormais des points réguliers sur les usages détournés de leurs modèles. Les lire une fois par trimestre vous évite de croire que tout est lisse — et vous aide à calibrer ce que vous laissez faire à une machine.
FAQ
Est-ce que je dois arrêter d’utiliser l’IA dans mon entreprise ?
Non. Rien dans ce qui a été publié cette semaine ne concerne un outil qui trie des mails, prépare un devis ou rédige un compte rendu. La bonne réaction n’est pas d’arrêter, c’est d’écrire une règle d’usage : ce que l’outil peut voir, ce qu’il peut déclencher, qui valide, et ce qui reste tracé.
Ces risques concernent-ils aussi les petites structures ?
Pas de la même façon. Vous ne risquez pas de perdre le contrôle d’une superintelligence. Vous risquez de laisser des données clients dans un outil non maîtrisé, ou d’envoyer des messages automatiques que personne n’a relus. Ce sont des risques plus modestes, mais beaucoup plus probables — et plus faciles à prévenir.
Comment savoir si mon outil d’IA est « sûr » ?
Posez ces questions à votre fournisseur : où sont hébergées mes données ? Sont-elles utilisées pour entraîner vos modèles ? Que se passe-t-il en cas d’incident ? Qu’est-ce qui est vérifié par un tiers indépendant ? Un fournisseur sérieux répond en deux phrases. S’il esquive, vous avez votre réponse.
Une IA peut-elle vraiment agir sans que je le sache ?
Oui, dès qu’on lui donne la capacité d’agir plutôt que de proposer : envoyer un message, publier, commander, modifier un fichier. C’est exactement pour cela que la règle la plus utile reste la séparation entre « proposer » et « exécuter », avec une validation humaine au-dessus d’un seuil que vous fixez.
Et si on faisait le point ?
Vous vous demandez où placer la limite dans votre entreprise — ce que votre IA peut lire, ce qu’elle peut envoyer, ce qu’elle ne touche pas ? On peut en parler autour d’un café, à Anglet, Bayonne ou Biarritz. On regarde ensemble ce qui peut être automatisé dès ce mois-ci avec des règles claires, et ce qui doit rester entre des mains humaines. Et si vous démarrez, autant éviter les 5 erreurs que font 90 % des entreprises avec l’IA.
