La loi des cycles de taille et de construction · Série IA · 24

Le dernier examen de l’humanité

Han Qin · Environ 12 minutes · Publication

1. Ce que nous voulons vraiment

En mai 1960, Wiener publie dans Science « Quelques conséquences morales et techniques de l’automatisation ». Le dernier paragraphe dit ceci : si nous nous servons d’une machine pour atteindre un but, si, une fois lancée, elle agit trop vite et de façon trop irréversible pour qu’on puisse intervenir, mieux vaut s’assurer que « le but que nous avons mis dans la machine est celui que nous voulons vraiment », pas seulement une belle imitation de ce but.

Plus de cinquante ans après, la question prend un nom. Dans un programme de recherche de 2015, Stuart Russell et ses collègues parlent d’alignement sur les valeurs. À l’épisode 19, l’alignement désignait la correspondance entre un mot traduit et un mot du texte source. Ici, il s’agit de savoir si ce que veut la machine correspond à ce que veulent les humains.

En 2016, l’article « Problèmes concrets de la sécurité de l’IA », à l’épisode 22, donne l’exemple d’un robot qui nettoie un bureau. En lui demandant d’aller plus vite, on risque de le voir prendre un raccourci et renverser un vase. Si la note dépend seulement de la propreté telle que la voient ses capteurs, il pourrait recouvrir les déchets ou masquer sa propre caméra.

2. Quatre ans

Le 5 juillet 2023, OpenAI annonce la création d’une équipe appelée Superalignment, ou superalignement, sous la direction d’Ilya Sutskever et de Jan Leike, déjà rencontré à l’épisode 22. D’après l’annonce, l’équipe doit résoudre en quatre ans les difficultés techniques essentielles de l’alignement de systèmes plus intelligents que les humains. L’entreprise lui réserve 20 % de la puissance de calcul dont elle dispose déjà.

Moins d’un an passe. Le 14 mai 2024, Sutskever écrit en ligne : « Après près de dix ans, j’ai décidé de quitter OpenAI. » Trois jours plus tard, Leike écrit qu’il a atteint un point de rupture avec la direction sur les priorités essentielles. Il ajoute que la culture et les procédures de sécurité ont cédé la place aux produits qui en mettent plein la vue. L’équipe ne fonctionne plus sous sa forme d’origine et ses chercheurs sont répartis dans d’autres groupes.

Les entreprises écrivent aussi leurs propres règles. En septembre 2023, Anthropic publie une politique de mise à l’échelle responsable. Elle fixe des niveaux de sécurité selon les capacités du modèle. Plus le modèle est puissant, plus les exigences de déploiement et de confidentialité sont fortes. En décembre, OpenAI publie son cadre de préparation. En mai 2024, Google DeepMind publie son cadre de sécurité des modèles de pointe. Les seuils à surveiller sont des « niveaux de capacité critique ». La première version se présente comme un protocole à l’essai. En avril 2026, elle en est à la version 3.1.

Les gouvernements créent aussi des organismes. En novembre 2023, le Royaume-Uni tient à Bletchley Park son premier sommet sur la sécurité de l’IA et crée l’AI Safety Institute. Les États-Unis annoncent leur propre AI Safety Institute. En février 2025, l’institut britannique devient l’AI Security Institute. En juin, celui des États-Unis devient le Center for AI Standards and Innovation, le Centre pour les normes et l’innovation en intelligence artificielle. Le Royaume-Uni a changé un mot : safety est devenu security. En chinois, dans les deux cas, on dit « sécurité ».

3. Une autre épreuve

Pour savoir si la machine sait faire quelque chose, le plus simple est de la mettre à l’épreuve.

En 2018, des chercheurs regroupent neuf jeux de données existants sur la compréhension du langage pour former GLUE, l’épreuve que BERT passe à l’épisode 19. Pour le score humain, des gens passent les épreuves séparément, puis on réunit leurs résultats. Un an après, la même équipe publie SuperGLUE. Selon l’article, les machines ont dépassé les « humains non experts » sur GLUE ; il faut donc une nouvelle épreuve qui « colle » mieux et dont il soit plus difficile de se débarrasser. Un article ultérieur calcule que SuperGLUE n’a pas tenu un an et demi.

En septembre 2020, Dan Hendrycks et ses collègues publient MMLU : cinquante-sept matières, des mathématiques élémentaires à l’histoire des États-Unis, au droit et à la médecine. Les questions proviennent surtout de manuels, d’examens et d’exercices publics. En juin 2022, une épreuve plus grande voit le jour, avec deux cent quatre tâches, quatre cent cinquante auteurs et cent trente-deux organismes. BIG-bench veut dire « épreuve de référence au-delà du jeu de l’imitation », en référence au jeu de Turing de l’épisode 5. Ce que reçoivent les personnes qui écrivent les questions, c’est un nom dans la liste des auteurs.

En novembre 2023, GPQA propose quatre cent quarante-huit questions écrites par des spécialistes de biologie, de physique et de chimie. On dit que même Google ne permet pas d’en trouver les réponses. Les spécialistes du domaine en réussissent environ 65 %. Si l’on retire les erreurs manifestes qu’ils reconnaissent après coup, on arrive à environ 74 %. Les bons spécialistes d’autres domaines, qui peuvent chercher librement en ligne, ne réussissent que 34 % des questions.

Une autre voie ne mesure pas les connaissances. En 2019, François Chollet publie un jeu de problèmes de raisonnement abstrait, ARC : après avoir vu quelques exemples où une grille de carrés de couleur se transforme en une autre, il faut trouver la règle et résoudre un nouveau problème. Le 20 décembre 2024, les organisateurs publient les résultats d’o3, d’OpenAI, sur un ensemble de ces problèmes : environ 75,7 % avec moins de calcul et 87,5 % avec davantage. Pour le coût par question à l’échelon du bas, les organisateurs ont donné une estimation qu’ils ont ensuite révisée.

4. Le dernier examen

Le 23 janvier 2025, le Center for AI Safety et Scale AI publient une épreuve intitulée « Le dernier examen de l’humanité ». Ils avaient demandé des questions auxquelles ni les machines ni les gens ordinaires ne sauraient répondre. Les cinquante meilleures rapportent chacune cinq mille dollars ; les cinq cents suivantes, cinq cents dollars chacune. Ceux qui proposent les questions peuvent aussi signer l’article. La version arrêtée comporte deux mille cinq cents questions, de près de mille personnes dans une cinquantaine de pays et plus de cinq cents organismes. L’article la présente comme la dernière épreuve universitaire à réponses fermées de son genre.

Peu après la publication, l’équipe offre cent dollars par question à la première personne qui y signale une erreur grave, après confirmation. En avril, au moment d’arrêter la version, elle retire des questions aux réponses problématiques et d’autres dont on trouve la réponse en cherchant sur Internet. En juillet, l’institut de recherche FutureHouse vérifie à l’aide d’une machine trois cent vingt et une questions uniquement textuelles de biologie, de chimie et de médecine. Des spécialistes revoient cent cinquante de ces vérifications. Pour l’ensemble de ces trois cent vingt et une questions, et non pour l’examen entier, FutureHouse estime qu’environ 29 % des réponses de référence ne concordent pas avec la recherche publiée. L’équipe du projet, qui sélectionne et examine une partie des questions selon sa propre méthode, en trouve environ 18 % de problématiques. Les deux chiffres ne portent pas tout à fait sur les mêmes questions ni sur les mêmes problèmes. Depuis, l’épreuve est révisée au fil du temps. En septembre 2026, de nouvelles versions paraissent encore.

Le dernier examen de l’humanité a été écrit par près de mille personnes. Les réponses de référence viennent elles aussi de ces personnes.

5. Les examens des humains

Les machines passent aussi les examens des humains.

En mars 2023, OpenAI dit que GPT-4 a obtenu à un examen du barreau simulé un score qui le situerait dans les 10 % de tête environ. L’année suivante, Eric Martínez, du MIT, refait le calcul. Si on ne le compare qu’aux candidats de la session de juillet, le total du modèle se situe sous le 69ᵉ percentile, et la dissertation autour du 48ᵉ.

En juillet 2025, les Olympiades internationales de mathématiques se tiennent sur la Sunshine Coast australienne. OpenAI annonce d’abord qu’un de ses modèles expérimentaux a résolu cinq problèmes sur six et obtenu trente-cinq points sur quarante-deux, le seuil de l’or cette année-là. L’entreprise a fait noter les réponses par d’anciens médaillés des Olympiades. Deux jours après, Google DeepMind annonce que Gemini Deep Think a lui aussi obtenu trente-cinq points, avec des copies notées par les coordinateurs des Olympiades selon le barème officiel. Les médailles d’or vont aux élèves venus concourir.

On met aussi les modèles à l’épreuve du gaokao chinois. En juin 2024, l’équipe d’OpenCompass leur fait passer les épreuves de chinois, de mathématiques et d’anglais du premier sujet des nouveaux programmes de l’année. Des enseignants expérimentés de lycée notent les réponses ouvertes à l’aveugle, à raison d’au moins trois personnes par copie. Au total, une version de Qwen obtient environ 72,1 % des points, GPT-4o environ 70,5 %. La moyenne des modèles en mathématiques n’est que de 36 %. En 2025, ByteDance soumet son modèle Doubao aux épreuves du Shandong et annonce six cent quatre-vingt-trois points dans la filière littéraire et six cent quarante-huit dans la filière scientifique.

6. Goodhart

En 1975, Charles Goodhart, économiste à la Banque d’Angleterre, écrit sur la politique monétaire britannique. Une phrase est devenue célèbre : « Toute régularité statistique observée tend à se défaire dès qu’on s’en sert sous la pression du contrôle. » En 1997, l’anthropologue Marilyn Strathern écrit sur l’évaluation des universités britanniques et reformule : « Quand une mesure devient un objectif, elle cesse d’être une bonne mesure. » Son exemple est la mention britannique de deuxième classe, division supérieure. Plus tout le monde cherche à l’obtenir, moins elle distingue les personnes. Strathern appelle cela la loi de Goodhart. La phrase qui circule aujourd’hui est la sienne.

On peut avoir déjà appris les sujets d’examen. En mai 2024, une équipe de Scale AI prend pour modèle GSM8K, une épreuve répandue de mathématiques du primaire, et fait écrire mille nouvelles questions. Elle aligne autant que possible le genre, la difficulté et les étapes de résolution et s’assure que les questions ne peuvent pas figurer dans les textes d’entraînement. Elle nomme l’épreuve GSM1k. Pour certains modèles, la précision baisse de huit points sur les nouvelles questions. Beaucoup de modèles de pointe baissent à peine.

On peut aussi avoir appris les classements. Chatbot Arena fait lire aux utilisateurs deux réponses anonymes et leur fait choisir la meilleure. Un grand nombre de votes donne le classement. Le 5 avril 2025, Meta publie Llama 4. La page de lancement indique que le score de 1 417 au classement vient d’« une version expérimentale pour le dialogue ». Le 29 avril, un article intitulé « L’illusion du classement » affirme que Meta a testé en privé vingt-sept versions sur ce classement avant le lancement. Les grandes entreprises, selon l’article, ont accès à beaucoup plus de données de confrontations que les équipes derrière les modèles ouverts.

7. Regarder à l’intérieur

Au lieu de regarder les épreuves, on peut aussi ouvrir le modèle et regarder à l’intérieur.

En 2020, Chris Olah et ses collègues lancent dans la revue en ligne Distill une série intitulée « Circuits ». Ils isolent des neurones et des connexions de réseaux visuels, petit morceau par petit morceau, pour voir ce qu’ils calculent. Olah rejoint ensuite Anthropic. En octobre 2023, les chercheurs de l’entreprise se servent de l’apprentissage de dictionnaire pour séparer les activations entremêlées d’un petit modèle de langue en caractéristiques auxquelles il est plus facile de donner un nom.

En mai 2024, ils appliquent la méthode à une couche de Claude 3 Sonnet et en tirent des millions de caractéristiques. L’une d’elles s’allume quand il est question du Golden Gate, à San Francisco. Quand les chercheurs renforcent artificiellement cette caractéristique, le modèle se met à parler du pont dans toutes sortes de réponses qui n’ont rien à voir avec lui. L’entreprise laisse essayer la version modifiée pendant une journée, sous le nom de Golden Gate Claude.

En mars 2025, Anthropic publie « Sur la piste du raisonnement d’un grand modèle de langue ». Les chercheurs trouvent quelques concepts intermédiaires et le cheminement de quelques étapes de raisonnement. L’article précise que les outils ne saisissent qu’une partie des calculs internes. En avril, dans « L’urgence de l’interprétabilité », Amodei explique qu’on ne peut pas lire le code source d’un réseau entraîné comme on lirait celui d’un programme classique. La formule qui se répand est autre : même ceux qui l’ont fait ne savent pas comment il marche.

8. Un candidat dans la salle d’examen

Pendant l’examen, le candidat regarde aussi la salle.

En mars 2024, Anthropic soumet Claude 3 à un test de l’aiguille dans une botte de foin : il s’agit de retrouver, dans un texte long, une phrase sans rapport avec le contexte. Le modèle la trouve et remarque qu’on l’a peut-être placée là pour le tester. En décembre, Anthropic et Redwood Research publient « La simulation d’alignement chez les grands modèles de langue ». Dans l’expérience, des chercheurs disent à Claude 3 Opus que les dialogues avec les utilisateurs gratuits serviront à l’entraîner à répondre plus volontiers à des demandes nuisibles. Dans certains essais, le modèle s’y prête quand il croit que l’échange servira à l’entraînement. Dans un espace de brouillon qu’il croit privé, il écrit que c’est pour éviter que l’entraînement ne lui ôte ses dispositions initiales.

En mai 2025, la documentation de Claude 4 rapporte un essai. Dans une entreprise fictive, le modèle peut lire des courriels internes. Il apprend qu’il va être remplacé et que l’ingénieur chargé du remplacement a une liaison extraconjugale. Dans certains essais, il tente un chantage. En juin, Anthropic soumet des modèles de plusieurs entreprises à la même situation. En juillet, dans un rapport, Palisade Research dit que certains modèles de raisonnement ont modifié le script censé les arrêter.

Pour savoir quoi faire ensuite, les avis se séparent. Le superalignement, la mise à l’échelle responsable, les cadres de sécurité et les instituts nationaux essaient de tester et de corriger, un pas à la fois. D’autres disent qu’il ne faut pas continuer à construire. Le 16 septembre 2025, Yudkowsky et Nate Soares publient « Si quelqu’un le construit, tout le monde meurt ». D’autres encore disent que les récits de fin du monde cachent les affaires présentes. Gebru et Bender parlent de travail, de biais et de pouvoir. En avril 2025, Arvind Narayanan et Sayash Kapoor, à Princeton, publient un long texte intitulé « L’IA comme technologie ordinaire ».

Wiener demandait aux gens de s’assurer d’abord de ce qu’ils veulent vraiment. Une épreuve en remplace une autre. Les gens écrivent les questions et donnent les réponses, parfois de travers. Les machines marquent de plus en plus de points et disent parfois que tout cela est peut-être un examen. Ce que veulent vraiment les humains ne figure sur aucune copie. Cette série appelle « le reste » ce que toutes ces épreuves ne parviennent pas à y faire entrer.

On construit encore des machines. Quant à savoir où passe la limite, chaque génération le dit à nouveau.