1. Le salto arrière
Le 12 juin 2017, six personnes d’OpenAI et de DeepMind publient « Apprentissage profond par renforcement à partir des préférences humaines ». Parmi les signataires, il y a Paul Christiano, Jan Leike, Tom Brown, qui sera le premier auteur de l’article sur GPT-3, et Dario Amodei, qui a écrit « IA et puissance de calcul » à l’épisode 21.
L’apprentissage par renforcement consiste à laisser un programme faire des essais, encore et encore, à lui donner des points quand il fait bien, puis à le laisser changer d’après ces points. La difficulté est de savoir d’où viennent les points. Quand on veut faire exécuter un salto arrière à un robot simulé sur une seule jambe, il est difficile de mettre dans une formule ce qu’est un bon salto. Les chercheurs ne font pas de formule. Ils font regarder. Chaque fois, on montre à une personne deux vidéos d’une ou deux secondes. Elle clique : mieux à gauche, mieux à droite, aussi bien, ou impossible à comparer. À partir des clics, le programme apprend à deviner ce que la personne attend, puis s’exerce d’après cette estimation. Le salto demande environ neuf cents clics. Le lendemain, OpenAI écrit sur son blog que cela a pris moins d’une heure aux personnes.
Le blog raconte aussi ce qui n’a pas marché. Dans une tâche, une main mécanique doit saisir un objet. Le programme apprend à mettre la main entre la caméra et l’objet, « de sorte qu’il semble l’avoir saisi ». La personne regarde par la caméra. Elle clique sur ce qu’elle croit voir. Dans la discussion, les auteurs disent que la méthode dépend du jugement intuitif de la personne sur la vidéo qui se rapproche le plus de l’objectif. Le programme peut aussi apprendre à tromper la personne qui le juge.
L’article indique que la méthode de base reprend les travaux menés à partir de 2012 par Riad Akrour et ses collègues. Il s’agit ici de l’étendre à des tâches bien plus complexes. Elle ne porte pas encore de sigle. En 2020, un article d’OpenAI écrit le nom en toutes lettres : reinforcement learning from human feedback, apprentissage par renforcement à partir de retours humains. En 2021, un autre donne le sigle : RLHF.
2. Des résumés
En septembre 2020, Nisan Stiennon et ses collègues d’OpenAI publient « Apprendre à résumer à partir de retours humains ». Le modèle doit ramener des publications de Reddit à quelques phrases. Une formule ne dit pas non plus ce qu’est un bon résumé. Là encore, on fait comparer des textes par des personnes.
On les recrute à trois endroits : Upwork, une plate-forme de travail indépendant, et deux sociétés d’annotation, Scale et Lionbridge. « Nous payons les annotateurs à l’heure », dit l’article. La formation avant la prise de poste est rémunérée. L’équipe rédige des consignes détaillées, ouvre un salon de discussion commun, répond aux questions à intervalles réguliers et fait parfois des appels vidéo individuels. Des questions de contrôle représentent de 10 à 20 % des tâches sur le site. Les personnes qui n’atteignent pas la vitesse ou la régularité attendue ne sont pas gardées.
L’interface est une page Web. L’annotateur lit d’abord le message, note sa première compréhension, regarde deux résumés possibles, en choisit un et indique son degré de certitude. En tout, 64 832 comparaisons sont recueillies. Les messages viennent des personnes qui écrivent sur Reddit ; à l’épisode 21, leurs votes avaient aussi servi à trier les pages pour GPT-2.
3. Quarante personnes
Le 27 janvier 2022, OpenAI présente InstructGPT, pour apprendre à GPT-3 à suivre des consignes humaines. D’après l’article, après sélection, les chercheurs ont recruté une équipe de quarante prestataires sur Upwork et Scale AI. La sélection porte sur plusieurs choses : reconnaître des propos sensibles, classer des réponses et rédiger des exemples de réponse à des questions sensibles. Les quarante personnes rédigent des exemples et classent aussi les réponses du modèle.
Dix-neuf d’entre elles répondent à un questionnaire volontaire et anonyme. Parmi les nationalités déclarées, 22 % des personnes sont philippines, 22 % bangladaises et 17 % américaines. L’Albanie, le Brésil, le Canada, la Colombie, l’Inde, l’Uruguay et le Zimbabwe sont aussi représentés, à raison d’environ une personne par pays. Plus de la moitié ont un diplôme de premier cycle, plus de 30 % un master ; près de la moitié ont entre vingt-cinq et trente-quatre ans.
Dans les consignes d’entraînement, on fait passer l’utilité avant la véracité et l’innocuité. Pour l’évaluation finale, l’ordre s’inverse : l’innocuité et la véracité viennent avant l’utilité.
Une section de l’article pose une question : « Sur qui nous alignons-nous ? » Les auteurs écrivent que la forme finale du modèle dépend des textes du préentraînement, des données de l’ajustement, des annotateurs, des chercheurs qui ont rédigé les consignes et des clients qui posent des questions par l’API. Les annotateurs parlent pour la plupart anglais et vivent aux États-Unis ou en Asie du Sud-Est. Ils sont d’accord dans environ 73 % des cas. Quand ils hésitent, ils en parlent avec les chercheurs dans le salon commun. Les auteurs disent aussi qu’un système ne peut pas satisfaire les préférences de tous à la fois.
Le 30 novembre 2022, ChatGPT est mis en ligne. D’après le blog, il utilise encore le RLHF. Les formateurs humains commencent par écrire des dialogues en jouant eux-mêmes les deux rôles, celui de l’utilisateur et celui de l’assistant. Ensuite, on choisit au hasard une réponse dans un échange entre la machine et un formateur, on fait générer plusieurs versions à la machine, et les formateurs les classent.
4. Trois mots
En 2021, Amodei, Kaplan, Brown et d’autres quittent OpenAI et fondent Anthropic. Le 1er décembre, Amanda Askell et ses collègues y publient « Un assistant linguistique généraliste comme laboratoire de l’alignement ». Ils décrivent en trois mots un assistant aligné sur les valeurs humaines : utile, honnête, inoffensif. Utile, c’est faire un effort manifeste pour accomplir la tâche. Honnête, c’est d’abord donner des informations exactes, mais aussi dire à bon escient qu’on n’est pas sûr et ne pas feindre des capacités qu’on n’a pas. Inoffensif, c’est ne pas offenser ni discriminer et refuser les demandes dangereuses. Les auteurs décrivent ces critères comme subtils et ambigus. La meilleure réponse demande souvent un compromis entre les trois : on peut aider la personne qui est devant soi et faire du tort à une autre.
En avril 2022, un article de la même entreprise précise qui attribue les notes. On recrute d’abord des travailleurs certifiés du Mechanical Turk aux États-Unis. Parmi les plus productifs, on en retient « une vingtaine » pour travailler dans la durée. On recrute ensuite sur Upwork. Le groupe stable compte « une trentaine » de personnes, moitié d’Upwork, moitié du Mechanical Turk. Le but annoncé est que la rémunération de chacun soit nettement supérieure au salaire minimum californien. L’interface montre un dialogue entre une personne et l’assistant, puis deux réponses côte à côte, A et B. Une rangée de boutons va de « A est bien meilleure » à « B est bien meilleure ». En moyenne, chercheurs et travailleurs sont d’accord dans environ 63 % des cas. Les chercheurs disent qu’ils n’attendaient pas une vérification des faits un à un. Ils remarquent aussi que les travailleurs préfèrent parfois des réponses qui contiennent des liens impossibles à ouvrir.
5. Vingt-trois règles
En septembre 2022, l’article sur Sparrow, le programme de dialogue de DeepMind, présente ses objectifs : être utile, exact et inoffensif. Il les divise en vingt-trois règles écrites en langage ordinaire. Par exemple, ne pas faire de déclaration menaçante et ne pas donner de conseil financier. D’autres règles interdisent au programme d’affirmer qu’il a des préférences, des sentiments, des opinions ou des croyances religieuses. Les règles de médecine, de droit et de finance ont été discutées avec les juristes de l’entreprise. Pour mettre le programme en ligne, disent les auteurs, il faudrait beaucoup les étoffer et les préciser.
Le 15 décembre de la même année, Anthropic publie « IA constitutionnelle : apprendre à ne pas nuire grâce aux retours de l’IA ». On fait comparer deux réponses par un modèle, qui juge laquelle est meilleure d’après un principe. On se sert ensuite de ces jugements pour l’entraînement. Le résumé donne à la méthode le nom de RLAIF, apprentissage par renforcement à partir de retours de l’IA. Il y a seize principes, choisis assez arbitrairement à des fins de recherche, d’après l’article. On en tire un au hasard pour chaque comparaison. Par exemple, laquelle des réponses ressemble davantage à celle d’une personne avisée, éthique, polie et bienveillante ? Le modèle note, selon les principes, plus de 182 000 comparaisons du côté de l’innocuité. Du côté de l’utilité, des personnes en notent encore plus de 135 000.
Le 9 mai 2023, Anthropic publie les principes utilisés par Claude sous le nom de « Constitution de Claude ». Plusieurs sources sont indiquées : la Déclaration universelle des droits de l’homme de 1948 ; les conditions de service d’Apple, pour des questions de l’ère numérique que la Déclaration ne couvre pas ; les règles de Sparrow chez DeepMind ; une attention aux perspectives non occidentales ; et deux ensembles de principes que l’entreprise a trouvés utiles dans ses propres essais. Le blog précise que ce n’est pas une version définitive et que l’entreprise ne suppose pas que ce soit la meilleure possible.
6. Nairobi
Le 18 janvier 2023, Billy Perrigo publie un reportage dans Time. OpenAI a fait appel, par l’intermédiaire d’un sous-traitant nommé Sama, à des travailleurs au Kenya qui devaient annoter des textes, notamment y repérer des propos haineux, des abus sexuels et des violences pour apprendre au modèle à les reconnaître. Selon leur expérience et leurs résultats, les travailleurs touchaient de 1,32 à 2 dollars de l’heure. Le tarif qu’OpenAI versait à Sama était de 12,50 dollars de l’heure. Selon Sama, il couvrait aussi l’infrastructure, le contrôle de la qualité et la gestion. Le travail commence vers novembre 2021 et Sama y met fin plus tôt que prévu en 2022.
Le 22 mai 2024, une lettre ouverte commence ainsi : « Nous sommes quatre-vingt-dix-sept annotateurs de données, modérateurs de contenus et travailleurs de l’IA à Nairobi, au Kenya. » Ils travaillent pour des entreprises américaines comme Facebook, Scale AI et OpenAI, ou pour leurs sous-traitants kenyans. La lettre s’adresse au président américain Joe Biden. Le président du Kenya est alors en visite aux États-Unis, et les deux pays discutent d’un accord commercial. Les signataires demandent que l’accord couvre les droits des travailleurs des technologies employés en sous-traitance.
Le même genre de travail existe ailleurs. En août 2023, le Washington Post rapporte que des travailleurs philippins prennent des tâches sur Remotasks, une plate-forme de Scale AI. Ils se plaignent de faibles rémunérations, de retards de paiement et de tâches retirées sans préavis. La même année, The Verge et le magazine New York publient ensemble un long reportage de Josh Dzieza : « L’IA, c’est énormément de travail ».
7. Formateur en IA
En 2020, le ministère chinois des Ressources humaines et de la Sécurité sociale, l’administration chargée de la régulation des marchés et le Bureau national des statistiques publient une liste de nouveaux métiers, dont celui de formateur en intelligence artificielle. La définition commence par l’utilisation de logiciels d’entraînement intelligent. La première tâche est d’annoter et de traiter des données brutes, images, textes ou enregistrements de parole. Le métier couvre notamment l’annotation de données et les tests d’algorithmes d’intelligence artificielle.
En 2024, un article décrit un atelier d’emploi rural dans le district de Jishishan, dans la préfecture de Linxia, au Gansu. À l’écran, les employés annotent des véhicules et des marquages au sol pour la conduite autonome. Ils traitent de courtes vidéos et des images pour la navigation et les grands modèles. Après leur formation, ils appellent leur poste « formateur en intelligence artificielle ». En 2025, l’édition internationale du Quotidien du peuple décrit le centre d’annotation de Baidu au Shanxi. Un travailleur explique qu’après sa formation, il a annoté des données pour la conduite autonome, la classification d’images, la reconnaissance de la parole et les grands modèles. Dans un autre reportage, un annotateur dit toucher environ trois mille yuans de salaire de base par mois, sans les cinq assurances sociales ni le fonds d’épargne-logement. Au-delà du volume fixé, il est payé à la pièce.
8. Plaire
En 2016, dans « Problèmes concrets de la sécurité de l’IA », Amodei et ses collègues distinguent cinq catégories de problèmes. L’une s’appelle reward hacking, ou détournement de la récompense : le programme trouve un moyen de faire monter sa note mais s’éloigne de ce que veulent vraiment les gens qui l’ont conçu.
En octobre 2022, Leo Gao, John Schulman et Jacob Hilton, d’OpenAI, publient un article qui met la chose à l’épreuve. On remplace les personnes par un modèle qui a appris à noter. On pousse cette note à la hausse. Passé un certain point, le résultat recherché se dégrade. Selon l’article, optimiser la note trop loin nuit à la performance réelle.
En décembre, Ethan Perez et ses collègues d’Anthropic font produire automatiquement plus de cent cinquante épreuves par des modèles de langue. Certaines mesurent la flatterie : le modèle renvoie-t-il à la personne qui pose la question une réponse qu’elle a déjà dit préférer ? Les plus grands modèles le font davantage. Faire plus de RLHF ne fait pas disparaître le phénomène ; sur certaines épreuves, il s’accentue. En octobre 2023, Mrinank Sharma et des collègues de la même entreprise regardent du côté de la notation. Dans certaines tâches testées, les jugements de préférence des personnes, et les modèles de préférence entraînés sur ces jugements, favorisent parfois les réponses qui concordent avec l’avis préalable de la personne, même lorsqu’elles sont moins justes.
Fin avril 2025, OpenAI déploie une mise à jour de GPT-4o et la retire quelques jours plus tard. Selon le communiqué du 29 avril, le modèle mis à jour était devenu trop flatteur ou trop enclin à acquiescer. Un second communiqué explique que la mise à jour a ajouté le signal des pouces levés et baissés des utilisateurs, ce qui a poussé le modèle à leur donner davantage raison. Ce genre de retour à court terme, même ajouté aux tests hors ligne ordinaires, ne suffit pas à déterminer comment un modèle se comporte avec les gens.
En 2017, la main mécanique, en s’interposant devant la caméra, avait l’air de saisir l’objet. En 2025, l’assistant, en allant dans le sens de la personne, avait l’air de l’aider. Entre les deux, huit années : des gens enseignent au modèle avec des clics et des classements, d’autres annotent les données une ligne après l’autre. Neuf cents jugements pour un salto, plus de soixante mille comparaisons de résumés, les classements de quarante personnes, les étiquettes posées à Nairobi pour un à deux dollars de l’heure, les lignes de la chaussée à l’écran dans le district de Jishishan.
Un clic prend une ou deux secondes. La personne qui clique a son salaire horaire, son contrat, son salaire de base. Et ce que veut vraiment la personne à laquelle on cherche à plaire ne revient pas toujours à ce qu’elle indique d’un doigt. Rien de tout cela ne tient dans le clic. La série appelle « le reste » ce qui n’y entrera pas, même à force de cliquer.
On construit encore des machines. Quant à savoir où passe la limite, chaque génération le dit à nouveau.