1. Les fréquentations
En 1954, dans un article intitulé « Structure distributionnelle », le linguiste Zellig Harris écrit : « Les différences de sens sont liées aux différences de distribution. » La distribution, c’est l’ensemble des mots auprès desquels un mot apparaît. En 1957, le linguiste britannique John Rupert Firth trouve une formule plus enjouée : « On reconnaît un mot à ses fréquentations ! » Celle qui a circulé plus tard en chinois est différente : le sens d’un mot est déterminé par son contexte.
Il faut des années avant que des machines se servent de cette idée. En 2003, Bengio et trois collègues publient « Un modèle de langue probabiliste neuronal ». La machine y remplace chaque mot par une suite de nombres appelée « vecteur distribué de caractéristiques ». Elle apprend cette suite en même temps qu’elle apprend à prédire le mot suivant.
En janvier 2013, Tomáš Mikolov, de Google, et trois coauteurs mettent en ligne une prépublication, « Estimation efficace des représentations de mots dans un espace vectoriel ». Ils écrivent qu’il leur faut « moins d’une journée » pour apprendre des vecteurs de mots de bonne qualité à partir d’un texte de 1,6 milliard de mots. Un deuxième article, en octobre, ajoute plusieurs moyens de gagner du temps et utilise pour l’apprentissage les textes de Google Actualités. Cette approche se fera connaître sous le nom d’un programme : word2vec.
Un mot devient une suite de quelques centaines de nombres. Quand deux mots ont souvent les mêmes fréquentations, leurs vecteurs sont proches. Chat et chien sont proches, lundi et mardi aussi. Ce que les nombres gardent en mémoire, c’est avec qui le chat se trouve souvent. L’idée de Harris et de Firth prend ici la forme d’un calcul.
2. Le roi
En juin 2013, dans le résumé d’un article de conférence, Mikolov et deux collègues donnent cet exemple : le vecteur de roi, moins celui de homme, plus celui de femme, donne un vecteur « très proche » de celui de reine.
Ce qui circule ensuite est une égalité : roi moins homme plus femme égale reine. Dans le programme publié par Google la même année, les quelques lignes qui résolvent ce problème imposent une règle : les trois mots de l’énoncé ne peuvent pas être des réponses. En 2019, trois chercheurs néerlandais et italiens publient un article dont le titre reprend ce format : « Homme est à médecin ce que femme est à médecin ». Avec la règle, remarquent-ils, certaines des réponses les plus raisonnables ne peuvent tout simplement pas sortir. Quand on la retire, le mot le plus proche du point calculé est souvent l’un de ceux qui étaient déjà dans l’énoncé.
En 2016, une autre équipe donne aussi un problème de ce genre dans son titre : « Homme est à programmeur ce que femme est à femme au foyer ? » Elle se sert de représentations vectorielles entraînées sur Google Actualités. Dans le résumé, les auteurs écrivent que ces vecteurs présentent des stéréotypes de genre « à un degré inquiétant ». Ils proposent de trouver d’abord dans l’espace vectoriel la direction qui représente la distinction entre hommes et femmes, puis d’en écarter les mots qui devraient rester neutres. Un lien pertinent comme celui entre reine et femme est conservé.
Les vecteurs ont appris sur des articles de presse. Des gens ont écrit ces articles. Les fréquentations que la machine apprend gardent la trace de leurs manières de parler dans des millions d’articles.
3. L’alignement
En 2014, on se sert des vecteurs de mots pour traduire.
En septembre, Ilya Sutskever, de Google, et deux collègues publient « Apprentissage de séquence à séquence avec des réseaux neuronaux ». Un réseau lit la phrase source tout entière, mot par mot, pour en faire une suite de nombres de longueur fixe. À partir de cette suite, un autre écrit la traduction un mot après l’autre. Ils constatent aussi que la méthode marche mieux si l’on lit la phrase source à l’envers. À l’été de la même année, plusieurs membres de l’équipe de Bengio à l’université de Montréal réalisent un réseau en deux temps du même genre.
Faire tenir toute une phrase dans une suite de nombres de longueur fixe, dès que la phrase s’allonge, c’est comme essayer de mettre un discours entier dans une petite boîte.
Toujours à Montréal, le jeune Dzmitry Bahdanau, un autre chercheur de l’équipe et Bengio mettent en ligne, le 1er septembre 2014, une première version de « Traduction automatique neuronale par apprentissage conjoint de l’alignement et de la traduction ». L’alignement, c’est la correspondance entre les mots de la traduction et ceux du texte source. Voici leur méthode : chaque fois qu’il écrit un mot, le réseau qui traduit regarde de nouveau tous ceux du texte source. Il leur attribue des poids dont la somme est égale à un. Il rassemble l’information de chaque endroit de la phrase selon ces poids et s’en sert pour écrire le mot voulu.
En décrivant cette étape, le texte dit : « Intuitivement, on réalise ainsi un mécanisme d’attention dans le décodeur. » Le décodeur, ici, est le réseau qui écrit la traduction.
4. Le nom
Le titre ne dit pas « attention ». Il dit « alignement » et « traduction ». Des années plus tard, dans une lettre, Bahdanau raconte d’où vient le nom. Au départ, il appelle l’architecture RNNsearch, c’est-à-dire une recherche par réseau récurrent. D’après la lettre, « le meilleur nom, attention, a été ajouté par Yoshua à l’une des dernières révisions ». Yoshua, c’est Bengio. Karpathy, à l’épisode 16, publiera plus tard la lettre avec l’accord de Bahdanau. Le mot vient de la psychologie. En 1890, le psychologue américain William James ouvre le chapitre qu’il y consacre dans les Principes de psychologie par ces mots : « Tout le monde sait ce qu’est l’attention. »
Un an avant Bahdanau, en août 2013, Alex Graves avait fait un programme qui se sert d’un réseau pour écrire à la main. Pendant qu’il trace les lettres trait par trait, une fenêtre souple avance et détermine quelles lettres du texte il doit suivre à ce moment-là. « Fenêtre souple », c’est le nom que lui donne Graves. Bahdanau et ses coauteurs citent l’article et disent que les méthodes sont proches. En remontant plus loin, Schmidhuber a dit que ses « poids rapides » de 1991 étaient formellement équivalents à une forme simplifiée d’attention apparue plus tard.
Un même dispositif a porté plusieurs noms : fenêtre souple, alignement, recherche, attention. Celui qui reste est celui qu’on a ajouté en dernier, avec, dans la phrase d’origine, le mot « intuitivement ».
5. Les lignes bleues
Le 26 septembre 2016, Google publie un long rapport technique sur son système de traduction automatique neuronale. La seconde partie du titre dit : « Combler l’écart entre la traduction humaine et la traduction automatique ». Le lendemain, le blog de l’entreprise annonce que toute la traduction automatique du chinois vers l’anglais sur téléphone et sur le Web est passée à ce système, à raison d’environ dix-huit millions d’opérations par jour. La première paire de langues transférée est le chinois vers l’anglais.
Chaque fois qu’elle écrit un mot, la partie du système qui produit la traduction revient elle aussi au texte source. Sur le blog, un dessin montre d’un côté des mots chinois, de l’autre des mots anglais, avec des lignes bleues entre les deux. Leur intensité indique combien d’attention la machine accorde à ce mot chinois quand elle écrit ce mot anglais. L’attention est ainsi dessinée et visible pour n’importe qui.
Le rapport contient une évaluation humaine. Pour une même phrase anglaise, les évaluateurs voient quatre traductions françaises : celle de l’ancien système à base de segments, celles de deux nouveaux systèmes et une traduction humaine de référence. Sur six points, les moyennes sont respectivement de 3,87, 4,46, 4,44 et 4,82. Le résumé précise que l’évaluation porte sur « un ensemble de phrases simples et isolées ». Le dernier paragraphe du blog indique que la machine omet encore des mots, se trompe sur des noms propres et des mots rares, et ne tient pas compte du contexte. Il ajoute : « La traduction automatique est loin d’être un problème résolu. »
6. Huit personnes
Le 12 juin 2017, huit personnes mettent en ligne un article, « Attention Is All You Need ».
Voici les noms, dans l’ordre : Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser et Illia Polosukhin. Une note en première page annonce : « Contributions égales ; ordre des noms tiré au hasard. » Elle précise ensuite le travail de chacun. Uszkoreit propose de remplacer les réseaux récurrents par l’auto-attention. Vaswani et Polosukhin conçoivent et réalisent le premier modèle. Shazeer propose plusieurs éléments algorithmiques cruciaux. Parmar met au point de nombreuses variantes. Jones s’occupe du code de départ et de la visualisation. Kaiser et Gomez écrivent les outils pour faire tourner les expériences.
Les auteurs donnent à leur architecture le nom de Transformer. Le résumé dit qu’elle « repose uniquement sur des mécanismes d’attention », sans récurrence ni convolution. Le réseau de la section précédente lit le texte mot après mot. Dans le Transformer, à la lecture du texte source, chaque position peut regarder les différentes parties de la phrase en même temps et leur attribuer ses propres poids. Lors de la traduction, en revanche, le modèle ne peut pas voir les mots qu’il n’a pas encore écrits. Le réseau comporte toujours d’autres couches de traitement. Ce dont il se passe, ce sont les deux manières de faire circuler l’information citées plus haut.
Deux mois après, le blog de Google propose deux exemples pour le grand public. Dans les deux phrases anglaises, l’animal ne traverse pas la rue. Dans l’une, c’est parce qu’il est trop fatigué ; dans l’autre, parce qu’elle est trop large. Le pronom anglais, it, désigne l’animal dans la première et la rue dans la seconde. En français, animal et rue n’ont pas le même genre, et la traduction du pronom change. Selon le blog, le nouveau modèle traduit correctement les deux phrases. Le schéma montre ce qui se passe dans l’encodeur quand il lit it dans la phrase d’origine : le poids est plus fort sur l’animal dans la première phrase, sur la rue dans la seconde.
L’entraînement prend trois jours et demi avec huit cartes graphiques Nvidia P100. L’article évalue la traduction de l’anglais vers l’allemand et vers le français, ainsi que l’analyse syntaxique de l’anglais. Dans la conclusion, les auteurs écrivent que l’avenir des modèles fondés sur l’attention les enthousiasme. Ils disent vouloir les appliquer au-delà du texte, à l’image, au son et à la vidéo.
Quant au titre, Jones explique en 2024 à un journaliste de Wired qu’il vient de « All You Need Is Love », des Beatles. L’idée lui vient un soir, quelques jours avant la date limite. « Ça m’a vraiment pris cinq secondes. » Le 6 décembre 2017, au congrès NIPS de Long Beach, en Californie, l’article est présenté le soir dans l’espace des posters. D’après plusieurs auteurs, il y a foule pendant quatre heures. À 22 h 30, des gens sont encore autour du poster ; les agents de sécurité finissent par leur demander de partir. En 2024, les huit auteurs ont quitté Google. Certains ont fondé des entreprises, d’autres sont partis ailleurs.
7. Des noms courts
En 2018, ces travaux se succèdent, tous avec des noms courts.
En février, une équipe de l’Allen Institute for AI et de l’université de Washington publie ELMo. En juin, OpenAI publie « Améliorer la compréhension du langage par préentraînement génératif ». Un Transformer à douze couches apprend d’abord à prolonger des textes non annotés, en grande quantité, puis s’applique à différentes tâches précises. On appellera ensuite ce modèle GPT ; à l’époque, les trois lettres sont encore éparpillées au début de trois mots dans le titre anglais. En octobre, Google publie BERT. Le petit modèle utilise quatre TPU dans le nuage, le grand seize ; chacun s’entraîne pendant quatre jours. ELMo et BERT sont aussi, par coïncidence, des personnages de Sesame Street.
Le texte sur lequel GPT apprend est appelé corpus de livres dans l’article. Celui-ci décrit plus de sept mille « livres jamais publiés », des récits d’aventures, de la fantasy, des histoires d’amour et d’autres genres. Le corpus provient d’un article de 2015, qui l’appelle BookCorpus et dit avoir recueilli en ligne 11 038 « livres gratuits d’auteurs pas encore publiés ».
En 2021, deux chercheurs reviennent sur ce corpus et rédigent la documentation qui lui manquait. Ils établissent que les livres ont été recueillis en masse par un programme sur un site d’autoédition du nom de Smashwords : le programme relevait les liens vers les livres numériques gratuits, puis les téléchargeait et les convertissait en texte brut. Une phrase de leur conclusion : « Les auteurs n’avaient pas donné leur consentement explicite. »
En avril 2018, des chercheurs de l’université de New York et d’autres institutions mettent au point une épreuve appelée GLUE, qui comporte neuf tâches de compréhension du langage. Pour calculer un score humain, ils font faire chaque tâche à des personnes différentes, puis réunissent les résultats selon les règles de l’épreuve. Cela donne environ 87 points. En octobre, BERT obtient 80,5. Vers le milieu de 2019, des machines déclarent déjà des scores au-dessus de la ligne.
8. L’attention
En 1890, James dit que tout le monde sait ce qu’est l’attention. En 2014, le mot est ajouté à un article de traduction, précédé d’« intuitivement ». En 2016, il prend la forme de lignes bleues. En 2017, il entre dans un titre : Attention Is All You Need. Ce qui s’est transmis, c’est que les machines aussi ont de l’attention. « Intuitivement » est tombé en chemin.
Dans ces articles, l’attention est un ensemble de poids dont la somme vaut un. Quand il faut écrire un mot, ces poids déterminent vers quels mots du texte source regarder. Les poids s’apprennent sur des textes : 1,6 milliard de mots, Google Actualités, des phrases bilingues dont des gens ont fait la traduction, plus de sept mille livres non publiés. Chaque ensemble vient de personnes qui ont écrit ou traduit.
Le niveau de référence sur l’épreuve vient lui aussi de personnes. La traduction de référence à 4,82 est la leur. Les 87 points de GLUE viennent de gens qu’on a fait travailler tâche par tâche. On mesure le score des machines par rapport à ces personnes.
L’animal est trop fatigué, la rue est trop large. Ces phrases sont des exemples écrits par un chercheur de Google pour expliquer la méthode. C’est l’animal qui est fatigué, et la rue qui est large. Celui qui les a écrites le sait : c’est pour cela qu’il peut poser la question.
L’attention humaine, c’est l’endroit où une personne met le temps limité qui est le sien. Les gens sans nom de cet épisode, ceux qui écrivent des livres, ceux qui traduisent les comptes rendus parlementaires, ceux qui s’assoient pour noter des traductions, posent chacun leur attention sur leur livre, sur leur traduction, sur la phrase qu’ils ont devant eux. La machine apprend à partir des traces laissées par ces attentions. Cette série appelle « le reste » ce qui demeure ainsi en dehors, à force d’apprentissage.
On construit encore des machines. Quant à savoir où passe la limite, chaque génération le dit à nouveau.