La loi des cycles de taille et de construction · Série IA · 21

Au juste, quelle part d’Internet GPT-3 a-t-il lue ?

Han Qin · Environ 15 minutes · Publication

1. Les licornes

Le 14 février 2019, OpenAI publie un texte sur son blog. Les deux premières phrases sont écrites par des humains. Des scientifiques ont découvert, dans une vallée inexplorée des Andes, un troupeau de licornes qui parlent couramment anglais. Tout le passage suivant est écrit par un programme qui prend la suite. Il donne un nom à ces licornes, décrit leur apparence, invente un professeur à la tête de l’expédition et raconte ses recherches. Paragraphe après paragraphe, on dirait un article de presse.

Le programme s’appelle GPT-2. Il succède au GPT de l’épisode 19, a 1,5 milliard de paramètres et apprend sur les textes de huit millions de pages Web. Il n’apprend qu’une chose : à partir des mots déjà écrits, deviner le suivant.

À côté du texte d’exemple, le blog précise : « Il faut généralement plusieurs essais pour obtenir un bon échantillon. » Sur les sujets familiers, environ la moitié des textes sont convenables. Le blog énumère aussi des erreurs fréquentes : le programme répète un passage, change tout à coup de sujet ; une fois, il a fait brûler du feu sous l’eau. Le texte sur les licornes a été choisi parmi plusieurs essais.

Le même billet annonce : « Par crainte d’applications malveillantes de cette technologie, nous ne publions pas le modèle entraîné. » Seule une version plus petite est publiée. L’entreprise parle d’une expérience, décision et débat compris, et précise qu’elle ne sait pas si elle fait le bon choix ce jour-là.

Le même jour, le quotidien britannique The Guardian titre : selon ses créateurs, le nouveau générateur de faux textes pourrait être trop dangereux pour être publié. Le lendemain, un article repris par le Forum économique mondial titre : des scientifiques ont créé une IA qu’ils estiment trop dangereuse pour être publiée. Après quoi il reste : OpenAI a dit que GPT-2 était trop dangereux. « Expérience », « incertitude », « pourrait », « estiment » : les mots tombent un à un en chemin.

2. Quatre fois

En février, on publie la plus petite version. En mai, la version moyenne. Le 20 août, celle à 774 millions de paramètres. Ce jour-là, OpenAI dit que plus de cinq groupes ont déjà reproduit GPT-2. Le même mois, deux jeunes diplômés, Aaron Gokaslan et Vanya Cohen, mettent en ligne un modèle proche qu’ils ont construit eux-mêmes avec l’équivalent de quelque cinquante mille dollars de crédits de calcul dans le nuage de Google. Wired titre : OpenAI dit que son code présente un risque, deux jeunes diplômés l’ont fait quand même.

Le 5 novembre, la version la plus grande, avec 1,5 milliard de paramètres, est publiée intégralement, code et poids compris. Les poids, c’est la longue suite de nombres réglés à l’entraînement, qui porte les capacités du modèle. L’entreprise parle de la dernière étape d’une publication par paliers. Elle ajoute : « Jusqu’ici, nous n’avons pas vu de preuve solide de détournement. » De février à novembre, neuf mois et quatre publications.

3. Amère

Remontons encore d’un an. Le 16 mai 2018, Dario Amodei et Danny Hernandez, d’OpenAI, publient « IA et puissance de calcul ». Ils retiennent une série des plus grands entraînements d’IA de ces dernières années, estiment un à un leurs besoins en calcul et les reportent sur un graphique. De 2012 à 2018, le calcul est multiplié par environ trois cent mille, avec un doublement moyen tous les 3,4 mois. La mesure va d’AlexNet, à l’épisode 17, à AlphaGo Zero, à l’épisode 18, qui ne joue que contre lui-même.

Le 13 mars 2019, Richard Sutton, de l’université de l’Alberta, publie sur son site un court texte : « La leçon amère ». Première phrase : « La plus grande leçon que l’on puisse tirer de soixante-dix ans de recherche en IA est que les méthodes générales capables de tirer parti du calcul finissent par être les plus efficaces, et de loin. » Ses exemples sont les échecs, le go, la parole et la vision. Chaque fois, les chercheurs commencent par écrire dans une machine ce qu’ils comprennent eux-mêmes. À court terme, cela marche, et ils en sont contents. Des années après, les méthodes qui l’emportent ne dépendent pas de ces connaissances. Elles s’appuient sur la recherche et l’apprentissage, qui peuvent grandir avec le calcul. La leçon est amère pour les gens qui ont inscrit leurs propres connaissances dans la machine. On peut relire sur cette ligne les parties des épisodes 11 et 18 et la phrase de l’épisode 15 sur les linguistes qu’on aurait renvoyés.

Le calcul demande des machines, et les machines de l’argent. Le 11 mars 2019, OpenAI annonce la création d’OpenAI LP, un montage à mi-chemin entre le lucratif et le non-lucratif. Le rendement est plafonné : les premiers investisseurs peuvent au plus recevoir cent fois leur mise, et le reste revient à l’organisation à but non lucratif d’origine. L’annonce dit que cela doit faciliter la levée de fonds, l’achat de puissance de calcul et le recrutement. Le 22 juillet, Microsoft investit un milliard de dollars et devient son fournisseur exclusif de calcul dans le nuage.

4. La loi

En janvier 2020, Jared Kaplan et ses collègues d’OpenAI publient « Les lois d’échelle des modèles de langue neuronaux ». Ils entraînent de nombreux modèles de tailles différentes et mesurent à quel point chacun se trompe en prédisant le mot suivant. Cette erreur est résumée par un nombre, la perte. Ils constatent que si l’on multiplie par dix le nombre de paramètres, la quantité de texte ou le calcul consacré à l’entraînement, et que les deux autres ne font pas obstacle, la perte diminue dans une proportion à peu près constante. Du plus petit modèle au plus grand, on couvre six ou sept ordres de grandeur et tout évolue sans à-coup.

Dans le titre, cela s’appelle une loi. Une section de l’annexe est consacrée aux réserves : « Nous ne disposons encore d’une compréhension théorique solide d’aucune des lois d’échelle que nous proposons. » Les auteurs disent que les lois sur la taille du modèle et le calcul sont « particulièrement mystérieuses ». Dans la discussion, le texte dit encore que l’amélioration régulière de la perte « pourrait masquer des changements de capacité qui ressemblent à des changements qualitatifs ». Suit le titre d’un article de physique : « Plus, c’est différent ».

Deux ans plus tard, en mars 2022, Jordan Hoffmann et ses collègues de DeepMind entraînent plus de quatre cents modèles, de soixante-dix millions à seize milliards de paramètres, sur cinq à cinq cents milliards de jetons. Un jeton est un petit morceau de texte que le modèle découpe à la lecture ; un mot anglais vaut souvent un ou deux jetons. Ils trouvent un autre dosage : « À chaque doublement de la taille du modèle, le nombre de jetons d’entraînement devrait lui aussi doubler. » Selon cette proportion, ils entraînent Chinchilla, un modèle à soixante-dix milliards de paramètres, en dépensant autant de calcul que pour Gopher, qui en a deux cent quatre-vingts milliards. Chinchilla reçoit environ quatre fois plus de texte et obtient à une série d’épreuves des scores supérieurs à ceux de Gopher et de GPT-3. Dans le dosage de Kaplan, on privilégiait la taille du modèle et on donnait moins de texte ; chez Hoffmann, les deux grandissent ensemble.

5. Cent soixante-quinze milliards

Le 28 mai 2020 paraît un article à trente et un signataires, dont le premier est Tom Brown. Son titre : « Les modèles de langue apprennent à partir de quelques exemples ». Le plus grand modèle de l’article s’appelle GPT-3. Il a cent soixante-quinze milliards de paramètres et lit trois cents milliards de jetons pendant l’entraînement.

« Quelques exemples », c’est la façon de s’en servir. On écrit d’abord une phrase qui indique la tâche. On donne ensuite quelques exemples déjà résolus, puis on laisse un blanc pour que le modèle continue. Aucun nombre du modèle ne change. Le texte qu’on lui donne s’appelle une consigne, ou prompt. Avec une consigne seule, on dit zero-shot ; avec un exemple, one-shot.

L’article décrit une expérience avec des personnes aux États-Unis, choisies parmi les travailleurs bien notés du Mechanical Turk de l’épisode 16 et rémunérées à raison d’environ douze dollars de l’heure. On leur montre des articles d’environ deux cents mots, certains écrits par des journalistes, d’autres par le modèle, et on leur demande de faire le tri. Pour le modèle à cent soixante-quinze milliards de paramètres, les personnes donnent la bonne réponse dans environ 52 % des cas. À peu près comme à pile ou face.

La section sur les limites énumère les défauts du modèle. Dès que le texte s’allonge, il se répète, se contredit ou ne tient plus ensemble. Le sens commun en physique lui manque souvent, par exemple quand on lui demande si du fromage fondra au réfrigérateur. Les auteurs écrivent aussi que continuer simplement à augmenter l’échelle de cet apprentissage par prédiction du mot suivant « rencontrera très probablement une limite ».

Le 11 juin, OpenAI ouvre une interface, l’OpenAI API. Elle se résume en une phrase : du texte entre, du texte sort. Il faut déposer une demande, faire examiner l’usage prévu, puis le faire examiner de nouveau avant la mise en ligne. Le modèle n’est pas publié. Parmi les raisons données : il est trop grand, cher à faire tourner, l’interface peut rapporter de l’argent, et centraliser l’accès aide à limiter les détournements. Quant au prix de l’entraînement, Lambda, une entreprise qui loue des processeurs graphiques dans le nuage, fait une estimation à partir de ses tarifs d’alors : trois cent cinquante-cinq ans de calcul sur une seule carte, soit environ 4,6 millions de dollars de location.

6. Huit textes

Le 8 septembre 2020, The Guardian publie une tribune intitulée « Un robot a écrit tout cet article. Humains, avez-vous peur ? » La machine y parle à la première personne. Elle veut persuader les humains qu’ils n’ont pas à avoir peur d’elle. Tout ce qu’elle sait, dit-elle, elle l’a appris en lisant Internet.

Une note de la rédaction, à la fin, raconte comment l’article a été fait. La rédaction a écrit la consigne : un court texte d’environ cinq cents mots, dans une langue simple, qui explique pourquoi les humains n’ont pas à craindre l’IA. Elle a aussi fourni les premières phrases. Liam Porr, étudiant en informatique à Berkeley, saisit le tout. GPT-3 renvoie huit textes différents. La rédaction n’en publie aucun tel quel. Elle prend les meilleurs passages de chacun, coupe des phrases et des paragraphes, déplace certains éléments, puis assemble l’article que l’on lit.

Le texte dit qu’il a lu Internet. L’article de recherche énumère cinq sources pour GPT-3. La plus importante est un ensemble de pages recueillies par un projet nommé Common Crawl. Fondé en 2007 par Gil Elbaz, le projet est sans but lucratif. Il ne recueille que des pages publiques consultables sans se connecter et met sa collecte en téléchargement public. Pouvoir la télécharger et avoir la permission de s’en servir pour entraîner un modèle sont deux choses différentes. GPT-3 prend quarante et un mois de la collecte, de 2016 à 2019 : environ quarante-cinq téraoctets de texte brut après compression, quelque cinq cent soixante-dix gigaoctets après filtrage. Les quatre autres sources sont WebText2, deux ensembles de livres qui n’ont pour nom que Books1 et Books2, et Wikipédia. À l’entraînement, les jetons sont tirés des cinq ensembles selon des proportions fixées : six sur dix viennent de ces pages Web, trois sur cent de Wikipédia. Rapporté à la taille des ensembles, le prélèvement représente moins d’un demi-passage dans le gros ensemble de pages, et environ trois passages dans Wikipédia.

WebText2 étend la collection WebText de GPT-2. Pour constituer WebText, on cherche sur Reddit les liens que les utilisateurs ont publiés vers des sites externes. Si la publication a reçu au moins trois points de karma, on recueille le texte de la page liée. L’article sur GPT-2 indique que l’on s’appuie ainsi sur le jugement des utilisateurs de Reddit pour retenir des pages que les gens trouvent intéressantes ou utiles. En décembre 2017, on en a retenu plus de huit millions. Les articles de Wikipédia ont été écartés délibérément pour éviter un chevauchement avec les épreuves courantes.

7. L’émergence

En 2021, les nombres grandissent. En janvier, Google annonce 1 600 milliards de paramètres pour son Switch Transformer, qui sépare le modèle en plusieurs experts et n’en mobilise qu’un pour traiter chaque mot. En avril, Huawei annonce deux cents milliards pour PanGu. En juin, la deuxième version de Wu Dao, de l’Académie d’intelligence artificielle de Pékin, en compte 1 750 milliards. En octobre, Microsoft et Nvidia en annoncent cinq cent trente milliards. En décembre, Gopher, chez DeepMind, en compte deux cent quatre-vingts milliards, et Baidu deux cent soixante milliards. En avril 2022, PaLM, chez Google, en compte cinq cent quarante milliards.

En août 1972, le physicien Philip Anderson publie « Plus, c’est différent » dans Science. Il écrit : « Pouvoir tout ramener à des lois fondamentales simples ne veut pas dire que l’on puisse, à partir de ces lois, reconstituer l’univers. » À chaque niveau de complexité supplémentaire apparaissent des propriétés nouvelles, qui demandent d’autres méthodes d’étude. Il parle des niveaux entre des disciplines comme la physique, la chimie et la biologie. Cinquante ans plus tard, Kaplan et ses collègues empruntent le titre pour les modèles de langue.

Le 9 février 2022, Ilya Sutskever, d’OpenAI, écrit en ligne : « Peut-être que les grands réseaux neuronaux d’aujourd’hui ont un tout petit peu de conscience. » Trois jours après, Yann LeCun, de l’épisode 14, répond d’un mot : « Non. » Même en prenant « un tout petit peu » très petit et « grands » très grand, ajoute-t-il, il n’est pas d’accord.

En juin, Jason Wei et ses collègues de Google publient « Les capacités émergentes des grands modèles de langue ». Ils définissent ainsi une capacité émergente : elle est absente des petits modèles et présente dans les grands. Ils mettent côte à côte les scores de différents modèles sur de nombreuses tâches. Pour certaines, tant que les modèles sont petits, ils n’obtiennent pas mieux que le hasard. Au-delà d’une certaine taille, le score grimpe d’un coup.

En avril 2023, à Stanford, Rylan Schaeffer, Brando Miranda et Sanmi Koyejo publient un article dont le titre est une question : « Les capacités émergentes des grands modèles de langue sont-elles un mirage ? » Selon eux, la soudaineté peut parfois venir de la notation. Dans une addition à plusieurs chiffres, par exemple, si l’on exige que tous les chiffres soient justes, les petits modèles restent à zéro jusqu’au moment où un modèle plus grand marque subitement des points. Si l’on compte plutôt combien de chiffres diffèrent de ceux de la bonne réponse, le score progresse peu à peu.

8. Grand

Dans le billet des licornes de février 2019, on lit déjà plusieurs fois « grands modèles de langue ». En chinois, en 2021, on parle d’abord de modèles préentraînés à très grande échelle ou de modèles intelligents à très grande échelle. En un an, les expressions raccourcissent jusqu’à devenir « grands modèles ».

En août de la même année, des chercheurs de Stanford publient « Des possibilités et des risques des modèles de fondation ». Ils donnent un autre nom à l’ensemble : foundation models, modèles de fondation. Ils expliquent le choix : les modèles « occupent une place centrale, tout en restant incomplets ». Une fondation, c’est ce sur quoi d’autres systèmes seront bâtis, et ce qui n’est pas encore un bâtiment achevé. Le mot s’est transmis ; ce qui est resté, c’est le socle.

Le 14 mars 2023, OpenAI publie GPT-4. Le rapport précise qu’en raison de la concurrence et des implications de ces grands modèles pour la sécurité, l’entreprise ne donne plus de détails sur l’architecture, notamment la taille, le matériel, le calcul d’entraînement ou la composition des jeux de données. De 1,5 milliard à cent soixante-quinze milliards, les chiffres avaient été publiés au fil des années. Ici, ils cessent de l’être.

D’où viennent les mots ? Cette année-là, des gens vont voir. Fin 2020, le collectif open source EleutherAI a rassemblé un corpus appelé The Pile. Une de ses parties, Books3, vient d’une collection de livres du site Bibliotik. Le 25 septembre 2023, Alex Reisner, de The Atlantic, transforme cette collection de cent quatre-vingt-trois mille livres en un outil de recherche. En saisissant le nom d’un auteur, on voit quels titres y figurent. Deux jours après, l’Authors Guild publie des explications à l’intention des auteurs : « Vous venez de découvrir que vos livres ont servi à entraîner une IA. Et maintenant ? »

Cette année-là, des écrivains se tournent vers les tribunaux les uns après les autres. Le 28 juin, les romanciers Paul Tremblay et Mona Awad poursuivent OpenAI, affirmant que leurs livres ont été copiés sans autorisation pour entraîner les modèles. Le 7 juillet, Sarah Silverman et deux autres auteurs poursuivent séparément OpenAI et Meta. Le 19 septembre, l’Authors Guild et des auteurs parmi lesquels George Martin, John Grisham, Jodi Picoult et Jonathan Franzen poursuivent OpenAI à New York. Le 27 décembre, le New York Times poursuit Microsoft et OpenAI.

Du côté des liens et des votes, les choses bougent aussi. En avril, Reddit annonce qu’il fera payer l’accès en gros à ses données par son interface. Son directeur général, Steve Huffman, dit au New York Times que le corpus de Reddit « a vraiment de la valeur » et qu’il n’y a pas de raison de l’offrir aux plus grandes entreprises du monde. Le même mois, Prashanth Chandrasekar, directeur général de Stack Overflow, dit que les questions et réponses écrites par la communauté sont la matière première des grands modèles de langue et que la plate-forme devrait être payée. En août, OpenAI présente son robot d’exploration GPTBot et la possibilité pour les sites de lui refuser l’accès par leur fichier robots.txt. Ce petit fichier indique aux robots où ne pas aller. Des éditeurs en ligne ferment ensuite leur porte au robot.

À la fin de l’article sur GPT-3, les remerciements vont pour finir à des millions de personnes : celles qui ont créé les contenus utilisés pour l’entraînement, celles qui les ont indexés et celles qui ont voté. La liste des auteurs porte trente et un noms. Aucun de ceux qui ont écrit les pages, rédigé des articles de Wikipédia, cliqué pour approuver un lien sur Reddit ou écrit les livres ne s’y trouve.

De 1,5 milliard à cent soixante-quinze milliards de paramètres. Ensuite, le nombre n’est plus écrit. Leurs mots sont entrés ; ces personnes restent dehors. Cette série appelle « le reste » ce que l’on ne peut pas y mettre, quelle que soit la taille de ce que l’on construit.

On construit encore des machines. Quant à savoir où passe la limite, chaque génération le dit à nouveau.