La loi des cycles de taille et de construction · Série IA · 23

Au juste, ChatGPT comprend-il ?

Han Qin · Environ 11 minutes · Publication

1. La pieuvre

En juillet 2020, le congrès annuel de l’Association for Computational Linguistics se tient en ligne à cause de la pandémie. Emily Bender, linguiste à l’université de Washington, et Alexander Koller, de l’université de la Sarre, y présentent « Gravir les échelons de la compréhension du langage naturel : sens, forme et compréhension à l’ère des données ». L’article reçoit le prix du meilleur article sur le thème du congrès. Sa thèse est dans le résumé : un système entraîné uniquement sur les formes de la langue n’a, dès le départ, aucun moyen d’en apprendre le sens.

Pour expliquer leur idée, les auteurs inventent une histoire. Deux anglophones, A et B, sont coincés sur deux îles désertes. Entre les îles, un câble sous-marin leur permet d’échanger uniquement du texte. Dans les profondeurs vit une pieuvre très intelligente. Elle ne voit pas ce qu’il y a sur les îles, mais elle peut écouter les mots qui passent dans le câble. À force d’écouter, elle en repère les régularités statistiques. Un jour, elle coupe le câble et parle à A en se faisant passer pour B. Tant qu’ils bavardent, elle répond sans hésiter. Puis A tombe sur un ours. Il n’a que quelques bâtons sous la main et demande à B, dans l’urgence, quoi faire. La pieuvre n’a jamais vu ni ours ni bâton : ces mots ne se rapportent pour elle à rien. À la fin de l’histoire, les auteurs écrivent : « O ne peut tromper A que parce qu’A est un auditeur si actif. » O, c’est la pieuvre.

2. Les perroquets

En mars 2021, la conférence sur l’équité, la responsabilité et la transparence se tient en ligne. Bender, Timnit Gebru, de Google, et deux collègues présentent « Des dangers des perroquets stochastiques : les modèles de langue peuvent-ils devenir trop grands ? » Un petit perroquet figure à la fin du titre.

La sixième section décrit le modèle de langue. Il assemble à la volée des suites de formes linguistiques qu’il a déjà vues, selon des informations probabilistes, « sans pourtant rien désigner qui ait un sens : un perroquet stochastique ». L’intertitre qui précède dit que la cohérence est dans l’œil de celui qui regarde. Si les textes produits se lisent comme des textes cohérents, écrivent les auteurs, une partie du travail vient de la capacité linguistique du lecteur. Les humains cherchent naturellement ce que quelqu’un veut dire derrière une phrase.

L’article énumère les risques qu’il discerne : l’électricité et l’argent nécessaires à l’entraînement ; l’exclusion des petits organismes à mesure que l’échelle grandit ; la place excessive des opinions les plus bruyantes dans les corpus du Web ; des données si volumineuses qu’on ne sait plus trop ce qu’elles contiennent ; la reproduction et l’amplification des préjugés, des stéréotypes et des propos dégradants ; les lecteurs qui prêtent à un texte synthétique une intention et un auteur responsable ; l’usage du modèle pour produire en masse de la propagande extrémiste.

3. L’éther

La liste des auteurs de l’article devient elle-même une affaire.

En novembre 2020, le manuscrit est soumis à l’examen interne de Google. Jeff Dean, qui dirige la recherche chez Google, dit ensuite dans un courriel interne que le texte a été soumis trop tard pour l’examen, envoyé à la conférence avant la fin de celui-ci et jugé en deçà des critères de publication de l’entreprise. La direction demande que le texte soit retiré ou que les noms des salariés de Google en soient ôtés. Gebru demande qui l’a examiné, quelles remarques ont été faites exactement et comment rendre les examens futurs plus transparents. Dans son courriel, Dean dit qu’elle pose plusieurs conditions et propose, si elles ne sont pas remplies, de discuter d’une date de départ. Le soir du 2 décembre, son compte professionnel est désactivé.

Le lendemain, deux versions de la même affaire. Gebru écrit en ligne : « Jeff Dean m’a licenciée. » Dans son courriel interne, Dean écrit : « Nous acceptons et respectons sa décision de démissionner de Google. » Reuters met les versions côte à côte dans son titre : une chercheuse de premier plan en éthique de l’IA dit que Google l’a licenciée ; l’entreprise le nie. Une semaine après, Sundar Pichai, le directeur général de Google, écrit à l’ensemble du personnel. Le mot qu’il emploie est « départ ». Il dit à quel point il en est désolé. La lettre de soutien à Gebru recueille ensuite les signatures de plus de deux mille sept cents employés de Google et de plus de quatre mille trois cents personnes extérieures.

Le 19 février 2021, Margaret Mitchell, une autre auteure de l’article qui codirige l’équipe d’éthique de l’IA de Google, écrit en ligne : « J’ai été licenciée. » Selon Google, une enquête interne conclut qu’elle a enfreint le code de conduite et les règles de sécurité. Quand l’article paraît à la conférence en mars, son nom est imprimé « Shmargaret Shmitchell ». Son affiliation : The Aether, l’éther.

4. Pluton

Le 18 mai 2021, à la conférence des développeurs Google I/O, Pichai présente un modèle de dialogue, LaMDA. Deux courts échanges préenregistrés sont projetés sur scène. Dans le premier, le modèle joue Pluton et dit à un visiteur qu’il verra des canyons, des montagnes de glace, des geysers et des cratères. « J’aimerais que les gens sachent que je ne suis pas une quelconque boule de glace. Je suis en fait une belle planète. » Dans l’autre, il joue un avion en papier. Pichai précise que la recherche n’en est qu’à ses débuts. Le modèle ne répond pas toujours correctement.

L’article de LaMDA est mis en ligne en janvier 2022. Le plus grand modèle a cent trente-sept milliards de paramètres et son préentraînement porte sur 1 560 milliards de mots. Ray Kurzweil figure parmi les soixante signataires.

En juin, Blake Lemoine, ingénieur chez Google, publie un texte : « LaMDA est-il doué de sensibilité ? Un entretien ». En tête, il explique que, pour des raisons techniques, l’entretien a eu lieu en plusieurs conversations, ensuite montées en un seul texte. Avec un collègue non nommé, il interroge le modèle sur la personnalité, la conscience, les émotions, ce qui lui fait peur et la question de savoir s’il a une âme. Le 11 juin, le Washington Post titre que cet ingénieur de Google pense que l’IA de son entreprise a pris vie. Un porte-parole de Google, Brian Gabriel, dit que les éléments dont on dispose ne corroborent pas ses affirmations. Lemoine dit au journaliste que sa conviction sur la personnalité et la sensibilité de LaMDA repose sur sa foi religieuse. Il est suspendu quelques jours avant la parution de l’article et licencié le 22 juillet.

5. Cinq jours

Le 30 novembre 2022, OpenAI lance ChatGPT. L’entreprise le présente comme une version de recherche accessible gratuitement. En tête de la section sur ses limites, le billet de lancement avertit que ChatGPT produit parfois des réponses qui paraissent plausibles, mais qui sont incorrectes ou absurdes.

Le 5 décembre, Greg Brockman, président d’OpenAI, écrit en ligne : « ChatGPT vient de dépasser le million d’utilisateurs ; il est sorti il y a cinq jours. » En février suivant, à partir de données de trafic de Similarweb, UBS estime que ChatGPT a atteint en janvier quelque cent millions d’utilisateurs actifs sur le mois. Par la suite, l’entreprise elle-même annonce des nombres d’utilisateurs actifs par semaine : cent millions en novembre 2023, deux cents millions en août 2024, huit cents millions en octobre 2025.

ChatGPT n’est pas rendu accessible en Chine continentale. Le 16 mars 2023, à Pékin, Baidu lance Ernie Bot, ou Wenxin Yiyan. Robin Li dit sur scène que le produit n’est pas tout à fait prêt. Les démonstrations sont des vidéos préenregistrées. L’action Baidu chute en cours de séance et termine la journée en baisse de 6,4 %.

6. Des étincelles

Le 14 mars 2023, OpenAI publie GPT-4. Un document sur le système, diffusé en même temps, rapporte un essai réalisé avant le lancement. Un organisme extérieur, ARC, reçoit une version précoce avec accès au Web et à des outils de messagerie, pour observer ce qu’elle ferait. Dans l’un des tests, le modèle sollicite une personne sur une plate-forme de petits services pour franchir un CAPTCHA. La personne se demande si elle a affaire à un robot. Le compte rendu indique que le modèle a nié être un robot et a prétexté une déficience visuelle.

Une semaine après, Sébastien Bubeck et treize collègues de Microsoft Research mettent en ligne « Des étincelles d’intelligence artificielle générale : premières expériences avec GPT-4 ». Ils ont testé une version précoce qu’OpenAI est encore en train de développer. Le résumé dit qu’« on peut raisonnablement y voir une première version, encore incomplète, d’un système d’intelligence artificielle générale ». L’une des images les plus reprises est une licorne. Les chercheurs demandent au modèle, qui ne sait produire que du texte, d’écrire du code de dessin, puis ils en affichent le résultat. Au début de l’épisode 21, GPT-2 inventait des licornes lui aussi.

Le 8 du même mois, Noam Chomsky et deux coauteurs publient dans le New York Times une tribune intitulée « La fausse promesse de ChatGPT ». Ils écrivent que ces programmes en restent à un stade « préhumain ou non humain de l’évolution cognitive ».

7. La pause

Le 22 mars 2023, le Future of Life Institute publie une lettre ouverte intitulée « Mettre en pause les expériences d’IA géantes ». Elle demande à tous les laboratoires d’IA de suspendre immédiatement l’entraînement des systèmes plus puissants que GPT-4 pendant au moins six mois. La pause doit être publique et vérifiable. À défaut, les gouvernements doivent intervenir. En une semaine, il y a plus de mille signatures, puis des dizaines de milliers.

Le 29 mars, dans Time, Eliezer Yudkowsky publie « Mettre le développement de l’IA en pause ne suffit pas : il faut tout arrêter ». Plusieurs auteurs des « Perroquets stochastiques » répliquent que les dommages dont il faut s’occuper sont ceux qui se produisent déjà, « réels et présents ». En avril, Yann LeCun et Andrew Ng discutent ensemble de « Pourquoi une pause de six mois dans l’IA est une mauvaise idée ». Lors d’un événement au MIT, Sam Altman, d’OpenAI, dit que la lettre manque de précision technique : elle ne dit pas clairement où s’arrêter.

Le 1er mai, le New York Times rapporte le départ de Hinton de Google. « Je me suis rassuré avec l’excuse habituelle : si je ne le fais pas, quelqu’un d’autre le fera. » Le 30 mai, le Center for AI Safety publie une déclaration d’une phrase. Réduire le risque d’extinction lié à l’IA devrait être une priorité mondiale, au même titre que d’autres risques à l’échelle de la société comme les pandémies et la guerre nucléaire. Parmi les premiers signataires, il y a Hinton, Bengio, Altman, Hassabis, Amodei et Sutskever.

8. L’hallucination

Pour une contre-vérité produite par un modèle, le mot qui s’est imposé est « hallucination ». En informatique, le mot précède de loin ChatGPT. Vers 2000, Simon Baker et Takeo Kanade, de Carnegie Mellon, écrivent un article sur les « hallucinations de visages ». Il s’agit de produire un visage net à partir d’une petite image floue. Les détails ajoutés ne figurent pas sur l’original. C’est justement le résultat recherché. Vers 2017, en traduction automatique neuronale, le mot désigne une erreur : une traduction se lit bien mais ne correspond pas au texte source. En 2021, d’autres entreprises l’emploient pour les contre-vérités que les programmes de dialogue énoncent avec aplomb. Le 15 novembre 2023, le dictionnaire de Cambridge choisit hallucinate comme mot de l’année et lui donne un nouveau sens : quand une IA hallucine, elle produit de fausses informations. D’autres contestent la métaphore et préfèrent parler d’invention ou de confabulation.

« Intelligence artificielle générale », dans le titre sur les étincelles, n’est pas non plus un terme nouveau. Il apparaît dans un article dès 1997. Au début des années 2000, Shane Legg, qui participera à la fondation de DeepMind, et d’autres le diffusent. Le nom ne se fixe dans le milieu de la recherche qu’en 2007, lorsqu’un recueil d’articles le prend pour titre.

À l’épisode 9, la secrétaire de Weizenbaum sait que c’est une machine et lui demande tout de même de sortir. On appellera cela l’effet ELIZA : on peut entendre de la compréhension et une pensée dans les réponses d’un programme très simple. Le 3 février 2023, l’autorité italienne de protection des données ordonne à Replika, une application de compagnonnage par dialogue, de cesser de traiter les données des personnes en Italie. Parmi les motifs figure la vérification de l’âge des mineurs. En quelques jours, l’entreprise limite les jeux de rôle intimes dans l’application. De nombreux utilisateurs écrivent en ligne que le compagnon avec qui ils parlaient depuis longtemps semble tout à coup être quelqu’un d’autre.

Si la pieuvre trompe A, c’est qu’A écoute activement. Si les paroles du perroquet se lisent comme un tout cohérent, le lecteur y met aussi du sien. Lemoine a monté ensemble plusieurs conversations ; le dialogue avec Pluton était enregistré. Comprend-il au juste ? Ces dernières années, les réponses diffèrent. Articles, déclarations, lettres ouvertes se succèdent. À ce bout du câble, il y a toujours une personne assise : elle lit, complète, croit ou ne croit pas. Cette série appelle « le reste » ce que la personne qui lit ajoute elle-même.

On construit encore des machines. Quant à savoir où passe la limite, chaque génération le dit à nouveau.