La loi des cycles de taille et de construction · Série IA · 14

Au juste, qui a inventé la rétropropagation ?

Han Qin · Environ 16 minutes · Publication

1. Quatre pages

Le 9 octobre 1986, l’hebdomadaire britannique Nature publie un article de quatre pages, « Apprendre des représentations par rétropropagation des erreurs ». Trois auteurs, dans cet ordre : David Rumelhart, Geoffrey Hinton et Ronald Williams.

La première phrase du résumé dit : « Nous décrivons une nouvelle procédure d’apprentissage, la rétropropagation, pour des réseaux composés d’unités semblables à des neurones. » « Nouvelle », c’est le mot des auteurs.

Plus bas, au milieu de l’explication de la méthode, une phrase apporte cette précision : Parker en a découvert indépendamment une variante, et LeCun en a découvert indépendamment une autre. Sur quatre pages, on trouve à la fois « nouvelle » et « a aussi été découverte indépendamment ».

L’article donne en tout quatre références : le livre de Rosenblatt, celui de Minsky et Papert, un article en français présenté par LeCun à Paris l’année précédente, et le huitième chapitre des deux volumes qui viennent de paraître la même année. Aucun des autres noms que l’on va rencontrer dans cet épisode, Kelley, Bryson, Dreyfus, Linnainmaa et Werbos, ne figure parmi ces quatre références.

L’article décrit quelques petites expériences. L’une porte sur la symétrie : six interrupteurs, chacun ouvert ou fermé, soixante-quatre dispositions possibles. Le réseau doit dire si une disposition est symétrique de gauche à droite. Entre l’entrée et la sortie, on n’a mis que deux unités. Un passage par les soixante-quatre dispositions compte pour un tour. Dans cet exemple, il faut mille quatre cent vingt-cinq tours. Une autre expérience porte sur la généalogie. Deux familles inventées, qui est le père de qui, qui est la tante de qui : cent quatre relations mises bout à bout. On en prend cent pour l’entraînement. On garde les quatre autres sans les lui montrer et on regarde s’il peut les donner aussi. Le réseau doit apprendre des relations entre des personnes. Les quatre pages précisent aussi que la méthode ne garantit pas de trouver la meilleure combinaison de nombres.

2. Transmettre en sens inverse

Il y a à la même époque un autre réseau, construit par Terrence Sejnowski et Charles Rosenberg, qui apprend à lire l’anglais à voix haute. Son nom, NETtalk, veut dire que le réseau parle. Il voit sept lettres à la fois, comme par une petite fenêtre ouverte sur sept cases. Ce qu’il doit donner, c’est la prononciation de la lettre au milieu. Une fois qu’il l’a prononcée, la fenêtre se déplace d’une case. Il a deux cent trois unités du côté de l’entrée, quatre-vingts au milieu et vingt-six du côté de la sortie. Les connexions entre elles représentent plus de dix-huit mille nombres réglables. Ce qui sort du réseau, ce n’est pas un son, mais une suite de codes qui représentent les phonèmes et les accents. Les codes sont transmis à un synthétiseur vocal de DEC, qui en fait un son qu’on peut entendre.

Le rapport technique décrit la façon de faire les réglages : « Après chaque mot, les poids sont ajustés en fonction de l’écart entre la prononciation calculée et la prononciation correcte. » Les poids, ce sont les dix-huit mille et quelques nombres réglables. L’influence d’une unité sur la suivante dépend du nombre qui les relie.

Dans les quatre pages de Nature, voici l’ordre des opérations. On part de l’entrée. On monte d’une couche à l’autre en calculant l’état de chaque unité. En haut, on compare la sortie avec la réponse attendue : l’écart donne l’erreur. Puis on repart du sommet et on calcule en sens inverse, couche après couche : si chacun des nombres à l’intérieur varie un peu, dans quel sens et de combien l’erreur finale change-t-elle ? Ensuite, on règle les valeurs suivant le pas choisi. Ce qu’on propage en sens inverse, ce sont ces dérivées, pas la même valeur de l’erreur d’une couche à l’autre.

Une chose ne se trouve pas dans le réseau : la bonne prononciation. Elle est donnée d’avance. À chaque changement, c’est vers cette réponse donnée d’avance que le réseau se règle. Pour la généalogie, la réponse vient de la personne qui a inventé les familles. Pour la symétrie, c’est la personne qui a posé le problème qui décide ce qu’on appelle symétrique.

3. Des trajectoires de vol

En mai 1960, l’American Rocket Society tient son congrès semestriel à Los Angeles. Henry Kelley, de Grumman Aircraft Engineering, y présente « Une théorie du gradient pour les trajectoires de vol optimales ».

Il calcule la meilleure façon de faire voler un engin : comment tirer le meilleur parti de ses performances, passer d’une trajectoire à une autre, parvenir à destination le plus vite possible. Tout le long, il y a des contraintes : l’engin doit obéir à sa propre dynamique. Kelley appelle sa méthode « méthode du gradient », ou « descente la plus raide » : littéralement, aller dans la direction où la pente descend le plus vite. Il n’est question dans l’article ni de réseau ni d’apprentissage.

En avril 1961, Harvard organise un symposium sur les ordinateurs numériques et leurs applications. Arthur Bryson y présente « Une méthode de gradient pour optimiser une allocation en plusieurs étapes ». Une allocation en plusieurs étapes consiste à faire quelque chose en plusieurs temps et à répartir les ressources à chaque étape pour que le résultat d’ensemble soit le meilleur. Huit ans plus tard, Bryson publie avec Yu-Chi Ho « Commande optimale appliquée ». Ceux qui écriront l’histoire de cette méthode placeront leur livre à côté de l’article de Kelley.

En 1962, une revue de mathématiques publie « Une méthode numérique de résolution des problèmes variationnels », de Stuart Dreyfus. Dans un problème variationnel aussi, on cherche la meilleure voie parmi beaucoup de voies possibles. Ceux qui ont retracé ensuite cette histoire disent qu’il suffit dans l’article de la règle de dérivation des fonctions composées pour organiser le calcul du gradient de la fin vers le début. C’est une règle du calcul différentiel : si une quantité en influence une autre à travers plusieurs étapes, l’effet total s’obtient en multipliant les effets de chacune des étapes.

Stuart Dreyfus est apparu à l’épisode 11. Dans les remerciements du document de la RAND de 1965, son nom figure à côté de quelques autres. C’est le frère cadet de Hubert Dreyfus. Plus de vingt ans après, les frères écriront ensemble un livre et des articles. Le frère du philosophe qui écrivait sur ce que les ordinateurs ne peuvent pas faire a écrit en 1962 un article de mathématiques qu’on a plus tard inséré dans cette lignée.

Le vol, l’allocation, le calcul des variations : dans les trois cas on cherche la meilleure voie au milieu d’un grand nombre de possibilités. Dans ces années, la méthode porte le nom de gradient. Elle cherche une trajectoire. Personne n’appelle cela de l’apprentissage.

4. Les erreurs d’arrondi

En juin 1967, le Japonais Shun’ichi Amari publie dans une revue d’informatique « Une théorie des classificateurs adaptatifs de formes ». Il appelle « méthode de descente probabiliste » l’une de ses méthodes d’ajustement et parle aussi de descente la plus raide. Il travaille sur la classification de formes et les statistiques. Il veut savoir comment la machine peut classer ce qu’on lui donne.

En 1970, à l’université d’Helsinki, un étudiant du nom de Seppo Linnainmaa remet un mémoire de maîtrise en finnois. Le titre, traduit, est « L’erreur d’arrondi cumulée d’un algorithme, exprimée par un développement de Taylor en fonction des erreurs d’arrondi locales ».

Un ordinateur ne dispose que d’un nombre limité de chiffres pour ses calculs. À certaines étapes, il doit retrancher ce qui dépasse ou arrondir au-dessus. Après une longue suite d’opérations, comment ces petits écarts s’accumulent-ils dans le résultat ? Linnainmaa cherche une méthode qui permette de le calculer. Son objet est n’importe quel programme de calcul, pas un réseau. Son mémoire ne parle ni de réseaux neuronaux ni de rétropropagation. Plus tard, dans le domaine de la différentiation automatique, on parlera d’accumulation en sens inverse. Ce nom n’existe pas encore quand il rédige le mémoire.

5. Le mot « apprentissage »

En 1974, à Harvard, Paul Werbos remet sa thèse de doctorat, « Au-delà de la régression : de nouveaux outils de prévision et d’analyse pour les sciences du comportement ». Il travaille en sciences du comportement et s’intéresse à la prévision. Dans sa thèse, il appelle « rétroaction dynamique » sa procédure efficace de calcul des dérivées.

À la page 22, au deuxième chapitre, il parle de « fonctions correspondant à des neurones modèles ». La phrase suivante dit : « La façon la plus facile de calculer ces dérivées est simplement d’utiliser la rétroaction dynamique. » Plus loin, la thèse parle du cerveau et envisage de faire passer les dérivées en sens inverse.

En 1981, à une conférence sur la modélisation et l’optimisation des systèmes à New York, Werbos présente « Applications des progrès de l’analyse de sensibilité non linéaire ». Selon ceux qui ont écrit cette histoire par la suite, il applique cette fois la méthode explicitement aux réseaux neuronaux.

En 1982, le bureau des licences technologiques de Stanford reçoit une déclaration d’invention intitulée « Learning Logic ». Le déclarant s’appelle David Parker. Dans cette pièce, un moyen de calculer des dérivées est une invention en attente de licence. En 1985, Parker publie un rapport technique au centre de recherche en informatique pour l’économie et la gestion du MIT. Le titre s’est allongé : « Learning Logic : couler le cortex humain dans le silicium ».

En 1985, à Paris, le congrès de sciences cognitives « Cognitiva 85 » se tient. Yann LeCun y présente en français « Une procédure d’apprentissage pour réseau à seuil asymétrique ».

Vers septembre 1985, à San Diego, Rumelhart, Hinton et Williams publient un rapport technique numéroté intitulé « Apprendre des représentations internes par propagation des erreurs ». L’année suivante, le titre devient tel quel celui du huitième chapitre de l’ouvrage en deux volumes. Les auteurs appellent la règle d’ajustement « règle delta généralisée ». Dans Nature, la « propagation des erreurs » du titre devient « rétropropagation des erreurs ».

Alignons les noms employés à l’époque : méthode du gradient, descente la plus raide, descente probabiliste, rétroaction dynamique, Learning Logic, procédure d’apprentissage, propagation des erreurs, règle delta généralisée, rétropropagation. Les avis divergent sur les noms qui désignent la même chose.

Une démarcation est bien visible dans les noms. Chez l’avionneur, il s’agit de trouver une trajectoire ; à Helsinki, de calculer une erreur ; dans les sciences du comportement à Harvard, de faire une prévision. Le mot « apprentissage » n’arrive qu’une fois le calcul placé dans un réseau d’unités semblables à des neurones : Learning Logic en 1982, procédure d’apprentissage et apprentissage de représentations internes en 1985, nouvelle procédure d’apprentissage en 1986. Des calculs voisins, appliqués aux trajectoires, s’appellent optimisation ; appliqués aux erreurs, analyse ; placés dans le réseau, apprentissage.

Depuis le programme de dames de Samuel, à l’épisode 7, savoir si une machine peut apprendre est une question de limite. La limite se retrouve cette fois dans un calcul de dérivées en sens inverse. Ce qui fait passer le calcul de l’autre côté, c’est un nom.

6. Deux volumes

En juillet 1986, le MIT Press publie deux volumes, sous le titre général « Traitement parallèle distribué : explorations de la microstructure de la cognition ». Le premier porte le sous-titre « Fondements » et le second « Modèles psychologiques et biologiques ». Pour le premier, les noms sont Rumelhart, McClelland et le groupe de recherche sur le traitement parallèle distribué. Dans le deuxième, McClelland passe en tête.

Le livre se vend vite. Le premier tirage, de six mille exemplaires, s’épuise avant même la parution officielle. Deux ans plus tard, on estime qu’environ trente mille exemplaires sont imprimés. Les deux chiffres viennent de l’article de 1988 des frères Dreyfus, « Fabriquer un esprit ou modéliser un cerveau », celui de l’épisode 11. Stuart Dreyfus apparaît deux fois dans le présent épisode. En 1962, il écrit l’article de mathématiques que l’on rangera dans cette préhistoire. En 1988, avec son frère, il compte les exemplaires des deux volumes.

Le 4 janvier 1987, le New York Times publie une recension intitulée « Les connexions de la cognition ». La même année, Science en publie une ; celle de Nature s’intitule « Rien que des connexions ! » ; le 12 juin, au Royaume-Uni, le Times Literary Supplement en publie une aussi. Un ouvrage sur la façon dont un réseau fait émerger ses propres représentations internes arrive dans les pages littéraires des journaux.

À l’époque, la voie porte plusieurs noms. L’ouvrage dit « traitement parallèle distribué ». D’autres parlent de connexionnisme, de calcul neuronal ou de recherche sur les réseaux neuronaux. « Connexionnisme » devient le terme le plus courant.

En 1988, McClelland et Rumelhart publient un manuel dont le titre contient « modèles », « programmes » et « exercices ». Deux disquettes glissées à la fin contiennent les programmes des réseaux. On peut acheter le livre, introduire les disquettes dans son ordinateur personnel et, sur son propre bureau, faire tourner un réseau, rétropropager les erreurs et ajuster les poids tour après tour.

7. Dans sa forme actuelle

Dernier paragraphe des quatre pages de Nature, première phrase : « Dans sa forme actuelle, cette procédure d’apprentissage n’est pas un modèle plausible de l’apprentissage dans le cerveau. »

Le paragraphe ajoute que, quand on applique la méthode à diverses tâches, on voit que la descente de gradient peut produire des représentations internes intéressantes. Il vaut donc la peine de chercher s’il existe des façons biologiquement plus plausibles de faire descendre le gradient dans les réseaux neuronaux. Un article qui annonce une nouvelle procédure d’apprentissage trace une limite à la fin : la méthode porte le nom d’apprentissage, mais sous sa forme actuelle, ce n’est pas l’apprentissage du cerveau. Ce sont les auteurs qui tracent la limite.

Le 12 janvier 1989, Nature publie un commentaire de Francis Crick, « L’enthousiasme récent pour les réseaux neuronaux ». Crick est l’un de ceux qui ont mis au jour la structure en double hélice du matériel génétique. La dernière phrase du résumé dit : « Malheureusement, la plupart de ces réseaux neuronaux manquent de réalisme à plusieurs égards importants. »

Au même moment, un autre débat se déroule ailleurs. En 1988, le volume 28 de Cognition publie deux longs articles. Fodor et Pylyshyn demandent si de tels réseaux peuvent rendre compte de la combinatoire de la pensée : qui peut penser que Jean aime cette fille peut aussi penser que cette fille aime Jean. Dans un texte de plus de cent vingt pages, Pinker et Prince examinent le modèle des deux volumes qui apprend le passé des verbes anglais. Ils interrogent ses représentations, son matériel d’entraînement, sa façon de généraliser et sa capacité à expliquer les règles du langage. Cette même année paraît l’édition augmentée du livre de Minsky et Papert, à l’épisode 8. Sa postface examine la même nouvelle règle de réglage.

Ces limites ne sont pas les mêmes. Celle des auteurs : dans sa forme actuelle, la méthode n’est pas l’apprentissage dans le cerveau. Celle de Crick : ces réseaux diffèrent des vrais cerveaux sur des points importants. La question de Fodor et de ses collègues : ces réseaux peuvent-ils expliquer la structure de la pensée ? Trois limites tracées à trois endroits ; trois questions.

Toujours en 1989, la méthode est déjà mise au travail. Dans le quatrième numéro du premier volume de la nouvelle revue Neural Computation, Yann LeCun et six collègues des Bell Labs publient « La rétropropagation appliquée à la reconnaissance des codes postaux manuscrits ». Chaque image contient un chiffre, seize pixels sur seize en niveaux de gris. On compte 9 298 images : 7 291 pour l’entraînement, 2 007 réservées au test. Les chiffres, dit l’article, « figuraient sur du courrier américain passé par le bureau de poste de Buffalo, dans l’État de New York ». L’article ne consigne pas à qui appartenaient les mains qui les ont tracés.

À Carnegie Mellon, Dean Pomerleau construit un réseau qui apprend à conduire en suivant la route et l’installe sur le véhicule expérimental de navigation autonome de l’université. L’image de la caméra de bord entre dans le réseau sous la forme de trente points sur trente-deux, pris dans la luminosité du canal bleu. Il y a vingt-neuf unités au milieu et quarante-cinq directions en sortie, du virage serré à gauche au virage serré à droite en passant par tout droit. Le réseau s’entraîne surtout sur des images simulées de chaussée. On l’essaie ensuite sur de vraies routes. D’après l’article, il peut suivre la route dans certaines conditions de terrain.

Lire l’anglais, reconnaître les chiffres sur les enveloppes, suivre la route. Dans les épreuves, on regarde si la prononciation est juste, si le chiffre est reconnu et si la voiture reste sur la route. Aucune n’examine sa ressemblance avec un cerveau.

8. Indépendamment

On discute encore de la personne qui a découvert la méthode la première. Jürgen Schmidhuber est celui qui en parle le plus. Depuis 2014, il en dresse la chronologie sur son site dans des versions successives. En 2020, pour en marquer le cinquantenaire, il en publie une nouvelle, « Qui a inventé la rétropropagation ? » Selon lui, l’étudiant finlandais Linnainmaa a publié la forme moderne de la méthode le premier en 1970. L’article de Kelley de 1960 est un précurseur ; viennent ensuite, dans l’ordre qu’il établit, Bryson, Stuart Dreyfus, Werbos, Parker, LeCun, puis Rumelhart et ses collègues. Sur son site, Schmidhuber demande publiquement aux trois chercheurs qui ont depuis reçu le prix Turing de répondre point par point à sa liste.

De l’autre côté, un article d’avril 2020 rapporte la réponse de Hinton sur un forum en ligne : « Je n’ai jamais prétendu avoir inventé la rétropropagation. David Rumelhart l’a inventée indépendamment, après que des gens d’autres domaines l’avaient déjà inventée. » Il dit que leur contribution a été de montrer clairement que cette méthode permet d’apprendre des représentations internes intéressantes et d’attirer l’attention de beaucoup de gens sur elle.

Le 8 octobre 2024, le prix Nobel de physique est attribué à John Hopfield et Hinton pour des découvertes et inventions fondamentales qui ont rendu possible l’apprentissage automatique par réseaux neuronaux artificiels. Ces déclarations ont chacune leur place. On les pose côte à côte.

Le mot « indépendamment » a été rattaché deux fois à des personnes. En 1986, dans les quatre pages de Nature, ce sont Parker et LeCun : la méthode est nouvelle, et deux autres personnes en ont découvert des variantes indépendamment. « Nouvelle » est alors au premier plan ; « indépendamment » est une précision au passage. En 2020, dans la réponse de Hinton, c’est Rumelhart : des gens d’autres domaines l’ont inventée avant lui, il l’a inventée plus tard indépendamment. L’antériorité est ailleurs ; « indépendamment » qualifie leur propre camp. En trente-quatre ans, le même mot a changé de place. Et ce changement vient de l’un des signataires d’alors.

La phrase la plus répandue est une autre : en 1986, trois hommes ont inventé la rétropropagation et permis aux machines d’apprendre comme le cerveau.

Pour dire cela, il faut couper deux choses. La première est cette précision au milieu des quatre pages, « a aussi été découverte indépendamment », avec tous les lieux derrière elle qui n’apparaissent pas dans les références : l’avionneur, le symposium de Harvard, la revue de mathématiques, le mémoire d’Helsinki, le bureau des licences de Stanford. La seconde est « dans sa forme actuelle », au dernier paragraphe, avec la phrase entière sur ce qui n’est pas un modèle d’apprentissage dans le cerveau. Ce sont des réserves ; elles ne portent pas le récit. Une fois qu’on a coupé, il reste une invention, trois inventeurs et une machine qui ressemble à un cerveau.

Il y a encore une chose qui ne figure pas dans ce récit, qu’on coupe ou non.

Dans les expériences de cet épisode, l’erreur mesure la distance entre la sortie de la machine et la bonne réponse. La prononciation juste, le bon chiffre, la direction à prendre, la personne dont telle femme est la tante dans l’arbre généalogique : tout est donné à l’avance. Le calcul en sens inverse n’a pas à décider ce que veut dire « juste ». D’autres méthodes d’apprentissage peuvent ne pas demander qu’on indique une réponse à chaque exercice. Mais il faut toujours un critère pour dire au réseau dans quel sens se régler. Cette série appelle « le reste » ce qui reste ainsi toujours dehors.

Chacun des quelque neuf mille chiffres du bureau de poste de Buffalo vient d’une main. Les personnes qui les ont écrits ne figurent nulle part. Quand elles les ont tracés, elles voulaient seulement qu’une lettre arrive.

On construit encore des machines. Quant à savoir où passe la limite, chaque génération le dit à nouveau.