1. La faisabilité
En janvier 1957, à Buffalo, dans l’État de New York, une entreprise appelée Cornell Aeronautical Laboratory publie un rapport numéroté.
Sur la couverture : « Le perceptron : un automate capable de percevoir et de reconnaître ». Un nom y figure, Frank Rosenblatt, avec le titre d’ingénieur de projet. Deux autres noms, sur la page de titre, sont ceux des personnes qui ont approuvé le projet. Le rapport fait cinquante-huit pages. Une couverture, un numéro, un titre de poste, deux personnes pour donner leur accord. Voilà à quoi ressemble un document destiné aux archives : on doit pouvoir le consulter, le vérifier, s’en servir comme pièce à l’appui du prochain financement.
Le titre contient deux verbes : percevoir et reconnaître. Une chose est posée devant la machine. D’abord la voir, puis dire ce que c’est. Voilà la tâche que se donne le rapport. Dans le titre, pas de pensée, pas de compréhension, pas d’intelligence. Les deux verbes portent sur ce qu’il faut faire une fois qu’une image est entrée.
Près du début, une phrase précise l’objet de cette étape : déterminer la faisabilité technique et économique. Cette année-là, « faisabilité » n’est pas un mot de science. Les ingénieurs et les gens d’affaires l’emploient tous les jours. Est-ce qu’on peut le faire ? Est-ce que ça vaut la dépense ? On prend une somme modeste pour se renseigner, puis on remet un rapport. Ce genre de document n’annonce pas que la chose est faite. Il dit qu’elle mérite d’être examinée plus avant.
Il y a deux sortes de faisabilité, pas une. La faisabilité technique, c’est de savoir si on peut construire la chose. La faisabilité économique, c’est de savoir ce qu’elle coûterait et si elle vaut ce prix. On évoquera rarement cette seconde moitié par la suite. Ce genre de rapport a un lecteur bien précis : quelqu’un qui doit décider s’il continuera à payer.
Cette réserve vient de l’homme qui mène le projet. Tout ce qui arrive ensuite s’en éloigne un peu plus. Elle reste là, au début des cinquante-huit pages. Personne n’y a touché.
Le récit ultérieur a aplati tout cela : une université, un professeur, une machine qui apprend. Sur le papier de l’époque, il y avait une entreprise, un ingénieur de projet, un rapport numéroté et deux signatures d’approbation. La version aplatie est plus facile à raconter, parce qu’il n’y a qu’une personne. Dans l’autre version, il y a une procédure, et une procédure se raconte mal.
Le rapport de janvier précise que les fonds viennent d’un programme de recherche interne du laboratoire. L’Office of Naval Research ne commence à financer le projet qu’en juillet 1957. Rosenblatt est alors dans cette entreprise de Buffalo ; ce n’est que quelques années après qu’il passe à l’université d’Ithaca.
2. Washington, le 7 juillet
Washington, le 7 juillet 1958. Ce jour-là, la marine montre quelque chose à la presse. Le lendemain, en page 25, le New York Times publie une dépêche datée de Washington, le 7 juillet. Son titre : « Le nouveau dispositif de la marine apprend en faisant ».
La dépêche précise quelle machine est là : un gros ordinateur prêté par le service météorologique, construit par une entreprise de matériel informatique, pesant environ cinq tonnes et occupant toute une pièce. À ce moment-là, le perceptron est une méthode simulée sur cet ordinateur d’usage général. Ce n’est pas encore une machine spécialisée construite pour la tâche.
Une institution montre sa nouveauté aux journalistes, mais sur l’estrade se trouve l’ordinateur polyvalent d’un autre service. La dépêche du jour le dit très clairement. Le récit ultérieur a laissé tomber ce détail parce qu’il n’y avait pas de place pour lui.
La dépêche décrit précisément le travail : faire distinguer à la machine si la marque d’une carte est à gauche ou à droite. Au bout de cinquante essais, elle distingue correctement les deux. C’est tout. Ni reconnaître des lettres, ni des visages, ni des chats et des chiens. Gauche ou droite, cinquante essais.
À première vue, c’est peu de chose : seulement distinguer la gauche de la droite. Mais ce n’est pas rien. Durant ces cinquante essais, personne ne touche au programme. La machine modifie elle-même ses nombres, et elle le fait à partir des réponses qu’elle a données de travers. Voilà ce que les journalistes réunis dans cette salle ont vu.
La dépêche contient une phrase sur l’avenir. Elle sera citée pendant plus de soixante ans. Dans la version imprimée le lendemain, le sujet de cette phrase n’est pas Rosenblatt. C’est la marine qui fait la prévision : elle s’attend à ce que le dispositif sache marcher, parler, voir, écrire, se reproduire et prendre conscience de sa propre existence. C’est à la marine qu’est attribuée l’attente. La liste de ces capacités n’est pas entre guillemets, et elle n’est mise dans la bouche de personne.
Dans la version qui a ensuite circulé, en chinois, on lit souvent : Rosenblatt a dit que son perceptron saurait bientôt marcher, parler, voir, écrire, se reproduire, et qu’il aurait conscience de lui-même. La liste est la même. Le sujet a changé. La dépêche rapporte aussi, à part, la conjecture de Rosenblatt lui-même : à ses yeux, on pouvait en principe aller vers l’autoreproduction et la conscience. Ce n’est pas la même phrase que la liste entière attribuée à la marine.
Ce que la marine attend, c’est ce qu’une institution qui paie dit de l’avenir. « S’attend à » laisse une marge. Dans la dépêche, personne ne prend cette liste à son compte dans des paroles placées entre guillemets. Qu’une personne dise la chose, c’est autre chose : elle répond alors de ce qu’elle a entre les mains. On peut remonter jusqu’à elle, et il reste d’autres textes de sa main auxquels comparer ses dires.
Pour passer de la première phrase à la seconde, nul besoin d’ajouter un mot à la liste. Il suffit de changer de sujet. Au cours des soixante années suivantes, c’est souvent cette phrase qu’on donne en exemple quand on veut montrer un scientifique qui en dit trop.
La même chose porte trois noms dans la même année, dans trois sources différentes. Le journal dit « nouveau dispositif de la marine ». Dans son rapport de 1957, Rosenblatt parle d’un automate capable de percevoir et de reconnaître. Dans son article de novembre 1958, publié dans Psychological Review, il parle d’un modèle probabiliste du stockage et de l’organisation de l’information dans le cerveau.
Trois noms, trois distances. Le premier en fait un équipement, le deuxième une machine qui sait faire deux choses, le troisième un modèle du cerveau. Celui qui se transmet est une variante du premier.
Le même jour, un journal de Boston publie aussi la nouvelle, sous ce titre : « La marine va construire un robot qui pense ». Le même jour, la même dépêche, deux titres : un dispositif qui apprend en faisant, un robot qui pense. Il suffit de poser les deux titres côte à côte pour voir dans quel sens la nouvelle se propage déjà.
Cinq mois après juillet, le 6 décembre 1958, le New Yorker publie une brève intitulée « Le rival ». Elle dit toujours que le perceptron matériel n’a pas été construit, que ce qui existe est une simulation sur ordinateur et qu’on ne dispose pas encore d’application pratique. À cinq mois de distance, le deuxième texte en dit moins que le premier. On trouve les deux versions dans les imprimés de l’époque.
Une salle pleine de monde, une machine de cinq tonnes et une pile de cartes. Ce qui s’est passé dans cette salle, cet après-midi-là, c’est qu’une machine a appris à distinguer la gauche de la droite en cinquante essais. La nouvelle qui en est sortie, c’est qu’une machine prendrait un jour conscience de sa propre existence. Les deux phrases parlent du même après-midi.
3. Quatre cents points lumineux
Le 15 février 1960, la même entreprise publie un « Manuel d’utilisation du perceptron Mark I ». Cette fois, la machine est construite.
À l’avant, une grille photosensible de vingt cases sur vingt. Quatre cents cases, chacune avec un point sensible à la lumière. On place une carte devant : le noir et le blanc deviennent, sur ces quatre cents points, des points éclairés ou non.
Le manuel distingue trois sortes d’éléments. D’abord, ces quatre cents points photosensibles. Ensuite, cinq cent douze unités intermédiaires. Enfin, huit unités de sortie.
Quand un point reçoit de la lumière, il envoie une tension de vingt-quatre volts vers l’arrière. Une unité intermédiaire reçoit plusieurs entrées du même genre, les additionne et s’active si elle atteint un certain nombre. Sinon elle ne s’active pas. Le manuel appelle ce nombre un seuil, et on peut le régler.
Il y a huit sorties, pas une. La machine peut donc répondre autrement que par oui ou par non : elle peut ranger la carte qu’elle a devant elle dans l’une de huit catégories.
Les quatre cents points photosensibles sont reliés aux cinq cent douze unités intermédiaires. Ces connexions sont fixes ; une fois installées, elles ne bougent plus. Une unité intermédiaire reçoit les signaux de quarante points au plus. Elle ne voit qu’une partie de la grille.
Cette couche ne change pas. Rien de ce que la machine apprend ensuite ne s’y produit. Elle ne peut pas changer l’endroit qu’elle regarde, seulement qui elle écoute. C’est sur cette couche que portera le calcul du livre dont on parlera plus loin.
Ce qui peut changer est dans la couche suivante. On peut régler la force du signal qu’une unité intermédiaire envoie à une unité de sortie. Le manuel appelle cette quantité réglable un poids. Dans cette machine, un poids est un potentiomètre.
Un potentiomètre, c’est le bouton d’une radio : on le tourne un peu, et un peu plus ou un peu moins de courant passe. Dans le Mark I, ce n’est pas la main qui tourne le bouton, mais un petit moteur. Lors de l’entraînement, la tension produite du côté des sorties revient actionner ces moteurs, qui font tourner les boutons d’un certain angle.
Il y a là une boucle : une réponse sort ; le jugement sur sa justesse revient du même côté, devient une tension, puis la rotation d’un moteur, puis une nouvelle position sur un bouton. Quand la carte suivante entre, la machine n’est déjà plus celle d’un instant plus tôt. Apprendre une fois, pour elle, c’est une série de boutons qui tournent chacun un peu.
Dans cette machine, l’apprentissage a une forme visible : les moteurs bougent, les axes tournent, la position des boutons change. Ce n’est pas une image. En 1960, ce qu’une machine a appris est un ensemble de positions physiques que l’on peut mesurer avec une règle, toucher de la main. Si l’on coupe le courant, elles restent en place.
Les deux couches ensemble travaillent ainsi : chaque unité intermédiaire regarde une partie des points et donne son résultat. Les boutons règlent le poids de ces résultats à leur arrivée en sortie. Une unité de sortie additionne ce qu’elle reçoit et compare le total à son seuil.
Entraîner, c’est régler le volume des voix. Lors d’une erreur, le signal d’entraînement peut augmenter le poids de certaines contributions vers la sortie qu’il fallait choisir, ou baisser celui de certaines contributions vers celle qu’on a choisie à tort. La question du livre de 1969 sort de ce procédé : des unités qui regardent chacune une partie des points, puis une somme de leurs résultats. Qu’est-ce qu’on peut décider ainsi ?
La machine entière comportait de quelques centaines à quelques milliers de réglages. Un modèle installé aujourd’hui dans un téléphone peut en avoir plus d’un million de fois autant.
La machine existe encore. Le Musée national d’histoire américaine conserve deux de ses armoires, toutes deux plus hautes qu’une personne. Le manuel contient une photographie. On y voit des choses immobiles : des armoires, des panneaux et des fils.
Le Mark I a ensuite appris à distinguer un carré d’un cercle, un carré d’un losange et quelques groupes de lettres. Il y est arrivé.
Jusqu’ici, on peut dire clairement quelle forme prend la machine : quatre cents points lumineux, une couche de connexions fixes, des unités intermédiaires qui n’en voient qu’un petit morceau, une couche de boutons que tournent des moteurs et huit sorties. Cette forme a une limite. Neuf ans plus tard, quelqu’un l’a mesurée.
4. Ce que le livre a démontré
En 1969, le MIT Press publie « Perceptrons : une introduction à la géométrie computationnelle », deux cent cinquante-huit pages de texte. Deux auteurs : Marvin Minsky et Seymour Papert.
Minsky est apparu dans les épisodes précédents. Son nom figure sur le dossier de financement pour l’été 1956 ; il a écrit le livre de 1967 sur le calcul ; c’est encore son nom que porte la citation des « trois à huit ans » imprimée en 1970. En 1969, il est codirecteur du laboratoire d’intelligence artificielle du MIT. Papert était déjà professeur de mathématiques appliquées au MIT et sera lui aussi codirecteur du laboratoire.
Le titre est au pluriel. « Perceptrons ». Quelqu’un a relevé ce pluriel par la suite. L’objet mathématique du livre n’est pas une machine, mais une classe de machines. Le livre la définit ainsi : à l’avant, un ensemble d’unités, chacune ne voyant qu’une partie des points de l’image, chacune donnant un oui ou un non ; à l’arrière, on additionne ces jugements selon leurs coefficients respectifs, on applique un seuil et on donne une réponse d’ensemble. La forme correspond au Mark I : quatre cents points lumineux devant, des unités qui en voient chacune quelques-uns au milieu, une couche de coefficients réglables derrière, puis la sortie.
Un livre de mathématiques qui entend prouver quelque chose doit d’abord fixer exactement l’objet de la preuve. Il faut le fixer pour pouvoir calculer. Par là même, le livre fixe son champ d’application. Une bonne partie de la dispute qui suit porte là-dessus : cette classe délimitée et le vaste domaine que les gens ont à l’esprit recouvrent-ils la même chose ?
Voici la question du livre : que peut décider un dispositif de cette forme, et que ne peut-il pas décider ? Pour la poser, le livre attribue un nombre à chaque décision. Ce nombre indique combien de points au minimum il faut permettre à l’unité qui en voit le plus d’observer d’un coup pour rendre cette décision possible. Si un point suffit, le nombre est un. S’il faut absolument en observer trois ensemble, il est trois. Le livre appelle ce nombre l’ordre.
L’intérêt de l’ordre est qu’on peut le suivre quand l’image grandit. Quand elle passe de dix à cent points, puis à mille, l’ordre de la décision reste-t-il stable ou augmente-t-il aussi ? S’il augmente sans cesse, fixer pour chaque unité un maximum de points en entrée ne permettra pas de faire le travail dans tous les cas. L’ordre concerne le nombre de points. Il n’exige pas qu’ils se touchent sur l’image.
Les gens qui ont construit la machine savaient qu’elle distinguait les carrés des cercles. Quant à la question de savoir si cette forme suffit en elle-même, elle restait ouverte. Deux personnes y ont consacré plusieurs années et ont obtenu une série de résultats.
Le maximum de points qu’une unité peut voir a son équivalent physique. Selon le câblage décrit dans le manuel, une telle unité reçoit les signaux de quarante points au plus. En 1960, une unité capable de voir à la fois les quatre cents points aurait exigé quatre cents fils aboutissant au même endroit. La conception de la machine visait justement à éviter ce montage.
Sur ce point, la classe définie dans le livre peut donc être rapprochée de la machine construite à Buffalo. Savoir si cette classe recouvre toute une voie de recherche est une autre question. Quelqu’un l’a posée dès l’année suivante.
Un chapitre porte sur la parité : y a-t-il un nombre pair ou impair de points allumés sur l’image ? L’ordre de cette décision grandit avec l’image, sans borne supérieure. Pour dire pair ou impair, il faut toujours qu’une unité puisse voir la totalité de l’image d’un coup. Or c’est justement ce qu’on examine : que se passe-t-il si l’image peut grandir sans limite et que chaque unité ne peut voir qu’un nombre fixe de points au maximum ?
Deux points donnent quatre façons de les allumer. Il n’y a parité impaire que si un seul est allumé : c’est le « ou exclusif ». Si l’on applique une séparation linéaire directement aux deux entrées, les quatre configurations forment quatre points, et aucune droite ne les sépare suivant leur parité. Mais si une unité reçoit d’abord les deux entrées ensemble, la question n’est plus de séparer directement ces quatre points par une droite. La démonstration du livre va bien au-delà de ce petit exemple : elle porte sur le nombre de points à voir en même temps.
Un autre chapitre porte sur la connexité : est-ce qu’une figure est d’un seul tenant ou se partage en deux morceaux ? Le livre la qualifie de propriété géométrique d’ordre non borné. Devant deux figures simples, il suffit souvent d’un regard pour faire la différence.
Imaginons la machine décrite plus haut. Derrière la grille, cinq cent douze unités regardent chacune les quelques points auxquels elles sont reliées. Sur une image, le petit espace qui sépare les morceaux peut être n’importe où. Une unité qui voit justement les points voisins de cet espace pourra peut-être le signaler. Pour les autres unités, la figure coupée et la figure d’un seul tenant peuvent présenter exactement le même aspect.
Deviner sur un dessin où une partie risque d’échapper au regard ne fait pas une démonstration. Ce que montre le livre, c’est que, quand les figures grandissent, aucun maximum fixé à l’avance pour le nombre de points ne permet à cette addition de jugements locaux de déterminer toujours correctement la connexité.
Dès lors que le nombre de points visibles par chaque unité a un maximum fixe et que l’image peut être de taille quelconque, la chose ne peut pas être décidée, quels que soient les coefficients attribués à ces unités. Une chose que les humains reconnaissent souvent d’un regard sur des figures simples, une classe de machines ne peut pas la décider, à cause de sa forme. Voilà la limite qui a été mesurée.
D’autres chapitres traitent des perceptrons à diamètre borné, de la taille des coefficients, de l’apprentissage, de la séparation linéaire et de l’apprentissage. Deux titres de chapitres contiennent le mot « apprentissage ». On ne peut donc pas dire que le livre en fasse l’impasse. Résumer deux cent cinquante-huit pages à une preuve sur quatre points, c’est laisser tomber la plus grande partie du texte.
5. Ou réfuter
Le dernier chapitre, le treizième, demande ce qui se passerait si l’on étendait à plusieurs couches le dispositif étudié jusque-là.
Il y a une phrase à la page 231. Elle est souvent citée, mais on cite d’ordinaire sa seconde moitié. La phrase entière est une demande. Les auteurs invitent les chercheurs qui viendront après eux à éclaircir ou à réfuter leur intuition : « une telle extension ne donnera rien ». Dans l’original, « ou réfuter » est une incise mise entre parenthèses.
Retaillons maintenant cette phrase, un coup après l’autre.
Ôtons l’incise : « notre intuition » est qu’une telle extension ne donnera rien.
Ôtons « notre » : l’intuition est qu’une telle extension ne donnera rien.
Ôtons « l’intuition » : une telle extension ne donnera rien.
Ôtons « une telle » : les dispositifs à plusieurs couches ne donneront rien.
Un dernier pas, en changeant les mots : le livre a démontré que les dispositifs à plusieurs couches ne fonctionnent pas.
La première phrase est une invitation à chercher. La dernière ressemble à un théorème. Ces coups de taille comparent la phrase originale et la version qu’on répète. Ils ne retracent pas une suite de citations dont on aurait retrouvé les étapes. D’un bout à l’autre, le plus visible, ce sont les réserves qui tombent.
À chaque couche qui tombe, la phrase devient un peu plus commode. Une invitation à chercher ne se cite pas comme un théorème. Une intuition ne permet pas de clore un dossier ; un théorème, oui.
À la fin, même le titre du livre devient facultatif. Quelques mots suffisent : « il a été démontré que ça ne marche pas ». On peut mettre à la suite le titre de n’importe quel livre. Retaillée jusque-là, la phrase ne relève plus de celui qui l’a écrite. Elle appartient à qui en a besoin.
Dans ce livre, les démonstrations ont une forme. On énonce d’abord ce qu’il faut prouver, on le numérote, puis on donne la preuve et on la termine. Il y a des dizaines de passages ainsi faits dans les deux cent cinquante-huit pages.
À la page 231, la phrase ne porte pas de numéro. Aucune démonstration ne suit. C’est un passage où l’on s’adresse à ceux qui viendront pour leur demander de faire quelque chose. Quelqu’un qui ouvre le livre de 1969 voit la différence d’un coup d’œil à la mise en page. Or la mise en page ne se transmet pas. Quand la phrase quitte la feuille, le numéro, la preuve et sa conclusion ne la suivent pas. Il ne reste que le sens qu’on lui prête.
Dans le même passage, les auteurs laissent encore deux choses pour l’avenir : un possible théorème de convergence et une explication plus profonde des raisons pour lesquelles l’apprentissage peut échouer. La grammaire du passage est celle de questions de recherche, non celle d’une impossibilité démontrée.
Après la parution du livre, deux recensions sont signées. L’une est d’Allen Newell et paraît dans Science le 22 août 1969. Ce nom figurait dans l’épisode précédent : les quatre prédictions lues au dîner de 1957 étaient le fruit de son travail avec Simon. Newell donne une très haute appréciation du livre. Un hebdomadaire scientifique généraliste publie, l’été de l’année de parution, une recension très favorable. Ni verdict, ni résolution, ni avis officiel. Une recension.
L’autre est de Block et paraît dans Information and Control en décembre 1970. Selon lui, la classe de machines qu’étudie le livre est trop restreinte. On ne peut pas l’assimiler sans réserve à l’ensemble du programme de recherche de Rosenblatt. Le titre prête donc à confusion.
Le livre s’intitule « Perceptrons », mais ses calculs portent sur la classe qu’il définit. Quelqu’un le dit ouvertement dès décembre 1970 : un chercheur du domaine, dans une revue du domaine, sous son nom.
Deux réactions de l’époque, à seize mois d’écart : une très haute appréciation et une objection sur la portée. Un livre paraît, deux recensions en parlent. L’image d’un livre qui aurait écrasé tout un courant vient des récits ultérieurs. Au cours des soixante années suivantes, l’objection de Block est revenue souvent. Elle était sur le papier dès décembre 1970.
6. Une postface vingt ans après
En 1988, le même éditeur publie une édition augmentée. La postface, « Le nouveau connexionnisme », ajoute trente-quatre pages à un livre de dix-neuf ans. Quand un livre a besoin d’une postface pour dire ce qu’il écrivait à l’époque, il a déjà échappé en partie à ses auteurs.
Les auteurs écrivent pour répondre. En 1986, Rumelhart et McClelland avaient dirigé un ouvrage en deux volumes, « Traitement parallèle distribué ». Il marquait alors le regroupement de ce courant de recherche.
Le premier volume dit, dans un passage, que l’évaluation des perceptrons par Minsky et Papert avait entraîné indûment dans son sillage des réseaux plus intéressants et plus puissants. Les entraîner dans son sillage ne veut pas dire que les calculs du livre étaient faux. Cela veut dire que la réputation du livre a rejailli sur des objets qu’il n’avait pas calculés.
La postface de 1988 cite le passage en entier, puis ajoute : « Nous nous reconnaissons à peine dans cette description. »
Les auteurs tracent ensuite eux-mêmes la limite. La plupart des théorèmes du livre original concernent explicitement des machines qui n’ont qu’une couche de poids réglables, disent-ils. En 1988, les auteurs précisent la portée du livre de 1969. Cela va dans le même sens que la recension de Block en 1970. Dix-huit ans ont passé : l’objection est passée du dehors du livre au dedans, du critique aux auteurs.
Ils ajoutent aussitôt que cela n’implique pas automatiquement que les réseaux à plusieurs couches échappent entièrement à ces phénomènes. Il faut regarder au cas par cas. La postface divise aussi le problème d’alors en deux. D’un côté, on dispose d’une méthode d’apprentissage qui converge pour les machines à une seule couche de poids réglables, mais ce qu’elles peuvent représenter est limité. De l’autre, les réseaux à plusieurs couches peuvent représenter beaucoup plus de choses, mais on a longtemps manqué d’une méthode d’apprentissage aussi fiable. Les auteurs examinent ensuite la nouvelle règle de réglage des poids proposée à l’époque.
Dans les pages suivantes, ils contestent qu’on puisse présenter les procédés de gradient et d’ascension comme valables partout : ils soulèvent des questions d’échelle, de minima locaux, de catégorie de problème et de structure. D’un autre côté, ils sont franchement favorables à des essais empiriques de ces méthodes dans de nouveaux domaines et estiment qu’ils donneront des résultats importants. La postface ne se résume pas non plus à un refus.
La postface montre quelle limite les auteurs reconnaissent vingt ans après. Pour savoir ce que dit le papier de 1969, il faut lire le papier de 1969. La parenthèse de la page 231 y était dès cette année-là. Dans ce dialogue à vingt ans de distance, les deux côtés ne parlent pas de la même chose. L’un dit à quel usage le livre a servi plus tard, l’autre ce que le livre écrivait à l’époque.
7. Les articles de cette décennie
Le 11 juillet 1971, Rosenblatt meurt dans un accident de bateau dans la baie de Chesapeake. C’est le jour de ses quarante-trois ans.
Voici ce qu’on dit couramment de la décennie qui suit la parution du livre : cette voie est morte. Plus d’argent, plus de gens, plus d’articles. Pour ce qui est des articles, ils sont là, imprimés.
En 1972, Shun’ichi Amari publie « Apprentissage de motifs et de séquences de motifs par des réseaux auto-organisés à éléments à seuil » dans une revue d’informatique. La même année, Teuvo Kohonen y publie « Mémoires à matrices de corrélation », et James Anderson publie « Un réseau neuronal simple produisant une mémoire interactive » dans une revue de biosciences mathématiques. En 1973, Christoph von der Malsburg publie « Auto-organisation des cellules sensibles à l’orientation dans le cortex strié » dans une revue de cybernétique. En 1975, Kunihiko Fukushima publie « Cognitron : un réseau neuronal multicouche auto-organisé » dans une revue de cybernétique biologique. En 1976, Stephen Grossberg publie « Classification adaptative des motifs et recodage universel ». En 1978, Geoffrey Hinton remet à Édimbourg une thèse intitulée « La relaxation et son rôle dans la vision ».
Les mots de ces titres sont les mots de ces années : auto-organisation, éléments à seuil, matrices de corrélation, recodage, relaxation. Chacun mène ses travaux dans sa discipline, en physiologie, en vision ou en mémoire. Ils poursuivent leurs propres questions, qui ne relevaient pas nécessairement de l’intelligence artificielle. Quand une voie est repoussée hors d’une discipline, cela ne veut pas dire qu’elle a été repoussée hors de toutes les disciplines.
Le titre de l’article de 1975 contient déjà les mots « réseau neuronal multicouche ». Six ans après le livre censé avoir démontré que plusieurs couches ne fonctionnent pas, on publie un article dont « multicouche » figure dans le titre. Les deux choses sont vraies en même temps. Quant à l’affirmation qu’il n’y a pas eu un seul article dans les dix ans après 1969, le relevé des publications donne la liste qu’on vient de lire.
En 1996, Mikel Olazaran publie une étude de la controverse dans une revue de sociologie des sciences. Selon lui, la rivalité entre les perceptrons et l’autre voie était déjà liée, de la fin des années 1950 au début des années 1960, à la professionnalisation, aux structures d’autorité et à la répartition des ressources. Après la parution du livre, l’activité dans cette voie a bien reculé et s’est déplacée vers des disciplines extérieures à l’intelligence artificielle, même si un petit nombre de chercheurs l’ont poursuivie. Il ne dit pas que rien ne s’est passé. Il dit qu’il y a eu recul et déplacement en même temps.
Olazaran a fait autre chose : il a pris pour objet d’étude la version selon laquelle le livre avait tué le domaine dès sa parution. Il l’appelle une histoire officielle.
Parmi les noms de la liste, une partie vient de ce qu’il est allé chercher et a rassemblé : un groupe en Europe, un aux États-Unis, un au Japon. Les articles ont été imprimés au moment de leur parution. Ils sont dans des revues, et n’importe qui peut les consulter. Mais il a fallu attendre vingt ans, et que quelqu’un demande expressément comment on en était venu à raconter cette histoire ainsi, pour les mettre ensemble et en faire un contre-exemple. Qu’une chose ne soit pas restée dans les mémoires et qu’elle n’ait pas eu lieu, ce sont deux choses différentes. Nous avons déjà vu cette différence dans l’épisode précédent.
L’ouvrage de 1986 parlait d’entraîner les autres réseaux dans son sillage. Une rétrospective de l’université, en 2019, emploie des termes plus forts : le livre aurait définitivement scellé le sort des travaux de Rosenblatt. Trente-trois ans séparent les deux formulations. Aucune des deux ne permet de savoir de combien les fonds ont baissé, à partir de quelle année. Ce qu’on peut comparer, ce sont les mots : ceux du texte plus tardif sont plus forts.
8. Deux coupes
Dans cet épisode, il y a deux reformulations. La première remonte à 1958. Dans le journal de l’époque, une phrase sur l’avenir est attribuée à la marine : elle s’attend à ce que le dispositif acquière un jour certaines capacités. Dans la version qui se transmet, les mêmes capacités sont mises dans la bouche d’un homme : il dit que sa machine les aura bientôt. La liste ne change pas d’un mot. C’est le début de la phrase qui change.
Une attente institutionnelle et une garantie personnelle n’engagent pas la même responsabilité. Si une dépêche consigne ce qu’attend l’institution, c’est à elle qu’il faut en demander compte. Pour une garantie donnée par quelqu’un sur ce qu’il a en main, il faut d’abord voir si l’on a ses propres mots. Ce qui a été coupé, c’est l’attribution qui portait sur le sujet. En la retirant, on a mis la phrase au compte d’une personne.
La seconde reformulation vient après 1969. La phrase originale était une demande. Les auteurs avançaient une intuition et demandaient aux chercheurs qui viendraient de la préciser ou de la réfuter. Voici cette intuition : une telle extension ne donnerait rien.
La phrase ultérieure sonne comme un théorème : le livre a démontré que les dispositifs à plusieurs couches ne fonctionnent pas. On a coupé trois choses : « ou réfuter », « notre », « intuition ». D’un côté, une question ; de l’autre, une conclusion. Entre les deux, il y a le travail que les auteurs demandaient à ceux qui suivraient.
Les deux coupes vont en sens opposés. La première grossit l’affirmation, la seconde la rend définitive. Et pourtant, le geste est le même : enlever la réserve.
Les réserves sont la marge que se laisse celui qui parle. Elles prennent de la place dans le texte original, et elles sont les premières à disparaître quand on reprend le propos, parce qu’elles ne portent pas le récit. Il faut au récit un sujet, une action, un résultat. « La marine s’attend à » n’est pas un sujet, une action et un résultat ; un homme qui se vante, oui. Des auteurs qui demandent qu’on vienne réfuter leur intuition, non ; un livre qui démontre que ça ne marche pas, oui.
Joignons les deux coupes, et voilà l’histoire qu’on raconte aujourd’hui : quelqu’un s’est vanté de façon extravagante, un livre a démontré qu’il avait tort, et cette voie en est morte pour dix ans. Chacune de ces trois phrases est ce qui reste d’une affirmation après qu’on en a retiré la réserve.
Dans la première, le texte original attribue l’attente à la marine, pas à l’homme. Dans la deuxième, les auteurs laissent à leurs successeurs le soin de réfuter leur intuition ; ils ne disent pas qu’elle est démontrée. Dans la troisième, le texte parlait d’une mise en cause par ricochet, pas d’un gel. Et il y a des articles dans cette décennie, dont un porte « multicouche » dans son titre.
Il y a encore une chose à dire à part, qui distingue cet épisode des précédents. Le livre de 1969 a mesuré une limite. Dans les épisodes précédents, elle était le plus souvent tracée par une phrase : une machine ne fait que ce qu’on lui dit de faire ; elle ne peut rien faire surgir de nouveau. Ceux qui viennent après peuvent redire cette limite ou la contester. Elle n’a pas de dimensions.
En 1969, le livre commence par définir la forme de la machine : des unités pour lesquelles le nombre de points visibles est borné, une couche de coefficients réglables, un seuil. Puis il demande ce que cette forme ne peut pas décider. Il répond avec un nombre que l’on peut calculer : au moins combien de points une unité doit-elle voir ensemble pour que cela puisse être décidé ?
Pour décider de la parité, il faut toute l’image. Pour décider de la connexité, ce nombre n’a pas non plus de borne. Cette fois, la part qui reste a été mesurée.
Une limite mesurée peut être vérifiée : il suffit de reprendre la définition et de refaire le calcul. Pour la dépasser, on peut donner aux unités davantage de points à voir ensemble ou superposer des couches pour recombiner leurs jugements. Une fois la forme changée, il faut poser à nouveau la question de ce qu’elle permet.
Toute chose construite a une forme, et il y a toujours des choses qui restent en dehors. La série appelle cette part « le reste ». Dans les épisodes précédents, on pouvait généralement se contenter de le montrer du doigt et de dire : il en reste. En 1969, le reste est exprimé par des dimensions : combien de points, est-ce que le nombre augmente, y a-t-il une borne ?
Et ce qui se transmet ensuite, c’est un verdict. À force de reformulation, les mesures se réduisent à « ça ne marche pas ». Elles s’y réduisent si facilement parce qu’une mesure s’accompagne de réserves et qu’un verdict peut s’en passer. À la mesure tiennent toute une série de précisions : cette classe de machines, cette forme, cette façon de regarder localement, ce seuil, cette manière dont l’ordre augmente avec l’image. Au verdict, rien ne tient.
Plus la limite est mesurée finement, plus les précisions sont nombreuses ; plus elles sont nombreuses, plus elles se transmettent mal. D’où la difficulté. On mesure la limite pour que d’autres puissent poursuivre le calcul, mais mieux on la mesure, plus on en perd en la transmettant. Un livre qui ne donne aucune dimension se transmet en une phrase. Un livre qui en donne se transmet aussi en une phrase, et la phrase porte le nom du livre.
Si l’on voit la chose ici, c’est que les pièces originales sont toujours là aux deux bouts : l’incise sur la page de 1969 est toujours sur le papier, et le sujet de la phrase à la page 25 du journal du 8 juillet 1958 aussi.
Il y a trois blancs dans cet épisode, et aucun n’est en marge. On n’a pas établi l’année où l’attente est passée du compte de la marine à celui d’une personne. On ne peut fixer que les deux bouts : le journal attribue les six attentes à la marine, certains récits actuels les attribuent à une personne. On n’a pas non plus établi quand le livre est passé d’une invitation à un verdict : à la page 231, en 1969, il y a une invitation ; aujourd’hui on répète un théorème. Quant aux financements dont cette voie a disposé aux États-Unis au cours de cette dizaine d’années, on n’a pas trouvé de comptes complets ni retrouvé la première personne à écrire qu’un livre avait gelé les fonds pendant dix ans.
Trois blancs, en face de trois phrases courantes. Pour chacune, il ne reste qu’un bout, et le bout qui reste est justement le plus facile à raconter.
Revenons pour finir au rapport numéroté de janvier 1957. La faisabilité qu’il s’agissait d’établir portait deux réserves : technique et économique. C’est le responsable du projet qui les avait écrites.
Un an et demi plus tard, dans le journal, la même chose doit marcher, parler, voir, écrire, se reproduire et prendre conscience de sa propre existence. Onze ans plus tard, le livre mesure la part qu’elle ne peut décider, et laisse lui-même une parenthèse à la page 231. Ensuite, la parenthèse disparaît, et la faisabilité avec elle. Il reste deux phrases : on en a vanté bien trop ; on a démontré ensuite que ça ne marchait pas.
Ni l’une ni l’autre ne reprend les mots d’origine. Elles sont courtes, nettes, sans réserves. Elles sont toutes deux commodes. Et les mots d’origine sont sur le papier depuis plus de soixante ans, sans avoir bougé.
On construit encore des machines. Quant à savoir où passe la limite, chaque génération le dit à nouveau.