La loi des cycles de taille et de construction · Série IA · 17

Qu’est-ce qui est profond dans « l’apprentissage profond » ?

Han Qin · Environ 12 minutes · Publication

1. Quatre noms

En juillet 2006, deux articles paraissent presque en même temps. L’un occupe le numéro 7 du volume 18 de Neural Computation. Geoffrey Hinton, Simon Osindero et Yee-Whye Teh l’intitulent « Un algorithme d’apprentissage rapide pour les réseaux de croyance profonds ». Le résumé décrit un algorithme rapide et glouton qui apprend couche par couche des réseaux de croyance profonds et dirigés. Une condition suit : « à condition que les deux couches supérieures forment une mémoire associative non dirigée ».

L’autre article paraît le 28 juillet dans Science. Hinton et Ruslan Salakhutdinov le signent sous le titre « Réduire la dimension des données avec des réseaux neuronaux ». Il s’agit de préentraîner un réseau multicouche, une couche à la fois, puis de l’affiner avec la rétropropagation des erreurs de l’épisode 14. Dans le titre, on lit noir sur blanc « réseaux neuronaux ».

Cet hiver-là, au congrès sur les systèmes de traitement de l’information neuronale, appelé NIPS, l’équipe de Bengio à l’université de Montréal présente « Entraînement glouton couche par couche des réseaux profonds ». Le résumé s’ouvre sur les réseaux neuronaux profonds multicouches. Sur la difficulté, il dit que l’optimisation par gradient à partir d’un point choisi au hasard « semble souvent » s’enliser dans de mauvaises solutions. « Semble », « souvent » : les deux mots sont là. À la même édition, l’équipe de Yann LeCun à l’université de New York présente « Apprendre efficacement des représentations parcimonieuses avec un modèle fondé sur l’énergie ». Le mot « profond » ne figure pas dans le titre.

Quatre articles, quatre noms : réseaux de croyance profonds, réseaux neuronaux, réseaux profonds, représentations parcimonieuses. Cette année-là, il n’y a pas encore de nom commun.

L’expression « apprentissage profond » n’apparaît pas cette année-là pour la première fois dans les publications sur l’apprentissage automatique. En août 1986, au congrès annuel de l’association américaine d’intelligence artificielle, Rina Dechter présente un article sur les problèmes de satisfaction de contraintes, intitulé « Apprendre pendant la recherche ». Elle parle d’apprentissage profond et l’oppose à l’apprentissage superficiel. La profondeur dont elle parle est celle à laquelle on enregistre les conflits au cours de la recherche. Cela n’a rien à voir avec un réseau multicouche.

Un adjectif sert d’abord ailleurs, puis vient désigner autre chose. La série a déjà rencontré ce déplacement.

2. Ces années-là

En 2004, Hinton et plusieurs collaborateurs obtiennent un nouveau programme à l’Institut canadien de recherches avancées. Il s’appelle « Calcul neuronal et perception adaptative ». Bengio et LeCun en font aussi partie. Hinton le dirige jusqu’en 2013. En août 2006, le programme organise une école d’été à Toronto.

En décembre 2007, à Vancouver, se tient un atelier alors appelé « Atelier NIPS 2007 sur l’apprentissage profond ». Des articles ultérieurs citent le titre de l’exposé de Hinton : « Comment faire de la rétropropagation dans le cerveau ». Dans l’épisode 14, le dernier paragraphe de l’article de 1986 disait que la méthode, sous sa forme d’alors, ne modélisait pas l’apprentissage cérébral. Vingt et un ans plus tard, à un atelier appelé « apprentissage profond », le même homme parle de la façon de la faire dans le cerveau.

Le nom prend forme petit à petit. En 2009, « apprentissage profond non supervisé » apparaît dans le titre d’un article d’Andrew Ng et de son équipe à Stanford. En 2011, le congrès accueille un atelier intitulé « Apprentissage profond et apprentissage non supervisé de caractéristiques ». Son objectif déclaré est de réunir ceux qui s’intéressent à ces deux choses. En 2012, un article de Google parle, dans le corps du texte, d’« apprentissage non supervisé de caractéristiques et d’apprentissage profond ». La même année, un article sur la reconnaissance de la parole porte « réseaux neuronaux profonds » dans son titre.

LeCun dira plus tard, à moitié pour rire, qu’ils étaient ce qu’on appelait la « conspiration de l’apprentissage profond ». Il raconte aussi qu’un article refusé à CVPR en 2011 a été accepté à ICML l’année suivante. Auparavant, toute une série d’articles utilisant des réseaux convolutionnels avaient été refusés.

3. Les cartes graphiques

Une carte graphique sert au départ à produire des images. En février 2007, Nvidia met à disposition CUDA, des outils de programmation qui permettent à d’autres programmes de faire des calculs directement sur les cartes graphiques, sans détour par une interface de dessin.

En juin 2009, Andrew Ng et deux de ses étudiants, Rajat Raina et Anand Madhavan, publient « Apprentissage profond non supervisé à grande échelle avec des processeurs graphiques ». Les diapositives indiquent la carte utilisée : une Nvidia GTX 280, 1 Go de mémoire vidéo, deux cent quarante cœurs, environ deux cent cinquante dollars à l’époque. Par rapport à un ordinateur ordinaire à deux cœurs, l’entraînement d’un type de réseau est soixante-douze fois plus rapide, celui d’un autre environ quinze fois. Dans un réseau multicouche, chaque couche peut être entraînée en une journée environ.

Près de Lugano, en Suisse, se trouve un institut d’intelligence artificielle appelé IDSIA. En 2010, Dan Cireșan, Jürgen Schmidhuber et leurs collègues font tourner la rétropropagation la plus ordinaire sur des cartes graphiques. Pour les chiffres manuscrits, ils font trente-cinq erreurs sur dix mille. Dans un article présenté à l’IJCAI en juillet 2011, ils écrivent qu’avec des cartes graphiques, les grands réseaux convolutionnels peuvent être entraînés en quelques jours plutôt qu’en quelques mois.

La même année, un concours de reconnaissance porte sur plus de cinquante mille images de panneaux routiers allemands. Ils gagnent avec un taux d’erreur de 0,56 %. Les personnes qui servent de comparaison se trompent en moyenne dans 1,16 % des cas. En 2012, ils gagnent deux autres concours, l’un sur la segmentation de structures nerveuses dans des images de microscopie électronique, l’autre sur le repérage de cellules en division dans des coupes de tissu de cancer du sein.

4. Deux cartes graphiques

Le 30 septembre 2012 à 23 heures GMT, les soumissions de l’année au concours de reconnaissance visuelle de l’épisode 16 sont closes. Trois chercheurs de l’université de Toronto soumettent leurs réponses sous le nom de SuperVision : Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton. Leur réseau a soixante millions de paramètres, six cent cinquante mille neurones, cinq couches convolutionnelles et trois couches entièrement connectées. On l’appellera plus tard AlexNet, d’après le prénom du premier auteur.

L’entraînement utilise deux cartes Nvidia GTX 580, chacune avec 3 Go de mémoire vidéo. Le réseau est trop gros pour tenir sur une carte. Ils le divisent en deux, une moitié par carte, et font communiquer les deux cartes entre certaines couches. Un entraînement demande cinq ou six jours.

En 2023, Hinton se souvient de l’emplacement des cartes pour un journaliste du New Yorker : « Ses deux cartes graphiques ronronnaient dans sa chambre. » Dans le même souvenir, il mentionne une facture d’électricité assez élevée, payée par les parents de Krizhevsky.

SuperVision combine les prédictions de sept réseaux. Dans le concours, son taux d’erreur sur les cinq premières réponses est de 15,3 %. Le meilleur des autres concurrents est à 26,2 %. Le 12 octobre, à un atelier à Florence, en Italie, SuperVision présente son travail entre 17 h 05 et 17 h 30. Les récits ultérieurs ont raconté cet après-midi de bien des manières.

En décembre, l’article paraît dans les actes du congrès, sous le titre « Classification d’ImageNet avec des réseaux neuronaux convolutionnels profonds ». « Réseaux neuronaux » est toujours dans le titre.

Dans la discussion, les auteurs font une expérience. Quand ils retirent n’importe laquelle des couches convolutionnelles intermédiaires et notent le réseau sur sa seule réponse de premier choix, la proportion de réponses justes baisse d’environ deux points de pourcentage. Ils écrivent ensuite : « La profondeur compte donc réellement pour obtenir nos résultats. » La même section précise que cette fois ils n’ont pas employé le préentraînement non supervisé couche par couche, celui des deux articles de 2006.

5. Tianjin

En octobre 2012, à Tianjin, Microsoft Research Asia organise son congrès sur l’informatique au XXIᵉ siècle. Rick Rashid, qui dirige Microsoft Research, fait une démonstration. Il parle en anglais sur scène. Au-dessus de lui, le grand écran affiche d’abord les mots anglais qu’il prononce, puis du texte chinois. Enfin, une voix de synthèse lit le chinois. La voix est faite à partir de la sienne ; lui-même ne parle pas chinois. La salle applaudit.

Le 8 novembre, il écrit sur le blog de l’entreprise qu’autrefois les systèmes de ce genre se trompaient sur environ un mot sur quatre ou cinq. Maintenant, c’est environ un sur sept ou huit, plus de 30 % d’erreurs en moins. Dans le même paragraphe, il ajoute : « On est encore loin de la perfection. »

Le même mois, une revue de traitement du signal publie un article signé par onze personnes : « Réseaux neuronaux profonds pour la modélisation acoustique en reconnaissance de la parole : le point de vue commun de quatre équipes de recherche ». Les équipes sont celles de l’université de Toronto, de Microsoft Research, de Google et d’IBM. Un des résultats de l’équipe de Microsoft fait passer le taux d’erreur sur les mots de 27,4 % à 18,5 %. La démonstration de Rashid relève de cette voie.

6. Les chats

Fin décembre 2011, Quoc V. Le, Jeff Dean, Andrew Ng et cinq autres personnes mettent en ligne un article qui paraît l’année suivante à ICML : « Construire des caractéristiques de haut niveau avec l’apprentissage non supervisé à grande échelle ». Le réseau a neuf couches et environ un milliard de connexions. On lui donne dix millions d’images de deux cents points sur deux cents, prélevées dans des vidéos en ligne. Personne n’a étiqueté ce qu’elles montrent. L’entraînement prend environ trois jours sur mille machines et seize mille cœurs de processeur.

Au départ, la question est de savoir si, avec des images non annotées, le réseau peut apprendre une unité qui reconnaisse les visages humains. Une unité réagit particulièrement fort aux visages. L’équipe fait d’autres comparaisons : elle déplace les visages, les agrandit, les réduit et les tourne de côté pour voir s’ils sont toujours reconnus. Dans le résumé, la phrase sur les chats dit que le même réseau « est aussi sensible à d’autres concepts de haut niveau, comme les visages de chats ».

On raconte ensuite que le réseau de Google a appris tout seul à reconnaître les chats. Dans l’article, il est question d’une sensibilité, de visages de chats et d’autres concepts de haut niveau.

7. Les enchères

En 2012, Hinton et ses deux étudiants fondent DNNresearch. L’entreprise, c’est eux trois.

En décembre, le congrès NIPS se tient dans un hôtel-casino au bord du lac Tahoe. Le journaliste Cade Metz reconstitue ces journées en 2021 à partir d’entretiens. Dans la chambre 731 de l’hôtel, l’entreprise de trois personnes est mise aux enchères. Google, Microsoft, Baidu et DeepMind, une entreprise de Londres, font des offres. Vers vingt-deux millions de dollars, Hinton suspend un moment les enchères. Quand elles reprennent, Microsoft se retire. Il reste Google et Baidu. À vingt-quatre millions, du côté de Baidu, un dirigeant de Pékin prend le relais de Yu Kai. À quarante-quatre millions, Hinton décide de ne pas faire monter les enchères. L’entreprise revient à Google. À partir de 2013, Hinton est chez Google tout en restant à l’université de Toronto.

En janvier 2014, Google achète aussi DeepMind, fondée à Londres en 2010. Dans la presse d’alors, le prix est de quatre cents millions de dollars selon les uns, de quatre cents millions de livres selon les autres.

Une entreprise de trois personnes. Ce sont ces trois personnes que visent les enchères. Dans cette chambre, le prix s’arrête là où l’un d’entre eux décide de l’arrêter.

8. Profond

En novembre 2012, John Markoff écrit un long article dans le New York Times. Le titre qui s’est transmis est « Les scientifiques misent sur les programmes d’apprentissage profond ». Il raconte la démonstration de Tianjin, l’anglais à l’écran, le texte chinois, la voix de Rashid. Il interroge aussi Hinton. Hinton lui dit qu’ils ont décidé très tôt de ne pas gagner d’argent avec la méthode, mais de la diffuser autant que possible.

La même année, LeCun et Bengio mettent sur pied un nouveau congrès. Sa première édition se tient l’année suivante à Scottsdale, en Arizona. Son nom est ICLR, la Conférence internationale sur les représentations apprises. La première édition reçoit soixante-sept articles et en accepte vingt-trois. Dans le nom, ni « apprentissage profond » ni « réseaux neuronaux ».

Un des récits les plus répandus dit que les réseaux neuronaux avaient mauvaise réputation et qu’on les a donc rebaptisés « apprentissage profond ». Pourtant, dans les articles imprimés alors, celui de Science en 2006 et celui d’ImageNet en 2012, le titre dit « réseaux neuronaux ». À l’épisode 13, le nom d’intelligence artificielle aurait été rangé. L’histoire d’un nom remplacé ressemble à celle d’un nom rangé : beaucoup de gens la racontent, peu en laissent des preuves écrites.

Là encore, il y a des coupes : le « semble souvent » de 2006, le « pour obtenir nos résultats » de 2012, la sensibilité et les visages de chats dans l’article de Google, le « encore loin de la perfection » de Rashid. Après les coupes, il reste des phrases bien nettes : seuls les réseaux profonds marchent ; la machine a appris à reconnaître les chats ; la machine sait traduire ce que vous dites en chinois.

En 1986, « profond » disait jusqu’où on prenait des notes dans une recherche. En 2006, il disait combien de couches on empilait. En 2012, il disait que si l’on retirait une couche intermédiaire et ne comptait que la réponse de premier choix, la proportion de réponses justes baissait d’environ deux points. Ensuite, le mot est devenu un nom. Et, quand un adjectif devient un nom, les choses concrètes, couche après couche, qu’il décrivait se retirent derrière le nom.

Reste cet après-midi à Tianjin. Une machine change l’anglais de quelqu’un en chinois en reprenant sa propre voix. La personne sur scène ne sait pas dire une phrase en chinois. On peut reproduire sa voix. Mais qui veut dire ces phrases et à qui, c’est toujours l’homme sur scène. La série appelle « le reste » ce qu’on ne peut pas faire entrer ainsi dans la machine.

On construit encore des machines. Quant à savoir où passe la limite, chaque génération le dit à nouveau.