Meißel-Konstrukt-Zyklus · KI-Reihe · 17

Was ist am „Deep Learning“ eigentlich tief?

Han Qin · Etwa 10 Minuten · Veröffentlicht

I. Vier Namen

Im Juli 2006 erschienen fast gleichzeitig zwei Aufsätze. Der eine stand in Neural Computation, Band 18, Heft 7. Geoffrey Hinton, Simon Osindero und Yee-Whye Teh nannten ihn „Ein schneller Lernalgorithmus für tiefe Belief-Netze“. In der Zusammenfassung stand, ein schneller Greedy-Algorithmus könne tiefe gerichtete Belief-Netze Schicht für Schicht lernen. Gleich darauf folgte die Bedingung: „vorausgesetzt, die obersten zwei Schichten bilden einen ungerichteten Assoziativspeicher“.

Der andere Aufsatz erschien am 28. Juli in Science. Hinton und Ruslan Salakhutdinov hatten ihn gemeinsam verfasst und nannten ihn „Die Dimension von Daten mit neuronalen Netzen reduzieren“. Sie trainierten ein mehrschichtiges Netz zuerst Schicht für Schicht vor und stimmten es danach mit der Rückpropagation des Fehlers aus Folge 14 fein ab. Im Titel stand unmissverständlich: neuronale Netze.

Im Winter desselben Jahres legte Yoshua Bengios Gruppe von der Université de Montréal auf der NIPS, der Konferenz für neuronale Informationsverarbeitungssysteme, einen Beitrag vor: „Greedy-Training tiefer Netze, Schicht für Schicht“. Gleich zu Beginn der Zusammenfassung war von tiefen, mehrschichtigen neuronalen Netzen die Rede. Über die Schwierigkeiten hieß es: Bei der gradientenbasierten Optimierung von einem zufälligen Ausgangspunkt aus bleibe man „anscheinend oft“ bei schlechten Lösungen hängen. Anscheinend und oft standen beide da. Yann LeCuns Gruppe von der New York University nannte ihren Beitrag auf derselben Konferenz „Effizientes Lernen dünn besetzter Darstellungen mit einem energiebasierten Modell“. Das Wort tief kam darin nicht vor.

Vier Aufsätze, vier Bezeichnungen: tiefe Belief-Netze, neuronale Netze, tiefe Netze, dünn besetzte Darstellungen. Einen gemeinsamen Namen gab es in jenem Jahr noch nicht.

Auch der Ausdruck Deep Learning tauchte in der Fachliteratur zum maschinellen Lernen nicht erst in jenem Jahr auf. Im August 1986 veröffentlichte Rina Dechter auf der Jahrestagung der amerikanischen Gesellschaft für künstliche Intelligenz einen Aufsatz über Probleme mit Nebenbedingungen: „Lernen während der Suche“. Sie sprach dort von tiefem und von flachem Lernen. Tief bezog sich darauf, wie weit Konflikte während einer Suche zurückverfolgt und festgehalten wurden. Mit mehrschichtigen Netzen hatte es nichts zu tun.

Ein Adjektiv wurde zuerst anderswo verwendet und später auf etwas anderes übertragen. In dieser Reihe ist das nicht das erste Mal.

II. Jene Jahre

2004 richteten Hinton und mehrere Kollegen am Canadian Institute for Advanced Research ein neues Programm ein: Neural Computation and Adaptive Perception. Bengio und LeCun waren ebenfalls dabei. Hinton leitete es bis 2013. Im August 2006 veranstaltete das Programm eine Sommerschule in Toronto.

Im Dezember 2007 fand in Vancouver ein Workshop statt, der NIPS 2007 Deep Learning Workshop hieß. Spätere Aufsätze führen Hintons Vortrag dort unter dem Titel „Wie man im Gehirn Backpropagation betreibt“ an. Im letzten Absatz der Arbeit von 1986 aus Folge 14 hieß es, das Verfahren entspreche in seiner damaligen Form nicht dem Lernen im Gehirn. Einundzwanzig Jahre später stand derselbe Mann auf einem Workshop namens Deep Learning und sprach darüber, wie es im Gehirn gehen könnte.

Der Name wuchs nach und nach. 2009 erschien „tiefes unüberwachtes Lernen“ im Titel einer Arbeit von Andrew Ngs Stanford-Gruppe. 2011 nannte sich ein Workshop auf der Konferenz „Deep Learning and Unsupervised Feature Learning“ und erklärte ausdrücklich, er wolle Menschen mit Interesse an beiden Themen zusammenbringen. 2012 bezeichnete ein Google-Aufsatz das Fachgebiet im Text als unüberwachtes Merkmalslernen und Deep Learning. Im selben Jahr stand im Titel einer Arbeit zur Spracherkennung „tiefe neuronale Netze“.

LeCun sagte später halb im Scherz, sie seien die sogenannte Deep-Learning-Verschwörergruppe gewesen. Er erzählte auch, die CVPR habe einen seiner Aufsätze 2011 abgelehnt; im Jahr darauf habe ihn die ICML angenommen. Zuvor sei eine ganze Reihe von Arbeiten über CNNs abgelehnt worden.

III. Grafikkarten

Grafikkarten waren ursprünglich dafür da, Bilder zu zeichnen. Im Februar 2007 brachte Nvidia die Programmierwerkzeuge CUDA heraus. Damit konnten auch Programme, die etwas anderes berechneten, die Grafikkarte direkt nutzen, ohne den Umweg über die Grafikschnittstelle.

Im Juni 2009 veröffentlichten Andrew Ng und seine Studenten Rajat Raina und Anand Madhavan „Tiefes unüberwachtes Lernen in großem Maßstab mit Grafikprozessoren“. Ihre Folien nannten die Grafikkarte: eine Nvidia GTX 280 mit einem Gigabyte Grafikspeicher und 240 Kernen, damals für etwa 250 Dollar. Gegenüber einem gewöhnlichen Rechner mit zwei Kernen lief das Training für eine Netzart 72-mal so schnell, für die andere etwa 15-mal so schnell. Bei einem mehrschichtigen Netz dauerte das Lernen ungefähr einen Tag pro Schicht.

Nahe Lugano in der Schweiz gibt es das KI-Forschungsinstitut IDSIA. Dan Cireșan, Jürgen Schmidhuber und ihre Kollegen ließen dort 2010 die gewöhnliche Fehlerrückpropagation auf Grafikkarten laufen und machten bei handgeschriebenen Ziffern 35 Fehler pro 10.000. In ihrer im Juli 2011 auf der IJCAI veröffentlichten Arbeit schrieben sie, mit Grafikkarten ließen sich große CNNs in Tagen statt Monaten trainieren.

Im selben Jahr gab es einen Wettbewerb mit über 50.000 Bildern deutscher Verkehrszeichen. Die Gruppe gewann mit 0,56 Prozent Fehlern; die Menschen, die zum Vergleich dieselbe Aufgabe erhielten, machten im Schnitt 1,16 Prozent Fehler. 2012 gewann sie weitere Wettbewerbe: In einem sollten aus elektronenmikroskopischen Bildern Nervenstrukturen abgegrenzt werden, im anderen teilende Zellen in Gewebeschnitten von Brustkrebs erkannt werden.

IV. Zwei Grafikkarten

Am 30. September 2012 um 23 Uhr Greenwich Mean Time endete die Abgabefrist für den großen Wettbewerb zur visuellen Erkennung aus Folge 16. Drei Leute von der University of Toronto reichten unter dem Namen SuperVision ihre Ergebnisse ein: Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton. Ihr Netz hatte sechzig Millionen Parameter, 650.000 Neuronen, fünf Faltungsschichten und drei voll verbundene Schichten. Später nannte man das Netz nach dem Erstautor AlexNet.

Für das Training benutzten sie zwei Nvidia GTX 580 mit je drei Gigabyte Grafikspeicher. Das Netz passte nicht in den Speicher einer einzigen Karte. Also teilten sie es auf, eine Hälfte pro Karte; zwischen bestimmten Schichten tauschten die Karten Daten aus. Ein Trainingsdurchlauf dauerte fünf bis sechs Tage.

Wo die Grafikkarten standen, erzählte Hinton 2023 einem Reporter des New Yorker: „Seine beiden Grafikkarten summten in seinem Schlafzimmer.“ In derselben Erinnerung kamen auch die hohen Stromkosten zur Sprache. Dafür zahlten Krizhevskys Eltern.

SuperVision legte die Vorhersagen von sieben Netzen zusammen und kam im Wettbewerb auf eine Top-5-Fehlerquote von 15,3 Prozent. Das beste der übrigen Teams lag bei 26,2 Prozent. Auf dem Workshop in Florenz am 12. Oktober war der Vortrag von SuperVision von fünf nach fünf bis halb sechs am Nachmittag angesetzt. Später wurde über diesen Nachmittag vieles erzählt, und manches davon ganz unterschiedlich.

Im Dezember erschien die Arbeit im Konferenzband: „ImageNet-Klassifikation mit tiefen neuronalen Faltungsnetzen“. Neuronale Netze stand immer noch im Titel.

In der Diskussion beschrieben die Autoren einen Versuch: Nahm man eine beliebige der mittleren Faltungsschichten heraus und wertete nur die Antwort, für die das Netz sich am sichersten hielt, sank die Trefferquote um rund zwei Prozentpunkte. Dann schrieben sie: „Die Tiefe ist also tatsächlich wichtig, um unsere Ergebnisse zu erzielen.“ Im selben Abschnitt stand, dass sie dieses Mal kein unüberwachtes Vortraining Schicht für Schicht eingesetzt hatten, also gerade nicht den Schritt aus den beiden Arbeiten von 2006.

V. Tianjin

Im Oktober 2012 zeigte Rick Rashid, der Leiter von Microsoft Research, auf der von Microsoft Research Asia veranstalteten Konferenz Computing in the 21st Century in Tianjin eine Vorführung. Er stand auf der Bühne und sprach Englisch. Auf dem großen Bildschirm über ihm waren zuerst die englischen Wörter zu sehen, die er sagte. Dann wurden daraus chinesische Schriftzeichen. Dann las eine synthetische Stimme den chinesischen Text vor. Sie war Rashids eigener Stimme nachgebildet; er selbst sprach kein Chinesisch. Im Saal wurde applaudiert.

Am 8. November schrieb er im Unternehmensblog, solche Systeme hätten früher etwa jedes vierte oder fünfte Wort falsch erkannt, nun ungefähr jedes siebte oder achte. Das seien über dreißig Prozent weniger Fehler. Im selben Absatz fügte er hinzu: „immer noch alles andere als perfekt“.

Im selben Monat erschien in einer Fachzeitschrift für Signalverarbeitung ein Aufsatz mit elf Autoren: „Tiefe neuronale Netze zur akustischen Modellierung in der Spracherkennung: die gemeinsame Sicht von vier Forschungsgruppen“. Die vier Gruppen kamen von der University of Toronto, Microsoft Research, Google und IBM. In einem Versuch der Microsoft-Gruppe sank die Wortfehlerrate von 27,4 auf 18,5 Prozent. Rashids Vorführung beruhte auf Technik aus dieser Forschungslinie.

VI. Katzen

Ende Dezember 2011 stellten Quoc V. Le, Jeff Dean, Andrew Ng und fünf weitere Autoren eine Arbeit ins Netz. Im Jahr darauf erschien sie auf der ICML: „Aufbau höherstufiger Merkmale mit unüberwachtem Lernen in großem Maßstab“. Das Netz hatte neun Schichten und rund eine Milliarde Verbindungen. Es bekam zehn Millionen kleine Bilder von 200 mal 200 Bildpunkten aus Internetvideos zu sehen. Keines der Bilder war von Menschen beschriftet worden. Tausend Rechner mit 16.000 Prozessorkernen trainierten das Netz rund drei Tage lang.

Am Anfang wollten sie wissen: Kann aus unbeschrifteten Bildern ein Baustein entstehen, der menschliche Gesichter erkennt? Eine Einheit des Netzes sprach besonders stark auf menschliche Gesichter an. Daraufhin machten sie mehrere Vergleichstests: Sie verschoben, vergrößerten, verkleinerten und drehten Gesichter zur Seite, um zu sehen, ob die Einheit sie noch erkannte. Über Katzen hieß es in der Zusammenfassung, dass dasselbe Netz „auch empfindlich auf andere höherstufige Konzepte wie Katzengesichter“ reagiere.

Daraus wurde später: Das Netz von Google hat sich selbst beigebracht, Katzen zu erkennen. Im Aufsatz stand: empfindlich, Katzengesichter und andere höherstufige Konzepte.

VII. Die Auktion

2012 gründeten Hinton und seine beiden Studenten ein Unternehmen namens DNNresearch. Es bestand aus ihnen dreien.

Die NIPS im Dezember jenes Jahres fand in einem Kasinohotel am Lake Tahoe statt. Der Journalist Cade Metz rekonstruierte 2021 anhand von Interviews, was in diesen Tagen geschah. In Zimmer 731 wurde das Drei-Personen-Unternehmen versteigert. Google, Microsoft, Baidu und das Londoner Unternehmen DeepMind boten mit. Bei ungefähr 22 Millionen Dollar unterbrach Hinton die Auktion. Als sie wieder anlief, stieg Microsoft aus; Google und Baidu blieben. Bei 24 Millionen Dollar übernahm eine Führungskraft in Peking das Bieten für Baidu von Yu Kai. Bei 44 Millionen Dollar ließ Hinton nicht weiterbieten. Die Firma ging an Google. Von 2013 an arbeitete Hinton zugleich bei Google und weiter an der University of Toronto.

Im Januar 2014 kaufte Google auch DeepMind, das 2010 in London gegründete Unternehmen. In manchen Berichten war von 400 Millionen Dollar die Rede, in anderen von 400 Millionen Pfund.

Die Firma bestand aus drei Menschen; geboten wurde um diese drei Menschen. Einer von ihnen entschied in diesem Zimmer, bei welchem Preis Schluss war.

VIII. Tief

Im November 2012 schrieb John Markoff für die New York Times eine längere Reportage, die später unter dem Titel „Forscher setzen Hoffnungen in Deep-Learning-Programme“ bekannt wurde. Er schilderte die Vorführung in Tianjin: das Englisch und die chinesischen Schriftzeichen auf dem Bildschirm, Rashids Stimme. Er sprach auch mit Hinton. Der sagte ihm, sie hätten früh beschlossen, mit dem Verfahren kein Geld zu verdienen und es möglichst weit zu verbreiten.

Im selben Jahr machten sich LeCun und Bengio an die Organisation einer neuen Konferenz. Die erste fand im Jahr darauf in Scottsdale, Arizona, statt. Sie hieß ICLR, International Conference on Learning Representations. Für das erste Treffen wurden 67 Arbeiten eingereicht, 23 wurden angenommen. Im Namen der Konferenz stand weder Deep Learning noch neuronale Netze.

Später machte vor allem eine Erklärung die Runde: Neuronale Netze seien in Verruf geraten, darum habe man sie in Deep Learning umbenannt. Aber auf den Arbeiten, die damals erschienen, etwa 2006 in Science und 2012 zu ImageNet, stand weiterhin neuronale Netze. In Folge 13 hieß es, zeitweise sei auch der Name künstliche Intelligenz beiseitegelegt worden. Die Geschichte von der Umbenennung und die Geschichte vom beiseitegelegten Namen haben eines gemeinsam: Viele erzählen sie, wenige können etwas Schriftliches dafür vorweisen.

Auch in dieser Folge fielen Dinge weg: 2006 das „anscheinend oft“; 2012 das „um unsere Ergebnisse zu erzielen“; in Googles Aufsatz das „empfindlich“ und die „Katzengesichter“; bei Rashid das „immer noch alles andere als perfekt“. Danach bleiben ein paar glatte Sätze: Nur tiefe Netze funktionieren. Die Maschine lernte, Katzen zu erkennen. Die Maschine kann deine Worte ins Chinesische übersetzen.

Tief bezeichnete 1986, wie weit bei einer Suche etwas zurückverfolgt und festgehalten wurde. 2006 ging es um die Anzahl übereinanderliegender Schichten. 2012 hieß es: Nimmt man eine mittlere Schicht heraus und wertet nur die erste Wahl, sinkt die Trefferquote um rund zwei Prozentpunkte. Später wurde tief Teil eines Namens. Sobald ein Adjektiv zum Namen wird, tritt das Konkrete, das es einst Schicht um Schicht bezeichnete, hinter den Namen zurück.

Und da war jener Nachmittag in Tianjin. Die Maschine machte aus dem Englisch eines Menschen Chinesisch, in seiner eigenen Stimme. Der Mensch auf der Bühne sprach kein Wort Chinesisch. Die Stimme ließ sich nachbilden; wer diese Sätze sagen wollte und an wen er sie richtete, das war weiterhin der Mensch auf der Bühne. Was sich so nicht in die Maschine einbauen lässt, heißt in dieser Reihe der Rest.

Noch werden Maschinen gebaut. Wo aber die Grenze liegt, sagt jede Generation von Neuem.