I. Vier Seiten
Am 9. Oktober 1986 brachte die britische Wochenzeitschrift Nature einen vierseitigen Aufsatz: Lernen von Repräsentationen durch Rückwärtspropagation von Fehlern. Darunter standen drei Namen, in dieser Reihenfolge: David Rumelhart, Geoffrey Hinton und Ronald Williams.
Der erste Satz der Zusammenfassung lautet: »Wir beschreiben ein neues Lernverfahren, Backpropagation, für Netze aus neuronähnlichen Einheiten.« Das Wort neu steht bei den Verfassern selbst.
Mitten in der Darstellung steht eine Anmerkung: Eine Variante des Verfahrens habe auch Parker unabhängig entdeckt, eine andere LeCun. Auf vier Seiten stehen also das Wort neu und die Mitteilung, andere hätten Varianten unabhängig davon entdeckt.
Am Ende stehen vier Quellen: Rosenblatts Buch, Minskys und Paperts Buch, ein französischer Aufsatz, den LeCun im Vorjahr in Paris vorgestellt hatte, und Kapitel acht eines gerade erschienenen zweibändigen Werkes. Die Namen, die hier noch zur Sprache kommen, Kelley, Bryson, Dreyfus, Linnainmaa und Werbos, stehen nicht in der Liste.
Der Aufsatz beschreibt einige kleine Versuche. Einer betrifft Symmetrie: Sechs Schalter können jeweils ein oder aus sein. Es gibt vierundsechzig Anordnungen, und das Netz muss sagen, ob eine links und rechts symmetrisch ist. Zwischen Eingang und Ausgang liegen nur zwei Einheiten. Ein Durchlauf umfasst alle vierundsechzig Anordnungen; der Versuch brauchte 1.425 Durchläufe. Ein anderer Versuch betrifft Stammbäume. Zwei erfundene Familien wurden in einzelne Beziehungen zerlegt: Wer ist wessen Vater, wer wessen Tante? Von hundertvier Beziehungen gingen hundert ins Training. Vier blieben zurück, damit man prüfen konnte, ob das Netz auch sie angeben konnte. Das Netz sollte Beziehungen zwischen Menschen lernen. In den vier Seiten steht auch, dass das Verfahren nicht garantiert, die besten Zahlen zu finden.
II. Zurückrechnen
Zur selben Zeit bauten Terrence Sejnowski und Charles Rosenberg ein Netz, das Englisch vorlesen lernte. Es hieß NETtalk, das Netz spricht. Es sah jeweils sieben Buchstaben, wie durch ein schmales Fenster mit sieben Feldern. Seine Antwort sollte angeben, wie der Buchstabe in der Mitte auszusprechen ist. Danach rückte das Fenster um eine Stelle weiter. Am Eingang lagen 203 Einheiten, in der Mitte achtzig, am Ausgang sechsundzwanzig. Zwischen ihnen gab es mehr als achtzehntausend verstellbare Verbindungswerte. Das Netz gab keine Laute aus, sondern eine Folge von Codes für Phoneme und Betonung. Erst ein Sprachsynthesizer von DEC machte daraus hörbare Laute.
Die technische Beschreibung erklärt, wie verstellt wurde: »Nach jedem Wort werden die Gewichte danach angepasst, wie nahe die berechnete Aussprache an der richtigen liegt.« Die Gewichte sind diese mehr als achtzehntausend verstellbaren Zahlen. Wie stark eine Einheit die nächste beeinflusst, hängt von der Zahl zwischen ihnen ab.
Die vier Seiten in Nature beschreiben die Reihenfolge so: Man beginnt am Eingang und berechnet Schicht für Schicht den Zustand jeder Einheit. Oben wird die Ausgabe mit der erwarteten Antwort verglichen. Die Abweichung ergibt den Fehler. Dann rechnet man von der obersten Schicht zurück. Wie und um wie viel ändert sich der Fehler am Ende, wenn sich eine Zahl im Inneren ein wenig ändert? Erst danach verstellt man die Zahlen in den vorgesehenen Schritten. Rückwärts läuft nicht derselbe Fehlerwert, sondern die Information darüber, wie empfindlich er auf Änderungen reagiert.
Eines gehört nicht zum Netz: die richtige Aussprache. Sie liegt vorher fest. Jede Anpassung richtet sich nach dieser vorgegebenen Antwort. Im Stammbaumversuch liefern die Leute, die ihn erfunden haben, die richtigen Antworten. Beim Symmetrieversuch bestimmen die Aufgabensteller, was symmetrisch heißt.
III. Flugbahnen
Im Mai 1960 hielt die American Rocket Society ihre Halbjahrestagung in Los Angeles ab. Henry Kelley von Grumman Aircraft Engineering trug seine Gradiententheorie optimaler Flugbahnen vor.
Er berechnete, wie ein Fluggerät am besten fliegt: wie man seine Flugleistung ausnutzt, wie es von einer Bahn auf eine andere gelangt und wie es sein Ziel in möglichst kurzer Zeit erreicht. Dabei gelten überall Einschränkungen; das Fluggerät muss seiner eigenen Dynamik folgen. Kelley nannte sein Verfahren Gradientenmethode oder steilsten Abstieg, wörtlich den Weg in die Richtung, in der es am schnellsten bergab geht. Von Netzen und Lernen steht nichts im Aufsatz.
Im April 1961 gab es in Harvard ein Symposium über Digitalrechner und ihre Anwendungen. Arthur Bryson sprach über eine Gradientenmethode zur Optimierung mehrstufiger Zuteilungsprozesse. Eine Aufgabe wird in mehreren Schritten erledigt. Was wird bei jedem Schritt wie zugeteilt, damit das Ganze am besten gelingt? Acht Jahre später schrieb er mit Yu-Chi Ho Angewandte optimale Steuerung. Spätere Darstellungen stellten das Buch neben Kelleys Aufsatz.
1962 erschien Stuart Dreyfus’ Numerische Lösung von Variationsproblemen in einer Mathematikzeitschrift. Auch hier sucht man aus vielen möglichen Wegen den besten. Spätere Darstellungen halten fest, Dreyfus habe mit der Kettenregel allein die Gradientenberechnung von hinten nach vorn angeordnet. Die Kettenregel stammt aus der Differentialrechnung: Wirkt eine Größe über mehrere Zwischenstufen auf eine andere, ergibt sich entlang dieser Kette die gesamte Wirkung aus dem Produkt der Wirkungen an den einzelnen Stufen.
Dreyfus kam in Folge elf vor. Sein Name stand mit anderen in der Danksagung des RAND-Memorandums von 1965. Er war der jüngere Bruder von Hubert Dreyfus. Mehr als zwanzig Jahre später schrieben sie gemeinsam Bücher und Aufsätze. Der Philosoph schrieb, was Maschinen nicht können. Der mathematische Aufsatz seines Bruders von 1962 wurde später in diese Vorgeschichte aufgenommen.
Flug, Zuteilung, Variation: Dreimal ging es darum, aus vielen Wegen den besten zu finden. In jenen Jahren hieß das Verfahren Gradientenmethode, gesucht wurde eine Bahn, und niemand nannte es Lernen.
IV. Rundungsfehler
Im Juni 1967 veröffentlichte Shun’ichi Amari in einer Zeitschrift für elektronische Rechner Theorie adaptiver Musterklassifikatoren. Eine seiner Anpassungsarten nannte er stochastischen Abstieg; auch den steilsten Abstieg erörterte er. Sein Fach war Musterklassifikation und Statistik. Die Maschine sollte das, was hineinkam, in Klassen einteilen.
1970 reichte Seppo Linnainmaa an der Universität Helsinki seine Magisterarbeit ein. Sie war auf Finnisch geschrieben. Übersetzt lautet der Titel: Der kumulierte Rundungsfehler eines Algorithmus, dargestellt als Taylorentwicklung der einzelnen lokalen Rundungsfehler.
Rechner arbeiten mit endlich vielen Stellen. Bei manchen Operationen wird am Ende ab- oder aufgerundet. Linnainmaa suchte eine rechnerisch handhabbare Methode dafür, wie sich die kleinen Fehler in einer langen Rechnung zum Ergebnis aufsummieren. Gegenstand waren beliebige Rechenprogramme, keine Netze. In der Arbeit steht weder neuronales Netz noch Backpropagation. Auf dem Gebiet der automatischen Differentiation nannte man diese Art von Verfahren später Rückwärtsakkumulation. Als Linnainmaa schrieb, gab es diesen Namen noch nicht.
V. Das Wort Lernen
1974 reichte Paul Werbos in Harvard seine Dissertation ein: Jenseits der Regression: neue Werkzeuge für Vorhersage und Analyse in den Verhaltenswissenschaften. Er arbeitete an Vorhersagen in den Verhaltenswissenschaften. Das effiziente Verfahren zur Berechnung von Ableitungen nannte er dynamische Rückkopplung.
Im zweiten Kapitel auf Seite 22 steht ein Satz über »Funktionen, die Modellneuronen entsprechen«. Gleich danach: »Am leichtesten berechnet man diese Ableitungen, indem man einfach dynamische Rückkopplung benutzt.« Später spricht die Arbeit über das Gehirn und die Idee, Ableitungen rückwärts weiterzugeben.
1981 trug Werbos auf einer Tagung über Modellierung und Optimierung von Systemen in New York Anwendungen von Fortschritten in der nichtlinearen Sensitivitätsanalyse vor. Spätere Darstellungen sehen darin eine ausdrückliche Anwendung seines Verfahrens auf neuronale Netze.
1982 ging beim Büro für Technologielizenzen der Stanford University eine Erfindungsmeldung ein: Learning Logic, eingereicht von David Parker. Das Differenzierverfahren war in diesem Büro eine Erfindung, die auf eine Lizenz wartete. 1985 veröffentlichte Parker an einem MIT-Forschungszentrum für computergestützte Wirtschafts- und Managementwissenschaft einen technischen Bericht mit dem längeren Titel Learning Logic: Die Hirnrinde in Silizium gießen.
1985 fand in Paris die kognitionswissenschaftliche Tagung Cognitiva 85 statt. Yann LeCuns französischer Beitrag hieß übersetzt: Ein Lernverfahren für asymmetrische Schwellenwertnetze.
Um September 1985 veröffentlichten Rumelhart, Hinton und Williams in San Diego einen nummerierten technischen Bericht: Interne Repräsentationen durch Fehlerpropagation lernen. Im folgenden Jahr wurde derselbe Titel zum achten Kapitel des zweibändigen Werks. Die Vorschrift zur Anpassung nannten sie verallgemeinerte Delta-Regel. In Nature wurde aus Fehlerpropagation im Titel Rückwärtspropagation von Fehlern.
Nebeneinander standen damals diese Namen: Gradientenmethode, steilster Abstieg, stochastischer Abstieg, dynamische Rückkopplung, Learning Logic, Lernverfahren, Fehlerpropagation, verallgemeinerte Delta-Regel und Backpropagation. Welche davon dasselbe bezeichnen, wird unterschiedlich beurteilt.
Eine Grenze in den Namen ist gut sichtbar. Beim Flugzeughersteller suchte man Flugbahnen, in Helsinki berechnete man Fehler, in den Verhaltenswissenschaften in Harvard suchte man Vorhersagen. Das Wort Lernen kommt erst hinzu, als das Verfahren in einem Netz aus neuronähnlichen Einheiten steckt: Learning Logic 1982, Lernverfahren und Lernen interner Repräsentationen 1985, neues Lernverfahren 1986. Ähnliche Rechenarbeit heißt bei Flugbahnen Optimierung, bei Fehlern Analyse und im Netz Lernen.
Seit Samuels Dameprogramm in Folge sieben ist die Frage, ob eine Maschine lernt, eine Grenze. Diesmal lag sie bei einem Verfahren, das Ableitungen rückwärts berechnet. Was es auf die andere Seite brachte, war ein Name.
VI. Zwei Bände
Im Juli 1986 veröffentlichte MIT Press ein zweibändiges Werk: Parallel Distributed Processing: Untersuchungen zur Mikrostruktur der Kognition. Der erste Band hieß Grundlagen, der zweite Psychologische und biologische Modelle. Auf dem ersten standen Rumelhart, McClelland und die PDP-Forschungsgruppe. Auf dem zweiten stand McClelland zuerst.
Das Werk verkaufte sich schnell. Die erste Auflage von sechstausend Exemplaren war vor dem offiziellen Erscheinen vergriffen. Zwei Jahre später schätzte man die Zahl im Druck auf ungefähr dreißigtausend. Beide Zahlen nennen die Brüder Dreyfus in ihrem Aufsatz von 1988 über das Herstellen eines Geistes und das Modellieren eines Gehirns, der in Folge elf vorkam. Stuart Dreyfus erscheint in dieser Folge zweimal. Sein mathematischer Aufsatz von 1962 gehört zur Vorgeschichte des Verfahrens. 1988 zählte er mit seinem Bruder die Auflage des Buchs.
Am 4. Januar 1987 erschien in der New York Times eine Rezension mit dem Titel Die Verbindungen der Kognition. Im selben Jahr besprachen Science und am 12. Juni das Times Literary Supplement das Werk. In Nature hieß die Rezension Nur verbinden! Ein Buch darüber, wie ein Netz seine internen Repräsentationen selbst einstellt, stand auf den Buchseiten der Zeitungen.
Auch diese Richtung hatte mehrere Namen. Das Buch nannte sie parallele verteilte Verarbeitung. Daneben sprach man von Konnektionismus, neuronalem Rechnen und Forschung an neuronalen Netzen. Später setzte sich Konnektionismus am weitesten durch.
1988 brachten McClelland und Rumelhart ein Handbuch heraus, mit Modellen, Programmen und Übungen im Titel. Hinten lagen zwei Disketten mit den Programmen für die Netze. Wer das Buch kaufte und die Disketten in seinen Computer steckte, konnte zu Hause ein Netz laufen lassen. Es rechnete vom Fehler aus zurück und stellte seine Gewichte Runde für Runde neu ein.
VII. In seiner gegenwärtigen Form
Der erste Satz des letzten Absatzes der vier Seiten in Nature lautet: »Dieses Lernverfahren ist in seiner gegenwärtigen Form kein glaubwürdiges Modell für Lernen im Gehirn.«
Der Absatz fährt fort: Wendet man es auf verschiedene Aufgaben an, sieht man, dass Gradientenabstieg interessante interne Repräsentationen hervorbringen kann. Es lohne sich deshalb, biologisch glaubwürdigere Verfahren für Gradientenabstieg in neuronalen Netzen zu suchen. Ein Aufsatz, der ein neues Lernverfahren vorstellte, zog am Ende eine Grenze. Das Verfahren hieß Lernen, doch in seiner gegenwärtigen Form war es kein Modell des Lernens im Gehirn. Diese Grenze zogen die Verfasser.
Am 12. Januar 1989 erschien in Nature Francis Cricks Kommentar Die jüngste Begeisterung für neuronale Netze. Crick hatte mit anderen die Doppelhelixstruktur des Erbmaterials entdeckt. Der letzte Satz der Zusammenfassung lautet: »Leider sind die meisten dieser neuronalen Netze in mancher wichtigen Hinsicht unrealistisch.«
Zur selben Zeit lief eine weitere Debatte. 1988 brachte der achtundzwanzigste Band von Cognition zwei lange Aufsätze. Fodor und Pylyshyn fragten, ob solche Netze die Kombinierbarkeit von Gedanken erklären können. Wer denken kann, dass John das Mädchen liebt, kann auch denken, dass das Mädchen John liebt. Pinker und Prince nahmen auf mehr als hundertzwanzig Seiten das Modell aus dem Zweibänder unter die Lupe, das die englische Vergangenheit von Verben lernte. Können seine Repräsentationen, sein Trainingsmaterial und seine Art zu verallgemeinern sprachliche Regeln erklären? Im selben Jahr erschien die Neuausgabe des Buchs von Minsky und Papert aus Folge acht. Auch ihr Nachwort beurteilte die neuen Anpassungsregeln.
Das sind verschiedene Grenzen. Die Verfasser sagten, das Verfahren sei derzeit kein Modell des Lernens im Gehirn. Crick sagte, die Netze glichen in wichtiger Hinsicht keinem wirklichen Gehirn. Fodor und Pylyshyn fragten, ob die Netze die Struktur des Denkens erklären. Drei Grenzen an drei Stellen, für drei verschiedene Fragen.
Noch 1989 wurde das Verfahren praktisch eingesetzt. Yann LeCun und sechs Kollegen an den Bell Laboratories veröffentlichten Backpropagation zur Erkennung handschriftlicher Postleitzahlen in der vierten Ausgabe des ersten Bands der neuen Zeitschrift Neural Computation. Jede Ziffer bestand aus sechzehn mal sechzehn Graustufenpunkten. Es gab 9.298 Ziffern, 7.291 fürs Training und 2.007 zum Testen. Sie seien, heißt es im Aufsatz, »auf US-Post vorgekommen, die das Postamt in Buffalo, New York, durchlief«. Wer sie geschrieben hatte, stand dort nicht.
An der Carnegie Mellon University baute Dean Pomerleau ein Netz, das einem Straßenverlauf folgen konnte, und setzte es in den Versuchswagen für autonome Navigation ein. Das Kamerabild bestand im Netz aus dreißig mal zweiunddreißig Punkten aus dem Helligkeitswert des Blaukanals. Dazwischen lagen neunundzwanzig Einheiten; am Ausgang standen fünfundvierzig mögliche Lenkrichtungen, von scharf links über geradeaus bis scharf rechts. Trainiert wurde es vor allem mit simulierten Straßenbildern und dann auf wirklichen Straßen erprobt. Unter bestimmten Bedingungen im Freien, heißt es im Aufsatz, konnte es der Straße folgen.
Englisch vorlesen, Ziffern auf Umschlägen erkennen, einer Straße folgen. Geprüft wurde, ob die Aussprache stimmte, die Ziffer richtig erkannt wurde und der Wagen auf der Straße blieb. Kein Test fragte, ob es einem Gehirn glich.
VIII. Unabhängig
Wer das Verfahren zuerst entdeckte, ist bis heute umstritten. Jürgen Schmidhuber meldete sich dazu besonders oft zu Wort. Seit 2014 ordnete er die Vorgeschichte auf seiner Website in aufeinanderfolgenden Fassungen. 2020 veröffentlichte er aus Anlass des halben Jahrhunderts einen Text mit dem Titel Wer erfand Backpropagation? Seiner Darstellung zufolge veröffentlichte der finnische Student Linnainmaa 1970 erstmals die moderne Form. Kelleys Aufsatz von 1960 war ein Vorläufer. Danach folgten Bryson, Stuart Dreyfus, Werbos, Parker, LeCun und Rumelharts Gruppe. Schmidhuber forderte die drei späteren Turingpreisträger auf der Website öffentlich auf, die Einträge Punkt für Punkt zu beantworten.
Auf der anderen Seite gab ein Bericht vom April 2020 Hintons Antwort in einem Onlineforum wieder: »Ich habe nie behauptet, Backpropagation erfunden zu haben. David Rumelhart erfand sie unabhängig, nachdem Menschen in anderen Fächern sie schon erfunden hatten.« Der Beitrag seiner Gruppe sei gewesen, deutlich zu zeigen, dass das Verfahren interessante interne Repräsentationen lernen kann, und viele Menschen darauf aufmerksam gemacht zu haben.
Am 8. Oktober 2024 wurde John Hopfield und Hinton der Nobelpreis für Physik zugesprochen. Die Begründung lautete, ihre grundlegenden Entdeckungen und Erfindungen hätten maschinelles Lernen mit künstlichen neuronalen Netzen ermöglicht. Diese Aussagen haben jeweils ihren eigenen Ort. Hier stehen sie nebeneinander.
Das Wort unabhängig hatte zwei Zuordnungen. 1986 stand es bei Parker und LeCun auf den vier Seiten in Nature. Das Verfahren war neu, andere hatten Varianten unabhängig entdeckt. Neu stand im Haupttext, unabhängig war eine Bemerkung daneben. 2020 stand es in Hintons Antwort bei Rumelhart: Andere Fächer waren zuerst, unabhängig war jemand aus der eigenen Gruppe. Das Wort wechselte in vierunddreißig Jahren die Seite. Umgestellt hatte es einer der damaligen Mitverfasser.
Am weitesten verbreitet ist heute ein anderer Satz: 1986 erfanden drei Menschen Backpropagation und brachten Maschinen dazu, wie ein Gehirn zu lernen.
Dazu muss man zweierlei streichen. Zuerst die unabhängigen Entdeckungen in der Mitte der vier Seiten und die Orte dahinter, die im Quellenverzeichnis nicht vorkommen: eine Flugzeugfirma, eine Tagung in Harvard, eine Mathematikzeitschrift, eine Magisterarbeit in Helsinki und das Lizenzbüro in Stanford. Dann das »in seiner gegenwärtigen Form« am Schluss samt dem ganzen Satz, dass es kein Modell des Lernens im Gehirn sei. Beides sind Einschränkungen, die die Geschichte nicht tragen. Nach dem Streichen bleiben eine Erfindung, drei Erfinder und eine Maschine, die einem Gehirn gleicht.
Eines fehlt in der Geschichte, ob man streicht oder nicht.
In den Versuchen dieser Folge misst der Fehler den Abstand zwischen Ausgabe und richtiger Antwort. Die richtige Aussprache, die richtige Ziffer, die richtige Lenkrichtung und die Frage, wer wessen Tante ist, waren vorgegeben. Das Rückwärtsrechnen bestimmt nicht, was richtig heißt. Andere Lernverfahren können ohne menschliche Antworten zu jeder Aufgabe auskommen. Trotzdem brauchen sie ein Kriterium dafür, wohin sich das Netz verändern soll. Was auf diese Weise immer draußen bleibt, heißt in dieser Reihe der Rest.
Jede der mehr als neuntausend Ziffern vom Postamt in Buffalo stammte von einer Hand. Die Menschen dahinter wurden nicht verzeichnet. Als sie die Zahlen aufschrieben, wollten sie nur, dass ein Brief ankam.
Noch werden Maschinen gebaut. Wo aber die Grenze liegt, sagt jede Generation von Neuem.