Meißel-Konstrukt-Zyklus · KI-Reihe · 19

Fünf Sekunden für einen Titel: Attention Is All You Need

Han Qin · Etwa 10 Minuten · Veröffentlicht

I. Gesellschaft

1954 schrieb der Sprachwissenschaftler Zellig Harris in „Distributionsstruktur“: „Unterschiede in der Bedeutung hängen mit Unterschieden in der Verteilung zusammen.“ Verteilung meint hier, neben welchen anderen Wörtern ein Wort vorkommt. Der britische Sprachwissenschaftler J. R. Firth formulierte es 1957 verspielter: „Du erkennst ein Wort an der Gesellschaft, in der es sich bewegt!“ Auf Chinesisch verbreitete sich später eine andere Formulierung: Die Bedeutung eines Worts ergibt sich aus seinem Kontext.

Es dauerte viele Jahre, bis Maschinen etwas mit diesem Satz anfingen. 2003 veröffentlichten Yoshua Bengio und drei Kollegen „Ein neuronales probabilistisches Sprachmodell“. Das Modell ersetzte jedes Wort durch eine Zahlenfolge, einen verteilten Merkmalsvektor. Diese Folge lernte es zusammen mit der Fähigkeit, das nächste Wort vorherzusagen.

Im Januar 2013 stellten Tomáš Mikolov und drei Kollegen bei Google eine Vorabfassung ins Netz: „Wortdarstellungen in Vektorräumen effizient schätzen“. Aus Texten mit 1,6 Milliarden Wörtern ließen sich, schrieben sie, hochwertige Wortvektoren „in weniger als einem Tag“ lernen. Eine zweite Arbeit im Oktober desselben Jahres beschrieb weitere zeitsparende Verfahren und griff auf Texte aus Google News zurück. Der Ansatz wurde später unter dem Namen eines Programms bekannt: word2vec.

Aus einem Wort wurde eine Folge von ein paar hundert Zahlen. Bewegen sich zwei Wörter oft in derselben Gesellschaft, liegen ihre Vektoren nahe beieinander. Katze liegt nahe bei Hund, Montag nahe bei Dienstag. Die Zahlen halten fest, mit wem Katze häufig zusammen vorkommt. Was Harris und Firth beschrieben hatten, war hier zu einer Rechenaufgabe geworden.

II. König

Im Juni 2013 gaben Mikolov und zwei Kollegen in der Zusammenfassung eines Konferenzbeitrags ein Beispiel: Vom Vektor für König den für Mann abziehen, den für Frau hinzuaddieren; der errechnete Vektor liegt „sehr nahe“ am Vektor für Königin.

Später ging eine Gleichung um: König minus Mann plus Frau gleich Königin. Im Programm, das Google im selben Jahr veröffentlichte, galt für diese Aufgabe eine Regel: Keines der drei Wörter in der Frage durfte die Antwort sein. 2019 veröffentlichten drei Forschende aus den Niederlanden und Italien einen Aufsatz, dessen Titel selbst eine solche Aufgabe war: „Mann verhält sich zu Arzt wie Frau zu Arzt“. Mit dieser Regel, schrieben sie, könnten manche der naheliegendsten Antworten gar nicht vorkommen. Ohne sie sei oft gerade eines der Wörter aus der Frage dem errechneten Punkt am nächsten.

Auch der Titel eines Aufsatzes einer anderen Gruppe von 2016 war eine solche Aufgabe: „Mann verhält sich zu Programmierer wie Frau zu Hausfrau?“ Die Gruppe nutzte die aus Google News gelernten Worteinbettungen. In der Zusammenfassung hieß es, diese Vektoren ließen „ein beunruhigendes Maß an Geschlechterstereotypen“ erkennen. Die Forschenden schlugen vor, zuerst in der Einbettung die Richtung zu bestimmen, die für männlich und weiblich stand. Dann wollten sie Wörter, bei denen das Geschlecht keine Rolle spielen sollte, von dieser Richtung wegrücken. Eine sinnvolle Verbindung wie die von Königin und weiblich sollte erhalten bleiben.

Die Vektoren stammten aus Nachrichtentexten. Nachrichtentexte werden von Menschen geschrieben. Die Gesellschaft, in der sich die Wörter für die Maschine bewegten, war das, was von den Formulierungen vieler Menschen in Millionen Artikeln übrig geblieben war.

III. Zuordnung

2014 wurden Wortvektoren fürs Übersetzen eingesetzt.

Im September jenes Jahres veröffentlichten Ilya Sutskever und zwei Kollegen bei Google „Sequenz-zu-Sequenz-Lernen mit neuronalen Netzen“. Ein Netz las den ganzen Ausgangssatz Wort für Wort und verwandelte ihn in eine Zahlenfolge fester Länge. Ein zweites Netz schrieb ausgehend von dieser Folge Wort für Wort die Übersetzung. Lasen sie den Ausgangssatz rückwärts ein, funktionierte es besser. Im Sommer desselben Jahres hatten Mitglieder von Bengios Gruppe an der Université de Montréal ebenfalls ein ähnliches zweiteiliges Netz gebaut.

Einen ganzen Satz in eine Zahlenfolge fester Länge zu verwandeln, ist bei einem langen Satz, als presste man ein längeres Stück Text in einen kleinen Kasten.

Ebenfalls in Montréal stellten der junge Dzmitry Bahdanau, ein weiterer Forscher der Gruppe und Bengio am 1. September 2014 eine Vorabfassung ins Netz: „Neuronale maschinelle Übersetzung durch gemeinsames Lernen von Zuordnung und Übersetzung“. Zuordnung meint hier, welches Wort in der Übersetzung zu welchem Wort im Ausgangstext gehört. Für jedes Wort, das es schrieb, sah das übersetzende Netz noch einmal alle Wörter des Ausgangstexts an und gab jedem ein Gewicht. Die Gewichte ergaben zusammen eins. Danach führte das Netz die Informationen aus den verschiedenen Stellen nach diesen Gewichten zusammen, um dieses eine Wort zu schreiben.

An dieser Stelle stand im Aufsatz: „Anschaulich gesagt, setzt dies im Decoder einen Attention-Mechanismus um.“ Der Decoder ist hier das Netz, das die Übersetzung schreibt.

IV. Der Name

Im Titel stand nichts von Attention, sondern von Zuordnung und Übersetzung. Viele Jahre später erzählte Bahdanau in einem Brief, woher der Name kam. Zuerst habe er die Architektur RNNsearch genannt: Suche mit einem RNN. „Der bessere Name Attention wurde erst in einer der letzten Überarbeitungsrunden von Yoshua hinzugefügt“, schrieb er. Yoshua war Bengio. Karpathy, der in Folge 16 vorkam, machte den Brief später mit Bahdanaus Zustimmung öffentlich. Das Wort stammte aus der Psychologie: 1890 begann der amerikanische Psychologe William James das Kapitel über Aufmerksamkeit in seinen Principles of Psychology mit dem Satz: „Jeder weiß, was Aufmerksamkeit ist.“

Ein Jahr vor Bahdanau, im August 2013, hatte Alex Graves ein Netz zum Erzeugen von Handschrift gebaut. Während das Programm Strich für Strich schrieb, rückte ein weiches Fenster vor. Es bestimmte, welche Buchstaben des zu schreibenden Satzes gerade maßgeblich waren. Graves nannte es ein weiches Fenster. Bahdanau und seine Kollegen erwähnten die Arbeit als ähnliches Verfahren. Noch weiter zurück datierte Jürgen Schmidhubers Hinweis: Seine schnellen Gewichte von 1991 seien einer späteren vereinfachten Art von Attention formal gleichwertig.

Ein und dieselbe Vorrichtung hatte im Laufe der Zeit mehrere Namen: weiches Fenster, Zuordnung, Suche, Attention. Geblieben ist der Name, der zuletzt dazukam. Er stand ursprünglich in einem Satz, der mit „anschaulich gesagt“ begann.

V. Blaue Linien

Am 26. September 2016 veröffentlichte Google einen langen technischen Bericht über sein neuronales Übersetzungssystem. Die zweite Hälfte des Titels versprach, die Kluft zwischen menschlicher und maschineller Übersetzung zu überbrücken. Am folgenden Tag meldete der Unternehmensblog, die gesamte maschinelle Übersetzung aus dem Chinesischen ins Englische auf dem Handy und im Web sei auf das neue System umgestellt, rund achtzehn Millionen Übersetzungen am Tag. Chinesisch–Englisch war das erste umgestellte Sprachpaar.

Auch der Teil des Systems, der die Übersetzung schrieb, sah bei jedem Wort zum Ausgangstext zurück. Im Blog stand ein Bild: eine Reihe chinesischer Wörter, eine Reihe englischer Wörter, dazwischen blaue Linien. Je dunkler die Linie, desto mehr Gewicht hatte das betreffende chinesische Wort beim Schreiben des englischen Worts. So wurde Attention für jeden sichtbar.

Im Bericht stand eine Bewertung durch Menschen. Für denselben englischen Satz sahen sie vier französische Übersetzungen: die des alten phrasenbasierten Systems, die zweier neuer Systeme und eine menschliche Referenzübersetzung. Von höchstens sechs Punkten erhielten die vier im Schnitt 3,87, 4,46, 4,44 und 4,82. Laut Zusammenfassung ging es um „eine Reihe einfacher, für sich stehender Sätze“. Im letzten Absatz des Blogs stand, dass die Maschine immer noch Wörter ausließ, Namen und seltene Wörter falsch übersetzte und den weiteren Kontext nicht berücksichtigte. Und: „Maschinelle Übersetzung ist damit keineswegs gelöst.“

VI. Acht Menschen

Am 12. Juni 2017 stellten acht Menschen einen Aufsatz ins Netz: „Attention Is All You Need“.

Auf dem Aufsatz standen in dieser Reihenfolge Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser und Illia Polosukhin. Eine Fußnote auf der ersten Seite sagte: „Gleiche Beiträge; Reihenfolge nach dem Zufallsprinzip.“ Dann erklärte sie im Einzelnen, wer was gemacht hatte. Uszkoreit schlug vor, RNNs durch Self-Attention zu ersetzen. Vaswani und Polosukhin konzipierten und implementierten das erste Modell. Shazeer entwickelte mehrere der entscheidenden Algorithmen. Parmar erprobte und justierte viele Varianten. Jones war für den ersten Code und die Visualisierungen zuständig. Kaiser und Gomez schrieben die Werkzeuge für die Versuche.

Die neue Architektur nannten sie Transformer. Laut Zusammenfassung beruhte sie „allein auf Attention-Mechanismen“ und brauchte weder Rekurrenz noch Faltung. Das Netz aus dem vorigen Abschnitt musste Wort für Wort lesen. Im Transformer betrachtet jede Position beim Lesen des Ausgangstexts gleichzeitig die verschiedenen Stellen des Satzes und verteilt ihre Gewichte. Beim Schreiben der Übersetzung bleiben noch nicht geschriebene Wörter dagegen ausgeblendet. Andere Verarbeitungsschichten gibt es nach wie vor. Weggefallen sind die beiden zuvor genannten Wege, Informationen weiterzugeben.

Zwei Monate später erklärte der Google-Blog das mit zwei englischen Beispielsätzen: „The animal didn't cross the street because it was too tired.“ „The animal didn't cross the street because it was too wide.“ Im ersten Satz bezieht sich das englische „it“ auf das Tier, im zweiten auf die Straße. Auf Französisch haben Tier und Straße ein unterschiedliches grammatisches Geschlecht; entsprechend ändert sich die Übersetzung von „it“. Das neue Modell habe beide Sätze richtig übersetzt, schrieb der Blog. Eine Abbildung zeigte davon getrennt, wie der Encoder das „it“ im englischen Ausgangssatz las: Im ersten Satz gab er dem Tier mehr Gewicht, im zweiten der Straße.

Das Training auf acht Nvidia-Grafikkarten vom Typ P100 dauerte dreieinhalb Tage. Der Aufsatz erprobte die Übersetzung aus dem Englischen ins Deutsche und ins Französische und die syntaktische Analyse englischer Sätze. Zum Schluss schrieben die Autoren, sie sähen der Zukunft der Attention-basierten Modelle mit Begeisterung entgegen. Sie wollten sie auch jenseits von Text einsetzen, für Bilder, Ton und Video.

2024 erzählte Jones einem Reporter von Wired, die Idee für den Titel sei ein paar Abende vor der Abgabefrist gekommen, abgewandelt von „All You Need Is Love“ von den Beatles: „Ich habe wirklich nur fünf Sekunden darüber nachgedacht.“ Am 6. Dezember 2017 war der Aufsatz auf der NIPS in Long Beach, Kalifornien, für die abendliche Postersitzung angesetzt. Einige Autoren erinnerten sich später an vier Stunden Gedränge. Um halb elf abends seien noch immer Menschen rundum gestanden, bis der Sicherheitsdienst sie bat zu gehen. 2024 war keiner der acht mehr bei Google. Manche hatten Unternehmen gegründet, andere arbeiteten woanders.

VII. Kurze Namen

2018 erschienen solche Modelle dicht nacheinander. Ihre Namen waren alle kurz.

Im Februar stellten Forschende vom Allen Institute for Artificial Intelligence und von der University of Washington ELMo vor. Im Juni veröffentlichte OpenAI „Sprachverstehen durch generatives Vortraining verbessern“. Ein Transformer mit zwölf Schichten lernte zuerst, Texte ohne Annotationen fortzusetzen, und wurde anschließend für verschiedene konkrete Aufgaben eingesetzt. Später hieß das Modell GPT. Damals waren die drei Buchstaben noch über den englischen Titel verteilt, als Anfänge dreier Wörter. Im Oktober stellte Google BERT vor. Die kleinere Variante trainierte vier Tage auf vier Cloud-TPUs, die größere ebenso lange auf sechzehn. ELMo und BERT tragen zufällig beide die Namen von Figuren aus der Sesamstraße.

GPT lernte aus Texten, die der Aufsatz als Bücherkorpus bezeichnete. Darin seien über siebentausend „unveröffentlichte Bücher“: Abenteuer, Fantasy, Liebesgeschichten und andere Genres. Das Korpus stammte aus einem anderen Aufsatz, von 2015. Dort hieß es BookCorpus und umfasste laut den Autoren 11.038 „kostenlose Bücher von noch nicht veröffentlichten Autoren“ aus dem Internet.

2021 verfassten zwei Forschende nachträglich eine Beschreibung des Korpus. Sie fanden heraus, dass die Bücher mit einem Programm in großer Zahl von der Selfpublishing-Plattform Smashwords bezogen worden waren. Erfasst wurden die Links zu kostenlosen E-Books, die Bücher wurden heruntergeladen und in reinen Text umgewandelt. Im Fazit stand: „Die Autoren haben nicht ausdrücklich zugestimmt.“

Im April 2018 stellten Forschende der New York University und mehrerer anderer Einrichtungen einen Prüfungsbogen namens GLUE zusammen, neun Aufgaben zum Sprachverstehen. Auf dem Bogen gab es ein menschliches Ergebnis. Für die Aufgaben wurden einzeln Menschen herangezogen, und ihre Ergebnisse wurden nach den Regeln der Prüfung zu rund 87 Punkten verrechnet. Im Oktober erreichte BERT 80,5. Mitte 2019 meldeten Maschinen bereits Ergebnisse über dieser Marke.

VIII. Aufmerksamkeit

1890 schrieb James, jeder wisse, was Aufmerksamkeit sei. 2014 kam das Wort Attention in einen Übersetzungsaufsatz, mit „anschaulich gesagt“ davor. 2016 wurde es in blauen Linien gezeichnet. 2017 stand es in einem Titel: „Attention Is All You Need“. Später hieß es, auch Maschinen hätten jetzt Aufmerksamkeit. Das „anschaulich gesagt“ ging unterwegs verloren.

In diesen Aufsätzen bezeichnet Attention eine Reihe von Gewichten, die sich zu eins addieren. Beim Schreiben eines Worts bestimmen sie, welche Wörter im Ausgangstext besonders viel zählen. Gelernt werden diese Gewichte aus Texten: aus Texten mit 1,6 Milliarden Wörtern, aus Google News, aus von Menschen übersetzten zweisprachigen Satzpaaren, aus über siebentausend unveröffentlichten Büchern. All das ist von Menschen geschrieben oder übersetzt worden.

Auch die Messlatte auf dem Prüfungsbogen stammt von Menschen. Die Referenzübersetzung mit 4,82 Punkten hatte ein Mensch geschrieben. Die 87 Punkte bei GLUE kamen zustande, weil Menschen Aufgabe für Aufgabe bearbeiteten. Die Ergebnisse der Maschinen werden an diesen Menschen gemessen.

Das Tier war zu müde und die Straße war zu breit. Ein Google-Forscher schrieb diese beiden Beispielsätze, um die Sache klarzumachen. Müde war das Tier, breit die Straße. Wer die Sätze schrieb, wusste es. Deshalb konnte er die Aufgabe stellen.

Die Aufmerksamkeit eines Menschen zeigt sich darin, wofür er seine begrenzte Zeit aufwendet. In dieser Folge hatten viele keinen Namen: Menschen, die Bücher schrieben, Parlamentsprotokolle übersetzten oder sich hinsetzten, um Übersetzungen zu bewerten. Jeder richtete seine Aufmerksamkeit auf das eigene Buch, die eigene Übersetzung oder den einen Satz, der gerade vor ihm lag. Die Maschine lernte aus den Spuren, die diese Aufmerksamkeit hinterließ. Was bei allem Lernen draußen bleibt, heißt in dieser Reihe der Rest.

Noch werden Maschinen gebaut. Wo aber die Grenze liegt, sagt jede Generation von Neuem.