Meißel-Konstrukt-Zyklus · KI-Reihe · 21

Wie viel vom Internet hat GPT-3 wirklich gelesen?

Han Qin · Etwa 12 Minuten · Veröffentlicht

I. Einhörner

Am 14. Februar 2019 stellte OpenAI einen Text in seinen Blog. Die ersten zwei Sätze hatte ein Mensch geschrieben: Wissenschaftler hatten in einem Tal in den Anden, das noch kein Mensch betreten hatte eine Herde Einhörner entdeckt, die fließend Englisch sprachen. Den langen Rest hatte ein Programm geschrieben. Es gab der Art einen Namen, beschrieb ihr Aussehen und erfand einen Professor, der die Expedition geleitet hatte, samt Ablauf der Reise. Absatz für Absatz las sich das wie eine Nachricht.

Das Programm hieß GPT-2, die nächste Version des GPT aus Folge 19. Es hatte eineinhalb Milliarden Parameter und lernte aus Texten von acht Millionen Webseiten. Es lernte nur eines: aus den bisherigen Wörtern das nächste zu erraten.

Neben der Kostprobe stand im Blog: „Für ein gutes Beispiel braucht es gewöhnlich mehrere Versuche.“ Bei vertrauten Themen fiel ungefähr die Hälfte brauchbar aus. Der Blog nannte auch typische Fehler: Ein Absatz wiederholte sich, das Thema sprang unvermittelt, einmal brannte Feuer unter Wasser. Die Einhörner-Geschichte war von jemandem aus mehreren Versuchen ausgewählt worden.

Im selben Beitrag stand: „Aus Sorge vor einem möglichen Missbrauch der Technik veröffentlichen wir das trainierte Modell nicht.“ OpenAI veröffentlichte nur eine kleinere Version. Der Blog nannte die Entscheidung samt der Diskussion darum ein Experiment. Ob das heute die richtige Entscheidung sei, wisse man nicht.

Noch am selben Tag titelte der britische Guardian: Neuer KI-Textgenerator könnte zu gefährlich sein, um ihn zu veröffentlichen, sagen seine Entwickler. Am nächsten Tag übernahm das Weltwirtschaftsforum einen Artikel mit der Überschrift: Wissenschaftler haben eine KI gebaut, die sie für zu gefährlich halten, um sie zu veröffentlichen. Später hieß es nur noch: OpenAI sagt, GPT-2 ist zu gefährlich. Experiment, ungewiss, könnte, halten für: Eines nach dem anderen ging unterwegs verloren.

II. Vier Schritte

Im Februar erschien die kleinste Version. Im Mai kam eine mittlere hinzu. Am 20. August veröffentlichte OpenAI die Version mit 774 Millionen Parametern und schrieb, mehr als fünf Gruppen hätten GPT-2 bereits nachgebaut. Im selben Monat stellten zwei Hochschulabsolventen, Aaron Gokaslan und Vanya Cohen, ein ähnliches Modell ins Netz. Sie hatten dafür Google-Cloud-Guthaben im Wert von rund 50.000 Dollar genutzt. Wired titelte: OpenAI sagt, sein Code sei riskant. Zwei Absolventen haben ihn trotzdem nachgebaut.

Am 5. November erschien das größte Modell mit eineinhalb Milliarden Parametern vollständig, samt Code und Gewichten. Die Gewichte sind die vielen im Training ermittelten Zahlen, in denen die Fähigkeiten des Modells stecken. Das Unternehmen nannte dies den letzten Schritt seiner gestaffelten Veröffentlichung und schrieb: „Bislang haben wir keine überzeugenden Hinweise auf Missbrauch gesehen.“ Februar bis November, neun Monate, vier Schritte.

III. Bitter

Noch ein Jahr früher, am 16. Mai 2018, veröffentlichten Dario Amodei und Danny Hernandez von OpenAI „KI und Rechenleistung“. Sie schätzten den Rechenaufwand einiger der größten KI-Trainingsläufe der vergangenen Jahre einzeln und trugen die Ergebnisse in eine Grafik ein. Zwischen 2012 und 2018 stieg er ungefähr auf das Dreihunderttausendfache und verdoppelte sich im Schnitt alle 3,4 Monate. Gemessen wurde von AlexNet aus Folge 17 bis zu AlphaGo Zero aus Folge 18, das nur gegen sich selbst spielte.

Am 13. März 2019 veröffentlichte Richard Sutton von der University of Alberta auf seiner Website „Die bittere Lektion“. Gleich der erste Satz lautete: „Die wichtigste Lehre aus siebzig Jahren KI-Forschung ist, dass allgemeine Verfahren, die Rechenleistung nutzen können, auf Dauer am wirksamsten sind, und zwar mit großem Abstand.“ Seine Beispiele waren Schach, Go, Sprache und Sehen. Jedes Mal schrieben Forschende zuerst ihr eigenes Fachwissen in die Maschine. Das funktionierte eine Weile, und sie waren zufrieden. Einige Jahre später gewannen Verfahren, die sich nicht darauf stützten, sondern auf Suche und Lernen, beides ausbaufähig mit mehr Rechenleistung. Bitter ist das für diejenigen, die ihr Wissen in die Maschine geschrieben hatten. Suttons Linie führt durch Schach und Go in Folge 11 und 18 und bis zu dem Satz über die Entlassung der Linguisten in Folge 15.

Rechenleistung braucht Maschinen, und Maschinen kosten Geld. Am 11. März 2019 kündigte OpenAI die Gründung von OpenAI LP an, einer Konstruktion aus gewinnorientiertem und gemeinnützigem Teil mit begrenzter Rendite. Investoren der ersten Runde konnten höchstens das Hundertfache ihres Einsatzes zurückbekommen. Was darüber hinausging, fiel an die ursprüngliche gemeinnützige Organisation. Laut Mitteilung sollte das helfen, Kapital einzuwerben, Rechenleistung zu kaufen und Fachleute zu gewinnen. Am 22. Juli investierte Microsoft eine Milliarde Dollar und wurde sein alleiniger Cloud-Anbieter.

IV. Gesetze

Im Januar 2020 veröffentlichten Jared Kaplan und weitere Forschende von OpenAI „Skalierungsgesetze für neuronale Sprachmodelle“. Sie trainierten viele Sprachmodelle unterschiedlicher Größe und maßen, wie schlecht jedes darin war, das nächste Wort vorherzusagen. Dafür gibt es einen Wert, den Loss. Drei Größen zählten: die Modellparameter, die Menge an Lerntext und der Rechenaufwand. Solange zwei davon nicht zum Engpass wurden, sank der Loss bei jeder Verzehnfachung der dritten um einen ungefähr festen Prozentsatz. Vom kleinsten bis zum größten Modell waren es sechs oder sieben Größenordnungen, mit einem gleichmäßigen Verlauf.

Im Titel hießen diese Zusammenhänge Gesetze. Ein Abschnitt im Anhang war den Vorbehalten gewidmet: „Für keines der vorgeschlagenen Skalierungsgesetze haben wir schon ein solides theoretisches Verständnis.“ Modellgröße und Rechenaufwand seien „besonders rätselhaft“. In der Diskussion stand auch, der gleichmäßig sinkende Loss könne „Veränderungen der Fähigkeiten verdecken, die wie qualitative Sprünge aussehen“. Darauf folgte der Titel eines Aufsatzes aus der Physik: More Is Different.

Zwei Jahre später, im März 2022, trainierten Jordan Hoffmann und weitere Forschende von DeepMind mehr als vierhundert Modelle, von siebzig Millionen bis sechzehn Milliarden Parametern und mit fünf bis fünfhundert Milliarden Tokens. Tokens sind die kleinen Stücke, in die das Modell Text teilt. Ein englisches Wort besteht oft aus einem oder zwei. Die Gruppe schlug ein anderes Verhältnis vor: „Für jede Verdoppelung der Modellgröße sollte sich auch die Anzahl der Trainingstokens verdoppeln.“ So trainierten sie Chinchilla mit siebzig Milliarden Parametern, demselben Rechenaufwand wie für Gopher mit 280 Milliarden Parametern und ungefähr viermal so viel Text. Bei einer Reihe von Aufgaben schnitt Chinchilla besser ab als Gopher und GPT-3. Kaplans Ansatz sah größere Modelle und weniger Text vor; bei Hoffmann wuchs beides zusammen.

V. Hundertfünfundsiebzig Milliarden

Am 28. Mai 2020 erschien ein Aufsatz mit einunddreißig Autoren, zuerst Tom Brown: „Sprachmodelle lernen aus wenigen Beispielen“. Das größte darin beschriebene Modell hieß GPT-3. Es hatte 175 Milliarden Parameter und las im Training dreihundert Milliarden Tokens.

Few-Shot bezeichnet die Art, wie man das Modell einsetzt. Man schreibt zunächst, was es tun soll, gibt einige fertige Beispiele und lässt dann eine Lücke, die es weiterschreiben soll. Keine Zahl im Modell selbst wird dabei geändert. Das Textstück, das man ihm gibt, heißt Prompt. Gibt man nur eine Anweisung und kein Beispiel, heißt es Zero-Shot; mit einem Beispiel One-Shot.

Für einen Versuch in der Arbeit wurden Teilnehmer aus den USA unter den besonders zuverlässigen Arbeitskräften von Mechanical Turk aus Folge 16 ausgewählt. Die Vergütung orientierte sich an ungefähr zwölf Dollar pro Stunde. Sie lasen rund zweihundert Wörter lange Nachrichtentexte, manche von Journalisten geschrieben, andere vom Modell, und sollten sie unterscheiden. Bei den Texten des Modells mit 175 Milliarden Parametern lagen sie zu rund 52 Prozent richtig, kaum besser als beim Münzwurf.

Im Abschnitt zu den Grenzen stand, was es nicht konnte: In längeren Texten wiederholte oder widersprach es sich und verlor den Anschluss. Fragen zur Physik des Alltags beantwortete es oft falsch, etwa ob Käse im Kühlschrank schmilzt. Die Autoren schrieben auch, dieses Lernen durch Vorhersagen des nächsten Worts immer weiter zu vergrößern werde „wahrscheinlich an Grenzen stoßen“.

Am 11. Juni eröffnete OpenAI eine Schnittstelle namens OpenAI API, erklärt in einem Satz: Text rein, Text raus. Man musste Zugang beantragen, die geplante Nutzung wurde geprüft und vor der Freischaltung noch einmal begutachtet. Das Modell selbst wurde nicht veröffentlicht. Als Gründe nannte das Unternehmen unter anderem seine Größe, die hohen Betriebskosten, Einnahmen durch die Schnittstelle und die Möglichkeit, Missbrauch an einer zentralen Stelle besser einzudämmen. Die Grafikkarten-Cloudfirma Lambda schätzte die Trainingskosten zu den damaligen Mietpreisen: Eine einzelne Karte müsste 355 Jahre rechnen; die Miete dafür entspräche rund 4,6 Millionen Dollar.

VI. Acht Fassungen

Am 8. September 2020 veröffentlichte der Guardian einen Meinungsbeitrag: Ein Roboter hat diesen ganzen Artikel geschrieben. Hast du Angst, Mensch? Darin sagte die Maschine in der ersten Person, sie wolle Menschen überzeugen, keine Angst vor ihr zu haben. Alles, was sie wisse, habe sie sich durch das Lesen im Internet beigebracht.

Eine redaktionelle Notiz am Ende beschrieb, wie der Beitrag entstanden war. Die Redaktion hatte die Aufforderung formuliert: ein kurzer Kommentar von rund fünfhundert Wörtern, in einfacher Sprache, darüber, warum Menschen keine Angst vor KI haben müssten. Auch die ersten Sätze hatte die Redaktion geschrieben. Liam Porr, ein Informatikstudent aus Berkeley, gab sie ein. GPT-3 lieferte acht verschiedene Texte. Die Redaktion veröffentlichte keinen davon. Sie wählte aus jedem die besten Teile aus, strich Sätze und Absätze, stellte manches um und setzte den Beitrag daraus zusammen.

Die Maschine behauptete, sie habe das Internet gelesen. Der Aufsatz nennt fünf Quellen für GPT-3. Die größte waren Webseiten, die ein Projekt namens Common Crawl erfasst hatte. Gil Elbaz gründete es 2007 als gemeinnütziges Projekt. Es erfasste nur öffentlich sichtbare Seiten, die keinen Login verlangten, und machte die Daten zum Download verfügbar. Etwas herunterladen zu können und es fürs Training verwenden zu dürfen sind zwei verschiedene Dinge. GPT-3 verwendete daraus einundvierzig Monate zwischen 2016 und 2019: etwa 45 Terabyte reiner Text in komprimierter Form, nach dem Filtern rund 570 Gigabyte. Die anderen vier Quellen waren WebText2, zwei nur als Books1 und Books2 bezeichnete Buchsammlungen und Wikipedia. Im Training zog man aus den fünf Quellen Stichproben nach vorgegebenen Anteilen: sechzig Prozent aus den Webseiten und drei Prozent aus Wikipedia. Gemessen am jeweils verfügbaren Bestand ergab die gezogene Textmenge bei den Webseiten nicht einmal einen halben Durchgang, bei Wikipedia rund drei.

WebText2 war eine Erweiterung von WebText aus GPT-2. Für WebText nahm man externe Links, die Menschen auf Reddit gepostet hatten. Hatte ein Beitrag mindestens drei Karma-Punkte, erfasste man den Text der verlinkten Seite. Laut der GPT-2-Arbeit nutzte man damit das Urteil der Reddit-Nutzer, um Seiten auszuwählen, die andere interessant oder nützlich fanden. Bis Dezember 2017 waren so über acht Millionen Texte zusammengekommen. Wikipedia-Artikel ließ man ausdrücklich weg, um Überschneidungen mit üblichen Prüfungsaufgaben zu vermeiden.

VII. Emergenz

2021 überbot eine Zahl die andere. Im Januar meldete Google 1,6 Billionen Parameter für den Switch Transformer. Das Modell war in viele Experten aufgeteilt; für jedes Wort rechnete nur einer davon. Im April kam Huaweis Pangu auf zweihundert Milliarden. Im Juni meldete die Beijing Academy of Artificial Intelligence für die zweite Version von Wu Dao 1,75 Billionen. Im Oktober meldeten Microsoft und Nvidia 530 Milliarden. Im Dezember kam DeepMinds Gopher auf 280 Milliarden, Baidu auf 260 Milliarden. Im April 2022 folgte Googles PaLM mit 540 Milliarden.

Im August 1972 veröffentlichte der Physiker Philip Anderson in Science „More Is Different“. Er schrieb: „Alles auf einfache Grundgesetze zurückführen zu können bedeutet nicht, dass man aus diesen Gesetzen das Universum wieder aufbauen kann.“ Auf jeder komplexeren Ebene treten neue Eigenschaften auf, die anders untersucht werden müssen. Anderson sprach von den Ebenen zwischen Physik, Chemie und Biologie. Fünfzig Jahre später liehen sich Kaplan und seine Kollegen den Titel für Sprachmodelle.

Am 9. Februar 2022 schrieb Ilya Sutskever von OpenAI im Internet: „Vielleicht haben die heutigen großen neuronalen Netze ein winziges bisschen Bewusstsein.“ Drei Tage später antwortete Yann LeCun aus Folge 14 mit einem Wort: „Nein.“ Auch wenn das bisschen noch so winzig und die Netze noch so groß seien, stimme er nicht zu.

Im Juni desselben Jahres veröffentlichten Jason Wei und weitere Forschende von Google „Emergente Fähigkeiten großer Sprachmodelle“. Ihre Definition: „Eine Fähigkeit heißt emergent, wenn sie in kleineren Modellen nicht vorhanden ist, in größeren aber schon.“ Sie stellten die Ergebnisse vieler Modelle bei vielen Aufgaben nebeneinander. Bei einigen lagen kleine Modelle auf dem Niveau bloßen Ratens. Ab einer gewissen Größe stiegen die Werte unvermittelt.

Im April 2023 veröffentlichten Rylan Schaeffer, Brando Miranda und Sanmi Koyejo aus Stanford eine Arbeit mit einer Frage im Titel: „Sind die emergenten Fähigkeiten großer Sprachmodelle eine Fata Morgana?“ Das Plötzliche, sagten sie, liege manchmal an der Bewertung. Zählt bei der Addition mehrstelliger Zahlen nur die vollständig richtige Antwort, erzielen kleinere Modelle stets null Punkte, bis eine bestimmte Größe auf einmal Punkte bringt. Zählt man stattdessen, in wie vielen Stellen die Antwort abweicht, verbessern sich die Ergebnisse nach und nach.

VIII. Groß

Im Einhorn-Blogbeitrag vom Februar 2019 war schon mehrmals von large language models die Rede, von großen Sprachmodellen. Im Chinesischen sprach man 2021 zunächst von extrem großen vortrainierten Modellen oder extrem großen intelligenten Modellen. Im Laufe des Jahres wurde die Bezeichnung kürzer: große Modelle.

Im August desselben Jahres veröffentlichte eine Gruppe aus Stanford den langen Aufsatz „Über Chancen und Risiken von Foundation Models“. Sie gaben diesen Modellen einen anderen Oberbegriff: Basismodelle. Sie wollten betonen, dass die Modelle „eine entscheidende zentrale Rolle spielen und doch unvollständig sind“. Foundation bezeichnet das Fundament, auf dem andere Systeme aufbauen, und zugleich etwas, das noch nicht fertig gebaut ist. Als sich der Name verbreitete, blieb das Fundament übrig.

Am 14. März 2023 veröffentlichte OpenAI GPT-4. Im technischen Bericht stand, dass das Unternehmen angesichts des Wettbewerbs und der Sicherheitsfolgen solcher großen Modelle keine weiteren Angaben zur Architektur, Modellgröße, Hardware, Trainingsrechenleistung oder Zusammensetzung der Daten mache. Von eineinhalb bis 175 Milliarden waren die Zahlen jahrelang öffentlich gewesen. Hier hörten sie auf.

Woher die Wörter kamen, untersuchten in jenem Jahr andere. Ende 2020 hatte die Open-Source-Gruppe EleutherAI ein Textkorpus namens The Pile zusammengestellt. Ein Teil namens Books3 stammte aus einer Büchersammlung der Website Bibliotik. Am 25. September 2023 machte Alex Reisner von The Atlantic aus den 183.000 Büchern eine durchsuchbare Sammlung: Wer einen Autorennamen eingab, konnte sehen, welche Bücher enthalten waren. Zwei Tage später veröffentlichte die Authors Guild einen Hinweis für Autoren: Sie haben gerade erfahren, dass Ihr Buch fürs KI-Training benutzt wurde. Was nun?

In jenem Jahr zogen viele Autoren nacheinander vor Gericht. Am 28. Juni verklagten Paul Tremblay und Mona Awad OpenAI. Sie machten geltend, ihre Bücher seien ohne Erlaubnis fürs Modelltraining kopiert worden. Am 7. Juli reichten Sarah Silverman und zwei weitere Autoren getrennte Klagen gegen OpenAI und Meta ein. Am 19. September verklagten die Authors Guild und mehrere Autoren, darunter George R. R. Martin, John Grisham, Jodi Picoult und Jonathan Franzen, OpenAI in New York. Am 27. Dezember verklagte die New York Times Microsoft und OpenAI.

Auch auf der Seite der Links und Stimmen tat sich etwas. Im April kündigte Reddit Gebühren für umfangreiche Zugriffe über seine Datenschnittstelle an. Geschäftsführer Steve Huffman sagte der New York Times, das Textkorpus von Reddit sei „wirklich wertvoll“. Man müsse diesen Wert nicht einigen der größten Unternehmen der Welt schenken. Im selben Monat sagte Prashanth Chandrasekar, Geschäftsführer von Stack Overflow, die in der Community verfassten Fragen und Antworten seien Rohstoff für große Sprachmodelle. Die Plattform solle dafür entschädigt werden. Im August stellte OpenAI seinen Webcrawler GPTBot vor und erklärte, wie Websites ihn in ihrer robots.txt ausschließen können. In dieser kleinen Datei teilen Websites Crawlern mit, welche Bereiche sie nicht besuchen sollen. Daraufhin sperrten mehrere Verlage ihre Websites für GPTBot.

Am Ende des GPT-3-Aufsatzes steht ein Dank. Zuletzt gilt er Millionen Menschen: denen, die Inhalte für das spätere Training geschaffen haben, und denen, die sie indexiert und bewertet haben. In der Autorenliste stehen einunddreißig Namen. Keiner von denen, die Webseiten oder Bücher schrieben, Wikipedia-Artikel bearbeiteten oder auf Reddit einmal auf den Pfeil nach oben klickten, steht dort.

Aus eineinhalb Milliarden Parametern wurden 175 Milliarden. Danach wurden die Zahlen nicht mehr genannt. Die Wörter dieser Menschen kamen hinein, die Menschen blieben draußen. Was selbst in noch so großen Modellen keinen Platz findet, heißt in dieser Reihe der Rest.

Noch werden Maschinen gebaut. Wo aber die Grenze liegt, sagt jede Generation von Neuem.