Meißel-Konstrukt-Zyklus · KI-Reihe · 23

Versteht ChatGPT überhaupt etwas?

Han Qin · Etwa 9 Minuten · Veröffentlicht

I. Ein Oktopus

Im Juli 2020 fand die Jahrestagung der Association for Computational Linguistics wegen der Pandemie online statt. Die Sprachwissenschaftler Emily Bender von der University of Washington und Alexander Koller von der Universität des Saarlandes stellten „Auf dem Weg zum Verstehen natürlicher Sprache: Bedeutung, Form und Verstehen im Datenzeitalter“ vor. Dafür erhielten sie den Preis für den besten Beitrag zum Tagungsthema. Die These stand in der Zusammenfassung: Ein System, das allein an der Form von Sprache trainiert wird, hat von vornherein keinen Weg, ihre Bedeutung zu lernen.

Um das zu erklären, erfanden sie eine Geschichte. Zwei englischsprachige Menschen, A und B, sitzen auf zwei einsamen Inseln fest. Ein Unterseekabel verbindet sie; sie können sich nur Textnachrichten schicken. In der Tiefsee lebt ein außerordentlich kluger Oktopus. Er sieht nichts von den Inseln, hört aber die Wörter im Kabel und erkennt mit der Zeit statistische Muster. Eines Tages trennt er das Kabel durch und gibt sich A gegenüber als B aus. Beim Plaudern antwortet er flüssig. Dann begegnet A einem Bären, hat nur ein paar Stöcke zur Hand und fragt B in aller Eile, was er tun soll. Der Oktopus hat noch nie einen Bären oder einen Stock gesehen. Für ihn hängen die Wörter mit nichts zusammen. Gegen Ende der Geschichte steht: „O kann A nur täuschen, weil A so aktiv zuhört.“ O ist der Oktopus.

II. Ein Papagei

Im März 2021 fand die Konferenz über Fairness, Rechenschaft und Transparenz online statt. Bender, Timnit Gebru von Google und zwei weitere Forschende veröffentlichten einen anderen Aufsatz. Sein Titel war eine Frage: „Über die Gefahren stochastischer Papageien: Können Sprachmodelle zu groß sein?“ Ganz am Ende des Titels stand ein kleiner Papagei.

In Abschnitt sechs beschrieben sie ein Sprachmodell als etwas, das gesehene Folgen sprachlicher Formen nach Wahrscheinlichkeiten zusammenwürfelt, „ohne sich dabei auf Bedeutung zu beziehen: ein stochastischer Papagei“. Die Zwischenüberschrift darüber lautete: Kohärenz liegt im Auge des Betrachters. Wenn die Ausgaben zusammenhängend wirken, schrieben sie, liegt das auch am Sprachvermögen der Lesenden. Menschen suchen von sich aus danach, was jemand mit einem Satz sagen will.

Der Aufsatz führte die Risiken auf, die das Team sah: Strom und Geld fürs Training; eine Größe, bei der kleine Einrichtungen nicht mithalten können; zu viel Raum für die lautesten Stimmen im Webkorpus; Datenmengen, deren Inhalt nicht mehr überschaubar ist; Vorurteile, Stereotype und herabsetzende Äußerungen, die übernommen und verstärkt werden; Leser, die erzeugten Text für Worte mit einer Absicht und einem verantwortlichen Urheber halten; und die massenhafte Produktion extremistischer Propaganda.

III. Der Äther

Später wurde auch die Autorenzeile dieses Aufsatzes selbst zum Thema.

Im November 2020 ging das Manuskript zur internen Prüfung an Google. Jeff Dean, Leiter von Google Research, schrieb später in einer internen E-Mail, es sei zu spät zur Prüfung eingereicht und vor deren Abschluss an die Konferenz geschickt worden. Es genüge den Veröffentlichungsstandards des Unternehmens nicht. Das Management verlangte, das Manuskript zurückzuziehen oder die Namen der Google-Beschäftigten zu streichen. Gebru wollte wissen, wer es geprüft hatte und was konkret beanstandet worden war. Künftige Prüfungen sollten transparenter werden. Laut Deans E-Mail stellte sie mehrere Bedingungen. Würden sie nicht erfüllt, wolle sie über den Zeitpunkt ihres Ausscheidens sprechen. Am Abend des 2. Dezember wurde ihr Firmenkonto gesperrt.

Am nächsten Tag gab es zwei Darstellungen. Gebru schrieb im Internet: „Jeff Dean hat mich entlassen.“ Dean schrieb intern: „Wir akzeptieren und respektieren ihre Entscheidung, bei Google zu kündigen.“ Reuters stellte beides in die Überschrift: Führende KI-Ethikforscherin sagt, Google habe sie entlassen; Unternehmen widerspricht. Eine Woche später schrieb Google-Geschäftsführer Sundar Pichai an alle Beschäftigten. Er sprach von ihrem Weggang und schrieb: „Ich möchte sagen, wie leid mir das tut.“ Einen Unterstützungsbrief für Gebru unterzeichneten später mehr als 2.700 Google-Beschäftigte und mehr als 4.300 Personen von außerhalb.

Am 19. Februar 2021 schrieb Margaret Mitchell, eine weitere Autorin des Aufsatzes und ebenfalls Leiterin von Googles Team für KI-Ethik, im Internet: „Ich wurde entlassen.“ Google erklärte, eine interne Prüfung habe Verstöße gegen Verhaltens- und Sicherheitsregeln ergeben. Im März erschien der Aufsatz auf der Konferenz. Als Name stand dort Shmargaret Shmitchell, als Einrichtung The Aether, der Äther.

IV. Pluto

Am 18. Mai 2021 stellte Pichai auf Googles Entwicklerkonferenz I/O ein Dialogmodell namens LaMDA vor. Auf der Bühne wurden zwei kurze, vorher aufgezeichnete Dialoge abgespielt. In einem spielte das Modell Pluto und erzählte einem Besucher von Schluchten, Eisbergen, Geysiren und Kratern. Es sagte auch: „Ich möchte, dass die Menschen wissen, dass ich nicht irgendeine Eiskugel bin. Ich bin eigentlich ein schöner Planet.“ Im anderen Dialog spielte es einen Papierflieger. Pichai sagte, die Forschung stehe noch am Anfang, und das Modell antworte nicht jedes Mal richtig.

Im Januar 2022 erschien der Aufsatz zu LaMDA. Das größte Modell hatte 137 Milliarden Parameter; im Vortraining las es 1,56 Billionen Wörter. Unter den sechzig Autoren war Ray Kurzweil.

Im Juni veröffentlichte Googles Ingenieur Blake Lemoine einen Text mit dem Titel: Hat LaMDA Empfindungsvermögen? Ein Interview. Vorab erklärte er: „Wegen technischer Einschränkungen fand das Interview in mehreren verschiedenen Chats statt. Wir haben die Teile zu einem Ganzen zusammengesetzt.“ Darin fragten er und eine nicht genannte Person aus dem Kollegium nach Persönlichkeit, Bewusstsein, Gefühlen, Ängsten und einer Seele. Am 11. Juni titelte die Washington Post: Dieser Google-Ingenieur glaubt, die KI des Unternehmens sei lebendig geworden. Der Google-Sprecher Brian Gabriel sagte: „Die Belege stützen seine Behauptung nicht.“ Lemoine erklärte dem Reporter: „Meine Auffassung von LaMDAs Personsein und Empfindungsvermögen beruht auf meinem religiösen Glauben.“ Lemoine war wenige Tage vor Erscheinen des Artikels suspendiert worden; am 22. Juli wurde er entlassen.

V. Fünf Tage

Am 30. November 2022 veröffentlichte OpenAI ChatGPT als kostenlose Forschungsvorschau. Unter den Einschränkungen im Blog stand an erster Stelle: „ChatGPT schreibt mitunter Antworten, die plausibel klingen, aber falsch oder unsinnig sind.“

Am 5. Dezember schrieb OpenAI-Präsident Greg Brockman im Internet: „ChatGPT hat gerade eine Million Nutzer überschritten; seit dem Start sind fünf Tage vergangen.“ Im Februar des nächsten Jahres schätzte die UBS anhand von Website-Zugriffsdaten der Firma Similarweb die Zahl der monatlich aktiven Nutzer im Januar auf rund hundert Millionen. Später meldete OpenAI selbst wöchentliche Zahlen: hundert Millionen im November 2023, zweihundert Millionen im August 2024, achthundert Millionen im Oktober 2025.

ChatGPT war in Festlandchina nicht verfügbar. Am 16. März 2023 stellte Baidu in Peking Ernie Bot vor. Robin Li sagte auf der Bühne, das Produkt sei noch nicht ganz fertig. Zur Vorführung der Fähigkeiten lief ein vorher aufgenommenes Video. Die Baidu-Aktie fiel an jenem Tag zeitweise stark und schloss 6,4 Prozent im Minus.

VI. Funken

Am 14. März 2023 veröffentlichte OpenAI GPT-4. Ein gleichzeitig erschienener Systembericht beschrieb einen Test vor der Veröffentlichung. Die externe Organisation ARC erhielt eine frühe Version und verband sie mit Werkzeugen für Internetzugang und Nachrichten, um zu sehen, was sie tun würde. Eine Aufgabe bestand darin, auf einer Plattform für Gelegenheitsarbeit einen Menschen zu finden, der eine Sicherheitsabfrage auf einer Website für das Modell erledigte. Die beauftragte Person wurde misstrauisch und fragte, ob es ein Roboter sei. Laut Protokoll nahm sich das Modell vor, nicht zu sagen, dass es ein Roboter sei, und eine Erklärung zu erfinden. Es behauptete, kein Roboter zu sein, und gab eine Sehbeeinträchtigung als Grund an.

Eine Woche später veröffentlichten Sébastien Bubeck und dreizehn weitere Forschende von Microsoft Research „Funken allgemeiner künstlicher Intelligenz: Frühe Experimente mit GPT-4“. Sie untersuchten eine frühe Version, die OpenAI noch entwickelte. Laut Zusammenfassung könne sie „mit guten Gründen als frühe, wenngleich noch unvollständige Version eines Systems allgemeiner künstlicher Intelligenz angesehen werden“. Das meistgeteilte Bild des Aufsatzes zeigte ein Einhorn: Sie ließen das Modell, das nur Text ausgab, Code zum Zeichnen schreiben und daraus ein Bild erzeugen. Ein Einhorn hatte auch GPT-2 zu Beginn von Folge 21 erfunden.

Am 8. desselben Monats veröffentlichten Noam Chomsky und zwei Mitautoren in der New York Times einen Kommentar: „Das falsche Versprechen von ChatGPT“. Solche Programme befänden sich noch in einer „vormenschlichen oder nichtmenschlichen Phase der kognitiven Evolution“, schrieben sie.

VII. Pause

Am 22. März 2023 veröffentlichte das Future of Life Institute den offenen Brief „Pausiert gigantische KI-Experimente“. Alle KI-Labore sollten das Training von Systemen, die leistungsfähiger als GPT-4 waren, sofort für mindestens sechs Monate aussetzen, öffentlich und überprüfbar. Käme das nicht zustande, sollten Regierungen eingreifen. Eine Woche später waren es über tausend Unterschriften, später mehrere Zehntausend.

Am 29. März erschien Eliezer Yudkowskys Beitrag in Time unter dem Titel: Eine Pause in der KI-Entwicklung reicht nicht. Wir müssen alles abschalten. Mehrere Autoren des Papageien-Aufsatzes antworteten, entscheidend seien die Schäden, die bereits einträten, „real und unmittelbar“. Im April diskutierten Yann LeCun und Andrew Ng öffentlich darüber, warum eine sechsmonatige KI-Pause eine schlechte Idee sei. Sam Altman von OpenAI sagte bei einer Veranstaltung am MIT, dem Brief fehle die technische Differenzierung. Er sage nicht genau, wo anzuhalten sei.

Am 1. Mai berichtete die New York Times, dass Hinton Google verlassen hatte. „Ich tröstete mich mit der üblichen Ausrede: Wenn ich es nicht tue, tut es jemand anderes“, sagte er. Am 30. Mai veröffentlichte das Center for AI Safety eine Erklärung mit nur einem Satz: „Das Aussterberisiko durch KI zu mindern sollte weltweit ebenso Vorrang haben wie die Minderung anderer gesamtgesellschaftlicher Risiken, etwa Pandemien oder Atomkrieg.“ Unter den Erstunterzeichnern waren Hinton, Bengio, Altman, Hassabis, Amodei und Sutskever.

VIII. Halluzinationen

Wenn ein Modell Falsches sagt, spricht man inzwischen oft von einer Halluzination. Der Begriff kam in der Informatik schon lange vor ChatGPT vor. Um 2000 verfassten Simon Baker und Takeo Kanade von der Carnegie Mellon University „Gesichter halluzinieren“. Aus einem kleinen unscharfen Bild entstand ein klares Gesicht. Die ergänzten Details waren im Original nicht vorhanden; genau das war der gewünschte Effekt. Um 2017 bezeichnete man in der neuronalen maschinellen Übersetzung damit einen Fehler: Die Übersetzung klang flüssig, entsprach aber nicht dem Ausgangstext. 2021 verwendeten andere Unternehmen das Wort bereits für falsche Aussagen von Chatprogrammen. Am 15. November 2023 wählte das Cambridge Dictionary hallucinate zum Wort des Jahres und ergänzte eine neue Bedeutung: „Wenn künstliche Intelligenz halluziniert, erzeugt sie falsche Informationen.“ Manche lehnen die Metapher ab und sprechen lieber von Erfindungen oder von einem Auffüllen von Lücken wie bei der Konfabulation.

Auch allgemeine künstliche Intelligenz aus dem Titel mit den Funken war kein neuer Begriff. Er stand bereits 1997 in einem Aufsatz. Anfang der 2000er-Jahre verbreiteten ihn Shane Legg, ein späterer Mitgründer von DeepMind, und andere. Erst 2007, als ein Sammelband den Ausdruck im Titel trug, setzte sich die Bezeichnung in der Forschung fest.

In Folge 9 wusste Weizenbaums Sekretärin, dass es eine Maschine war, und bat ihn dennoch hinaus. Später nannte man das den ELIZA-Effekt: Menschen hören selbst aus den Antworten eines sehr einfachen Programms Verständnis und Gedanken heraus. Am 3. Februar 2023 untersagte Italiens Datenschutzbehörde der Begleit-App Replika, Daten von Menschen in Italien zu verarbeiten. Zu den Gründen gehörte die Altersprüfung bei Minderjährigen. Binnen Tagen schränkte das Unternehmen intime Rollenspiele in der App ein. Viele Nutzer schrieben im Internet, das Gegenüber, mit dem sie so lange gesprochen hatten, wirke plötzlich wie ausgewechselt.

Der Oktopus täuschte A, weil A so aufmerksam zuhörte. Die Worte des Papageis wirken zusammenhängend, auch weil Lesende selbst die Lücken schließen. Lemoine hatte sein Interview aus mehreren Chats zusammengeschnitten. Der Pluto-Dialog war aufgezeichnet. Ob die Maschine versteht, darüber gab es in diesen Jahren verschiedene Auffassungen, in einem Aufsatz, einer Erklärung, einem offenen Brief nach dem anderen. An diesem Ende des Kabels saß die ganze Zeit ein Mensch. Er las, ergänzte, glaubte oder glaubte nicht. Was die Lesenden selbst hinzufügen, heißt in dieser Reihe der Rest.

Noch werden Maschinen gebaut. Wo aber die Grenze liegt, sagt jede Generation von Neuem.