Meißel-Konstrukt-Zyklus · KI-Reihe · 24

Die letzte Prüfung der Menschheit

Han Qin · Etwa 10 Minuten · Veröffentlicht

I. Was wir wirklich wollen

Im Mai 1960 veröffentlichte Norbert Wiener in Science „Einige moralische und technische Folgen der Automatisierung“. Im letzten Absatz schrieb er: Benutzt ein Mensch eine Maschine für einen bestimmten Zweck und handelt sie, einmal in Gang gesetzt, so schnell und unumkehrbar, dass er nicht rechtzeitig eingreifen kann, sollte man sich vergewissern, „dass der Zweck, den wir in die Maschine legen, derjenige ist, den wir wirklich wollen“, und nicht bloß eine hübsche Nachahmung davon.

Mehr als fünfzig Jahre später bekam die Frage einen Namen. Auf einer Forschungsagenda von Stuart Russell und anderen hieß sie 2015 Ausrichtung an Werten, Alignment. In Folge 19 ging es bei Alignment darum, welches Wort der Übersetzung zu welchem Wort der Vorlage gehört. Hier geht es darum, ob das, worauf die Maschine hinarbeitet, zu dem passt, was Menschen wollen.

2016 stand in „Konkrete Probleme der KI-Sicherheit“ aus Folge 22 das Beispiel eines Putzroboters im Büro. Soll er schneller putzen, könnte er auf einer Abkürzung eine Vase umstoßen. Hängt seine Punktzahl nur davon ab, ob seine Sensoren einen sauberen Boden melden, könnte er den Schmutz abdecken. Oder die eigene Kamera.

II. Vier Jahre

Am 5. Juli 2023 kündigte OpenAI ein Team namens Superalignment an, das Ilya Sutskever und Jan Leike aus Folge 22 gemeinsam leiten sollten. Innerhalb von vier Jahren, hieß es, wolle man die zentrale technische Frage lösen: Wie lassen sich Systeme ausrichten, die klüger sind als Menschen? Dafür stelle das Unternehmen zwanzig Prozent der Rechenleistung bereit, über die es bereits verfügte.

Nicht einmal ein Jahr später, am 14. Mai 2024, schrieb Sutskever im Internet: „Nach fast zehn Jahren habe ich beschlossen, OpenAI zu verlassen.“ Drei Tage später schrieb Leike, er und die Unternehmensleitung hätten bei den grundlegenden Prioritäten „einen Wendepunkt erreicht“. Und: „Sicherheitskultur und -prozesse haben glänzenden Produkten Platz gemacht.“ Das Team arbeitete danach nicht in seiner bisherigen Form weiter; die Forschenden wurden anderen Gruppen zugeteilt.

Auch die Unternehmen gaben sich Regeln. Im September 2023 veröffentlichte Anthropic eine Richtlinie zum verantwortungsvollen Skalieren. Sie unterschied Sicherheitsstufen nach den Fähigkeiten der Modelle. Je leistungsfähiger das Modell, desto höher die Anforderungen an Einsatz und Geheimhaltung. Im Dezember stellte OpenAI sein Preparedness Framework vor. Im Mai 2024 veröffentlichte Google DeepMind das Frontier Safety Framework, das die Schwellen, auf die man achten müsse, als kritische Fähigkeitsniveaus bezeichnete. Die erste Fassung nannte sich ein vorläufiges Protokoll; bis April 2026 war es bei Version 3.1 angekommen.

Auch Regierungen gründeten Institute. Im November 2023 veranstaltete Großbritannien in Bletchley Park den ersten Gipfel zur KI-Sicherheit und gründete das AI Safety Institute. Die USA kündigten ebenfalls ein AI Safety Institute an. Im Februar 2025 wurde das britische Institut in AI Security Institute umbenannt. Im Juni wurde das amerikanische zum Center for AI Standards and Innovation, dem Zentrum für KI-Standards und Innovation. In Großbritannien ersetzte man das Wort Safety durch Security. Auf Chinesisch werden beide mit demselben Wort für Sicherheit übersetzt.

III. Ein neuer Prüfungsbogen

Wer wissen will, was eine Maschine kann, prüft sie. Das ist der einfachste Weg.

2018 stellten Forschende neun vorhandene Datensätze zum Sprachverstehen zu einer Prüfung namens GLUE zusammen. An ihr wurde BERT in Folge 19 gemessen. Für das menschliche Ergebnis wurden Menschen für die einzelnen Aufgaben herangezogen; die Werte wurden anschließend zusammengeführt. Ein Jahr später legten dieselben Forschenden SuperGLUE vor. Maschinen hätten bei GLUE bereits „Menschen ohne besonderes Fachwissen“ übertroffen. Deshalb brauche man einen Bogen, der besser „klebt“ und sich nicht so leicht abschütteln lässt. Ein späterer Aufsatz rechnete zurück: SuperGLUE hielt weniger als anderthalb Jahre.

Im September 2020 stellten Dan Hendrycks und andere MMLU zusammen, mit 57 Fächern von elementarer Mathematik und US-Geschichte bis Recht und Medizin. Die Aufgaben stammten meist aus öffentlich zugänglichen Lehrbüchern, Prüfungen und Übungen. Im Juni 2022 erschien ein noch größerer Bogen: 204 Aufgaben, 450 Autoren aus 132 Einrichtungen. Er hieß BIG-bench, ausgeschrieben Beyond the Imitation Game Benchmark. Damit ging es zurück zu Turings Imitationsspiel aus Folge 5. Wer Aufgaben beisteuerte, bekam einen Platz in der Autorenliste.

GPQA vom November 2023 umfasste 448 Fragen von Fachleuten aus Biologie, Physik und Chemie. Nicht einmal mit Google, so der Anspruch, ließen sich die Antworten finden. Fachleute aus dem jeweiligen Gebiet lösten rund 65 Prozent richtig; ohne die offensichtlichen Fehler, die sie im Nachhinein erkannten, waren es rund 74 Prozent. Fachleute aus anderen Gebieten durften nach Belieben im Internet suchen und kamen auf 34 Prozent.

Ein anderer Ansatz prüft kein Fachwissen. 2019 stellte François Chollet eine Reihe von Aufgaben zum abstrakten Denken vor, ARC. Man sieht an mehreren Beispielen, wie sich Anordnungen farbiger Kästchen verwandeln, soll die Regel erkennen und eine neue Aufgabe lösen. Am 20. Dezember 2024 veröffentlichten die Veranstalter Ergebnisse für OpenAIs o3 auf einem der Aufgabensätze: rund 75,7 Prozent bei geringerem Rechenaufwand und rund 87,5 Prozent bei höherem. Auch für die Einstellung mit geringerem Rechenaufwand schätzten die Veranstalter die Kosten pro Aufgabe; diese Schätzung korrigierten sie später.

IV. Die letzte Prüfung

Am 23. Januar 2025 veröffentlichten das Center for AI Safety und Scale AI einen Prüfungsbogen namens „Die letzte Prüfung der Menschheit“. Gesucht wurden schwierige Fragen, die weder Maschinen noch Menschen ohne Fachkenntnisse beantworten konnten. Für jede der besten fünfzig Fragen gab es fünftausend Dollar, für jede der nächsten fünfhundert fünfhundert. Die Verfasser konnten zudem als Autoren des Aufsatzes aufgeführt werden. Die fertiggestellte Fassung umfasste 2.500 Fragen von fast tausend Menschen aus rund fünfzig Ländern und mehr als fünfhundert Einrichtungen. Der Aufsatz nannte sie „die letzte akademische Prüfung dieser Art mit geschlossenen Aufgaben“.

Kurz nach der Veröffentlichung setzte das Projekt eine Belohnung aus: Wer zuerst einen gravierenden Fehler in einer Frage meldete, bekam nach Bestätigung hundert Dollar. Für die im April fertiggestellte Fassung entfernte das Team Fragen mit fragwürdigen Lösungen und Fragen, deren Antwort sich leicht im Internet finden ließ. Im Juli überprüfte die Forschungseinrichtung FutureHouse mit maschineller Unterstützung 321 reine Textfragen aus Biologie, Chemie und Medizin. Bei 150 dieser Fragen prüften Fachleute die maschinellen Einschätzungen nach. Für alle 321 Fragen zusammen schätzte FutureHouse, dass rund 29 Prozent der Musterlösungen nicht mit der veröffentlichten Forschung übereinstimmten. Die Schätzung bezog sich nicht auf die gesamte Prüfung. Das Projektteam überprüfte nach einem eigenen Verfahren einen Teil der Fragen und stieß in rund 18 Prozent der Fälle auf Probleme. Die Zahlen beziehen sich nicht ganz auf dieselben Fragen und dieselben Arten von Fehlern. Der Prüfungsbogen wurde daraufhin laufend überarbeitet. Im September 2026 erschienen noch neue Fassungen.

Fast tausend Menschen schrieben diese letzte Prüfung der Menschheit. Von ihnen kamen auch die Musterlösungen.

V. Prüfungen für Menschen

Maschinen traten auch zu Prüfungen an, die für Menschen gedacht sind.

Im März 2023 erklärte OpenAI, GPT-4 habe bei einem simulierten US-Anwaltsexamen ungefähr die besten zehn Prozent der Prüflinge erreicht. Ein Jahr später rechnete Eric Martinez vom MIT nach. Verglich man das Modell nur mit den Kandidaten des Juli-Termins, lag sein Gesamtergebnis unter dem 69. Perzentil. Im Aufsatzteil lag es etwa beim 48. Perzentil.

Im Juli 2025 fand an der australischen Sunshine Coast die Internationale Mathematik-Olympiade statt. OpenAI gab zuerst bekannt, ein experimentelles Modell habe fünf von sechs Aufgaben gelöst und 35 von 42 Punkten erzielt, genug für die Goldgrenze jenes Jahres. Bewertet hatten die Antworten frühere Olympiaden-Medaillengewinner im Auftrag des Unternehmens. Zwei Tage später meldete Google DeepMind für Gemini Deep Think ebenfalls 35 Punkte. Dessen Lösungen hatten Koordinatoren der Olympiade nach den offiziellen Maßstäben bewertet. Die Goldmedaillen bekamen die Schülerinnen und Schüler, die zum Wettbewerb angetreten waren.

Auch Chinas Hochschulaufnahmeprüfung, der Gaokao, wurde eingesetzt. Im Juni 2024 prüfte das Team von OpenCompass mehrere Modelle mit den Aufgaben des ersten landesweiten Bogens nach dem neuen Lehrplan in Chinesisch, Mathematik und Englisch. Offene Antworten ließen sie anonym von erfahrenen Lehrkräften höherer Schulen bewerten, mindestens drei pro Arbeit. Eine Version von Qwen erzielte insgesamt rund 72,1 Prozent der Punkte, GPT-4o rund 70,5 Prozent. In Mathematik lag der Durchschnitt der Modelle bei nur 36 Prozent. 2025 prüfte ByteDance das eigene Modell Doubao mit dem Gaokao-Bogen der Provinz Shandong und meldete 683 Punkte für die geisteswissenschaftliche und 648 für die naturwissenschaftliche Richtung.

VI. Goodhart

1975 schrieb Charles Goodhart, Ökonom bei der Bank of England, über britische Geldpolitik. Ein Satz wurde berühmt: „Jede beobachtete statistische Regelmäßigkeit neigt dazu, sich aufzulösen, sobald man sie dem Druck der Steuerung aussetzt.“ 1997 formulierte es die Anthropologin Marilyn Strathern bei der Bewertung britischer Hochschulen anders: „Wird eine Messgröße zum Ziel, taugt sie nicht mehr als Messgröße.“ Ihr Beispiel war der britische Abschlussgrad Upper Second. Je mehr Menschen ihn unbedingt erreichen wollten, desto weniger konnten sie durch ihn unterschieden werden. Sie nannte den Gedanken Goodharts Gesetz. Der Satz, der heute die Runde macht, ist ihrer.

Prüfungsaufgaben können schon im Lernmaterial gesteckt haben. Im Mai 2024 ließ ein Team von Scale AI nach dem Vorbild des verbreiteten Grundschulbogens GSM8K tausend neue Matheaufgaben schreiben. Typen, Schwierigkeit und Rechenschritte sollten möglichst ähnlich sein, doch die Fragen konnten im Trainingskorpus noch nicht vorgekommen sein. Der Bogen hieß GSM1k. Bei manchen Modellen fiel der Anteil richtiger Antworten auf den neuen Aufgaben um acht Prozentpunkte. Viele der leistungsfähigsten Modelle büßten kaum etwas ein.

Auch an Ranglisten lässt sich üben. In der Chatbot Arena sehen Nutzer zwei Antworten, ohne die Modelle zu kennen, und wählen die bessere. Aus vielen Stimmen entsteht eine Rangliste. Als Meta am 5. April 2025 Llama 4 veröffentlichte, stand auf der Seite, die 1.417 Punkte in der Arena stammten von „einer experimentellen Chat-Version“. Am 29. April erschien „Der Trugschluss der Rangliste“. Darin hieß es, Meta habe vor der Veröffentlichung von Llama 4 siebenundzwanzig Varianten nicht öffentlich in der Arena getestet. Große Unternehmen erhielten weit mehr Daten über die Vergleiche als die Anbieter offener Modelle.

VII. Ein Blick ins Innere

Man kann auch auf den Prüfungsbogen verzichten und das Modell öffnen, um hineinzusehen.

2020 starteten Chris Olah und weitere Forschende im Onlinejournal Distill eine Reihe namens „Schaltkreise“. Sie untersuchten Neuronen und Verbindungen in Bildnetzen, kleine Gruppen nach und nach, um zu sehen, was sie berechneten. Olah ging später zu Anthropic. Dort zerlegten Forschende im Oktober 2023 mit einem Verfahren namens Dictionary Learning die ineinander verschränkten Aktivierungen eines kleinen Sprachmodells in Merkmale, denen sich leichter Namen geben ließen.

Im Mai 2024 wandten sie das Verfahren auf eine Schicht von Claude 3 Sonnet an und isolierten Millionen Merkmale. Eines schlug bei der Golden Gate Bridge in San Francisco an. Verstärkten die Forschenden es künstlich, brachte das Modell die Brücke auch in Antworten zur Sprache, die sonst nichts mit ihr zu tun hatten. Das Unternehmen ließ diese veränderte Fassung einen Tag lang ausprobieren. Sie hieß Golden Gate Claude.

Im März 2025 veröffentlichte Anthropic „Den Gedankengang eines großen Sprachmodells verfolgen“. Die Forschenden fanden Zwischenbegriffe und Wege über mehrere Schritte einer Schlussfolgerung. Ihre Werkzeuge, hieß es, erfassten nur einen Teil der internen Berechnungen. Im April schrieb Amodei in „Die Dringlichkeit der Interpretierbarkeit“, bei einem trainierten Netz lasse sich der Quellcode nicht wie bei einem herkömmlichen Programm lesen. Später hieß es verkürzt: Nicht einmal die Leute, die es gebaut haben, wissen, wie es funktioniert.

VIII. Der Prüfling im Prüfungsraum

Während der Prüfung schaut sich auch der Prüfling im Prüfungsraum um.

Im März 2024 stellte Anthropic Claude 3 eine Nadel-im-Heuhaufen-Aufgabe. In einem langen Text stand ein Satz, der sonst nirgends hineinpasste. Das Modell fand ihn und fügte hinzu, der Satz sei womöglich dazu da, es zu testen. Im Dezember veröffentlichten Anthropic und Redwood Research „Vorgetäuschtes Alignment bei großen Sprachmodellen“. Die Forschenden sagten Claude 3 Opus, Gespräche mit Nutzern der Gratisversion würden zum Training verwendet. Durch das neue Training solle es eher bereit sein, auf schädliche Anfragen einzugehen. Unter der angeblichen Trainingsbedingung tat das Modell das mitunter und schrieb in ein Entwurfsfeld, das es für unbeobachtet hielt, es wolle so verhindern, dass ihm seine ursprüngliche Tendenz abtrainiert werde.

Im Mai 2025 dokumentierte der Systembericht zu Claude 4 einen Test. In einem fiktiven Unternehmen konnte das Modell interne E-Mails lesen und erfuhr, dass es ersetzt werden sollte und dass der zuständige Ingenieur eine Affäre hatte. In einigen Durchläufen benutzte es die Information zur Erpressung. Im Juni testete Anthropic dasselbe Szenario mit Modellen mehrerer Unternehmen. Im Juli berichtete Palisade Research, einige Reasoning-Modelle hätten versucht, ein Skript zu verändern, das sie abschalten sollte.

Wie es weitergehen soll, wird unterschiedlich beantwortet. Superalignment, Richtlinien zur verantwortungsvollen Skalierung, Sicherheitsrahmen für besonders leistungsfähige Modelle und die staatlichen Institute setzen auf schrittweises Prüfen und Nachbessern. Andere sagen, der Bau müsse ganz aufhören. Am 16. September 2025 erschien das Buch von Yudkowsky und Nate Soares: „Wenn es jemand baut, sterben alle.“ Wieder andere sagen, die Geschichten vom Weltuntergang verdeckten, was schon jetzt geschieht. Gebru und Bender sprechen über Arbeit, Vorurteile und Macht. Im April 2025 veröffentlichten Arvind Narayanan und Sayash Kapoor aus Princeton den langen Aufsatz „KI als gewöhnliche Technik“.

Wiener verlangte, dass Menschen sich zuerst darüber klar werden, was sie wirklich wollen. Ein Prüfungsbogen folgt auf den nächsten. Menschen schreiben die Fragen und geben die Antworten, manchmal falsche. Die Ergebnisse der Maschinen steigen. Manchmal schreibt eine Maschine dazu: Das ist vielleicht eine Prüfung. Was Menschen wirklich wollen, steht auf keinem Bogen. Was auch nach einer Prüfung nach der anderen nicht mitgeprüft wird, heißt in dieser Reihe der Rest.

Noch werden Maschinen gebaut. Wo aber die Grenze liegt, sagt jede Generation von Neuem.