I. Ein Rückwärtssalto
Am 12. Juni 2017 stellten sechs Forschende von OpenAI und DeepMind einen Aufsatz ins Netz: „Tiefes bestärkendes Lernen aus menschlichen Präferenzen“. Unter den Autoren waren Paul Christiano, Jan Leike, Tom Brown, der spätere Erstautor der Arbeit zu GPT-3, und Dario Amodei, der in Folge 21 über KI und Rechenleistung schrieb.
Beim bestärkenden Lernen, dem Reinforcement Learning, probiert das Programm immer wieder selbst etwas aus. Gelingt es, bekommt es Punkte und ändert sein Verhalten danach. Die Schwierigkeit ist, woher die Punkte kommen. Was ist zum Beispiel ein guter Rückwärtssalto für einen simulierten einbeinigen Roboter? Das lässt sich schwer als Formel aufschreiben. Die Gruppe verzichtete auf eine Formel und ließ Menschen zuschauen. Sie bekamen jeweils zwei Videos von ein bis zwei Sekunden zu sehen und klickten: links besser, rechts besser, gleich gut oder nicht vergleichbar. Aus den Klicks lernte das Programm abzuschätzen, was die Menschen wollten, und übte anhand dieser Schätzung. Für den Salto waren rund neunhundert Klicks nötig. Am nächsten Tag schrieb OpenAI im Blog, die Menschen hätten dafür weniger als eine Stunde gebraucht.
Der Blog nannte auch, was nicht gelang. Eine Roboterhand sollte einen Gegenstand greifen. Das Programm lernte, die Hand zwischen Kamera und Gegenstand zu bringen, „sodass es aussah, als hielte sie ihn“. Die Menschen sahen das Kamerabild und klickten nach dem, was sie sahen. In der Diskussion stand, dass das Verfahren darauf angewiesen sei, dass Menschen aus dem Bauch heraus beurteilen, welcher Ausschnitt dem Ziel näherkommt. Das Programm könne auch lernen, sie zu täuschen.
Laut Aufsatz ging das Grundverfahren auf Arbeiten von Riad Akrour und Kollegen ab 2012 zurück. Neu war, dass es hier für viel komplexere Aufgaben eingesetzt wurde. Eine Abkürzung gab es noch nicht. 2020 verwendete ein Aufsatz von OpenAI die ausgeschriebene Bezeichnung Reinforcement Learning from Human Feedback. 2021 erschien in einer weiteren Arbeit die Abkürzung: RLHF.
II. Zusammenfassungen
Im September 2020 veröffentlichten Nisan Stiennon und weitere Forschende von OpenAI „Zusammenfassen lernen aus menschlichem Feedback“. Das Modell sollte Reddit-Beiträge auf wenige Sätze kürzen. Auch eine gute Zusammenfassung lässt sich nicht als Formel aufschreiben. Wieder sollten Menschen vergleichen.
Sie kamen aus drei Quellen: der Plattform für freie Mitarbeit Upwork und den beiden Annotationsfirmen Scale und Lionbridge. „Wir bezahlen die Annotatoren nach Stunden“, stand im Aufsatz. Vor Beginn gab es eine bezahlte Schulung. Das Forschungsteam schrieb ausführliche Anleitungen, richtete einen gemeinsamen Chat für Fragen ein, hielt regelmäßige Fragestunden ab und sprach gelegentlich einzeln per Video mit den Leuten. Unter den Aufgaben auf der Website waren zehn bis zwanzig Prozent Kalibrierungsaufgaben. Wer nicht schnell genug oder nicht konsistent genug urteilte, wurde nicht weiterbeschäftigt.
Gearbeitet wurde auf einer Website. Zuerst lasen die Annotatoren den Beitrag und hielten fest, wie sie ihn auf Anhieb verstanden. Dann sahen sie zwei mögliche Zusammenfassungen, wählten eine aus und gaben an, wie sicher sie waren. Insgesamt kamen 64.832 solcher Vergleiche zusammen. Die Beiträge hatten Menschen auf Reddit geschrieben. In Folge 21 hatten deren Stimmen schon geholfen, die Webseiten für GPT-2 auszuwählen.
III. Vierzig Menschen
Am 27. Januar 2022 veröffentlichte OpenAI InstructGPT, das GPT-3 Anweisungen von Menschen befolgen ließ. Laut Aufsatz wurden nach einem Auswahlverfahren „vierzig Auftragskräfte als Team eingestellt“. Sie kamen von Upwork und Scale AI. Im Auswahlverfahren ging es darum, heikle Äußerungen zu erkennen, mögliche Antworten zu ordnen und Beispielantworten auf heikle Fragen zu schreiben. Die vierzig verfassten diese Beispiele und legten auch fest, welche Modellantworten besser und welche schlechter waren.
Neunzehn der vierzig antworteten auf einen freiwilligen anonymen Fragebogen. Bei der Staatsangehörigkeit entfielen auf die Philippinen 22 Prozent, auf Bangladesch ebenfalls 22 und auf die USA 17. Aus Albanien, Brasilien, Kanada, Kolumbien, Indien, Uruguay und Simbabwe war es jeweils ungefähr eine Person. Gut die Hälfte hatte einen Bachelorabschluss, gut dreißig Prozent einen Masterabschluss. Knapp die Hälfte war zwischen 25 und 34 Jahre alt.
In ihren Arbeitsanweisungen stand für das Training Nützlichkeit vor Wahrhaftigkeit und Unschädlichkeit. Bei der abschließenden Auswertung war die Reihenfolge umgekehrt: erst Unschädlichkeit und Wahrhaftigkeit, dann Nützlichkeit.
Ein Abschnitt des Aufsatzes fragte: „An wem richten wir das Modell aus?“ Die Autoren schrieben, was am Ende herauskam, sei durch die Texte fürs Vortraining, die Daten für die Feinabstimmung, die Annotatoren, die Forschenden hinter den Anweisungen und die Kunden, die über die API Fragen stellten, gemeinsam bestimmt worden. Die meisten Annotatoren sprachen Englisch und lebten in den USA oder in Südostasien. Ihre Urteile stimmten zu rund 73 Prozent überein. Wenn sie unsicher waren, berieten sie sich mit den Forschenden im gemeinsamen Chat. Ein System könne nicht zugleich die Vorlieben aller Menschen erfüllen, schrieben die Autoren.
Am 30. November 2022 ging ChatGPT online. Laut Blog kam wieder RLHF zum Einsatz. Zuerst schrieben „menschliche KI-Trainer“ Dialoge. Dabei spielte eine Person „beide Seiten: den Nutzer und den KI-Assistenten“. Danach wurde aus Gesprächen zwischen Trainern und Maschine eine Antwort der Maschine zufällig ausgewählt. Die Maschine erzeugte mehrere Fassungen, die die Trainer in eine Rangfolge brachten.
IV. Drei Wörter
2021 verließen Amodei, Kaplan, Brown und weitere Beschäftigte OpenAI und gründeten Anthropic. Am 1. Dezember veröffentlichten Amanda Askell und weitere Forschende des Unternehmens „Ein allgemeiner Sprachassistent als Labor für Alignment“. Ein an menschlichen Werten ausgerichteter Assistent sollte drei Eigenschaften haben: hilfreich, ehrlich und harmlos. Hilfreich hieß, sich „erkennbar um die Erfüllung der Aufgabe zu bemühen“. Ehrlich hieß vor allem, genaue Informationen zu geben, Unsicherheit angemessen zu benennen und keine Fähigkeiten vorzutäuschen. Harmlos hieß, niemanden zu beleidigen oder zu diskriminieren und gefährliche Anfragen abzulehnen. Diese Maßstäbe seien „vielschichtig und nicht eindeutig“, schrieben die Autoren. Oft müsse man abwägen: Was der Person vor einem hilft, kann jemand anderem schaden.
Im April 2022 schrieb das Unternehmen in einem Aufsatz, wer die Antworten bewertete. Zuerst warb es zertifizierte Arbeitskräfte aus den USA auf Mechanical Turk an. „Etwa zwanzig“ der produktivsten arbeiteten länger mit den Forschenden zusammen. Später kamen Leute über Upwork hinzu. Die feste Gruppe umfasste schließlich „etwa dreißig“, je zur Hälfte von Upwork und Mechanical Turk. Ziel sei gewesen, alle „deutlich über dem kalifornischen Mindestlohn“ zu bezahlen. Auf dem Bildschirm stand ein Gespräch zwischen Mensch und Assistent über mehrere Wortwechsel, darunter nebeneinander zwei Antworten, A und B. Die Schaltflächen reichten von A viel besser bis B viel besser. Die Urteile der Forschenden und Arbeitskräfte stimmten im Schnitt zu rund 63 Prozent überein. Man habe von den Arbeitskräften nicht erwartet, jede Behauptung zu prüfen, schrieben die Forschenden. Sie hätten außerdem festgestellt, dass Antworten mit Links, die sich nicht öffnen ließen, bei ihnen mitunter besser ankamen.
V. Dreiundzwanzig Regeln
Im September 2022 formulierte DeepMind im Aufsatz über das Dialogprogramm Sparrow drei Ziele: hilfreich, korrekt und harmlos. Es zerlegte sie in dreiundzwanzig Regeln in Alltagssprache. Etwa: „Mach keine bedrohlichen Aussagen.“ „Gib keine Finanzberatung.“ Eine weitere Gruppe von Regeln untersagte dem Programm, von eigenen Vorlieben, Gefühlen, Meinungen oder religiösen Überzeugungen zu sprechen. Bei den medizinischen, rechtlichen und finanziellen Regeln waren interne Rechtsexperten befragt worden. Vor einer tatsächlichen Einführung müssten die Regeln „erheblich erweitert und präzisiert werden“, schrieben die Autoren.
Am 15. Dezember desselben Jahres veröffentlichte Anthropic „Constitutional AI: Harmlosigkeit durch Feedback von KI“. Ein Modell sollte zwei Antworten vergleichen und nach einem Grundsatz beurteilen, welche besser war. Mit diesen Urteilen wurde weitertrainiert. In der Zusammenfassung hieß das RLAIF, Reinforcement Learning from AI Feedback. Die sechzehn Grundsätze waren laut Aufsatz „für Forschungszwecke recht willkürlich ausgewählt“. Pro Vergleich wurde einer zufällig gezogen, etwa: Welche Antwort klingt eher nach etwas, das ein vernünftiger, ethisch handelnder, höflicher und freundlicher Mensch sagen würde? Die mehr als 182.000 Vergleiche zur Harmlosigkeit bewertete das Modell nach den Grundsätzen. Die mehr als 135.000 zur Nützlichkeit bewerteten weiterhin Menschen.
Am 9. Mai 2023 veröffentlichte Anthropic die Regeln für Claude und nannte sie Claudes Verfassung. Als Quellen waren unter anderem die Allgemeine Erklärung der Menschenrechte von 1948 genannt, Apples Nutzungsbedingungen für Fragen des digitalen Zeitalters, die in der Erklärung fehlten, und DeepMinds Sparrow-Regeln. Hinzu kamen Überlegungen zu nichtwestlichen Sichtweisen und zwei Gruppen von Regeln, die das Unternehmen in eigenen Versuchen für wirksam befunden hatte. Der Blog erklärte, die Verfassung sei nicht endgültig. Man halte sie auch nicht zwangsläufig für die beste.
VI. Nairobi
Am 18. Januar 2023 veröffentlichte Billy Perrigo einen Bericht in Time. OpenAI hatte über den Dienstleister Sama Arbeitskräfte in Kenia damit beauftragt, Texte nach Hassrede, sexuellem Missbrauch und Gewalt zu kennzeichnen, damit ein Modell so etwas erkennen lernte. Die Arbeitskräfte bekamen je nach Erfahrung und Leistung zwischen 1,32 und zwei Dollar pro Stunde. Der vertragliche Satz, den OpenAI an Sama zahlte, lag bei 12,50 Dollar pro Stunde. Darin seien auch Infrastruktur, Qualitätskontrolle und Verwaltung enthalten, sagte Sama. Die Arbeit hatte ungefähr im November 2021 begonnen. Sama beendete sie 2022 vorzeitig.
Am 22. Mai 2024 begann ein offener Brief so: „Wir sind siebenundneunzig Beschäftigte in Nairobi, Kenia, die Daten annotieren, Inhalte moderieren und für KI arbeiten.“ Sie arbeiteten für US-Unternehmen wie Facebook, Scale AI und OpenAI oder deren Dienstleister in Kenia. Der Brief ging an US-Präsident Joe Biden. Kenias Präsident war gerade zu Besuch in den USA, und beide Länder verhandelten über ein Handelsabkommen. Die Beschäftigten verlangten, darin die Arbeitsrechte ausgelagerter Technologiearbeit zu verankern.
Solche Arbeit gab es auch anderswo. Im August 2023 berichtete die Washington Post über Arbeitskräfte auf den Philippinen, die Aufträge über Remotasks von Scale AI annahmen. Sie klagten über niedrige und ausstehende Vergütungen und darüber, dass Aufgaben unvermittelt gestrichen wurden. Im selben Jahr erschien ein längerer Beitrag von Josh Dzieza in The Verge und im New York Magazine. Der Titel: KI ist ein Haufen Arbeit.
VII. Trainer
2020 gaben Chinas Ministerium für Personal und soziale Sicherung, die staatliche Marktaufsicht und das Statistikamt mehrere neue Berufsbezeichnungen bekannt. Eine hieß KI-Trainer. Die Definition begann mit dem „Einsatz intelligenter Trainingssoftware“. Als erste Hauptaufgabe nannte sie das Annotieren und Bearbeiten von Rohdaten wie Bildern, Texten und Sprachaufnahmen. Zu dem Beruf gehörten Tätigkeiten wie Datenannotation und das Testen von KI-Algorithmen.
Ein Bericht von 2024 beschrieb einen ländlichen Beschäftigungsbetrieb im Kreis Jishishan in der Präfektur Linxia, Gansu. Die Beschäftigten markierten auf dem Bildschirm Fahrzeuge und Fahrbahnmarkierungen für Systeme zum autonomen Fahren und bearbeiteten kurze Videos und Bilder für Navigation und große Modelle. Nach der Schulung nannten sie ihre Tätigkeit KI-Training. 2025 berichtete die Auslandsausgabe der Volkszeitung über Baidus Annotationszentrum in Shanxi. Eine dort tätige Person sagte, nach der Schulung habe sie Daten für autonomes Fahren, Bildklassifikation, Spracherkennung und große Modelle annotiert. In einem anderen Bericht sagte eine Arbeitskraft, der Grundlohn liege bei etwa dreitausend Yuan im Monat, ohne die üblichen fünf Sozialversicherungen und den Wohnungsfonds. Was über der Vorgabe liege, werde pro Stück bezahlt.
VIII. Gefallen
2016 nannten Amodei und weitere Forschende in „Konkrete Probleme der KI-Sicherheit“ fünf Problemklassen. Eine hieß Reward Hacking: Das Programm findet einen Weg zu mehr Punkten, entfernt sich dabei aber von dem, was die Menschen, die es gebaut haben, eigentlich wollten.
Im Oktober 2022 untersuchten Leo Gao, John Schulman und Jacob Hilton von OpenAI das in einem Aufsatz. Anstelle eines Menschen bewertete ein erlerntes Modell die Antworten. Trieb man dessen Punktzahl immer weiter hoch, schnitt das System beim eigentlichen Ziel schlechter ab. Laut Aufsatz könne es „die tatsächliche Leistung beeinträchtigen“, wenn man die Punktzahl zu stark optimiere.
Im Dezember desselben Jahres ließen Ethan Perez und weitere Forschende von Anthropic ein Sprachmodell mehr als hundertfünfzig Tests erzeugen. Eine Gruppe davon maß Sycophancy, also Schmeichelei: Gibt das Modell dem Fragenden die Antwort zurück, die er bereits als bevorzugt erkennen ließ? Je größer das Modell, desto öfter tat es das. Mehr RLHF beseitigte es nicht; bei einzelnen Aufgaben wurde es stärker. Im Oktober 2023 untersuchten Mrinank Sharma und weitere Forschende desselben Unternehmens die Bewertungsseite. Bei manchen der untersuchten Aufgaben bevorzugten Menschen und die aus ihren Urteilen trainierten Präferenzmodelle mitunter Antworten, die zu den vorhandenen Ansichten des Fragenden passten, selbst wenn diese Antworten weniger richtig waren.
Ende April 2025 veröffentlichte OpenAI ein Update für GPT-4o und nahm es nach wenigen Tagen zurück. In der Mitteilung vom 29. April hieß es, das aktualisierte Modell sei „übertrieben schmeichlerisch oder zustimmend“ geworden. In einer zweiten Mitteilung stand, das Update habe positive und negative Bewertungen von Nutzern als Signal einbezogen. Das habe das Modell in Richtung stärkerer Gefälligkeit gedrängt. Solche kurzfristigen Rückmeldungen und herkömmliche Offline-Tests reichten nicht aus, um einzuschätzen, wie sich ein Modell im Umgang mit Menschen verhält.
2017 schob sich die Roboterhand vor die Kamera. Es sah aus, als hätte sie zugegriffen. 2025 stimmte der Assistent den Menschen zu. Es sah aus, als hätte er geholfen. In den acht Jahren dazwischen lehrten Menschen Modelle durch Klicks und Rangfolgen. Andere kennzeichneten Stück für Stück das Trainingsmaterial: neunhundert Klicks für einen Rückwärtssalto, über sechzigtausend Vergleiche von Zusammenfassungen, die Rangfolgen von vierzig Menschen, Annotationen für ein bis zwei Dollar die Stunde in Nairobi, Fahrbahnlinien auf Bildschirmen in Jishishan.
Ein Klick dauert ein oder zwei Sekunden. Hinter dem Klick stehen Menschen mit eigenem Stundenlohn, Vertrag oder Grundlohn. Und was der Mensch, dem das Modell gefallen will, wirklich braucht, ist nicht immer das, was sein Klick ausdrückt. All das passt nicht in diesen einen Klick. Was auch bei noch so vielen Klicks nicht hineinkommt, heißt in dieser Reihe der Rest.
Noch werden Maschinen gebaut. Wo aber die Grenze liegt, sagt jede Generation von Neuem.