I. Blüten
1936 veröffentlichte der Statistiker Ronald Fisher im siebten Band, Heft zwei, der Annals of Eugenics einen Aufsatz mit dem Titel „Die Anwendung multipler Messungen auf taxonomische Fragen“. Darin stand eine Tabelle: drei Arten von Schwertlilien, je fünfzig Blüten, insgesamt hundertfünfzig. An jeder Blüte wurden vier Maße genommen: Länge und Breite des Kelchblatts, Länge und Breite des Kronblatts.
Wer die Blüten vermessen hatte, schrieb Fisher dazu: der Botaniker Edgar Anderson. Von zwei Arten hatte Anderson je fünfzig Exemplare auf derselben Wiese gesammelt. Ein Jahr zuvor hatte er einen kurzen Aufsatz mit dem Titel „Die Schwertlilien der Gaspé-Halbinsel“ veröffentlicht. Die Halbinsel liegt im Osten Kanadas und ragt in den Sankt-Lorenz-Golf hinein.
Einundfünfzig Jahre später, 1987, richtete ein Doktorand namens David Aha an der University of California in Irvine auf einem Hochschulrechner ein Dateiarchiv ein. Er stellte dort Datensätze, die mehrere Doktoranden der Hochschule bereits gesammelt hatten, samt Erläuterungen zum Abruf von außen bereit. Anfangs seien es nur „wenige Datensätze“ gewesen, erinnerte er sich 2019. Das Archiv hieß später Machine Learning Repository. Auch die hundertfünfzig Blüten, die Anderson vermessen hatte, fanden ihren Weg dorthin.
Ein Botaniker kniet auf einer Halbinsel zwischen wilden Blumen und vermisst eine nach der anderen. Die sechshundert Zahlen, die dabei herauskommen, werden für Generationen von Maschinen zur ersten Übungsaufgabe im Klassifizieren.
II. Kästchen
Um 1990 wollte das US-amerikanische National Institute of Standards and Technology für die Volkszählung Maschinen beibringen, Handschrift zu lesen. Zuerst brauchte es Schriftproben. Formulare gingen an 3.400 fest angestellte Außendienstkräfte der Volkszählungsbehörde, 2.100 kamen zurück. Auf den Formularen waren kleine Kästchen aufgedruckt. In jedes kam ein Zeichen. Ein Programm schnitt die Kästchen aus den zurückgesandten Formularen heraus, sodass jedes Zeichen als kleines Bild vorlag.
Ein weiterer Stapel Formulare ging an eine Highschool. Fünfhundert Schülerinnen und Schüler füllten sie in Mathematik- und Naturwissenschaftskursen aus und gaben sie gleich ab. Der Tagungsband von 1992 hielt den Unterschied zwischen beiden Gruppen eigens fest: Die Leute von der Volkszählungsbehörde schickten ihre Formulare freiwillig zurück, waren beruflich motiviert und schrieben vergleichsweise sauber. Die Jugendlichen mussten die Aufgabe im Unterricht an Ort und Stelle erledigen.
In jenem Jahr veranstaltete das Institut die erste Tagung zur optischen Zeichenerkennung für die Volkszählung. Die Schriftproben der Behörde dienten den teilnehmenden Systemen zum Training. Die Schriftproben der Jugendlichen blieben für die Prüfung zurück; die Lösungen kannten die Teilnehmer vorher nicht. Es zählte, wie oft sich die Systeme irrten. Bei den Ziffern lag die niedrigste Fehlerquote bei 1,56 Prozent, die höchste bei rund zwanzig Prozent.
III. Was ein Mensch leistet
Im selben Tagungsband steht noch ein Versuch. Das Institut bat einen Menschen, die ersten zehntausend Ziffern aus dem Prüfungssatz der Jugendlichen zu lesen. Er kannte die Lösungen nicht, las ungefähr zwei Zeichen pro Sekunde und arbeitete jeweils ein bis zwei Stunden am Stück, mit mehreren Stunden Pause dazwischen. Seine Fehlerquote lag bei 1,57 Prozent. Die beste Maschine kam auf 1,56 Prozent.
Das Fazit der Tagung lautete: Beim Erkennen einzeln geschriebener Ziffern näherten sich Maschinen „der menschlichen Leistung“. Gleich danach standen zwei Einschränkungen: Die Schriftproben der Volkszählungsbehörde bildeten keine hinreichend vielfältige Stichprobe, und für Buchstaben hatte es keinen Versuch mit Menschen unter denselben Bedingungen gegeben. Menschliche Leistung hieß hier: die Leistung eines Menschen.
Sechs Jahre später, 1998, veröffentlichten Yann LeCun und drei Kollegen einen längeren Aufsatz. Darin beschrieben sie, wie sie einen neuen Datensatz mit handgeschriebenen Ziffern zusammenstellten. Das Institut habe ursprünglich die Schriftproben der Volkszählungsbehörde fürs Training vorgesehen und die Proben der Jugendlichen für die Prüfung. Doch die erste Sammlung sei „viel sauberer und leichter zu erkennen“ gewesen. Auch den Grund nannten sie: Die einen Proben stammten von Angestellten der Behörde, die anderen von Jugendlichen an einer Highschool. Die Prüfungsaufgaben waren schwerer als die Übungsaufgaben, weil andere Menschen geschrieben hatten, nicht weil andere Aufgaben gestellt wurden.
Also legten sie beide Sammlungen zusammen und teilten sie neu auf. Zuerst teilten sie die fünfhundert Jugendlichen in zwei Gruppen. Eine Hälfte lieferte Ziffern fürs Training, die andere für den möglichen Prüfungssatz. Mit Ziffern aus der Behörde stockten sie den Trainingssatz auf 60.000 Bilder auf. Der eigentliche Prüfungssatz bestand aus 10.000 Bildern, zur Hälfte von Jugendlichen, zur Hälfte von Angestellten der Behörde. Sie nannten ihn MNIST, nach der modifizierten Datenbank des Normungsinstituts. Über zwanzig Jahre lang blieb er der meistverwendete Prüfungsbogen des Fachs.
IV. Der Türke
Im November 2005 ging Amazon mit einer Plattform an den Start. Ein Auftrag auf dieser Plattform hieß Human Intelligence Task. Wer ihn vergab, war der Requester; wer ihn ausführte, der Worker.
2006 erklärte Felipe Cabrera von Amazon Web Services dem Magazin Wired, dass manche Dinge für Computer schwierig und für Menschen leicht seien. Die Plattform mache aus der Möglichkeit, Menschen mit solchen Kleinigkeiten zu beauftragen, einen Dienst, den Software direkt aufrufen könne. Bei Amazon und in damaligen Berichten fiel dafür die Bezeichnung „künstliche künstliche Intelligenz“.
Die Plattform hieß Mechanical Turk, mechanischer Türke. Den Namen lieh sie sich von einem Schachautomaten des 18. Jahrhunderts, der auf Reisen vorgeführt wurde. Eine Figur in türkischer Kleidung saß hinter einem Kasten und spielte Schach gegen Menschen. Es sah aus, als könne die Maschine selbst spielen. Tatsächlich machte ein Mensch im Inneren des Kastens die Züge. Um 1770 wurde die Maschine in Wien vorgestellt. Über Jahrzehnte versuchten Autoren, ihr Geheimnis zu ergründen; 1836 schrieb auch Edgar Allan Poe darüber. Genau darum ging es bei Amazons Anleihe: Von außen sieht man eine Maschine, drinnen arbeitet ein Mensch.
Wer auf dieser Plattform arbeitete, wurde auch einmal untersucht. Im Februar 2010 führte Panos Ipeirotis von der New York University eine Befragung durch. Von den Antwortenden kamen 46,8 Prozent aus den USA, 34 Prozent aus Indien und die übrigen aus 66 Ländern. Später sammelte er mit zwei Kollegen in einer Befragung über 28 Monate mehr als 85.000 Antworten von rund 40.000 verschiedenen Personen. Einer ihrer Schlüsse: Hier kommen und gehen ständig Menschen. Eine einzelne Befragung ist nur eine Momentaufnahme.
Ende 2017 legte ein Forschungsteam eine Auswertung vor. Eine Browser-Erweiterung hatte von September 2014 bis Januar 2017 anonyme Protokolle über rund 3,8 Millionen erledigte Aufgaben von 2.676 Arbeitskräften erfasst. In die Auswertung gingen auch die Zeit für die Suche nach Aufträgen und das Lesen der Anleitungen ein, ebenso die Zeit für erledigte, aber nicht bezahlte Aufträge. Der Median des Stundenlohns lag danach bei ungefähr zwei Dollar. Nur rund vier Prozent verdienten mehr als den damaligen US-Bundesmindestlohn von 7,25 Dollar pro Stunde.
V. ImageNet
Im Juni 2009 stellten Jia Deng, Fei-Fei Li und vier weitere Forschende aus Princeton auf der CVPR „ImageNet: eine große hierarchisch gegliederte Bilddatenbank“ vor. Das Gerüst gab es schon. Seit 1985 arbeiteten Psychologen und Sprachwissenschaftler in Princeton an einer englischen Wortdatenbank namens WordNet. Ihre kleinste Einheit war die Synonymgruppe: Wörter mit gleicher Bedeutung bilden eine Gruppe, die über Ober- und Unterbegriffe mit anderen verknüpft ist. ImageNet übernahm die rund 80.000 Substantivgruppen aus WordNet. Geplant waren 500 bis 1.000 überprüfte Originalbilder pro Gruppe. Als der Aufsatz erschien, waren zwölf Teilbäume mit 5.247 Gruppen und rund 3,2 Millionen Bildern fertig.
Woher kamen die Bilder? Man suchte mit den Wörtern aus WordNet in Bildsuchmaschinen, bekam einen großen Stapel Treffer und ließ Menschen Bild für Bild eine kleine Frage beantworten: Ist diese Sache auf dem Bild zu sehen? Man fand sie auf der Plattform von Amazon.
2014 enthielt ImageNet 21.841 Synonymgruppen mit Bildern und 14.197.122 beschriftete Bilder. Ein Rückblick der Stanford University von 2016 sprach von insgesamt knapp 50.000 Arbeitskräften aus 167 Ländern und einer Arbeitsdauer von ungefähr zweieinhalb Jahren.
Fei-Fei Li hat später mehrmals erzählt, wie das Projekt anfing. Zuerst sollte der Datenbestand wachsen; mehr Regeln fürs Erkennen von Bildern zu schreiben, war nicht der Ausgangspunkt. Der Aufsatz von 2009 stand auf der Konferenz im Posterbereich. Er wurde nicht auf der Bühne vorgetragen.
VI. Im Prüfungsraum
Von 2010 an veranstaltete ImageNet jährlich einen großen Wettbewerb zur visuellen Erkennung. Es gab tausend Kategorien. Die Trainingsbilder samt Lösungen waren öffentlich, die Prüfungsbilder auch. Nur die Lösungen der Prüfungsaufgaben blieben geheim. Von 2011 an reichten die Teams ihre Antworten auf einem Server der Veranstalter ein, der sie mit den geheimen Lösungen verglich. Die Veranstalter sagten auch, wozu: Niemand sollte sein Programm immer wieder an denselben Prüfungsaufgaben nachjustieren. Auf dem Server, der nach dem Wettbewerb weiter offenstand, durfte jedes Team höchstens zweimal pro Woche einreichen.
Gewertet wurde die Top-5-Fehlerquote: Die Maschine durfte fünfmal raten. War die richtige Antwort dabei, zählte das als Treffer. 2010 gewann NEC mit 28,2 Prozent Fehlern, 2011 das Xerox Research Centre Europe mit etwa 25,8 Prozent, 2012 das Dreierteam der University of Toronto mit 15,3 Prozent, 2013 die Firma Clarifai mit 11,7 Prozent, 2014 das Team von Google mit 6,66 Prozent und 2015 Microsoft Research mit 3,57 Prozent. 2016 lag das Team Soushen vom Dritten Forschungsinstitut des chinesischen Ministeriums für öffentliche Sicherheit bei rund 2,99 Prozent. 2017 waren es ungefähr 2,25 Prozent.
Am 2. Juni 2015 veröffentlichten die Veranstalter eine Erklärung. Zwischen Ende November 2014 und Mitte Mai 2015 hatte ein Team von Baidu mit mindestens dreißig Konten mindestens zweihundert Antworten auf dem Bewertungsserver eingereicht, davon über vierzig binnen fünf Tagen Mitte März. Die Ergebnisse seien „nicht direkt mit den Ergebnissen anderer Teams vergleichbar“, hieß es darin. Baidu wurde gebeten, zwölf Monate lang nichts mehr einzureichen. Das Baidu-Team erklärte: „Wir entschuldigen uns für diesen Fehler.“ Einige Tage später veröffentlichte Baidu das Ergebnis der internen Untersuchung. Ein Teamleiter habe mehrere junge Ingenieure dazu veranlasst, die Grenze von zwei Einreichungen pro Woche zu überschreiten. Das Unternehmen habe dem Teamleiter gekündigt.
Im Prüfungsraum gab es noch eine andere Zahl: Wie oft irrten sich Menschen? Am 2. September 2014 berichtete der Stanford-Doktorand Andrej Karpathy auf seinem Blog von einem Versuch. Zunächst machte er sich mit fünfhundert Validierungsbildern mit den tausend Kategorien vertraut. Dann erkannte er selbst 1.500 Prüfungsbilder, ungefähr eines pro Minute. Seine Top-5-Fehlerquote betrug 5,1 Prozent. Auf denselben Bildern irrte sich das Netz von Google in ungefähr 6,8 Prozent der Fälle. Karpathy fügte die Einschränkung hinzu: „bezogen auf die Bilder, die ich tatsächlich bearbeitet habe“. In einem späteren Aufsatz erwähnten die Veranstalter eine zweite Person: Sie übte mit nur hundert Bildern, bearbeitete 258 Prüfungsbilder und kam auf zwölf Prozent Fehler.
Am 6. Februar 2015 veröffentlichten Kaiming He und drei weitere Forschende von Microsoft Research einen Aufsatz, dessen Titel „über menschlichem Niveau“ versprach. Sie erreichten 4,94 Prozent. Als menschliches Niveau galten im Vergleich Karpathys 5,1 Prozent. Die Autoren stellten dem Vergleich die Worte „soweit wir wissen“ voran.
VII. Die Menschen in den Listen
Im Oktober 2006 rief Netflix einen Wettbewerb für Empfehlungsalgorithmen aus. Wer den Vorhersagefehler des Netflix-Algorithmus bei den Sternebewertungen um ein Zehntel senkte, sollte eine Million Dollar bekommen. Die öffentlichen Trainingsdaten umfassten rund 100,48 Millionen Bewertungen von 480.189 Abonnenten zu 17.770 Filmen. Zu jeder Bewertung gehörten ein Datum und ein bis fünf Sterne. Anstelle der Namen standen Zahlenfolgen.
Im selben Jahr veröffentlichten Arvind Narayanan und Vitaly Shmatikov von der University of Texas eine Vorabfassung ihrer Studie, die zwei Jahre später offiziell erschien. Sie entschlüsselten keine Namen aus der Datei: Sie verglichen Bewertungen für einige Filme samt ungefähren Daten, die jemand anderswo öffentlich hinterlassen hatte, mit den Bewertungsverläufen in der anonymisierten Sammlung. Sie wollten zeigen, dass sich solche lückenhaften Aufzeichnungen mit zusätzlichen Informationen wieder mit einem Menschen verbinden lassen.
Am 21. September 2009 ging die Million Dollar an ein Team, das aus mehreren Teams entstanden war. Im Dezember desselben Jahres wurde Netflix wegen der Daten und eines geplanten zweiten Wettbewerbs verklagt. Der Vorwurf: Anonymisierte Bewertungen ließen sich Personen wieder zuordnen und verrieten dann, welche Filme jemand gesehen hatte. Im März 2010 sagte Netflix den zweiten Wettbewerb ab. 2012 schrieben Ingenieure von Netflix im Unternehmensblog, dass die späteren Verfahren im Wettbewerb bei Offline-Tests zwar genauer gewesen seien. Das Plus schien aber nicht groß genug, „um den Aufwand für ihre Umsetzung im laufenden Betrieb zu rechtfertigen“.
In ImageNet gibt es eine große Kategorie namens „Person“. Das Projektteam stellte sie nicht selbst zusammen, sondern übernahm sie als ganzen Zweig aus der Begriffshierarchie von WordNet. Im September 2019 stellten Kate Crawford und Trevor Paglen ihr Projekt „Excavating AI“ online. Die Kategorie „Person“ hatte mehr als 2.800 Untergruppen. Auf der dazugehörigen Website ImageNet Roulette konnte jeder ein eigenes Foto hochladen. Die Website versah das Foto mit einer der Bezeichnungen aus dieser Kategorie.
Im Januar 2020 veröffentlichte das ImageNet-Team selbst einen Aufsatz. Darin empfahl es, 1.593 herabsetzende oder beleidigende Bezeichnungen oder solche, die sich auf sensible Merkmale beziehen, zusammen mit den zugehörigen 600.040 Bildern aus der Kategorie „Person“ zu entfernen. Im Juni desselben Jahres erklärten Forschende am MIT, sie hätten „beschlossen, einen anderen, älteren Datensatz offiziell zurückzuziehen“: 80 Million Tiny Images. Wer ihn benutzt hatte, sollte die eigene Kopie löschen. Etwa zur selben Zeit veröffentlichten Vinay Prabhu und Abeba Birhane einen Aufsatz, der die herabsetzenden Kategorien und die ohne Einwilligung übernommenen Personenbilder in solchen großen Bildsammlungen Punkt für Punkt zusammentrug.
Ein weiterer Prüfungsbogen fragte, wie Maschinen Menschen sehen. Im Februar 2018 erschien „Gender Shades“ von Joy Buolamwini und Timnit Gebru. Sie hatten ihren Prüfungssatz selbst zusammengestellt: rund 1.270 öffentlich zugängliche Porträts von Parlamentsabgeordneten aus drei afrikanischen und drei europäischen Ländern, gruppiert nach Geschlecht und nach einer in der Dermatologie gebräuchlichen sechsstufigen Hauttypenskala. Geprüft wurden die öffentlich zugänglichen Dienste dreier Unternehmen zur Geschlechtsbestimmung. Bei Frauen mit dunklerer Haut betrugen die Fehlerquoten rund 34,7, 34,5 und 20,8 Prozent. Bei Männern mit hellerer Haut lagen alle drei unter einem Prozent. Zwei der Unternehmen veröffentlichten später Verbesserungen und meldeten niedrigere Fehlerquoten für Menschen mit dunklerer Haut.
VIII. Ein Mensch
Zweimal war hier von menschlichem Niveau die Rede. 1992 war es ein Mensch: zehntausend Ziffern, zwei pro Sekunde, jeweils ein bis zwei Stunden am Stück. 2014 war es wieder ein Mensch: 1.500 Bilder, eines pro Minute, nach einer Übung mit fünfhundert Bildern. Beide arbeiteten sorgfältig und schrieben auf, wie sie vorgegangen waren. Übrig blieben später zwei Sätze: Die Maschine hat den Menschen fast eingeholt. Die Maschine hat den Menschen überholt.
Vom einzelnen Menschen zum Menschen überhaupt fallen Karpathys Einschränkung im Blog weg, ebenso die Worte „soweit wir wissen“ bei He und seinen Kollegen und die beiden Vorbehalte gleich nach dem Fazit von 1992. Dann wird aus dem Ergebnis eines einzelnen Menschen bei einer bestimmten Prüfung die Messlatte der Menschheit.
Auch hinter jedem Prüfungsbogen stehen Menschen. Der Botaniker, der auf der Gaspé-Halbinsel Blüten vermaß. Die 2.100 Mitarbeiter der Volkszählungsbehörde, die ihre Formulare zurückschickten, und die fünfhundert Jugendlichen, die im Unterricht Kästchen ausfüllten. Der Mensch, der zwei Zeichen pro Sekunde las. Die knapp 50.000 Menschen, die auf einer Plattform Bild für Bild mit Ja oder Nein beantworteten. Die 480.000 Menschen, die Filme sahen und deren Namen durch Zahlen ersetzt wurden. Die Menschen auf den etwa 600.000 Bildern in der Kategorie „Person“, die das Team später herausnehmen wollte. Die über tausend Abgeordneten in den Parlamenten von sechs Ländern.
Ein Prüfungsbogen löst den anderen ab, die Fehlerquoten sinken Jahr um Jahr. Am Ende vergleichen die Teams, wie oft ihre Antworten noch mit den geheim gehaltenen Lösungen übereinstimmen. Ein Team reichte in fünf Tagen über vierzigmal Antworten ein, um noch ein paar Treffer mehr herauszuholen. Das Ergebnis ist ein Maßstab für die Maschine. Wird der Maßstab selbst zum Ziel, müssen die Veranstalter die Lösungen verstecken und nur noch zwei Einreichungen pro Woche erlauben.
Was beim Messen immer wieder draußen bleibt, heißt in dieser Reihe der Rest. Hier ist er leicht zu finden: Hinter jedem Zeichen, jeder Blüte, jedem Bild und jeder Bewertung auf diesen Prüfungsbögen stehen eine Hand, ein Paar Augen und eine Entscheidung, die ein Mensch getroffen hat. Die Punktzahlen der Maschinen stehen in der Rangliste. Manche dieser Menschen haben einen Namen hinterlassen. Von den meisten bleibt eine Nummer, ein Kästchen oder ein Stundenlohn.
Noch werden Maschinen gebaut. Wo aber die Grenze liegt, sagt jede Generation von Neuem.