I. Freunde
Im Mai 2004 bat eine Tagung über Sprachressourcen und deren Evaluierung in Lissabon Frederick Jelinek um einen Vortrag. Er nannte ihn Einige meiner besten Freunde sind Linguisten.
Der Titel greift eine alte englische Redensart auf. Wer sich gegen den Verdacht eines Vorurteils verteidigen will, sagt, einige der besten Freunde gehörten zu dieser oder jener Gruppe. Wer so spricht, dem hängt meist schon ein anderer Satz an.
Der Satz, der Jelinek anhing, wurde später so erzählt: Jedes Mal, wenn ich einen Linguisten feuere, steigt die Erkennungsrate.
Ein Nachruf von Fachkollegen hielt 2011 diese Fassung fest: »Immer wenn ein Linguist die Gruppe verlässt, steigt die Erkennungsrate.« Jelinek habe mit diesem Scherz aus dem Jahr 1988 gern Leute unterhalten.
Ein Zuhörer von damals erinnerte sich 2012 an den Vortrag in Lissabon. Bei ihm steht die verbreitete Fassung: Jedes Mal, wenn ich einen Linguisten feuere.
Zwischen den Fassungen liegen ein Verb und ein Subjekt. Einmal verlässt ein Linguist die Gruppe, einmal entlasse ich einen Linguisten. Die erste Fassung besagt nur, dass jemand ging. Wer es entschied, steht nicht da. In der zweiten hat jemand gehandelt.
II. Ein Anruf
Wie die Gruppe begann, schrieb Jelinek 2009 in einem Rückblick auf. 1971 hatte das Watson Research Center von IBM in Yorktown Heights im Staat New York eine interne Arbeitsgruppe eingerichtet. Ihr gehörten unter anderem John Cocke und Herman Goldstine an. Sie empfahl der Forschungsabteilung, eine Gruppe für kontinuierliche Spracherkennung zu gründen. Anfang 1972 nahm diese Gruppe unter Joe Raviv die Arbeit auf.
In jenem Sommer war Jelinek noch an der Cornell University. Dort lehrte er seit Herbst 1962 und arbeitete an Informations- und Kommunikationstheorie. Er rief Raviv an und erfuhr, dass IBM gerade mit Spracherkennung begann. Er ließ sich in Cornell beurlauben und kam zu IBM. Einige Wochen später übernahm er die Leitung der Gruppe.
Sie war aus verschiedenen Bereichen zusammengestellt. Seiner Erinnerung nach kannten sich anfangs nur vier mit gesprochener Sprache aus. Jim Baker und Janet Baker kamen später hinzu. Im September 1972 kam Robert Mercer, in Jelineks Worten ein Physiker, der gerade sein Studium abgeschlossen hatte.
IBM versetzte vorübergehend drei Linguisten in die Gruppe: Fred Damerau, Stan Petrick und Jane Robinson. Jelinek schrieb später, etwa zur Zeit, als die Bakers hinzukamen, seien die drei in ihre ursprünglichen Gruppen zurückgekehrt. Sein Wort lautet zurückgekehrt. Die drei verließen diese Gruppe, um in ihren bisherigen Abteilungen weiterzuarbeiten.
Bei der Gründung hieß die Gruppe kontinuierliche Spracherkennung. Kontinuierlich meint, wie Menschen gewöhnlich sprechen: ein Wort nach dem anderen, ohne Pause dazwischen. So stand es 1972 im Namen.
III. Pausen
Dreizehn Jahre später baute die Gruppe ein Gerät, das in Echtzeit Diktate aufnahm. Der Aufsatz von IBM hieß 1985 Ein PC-gestütztes Spracherkennungssystem mit großem Wortschatz für isoliert gesprochene Wörter. Ein eigener Personalcomputer von IBM trug zwei selbst entwickelte Signalprozessoren. Der Wortschatz umfasste fünftausend Wörter; seine Grundlage waren geläufige Wörter aus Büromitteilungen und Geschäftsbriefen. Jede neue Person musste etwa zwanzig Minuten zu dem Gerät sprechen, damit es ihre Stimme kennenlernte. Im selben Jahr schrieb Jelinek in einem anderen Aufsatz vor, wie man mit ihm sprach: »Zwischen den Wörtern muss jeweils eine kurze Pause liegen.«
1986 wurde der Wortschatz auf zwanzigtausend erweitert. Zwei zusätzliche Prozessoren saßen in einem außen angeschlossenen Erweiterungsgehäuse. Eine Sprachworkstation diente eigens der Untersuchung, wie Menschen Dokumente diktieren. Im Aufsatz jenes Jahres hatte das System einen Namen: Tangora.
2009 erklärte Jelinek, sie hätten Tangora nach Albert Tangora benannt. Tangora hielt seit einer Geschäftsausstellung in New York 1923 einen Rekord im Maschinenschreiben. In einer Stunde hatte er 8.840 richtig geschriebene Wörter getippt, also 147 in der Minute. Eine Maschine, mit der man Dokumente sprechen konnte, hieß nach dem schnellsten Mann an der Schreibmaschine.
1972 stand kontinuierlich im Namen der Gruppe. 1985 verlangte das Gerät nach jedem Wort eine Pause, und im Aufsatztitel stand isoliert gesprochen. Das Wort aus dem Namen musste noch zwölf Jahre warten. Im Oktober 1997 prüfte eine Fachzeitschrift für Sprachtechnik zwei Diktatprogramme für ein allgemeines Publikum: die erste Ausgabe von NaturallySpeaking von Dragon Systems und ein noch in Erprobung befindliches Programm von IBM. Die Zeitschrift sprach von kontinuierlicher Sprache. Dragon Systems war das Unternehmen, das die Bakers später selbst gründeten.
Im Aufsatz von 1985 bestimmte Jelinek seinen Ansatz als »informationstheoretische Formulierung, nicht als Formulierung nach Art eines Expertensystems«. Die Parameter wurden unmittelbar aus Daten geschätzt. Auf der anderen Seite seines Vergleichs stand das Expertensystem. Wie in Folge zwölf zu sehen war, lag 1985 gerade auf dem Höhepunkt seiner Beliebtheit.
IV. Geheimschrift
Im März 1947 schrieb Warren Weaver von der Rockefeller Foundation an Wiener, der in Folge vier vorkam. Er verglich Übersetzen mit dem Entziffern einer Geheimschrift. Einer der Sätze lautet sinngemäß: »Eigentlich ist das Englisch, nur in seltsamen Zeichen verschlüsselt.« Vor ihm lag ein russischer Text.
Im Juli 1949 nahm Weaver den Einfall in ein Memorandum namens Übersetzung auf. Er schrieb es in New Mexico und schickte es an etwa dreißig Bekannte. Folge zehn hat erzählt, dass die USA danach mehr als zehn Jahre für maschinelle Übersetzung ausgaben. Ein Bericht von 1966 sah auf kurze Sicht keine Aussicht auf praktische maschinelle Übersetzung und empfahl Computerlinguistik und übersetzungsunterstützende Verfahren. Was im Bericht stand und wie das Geld später bewilligt wurde, sind zwei verschiedene Rechnungen.
Die Gruppe in Yorktown Heights begann um 1987 mit Übersetzung. Jelinek erinnerte sich, dass keiner aus dem Kern des Teams Fachmann für Französisch war. Er nannte Bahl, Peter Brown, Mercer und sich selbst. Später hätten sie einen Französisch-Intensivkurs besucht, in dem man ganz in die Sprache eintauchte.
Vom 12. bis zum 14. Juni 1988 fand in Pittsburgh eine Tagung über theoretische und methodische Fragen der maschinellen Übersetzung statt. Die Gruppe reichte Eine statistische Methode für die Übersetzung vom Französischen ins Englische ein. Im selben Jahr stand im Tagungsband der internationalen Konferenz für Computerlinguistik in Budapest ihre Statistische Methode für Sprachübersetzung. In der Zeitschriftenfassung vom Juni 1990 in Computational Linguistics wurde daraus Eine statistische Methode für maschinelle Übersetzung. Der längere Aufsatz vom Juni 1993 hieß Die Mathematik der statistischen maschinellen Übersetzung: Parameterschätzung. In fünf Jahren ging der Titel von Französisch–Englisch über Sprachübersetzung und maschinelle Übersetzung zu statistischer maschineller Übersetzung.
1990 wurde Übersetzen als Wahrscheinlichkeitsaufgabe beschrieben. Zu einem französischen Satz sucht man den englischen Satz, aus dem er am wahrscheinlichsten hervorgegangen ist. Das hat zwei Seiten. Die eine fragt, wie plausibel der englische Satz im Englischen ist; sie heißt Sprachmodell. Die andere fragt, wie wahrscheinlich gerade dieser französische Satz aus ihm hervorgeht; sie heißt Übersetzungsmodell. Der Brief von 1947 sagt, es sei ursprünglich Englisch gewesen, nur die Zeichen seien andere. Dreiundvierzig Jahre später kann man beide Sätze nebeneinanderlegen. Der eine ist ein Vergleich, der andere ein Algorithmus.
In seinem Rückblick von 2009 druckte Jelinek eine Gutachterbemerkung ab. Die Gruppe habe die ersten Ergebnisse für die internationale Konferenz für Computerlinguistik 1988 eingereicht. Das anonyme Gutachten ist vom 1. März 1988 und enthält den Satz: »Die rohe Gewalt von Computern ist keine Wissenschaft.« Im Tagungsband desselben Jahres steht der Aufsatz trotzdem.
V. Die Übersetzer
Das Material zum Lernen stammte aus den Debatten des kanadischen Parlaments. Dessen Protokolle werden in englischer und französischer Fassung geführt. Jelinek wies später ausdrücklich darauf hin, dass die Äußerungen eines Abgeordneten aus der Sprache, in der er spricht, in die andere übersetzt werden.
Für jedes Satzpaar, aus dem die Maschine lernte, hatte auf der einen Seite ein Abgeordneter gesprochen und auf der anderen Seite ein Übersetzer gearbeitet. Wie viele Übersetzer das Parlament in diesen Jahren hatte und wer welchen Abschnitt übersetzte, steht in den Aufsätzen nicht.
Mehr als zwanzig Jahre zuvor hatte die Brown University das sogenannte Brown-Korpus zusammengestellt. Es bestand aus englischer Prosa, die 1961 in den USA erschienen war: fünfhundert Stichproben zu jeweils rund zweitausend Wörtern, zusammen ungefähr eine Million. Kompiliert wurde es 1963 und 1964.
Das Korpusarchiv einer Universität verzeichnet noch die Menschen, die damals daran arbeiteten. W. Nelson Francis und Henry Kučera leiteten das Projekt. Anne Robb Taylor, Loretta Felice, Mary Lois Marckworth, Henry Hall Peyton Jr. und Robert Staudte Jr. stellten das Korpus zusammen. Andrew Mackie schrieb das Programm. Eine Million Wörter, von denen jedes jemand auf einer Buchseite auswählen und eintippen musste.
1992 veröffentlichten John Godfrey, Edward Holliman und Jane McDaniel ein Korpus von Telefongesprächen namens Switchboard, Telefonzentrale. Es enthält rund 2.400 Gespräche von 543 Sprechern. Die beiden Menschen am Telefon kannten sich gewöhnlich nicht, und das Thema bestimmte eine vorbereitete Liste. Zwei Fremde sprechen am Telefon über ein Thema von einer Liste. Man nimmt es auf, damit eine Maschine lernen kann, wie Menschen sprechen.
VI. Bäume
Zwischen 1989 und 1992 erstellte die University of Pennsylvania ein annotiertes Korpus des Englischen, die Penn Treebank. Der Aufsatz vom Juni 1993 nennt bereits über viereinhalb Millionen Wörter. Jedes war mit seiner Wortart versehen, für mehr als die Hälfte war auch das Gerüst der Sätze eingezeichnet.
Zuerst kam die Maschine, dann der Mensch. Für die Wortarten lief zunächst ein Programm von Kenneth Church an den Bell Laboratories, das die Markierungen nach Wahrscheinlichkeiten setzte. Menschen korrigierten sie einzeln. Für den Satzbau gab zunächst ein Parser einen Baum aus, den ein Mensch überarbeitete.
Zu Beginn gab es einen Vergleich. Vier Personen mit linguistischer Ausbildung auf Graduiertenniveau sollten zunächst fünfzehn Stunden lang Maschinenmarkierungen korrigieren und dann sechs Stunden lang selbst von Anfang an markieren. Je tausend Wörter dauerte die vollständige manuelle Annotation im Mittel vierundvierzig Minuten, die Überarbeitung der maschinellen zwanzig. Bäume zu zeichnen war viel langsamer. Selbst nach einigen Wochen Übung schaffte man nur ein paar Hundert Wörter in der Stunde. Mit vereinfachten Gerüsten schafften Geübte siebenhundertfünfzig bis über tausend.
Auf dem Bildschirm stand kein unbearbeiteter Satz. Manche Teile des maschinellen Baums waren nicht angeschlossen und trugen ein Fragezeichen. Die Person klickte neben das Fragezeichen, zog den Teil an den passenden übergeordneten Knoten und ließ los, um ihn anzuhängen. Falsche Teile wurden gelöscht. Die Oberfläche rückte alles neu ein. Bei Wortarten arbeitete man in einem gewöhnlichen Texteditor für Programmierer. Man setzte den Cursor auf ein falsch markiertes Wort, tippte die richtige Markierung ein und ließ die Software prüfen, ob sie zulässig war. Was und wie man markieren sollte, stand in zwei Handbüchern: Beatrice Santorinis Anleitung zur Wortartannotation von 1990 und ihrer mit Mary Ann Marcinkiewicz verfassten Anleitung für Satzstrukturen von 1991.
Im Aufsatz bezeichnete das Projekt seinen Ansatz als statistisch. Vor den Bildschirmen saßen Menschen mit linguistischer Ausbildung und fügten die Sätze Fragezeichen für Fragezeichen zusammen.
Im Juni 1993 waren die Bäume für Mitglieder einer Organisation namens Linguistic Data Consortium zugänglich.
1972 verließen drei Linguisten die Gruppe. Zwanzig Jahre später saßen Linguisten am anderen Ende. Die Bäume, aus denen die statistische Maschine lernen sollte, hatten sie einen nach dem anderen gezeichnet.
VII. Prüfungsaufgaben
Im Februar 1991 stellte Charles Wayne bei einem Workshop über gesprochene und natürliche Sprache zwei von ihm betreute Programme vor. Eines zur gesprochenen Sprache teilte er in zwei Bereiche: Erkennung gesprochener Sprache mit großem Wortschatz und Verstehen gesprochener Sprache. Das Programm lege Wert auf »objektive Leistungsmessung«, schrieb er.
Das Programm von 1971 bis 1976 aus Folge zehn hieß Sprachverstehen. 1991 stehen Erkennen und Verstehen als zwei Bereiche nebeneinander in einem Dokument.
Geprüft wurde mit mehreren allgemein verfügbaren Aufgabensätzen. Resource Management bestand aus vorgelesenen Anfragen und Befehlen. Air Travel Information System bestand aus frei gesprochenen Anfragen. Für diese Aufnahmen ließ man Versuchspersonen mit einem System für Flugauskünfte sprechen. Es war nur nachgebildet, nach der damals so genannten Zauberer-Methode. Hinter den Kulissen antwortete ein Mensch anstelle der Maschine. Um zu erfahren, wie Menschen mit Maschinen sprechen, ließ man sie zunächst mit einem Menschen sprechen, der eine Maschine spielte.
Zehn Einrichtungen nahmen mit Förderung teil: Unternehmen, Hochschulen und staatliche Labore. Darunter war Dragon Systems von Jim und Janet Baker. Die Prüfungsaufgaben und die Auswertung kamen vom amerikanischen National Institute of Standards and Technology.
Auch für geschriebene Sprache gab es Prüfungen. Die zweite Message Understanding Conference von 1989 verwendete Einsatztelegramme der Marine, die dritte von 1991 übersetzte und redigierte Nachrichtenmeldungen des Foreign Broadcast Information Service. Die Maschine sollte die Ereignisse aus einem Text in ein Datenbankformular eintragen. Auch maschinelle Übersetzung war zu prüfen. Wayne verlangte »dem System zuvor unbekannte, natürlich entstandene Texte«.
Im Juli 2001 reichten Michele Banko und Eric Brill von Microsoft bei der Jahrestagung der Association for Computational Linguistics in Toulouse Skalierung auf sehr, sehr große Korpora für die Disambiguierung natürlicher Sprache ein. Geprüft wurde etwas Kleines. Auf Englisch klingen to, two und too gleich, werden aber verschieden geschrieben und heißen etwa »zu«, »zwei« und »auch«. Die Maschine sollte im Satz das richtige Wort wählen. Vier Lernverfahren traten an, darunter ein Perzeptron wie in Folge acht. Die Trainingsmenge wuchs von einer Million auf eine Milliarde Wörter. Die Prüfung bestand aus einer Million Wörtern des Wall Street Journal.
Die Kurve stieg weiter und hatte sich bei einer Milliarde Wörtern noch nicht abgeflacht. Gleich danach schränkten die Autoren ein: »Zusätzliche Trainingsdaten sind nicht kostenlos.« Im Schluss raten sie dem Fach, mehr Arbeit in annotierte Korpora zu stecken und weniger darin, Algorithmen anhand kleiner Korpora zu vergleichen. Der geläufige Satz, mehr Daten seien besser als bessere Algorithmen, wird oft mit dem Aufsatz verbunden. Darin steht er nicht.
VIII. Weggehen
Auch was die andere Seite sagte, gehört in bestimmte Jahre.
Im zweiten Kapitel der Syntaktischen Strukturen standen 1957 bei Noam Chomsky zwei Wortfolgen. Die erste lautet auf Englisch »Colorless green ideas sleep furiously«, farblose grüne Ideen schlafen wütend. Die andere kehrt die englische Folge um. Beide sind sinnlos, aber die erste ist grammatisch und die zweite nicht. Chomsky fragte daran, ob Grammatikalität dasselbe sei wie die Annäherung durch ein einfaches statistisches Modell.
2000 veröffentlichte Fernando Pereira Formale Grammatik und Informationstheorie: eine Annäherung? Ein einfaches statistisches Modell hatte Zeitungstexte als Trainingsmaterial. Damit berechnete Pereira die beiden Folgen erneut. Die grammatische war rund zweihunderttausendmal so wahrscheinlich wie die umgekehrte. In der Zusammenfassung plädierte er dafür, zwei Traditionen wieder zu verbinden, die vierzig Jahre lang oft für unvereinbar gehalten worden waren: die formale Linguistik in Chomskys Tradition und die Informationstheorie in Shannons Tradition. Am Ende des Titels steht ein Fragezeichen.
Bei einer Podiumsrunde zum hundertfünfzigjährigen Bestehen des MIT fragte Steven Pinker Chomsky 2011 nach Wahrscheinlichkeitsmodellen. Chomsky begann: »Es gab einige Erfolge, aber auch viele Fehlschläge.« Er kritisierte dann, dass man die Annäherung an nicht analysierte Daten als Erfolgsmaßstab behandelte. Im selben Jahr erwiderte Peter Norvig mit Über Chomsky und die zwei Kulturen des statistischen Lernens. Im Oktober veröffentlichte Church Das Pendel ist zu weit ausgeschlagen. Die Beiträge stehen nebeneinander. Jeder spricht für sich.
Zurück zu dem einen Satz. In der geläufigen Fassung wurde aus einem Linguisten, der die Gruppe verlässt, ein Ich, das einen Linguisten feuert. Ein Verb und ein Subjekt wurden ausgetauscht. Danach hatte der Scherz jemanden, der selbst handelte. Für die drei Menschen von 1972 schrieb Jelinek, dass sie in ihre ursprünglichen Gruppen zurückkehrten.
Es wechselte mehr als ein Verb. Der Scherz handelt davon, dass Menschen gehen und Zahlen steigen. Woher die Zahlen kommen, sagt er nicht. Wenn die Maschine aus Parlamentsprotokollen Übersetzen lernt, stammen die französischen Zeilen von Übersetzern. Wenn sie Englisch in Zeitungen und Büchern zählt, haben Menschen an der Brown University eine Million Wörter einzeln ausgesucht und eingegeben. Lernt sie Satzbau aus der Treebank, haben Menschen mit linguistischer Ausbildung vor Bildschirmen Fragezeichen für Fragezeichen die Bäume zusammengesetzt. Lernt sie, wie Menschen mit Maschinen sprechen, saß ihnen jemand gegenüber, der eine Maschine spielte.
Sprache wurde gezählt. Gezählt wurde, was Menschen geschrieben, übersetzt, markiert und gesagt hatten. Was beim vielen Rechnen immer draußen bleibt, nennt diese Reihe den Rest. Geht eine Zahl ein Stück nach oben, liegt darunter die Arbeit einer Gruppe von Menschen. Ihre Namen wurden meist nicht mit der Zahl überliefert.
Der Titel in Lissabon lautete: Einige meiner besten Freunde sind Linguisten.
Noch werden Maschinen gebaut. Wo aber die Grenze liegt, sagt jede Generation von Neuem.