I. Kein Fragezeichen
Mitte der sechziger Jahre stand in einem Zimmer am MIT eine Schreibmaschine.
Die Schreibmaschine war mit nichts verbunden. Oder genauer: Der Computer, an den sie angeschlossen war, stand in einem anderen Teil des Gebäudes, und andere benutzten ihn gleichzeitig. Ein Großrechner war so teuer, dass es Verschwendung gewesen wäre, ihn einer Person allein zu überlassen. Viele teilten ihn sich, jeder vor einer Schreibmaschine im eigenen Zimmer.
Man tippte einen englischen Satz, dann drückte man zweimal die Eingabetaste. Einmal reichte nicht. Erst zweimal bedeutete, dass man seinen Gesprächszug abgegeben hatte. Danach setzte sich die Schreibmaschine selbst in Bewegung und schrieb die Antwort auf dasselbe Blatt.
Das Fragezeichen ließ sich nicht tippen. Das System verstand es als Steuerzeichen: Die eben getippte Zeile wurde ganz gelöscht. Man konnte also keine Frage mit Fragezeichen stellen. Wie lange man auf die Antwort wartete, hing davon ab, wie viele Menschen im Gebäude denselben Rechner benutzten. Wenn er ausgelastet war, dauerte es länger.
Ein Ausdruck vom 22. März 1965 ist erhalten. Auf dem Papier steht das Gespräch, Zug für Zug. Die eine Seite hat ein Mensch getippt, die andere die Maschine ausgegeben. Alles steht auf demselben Blatt, mit demselben Schreibkopf, derselben Schrift, derselben Tinte. Beim Lesen muss man Zeile für Zeile herausfinden, was der Mensch schrieb und was die Maschine antwortete.
Im später gedruckten Beispiel steht die Rede der Maschine in Großbuchstaben, die des Menschen nicht. Man liest sie weiterhin als ein Gespräch.
Das Programm schrieb Joseph Weizenbaum. Er nannte es ELIZA, nach dem Blumenmädchen in Bernard Shaws Stück, dem man nach und nach eine andere Sprechweise beibringt. Der Name zielte auf den Bau des Programms. Von sich aus sagt es nichts. Was es sagt, bestimmt etwas anderes, das sich auswechseln und schrittweise verändern lässt, als würde man es unterrichten. Später wurde beides oft für dasselbe gehalten.
ELIZA hat zwei Ebenen. Unten liegt das Programm selbst. Seine einzige Sache ist, eingehende Sätze zu zerlegen und nach Regeln wieder zusammenzusetzen. Oben liegt eine Liste, die Weizenbaum Skript nennt. Darauf steht, auf welche Wörter zu achten ist, nach welchem Muster die Sätze zu zerlegen sind und wie man ihre Stücke neu anordnet. Die Liste ist kein Teil des Programms. Das Programm bekommt sie als Material. Wechselt man die Liste, wird etwas anderes aus dem Programm.
Es arbeitet so: Man tippt einen Satz ein. Das Programm sucht darin zunächst nach Wörtern aus der Liste. Findet es mehrere, wählt es nach der dort angegebenen Rangfolge das wichtigste. Dann legt es die diesem Wort zugeordnete Schablone an den Satz und zerlegt ihn in Stücke. Nach der zugehörigen Regel setzt es die Stücke neu zusammen, manchmal mit einigen vorgegebenen Wörtern dazu.
Findet es kein Wort, hat es zwei Auswege. Es kann einen Satz schreiben, der nichts mit dem Inhalt zu tun hat, oder sich etwas holen, das man früher gesagt hat, es umformen und zurückgeben. Nirgendwo muss es wissen, wovon man spricht.
II. Warum ausgerechnet ein Therapeut?
Es gab mehrere Skripte. Dasjenige, an das man sich erinnert, hieß DOCTOR. Es ließ das Programm einen Psychotherapeuten spielen.
Fast alles, was in den nächsten sechzig Jahren über ELIZA gesagt wurde, nahm hier seinen Ausgang: ein Programm für die Behandlung, ein Therapieprogramm. Im Aufsatz von 1966 steht etwas anderes.
Auf Seite 42 erklärt Weizenbaum seine Wahl. In dieser Art Gespräch kann sich der Therapeut weitgehend so geben, als wisse er fast nichts von der wirklichen Welt. Das ist der Grund. Nicht dass die Maschine für die Behandlung geeignet wäre. Die Rolle erlaubt es, einem Menschen etwas gegenüberzusetzen, das fast nichts weiß, ohne dass es auffällt.
Spielt jemand einen Geographielehrer und man fragt ihn, wo Ägypten liegt, muss er es wissen. Spielt er einen Börsenmakler, muss er auf die Frage nach dem heutigen Kurs einen Kurs nennen. Wer einen Therapeuten spielt, der dem Gegenüber Satz für Satz seine Worte zurückgibt, kann dagegen das ganze Gespräch führen, ohne irgendeine Tatsache über die Welt mitzuteilen. Das gilt nicht als Versäumnis, es ist gerade die Methode. Gewählt wurde die Rolle, weil sich darin verbergen ließ, wie viel das Programm nicht wusste.
Auf den ersten Seiten des Aufsatzes steht ein Beispielgespräch in fünfzehn Runden. Am Anfang sagt die Person: Männer sind alle gleich. Die Maschine antwortet: Inwiefern?
Die nächsten vierzehn Runden gehen ungefähr so. Männer machten einem ständig Ärger, sagt die Frau; die Maschine bittet um ein Beispiel. Ihr Freund habe sie gezwungen, herzukommen; die Maschine wiederholt es. Ihr Freund finde, sie sei oft niedergeschlagen; die Maschine bedauert die Niedergeschlagenheit. Sie sei tatsächlich unglücklich; die Maschine fragt, ob es ihr helfen könnte, hierhergekommen zu sein, damit sie nicht mehr unglücklich sei. Sie brauche Hilfe; die Maschine fragt, was Hilfe für sie bedeute. Vielleicht könne sie lernen, mit ihrer Mutter auszukommen; die Maschine bittet um mehr über die Familie. Die Mutter kümmere sich um sie; die Maschine fragt, wer sich in der Familie noch um sie kümmere. Sie sagt: der Vater. Die Maschine gibt ihr das Wort Vater zurück. Die Maschine gleiche in manchem ihrem Vater, sagt sie. Inwiefern, fragt die Maschine. Sie sei nicht besonders angriffslustig, wolle sie das aber offenbar nicht merken lassen. Woher sie das wisse? Weil die Maschine nicht mit ihr streite. Warum sie meine, dass die Maschine nicht mit ihr streite? Die Maschine habe Angst vor ihr. Ob die Annahme sie freue? Ihr Vater habe vor allen Angst. Was ihr sonst zum Vater einfalle? Ein Tyrann. Die Maschine verbindet das Wort mit dem früheren Satz, dass der Freund sie gezwungen habe, herzukommen.
An einer Runde in der Mitte lässt sich das Verfahren ablesen. Sie sagt, sie sei tatsächlich unglücklich. Die Maschine fragt, ob das Hierherkommen ihr helfen könne, nicht mehr unglücklich zu sein. Weizenbaum erläutert das Zerlegen an Sätzen mit »Ich bin …«. Die ersten Wörter gehören zur Schablone; der Rest kann wechseln. Auch für die Antwort gibt es eine Vorlage. Das Wort unglücklich taucht diesmal im zurückgegebenen Satz wieder auf.
Die Maschine fügt »hierherkommen« und »helfen« hinzu, sagt aber nichts Neues über die Lage der Frau. Der Satz ist einmal durch die Maschine gegangen und in anderer Gestalt wiedergekommen. Aus der Feststellung ist eine Frage geworden, aus ihrer eigenen Sicht eine an sie gerichtete Antwort. Auf der menschlichen Seite fühlt es sich an, als hätte jemand aufgegriffen, was sie sagte.
Zwei Dinge fallen in den fünfzehn Runden auf. Erstens nennt die Maschine kein einziges Mal eine Tatsache über die Welt. Zweitens sieht die letzte Runde am ehesten nach Verstehen aus. Die Maschine verbindet zwei Sätze, zwischen denen mehr als zehn Runden liegen. Sie hat den Ausweg über das Gedächtnis genommen, einen früher gespeicherten Satz umgeformt und im passenden Moment zurückgegeben.
III. Verbergen
Auf Seite 43 desselben Aufsatzes schreibt Weizenbaum zunächst, ELIZA halte mit sehr wenigen Mitteln eine Illusion des Verstehens aufrecht.
Dann schreibt er, diese Art Verstehen habe eine Obergrenze. Sie werde vom Hauptprogramm bestimmt, nicht von einem Skript. Ein anderes Skript ändert sie nicht.
Dann legt er für wirkliches Verstehen einen anderen Maßstab an: Kann man aus dem Mitgeteilten gültige Schlüsse ziehen? Dafür müsste man wenigstens ausgewählte Teile des Gehörten behalten. Die ELIZA-Fassung des Aufsatzes verwirft jeden Gesprächszug, bis auf die genannte Ausnahme im Gedächtnis.
Und dann der Satz: Eines der bisherigen Entwurfsziele sei gewesen, vor den Benutzern zu verbergen, dass das Programm nicht versteht.
Geschrieben hat es der Erbauer selbst. Es stammt weder von einem Kritiker noch aus einer späteren Zusammenfassung. Er schrieb den Satz in den technischen Aufsatz über seine Arbeit.
Darauf folgt etwas, das in die Gegenrichtung weist. Soll man solche Systeme künftig als wirkliche Schnittstellen in natürlicher Sprache nutzen, muss das Ziel gerade umgekehrt lauten: Missverständnisse sichtbar machen.
Jede Maschine hat etwas, woran sie nicht herankommt. In früheren Folgen heißt dieser Teil der Rest. Hier weist der Erbauer selbst darauf hin und sagt, was er damit getan hatte: ihn verborgen.
Das steht 1966 auf Papier. Das Programm war gerade entstanden und wurde vorgeführt. In der offiziellen Beschreibung benennt der Verfasser einen Mangel im Entwurf. Sein Vorschlag ist nicht, das fehlende Verständnis aufzufüllen, sondern es sichtbar zu machen. Auffüllen heißt, innen etwas hinzuzufügen. Was man auch hinzufügt, draußen bleibt etwas. Sichtbar machen heißt, das Übrige sehen lassen. Dass eine Maschine sagt, wenn sie etwas nicht beantworten kann, ist bis heute eine Aufgabe, an der Menschen arbeiten.
Auf derselben Seite steht eine Einschränkung in der anderen Richtung, die später ebenfalls oft fehlt. Es stimme nicht ganz, dass das Skript nichts über die wirkliche Welt enthalte. Die Regeln für den neuen Satzbau enthielten bereits Annahmen über diese Welt. Das Skript lasse sich daher als loses Modell gewisser Teile der Welt lesen. Weizenbaum legte sich an keinem der beiden Enden fest. Er sagte weder, dass das Programm versteht, noch, dass es überhaupt nichts versteht.
Im letzten Absatz ordnet er das Hauptprogramm technisch als eine Art Übersetzungsprozessor ein. Dann warnt er: Setzt man es in eine psychologische Situation, kann bei einem gewöhnlichen Beobachter leicht ein Eindruck entstehen, der weit über die wenigen technischen Mittel hinausgeht, beinahe wie Zauberei.
IV. Die Sekretärin
Die später am häufigsten erzählte Geschichte betrifft Weizenbaums Sekretärin. Sie erschien erstmals im August 1967 in einem Aufsatz über Kontextverständnis bei Computern. Darin steht Folgendes.
Eines Tages wollte seine Sekretärin mit der Maschine sprechen. Weizenbaum schreibt, sie habe ihm lange bei der Arbeit am Programm zugesehen. Sie tippte ein paar Sätze, drehte sich dann zu ihm um und fragte, ob er kurz hinausgehen könne.
Im Original steht dabei ein Satz: Natürlich wusste sie, dass sie mit einer Maschine sprach. Das »natürlich« steht schon dort.
Eine geläufige Fassung lautet, ELIZA habe Weizenbaums Sekretärin getäuscht. Sie habe geglaubt, ihr sitze ein Mensch gegenüber, und deshalb um Ungestörtheit gebeten. Auf der Seite vom August 1967 weiß sie es; in dieser Fassung weiß sie es nicht.
Die beiden Geschichten haben verschiedene Folgen. Sie wurde getäuscht. Dann lässt sich das Problem lösen: Man bringt eine Kennzeichnung an oder zeigt einen Hinweis, damit jeder vor dem ersten Satz weiß, dass das Gegenüber eine Maschine ist. Täuschung lässt sich durch Aufklärung beheben.
Sie wusste es. Das Wissen hinderte sie nicht, ihn hinauszubitten. Warum sie es tat, erklärt sie auf dieser Seite nicht selbst.
Sie bat nicht die Maschine hinaus, sondern den Menschen im Zimmer. Was danach noch gesagt wurde, steht dort nicht.
Weizenbaums eigene Erklärung folgt sofort: Das Programm verbarg seine Missverständnisse, und so konnte ein Gefühl des Verstandenwerdens anhalten. Man könne es auch umgekehrt schreiben, um die Missverständnisse sichtbar zu machen. Das ist seine Erklärung, nicht ihre. Von ihr überliefert ist die Bitte, der Mensch möge hinausgehen.
V. Ich war überrascht
Wann war Weizenbaum also überrascht? Die geläufige Erzählung rückt seinen Schock in die Mitte der Szene. In welchem Jahr diese Reaktion aufgeschrieben wurde, muss man Text für Text nachsehen.
Im Aufsatz von 1966 gibt es keinen solchen Satz in der ersten Person. 1967 auch nicht. Dort nennt er Beispiele dafür, dass Menschen sich gefühlsmäßig auf das System einließen. Was er selbst empfand, schreibt er nicht.
Der Satz in der ersten Person steht auf Seite 6 seines Buches von 1976. Er schreibt, er sei überrascht gewesen. Menschen, die mit dem Skript gesprochen hatten, hätten sich sehr schnell und sehr tief gefühlsmäßig darauf eingelassen und den Rechner ganz unverkennbar wie eine Person behandelt.
Die Aussage stammt also vom Beteiligten selbst, zehn Jahre später, als er für einen Gedanken in seinem Buch auf seine damalige Reaktion zurückblickte. Heute heißt es häufiger, er sei erschüttert gewesen. »Erschüttert« wiegt schwerer als »überrascht«.
Zur selben Zeit ging jemand in die entgegengesetzte Richtung. Im Februar 1966 erschien in einer medizinischen Zeitschrift für Nerven- und Geisteskrankheiten ein Vorbericht über ein computergestütztes Verfahren zur Psychotherapie. Kenneth Colby und zwei weitere Personen hatten ihn geschrieben. Zwischen ihm und dem ELIZA-Aufsatz lag etwa ein Monat.
Colby und die anderen schrieben, Psychotherapie am Computer sei ein Weg, den man weiterentwickeln und klinisch erproben sollte.
Die Aufsätze erschienen an verschiedenen Orten. ELIZA stand in den Mitteilungen einer Informatikgesellschaft. Wer dort von einem Programm las, fragte, wie es gebaut war, welche Mittel es verwendete und ob man es nachbauen konnte.
Colby veröffentlichte in einer medizinischen Zeitschrift. Wer dort von einer Therapie las, fragte, für wen sie sich eignete, welche Wirkung sie hatte und welche Risiken damit verbunden waren.
Legt man dasselbe Ding zwei Berufen vor, stellen sie verschiedene Fragen. Unter der ersten Reihe von Fragen ist die Maschine nur ein Programm. Unter der zweiten ist sie etwas, das man bei Menschen einsetzen will.
Eine ähnliche Gestalt, zwei Menschen, zwei Aufsätze im Abstand einiger Wochen und entgegengesetzte Schlüsse. Der eine sagt, die Rolle sei gewählt worden, um das Nichtwissen zu verbergen. Der andere sagt, man könne sie wirklich zur Behandlung einsetzen.
Zehn Jahre später nennt Weizenbaum auf Seite 270 seines Buches Colby beim Namen.
VI. Bauklötze
Unterdessen nahm die Arbeit an derselben Hochschule eine ganz andere Richtung. Von 1968 bis 1970 entwickelte der Doktorand Terry Winograd ein Programm im Labor für künstliche Intelligenz.
Es hieß SHRDLU, eine Reihe von Buchstaben ohne Bedeutung. Es lief auf dem DEC-Rechner des Labors. Linien auf dem Bildschirm zeigten eine Tischplatte, quaderförmige Bauklötze, eine Pyramide, eine offene Schachtel und darüber einen Greifer.
Der Greifer war gezeichnet. Keine Kamera sah auf einen wirklichen Tisch, und kein mechanischer Arm berührte wirkliche Holzklötze. Das Programm veränderte seine eigene innere Welt. Ein Mensch tippte auf dem Fernschreiber und sah dabei zu, wie sich die Linien auf dem Bildschirm bewegten.
Die formelle Beschreibung war ein technischer Bericht von Anfang 1971. Im folgenden Jahr erschien sie als Buch: Natürliche Sprache verstehen. Der erste Satz der Zusammenfassung nennt es ein System, das einen Computer Englisch verstehen lässt. Der unmittelbar folgende Satz begrenzt die Welt: das Modell eines einfachen Roboters und einiger Spielsachen. Die Sätze stehen nebeneinander. Der erste ist weit gefasst, der zweite eng. Weitergegeben wurde der erste.
Die enge Welt war damals erklärter Teil der Methode. Im Fortschrittsbericht vom 11. Dezember 1971 nannten Minsky und Papert solche Umgebungen Mikrowelten. Das Labor nahm diese kleinen geschlossenen Umgebungen ausdrücklich als Arbeitsfeld für Bedeutung, Schlussfolgern, Sehen und Sprache. Die Welt auf einen Tisch mit Bauklötzen zu verkleinern war beabsichtigt. Es stand im Bericht von damals.
Das Buch der vorigen Folge erschien ungefähr zur selben Zeit wie dieser Bericht. Dieselben beiden Menschen schrieben ihn. Sie vermaßen die Grenze einer anderen Klasse von Maschinen und gaben der Methode ihres Labors einen Namen. Schon der Name war eingeschränkt: mikro.
Das veröffentlichte Beispielgespräch hat zweiundvierzig Runden. Die ersten beiden Sätze lauten: Heb einen großen roten Klotz auf. Die Maschine antwortet: Gut.
In zweiundvierzig Runden tut das Programm Folgendes. Es führt Befehle wie aufheben und absetzen aus. Es zerlegt lange Sätze mit Nebensätzen und versteht Vergleichsformen. Es erkennt, welchen eben erwähnten Gegenstand ein »es« meint. Es kann angeben, was in der Schachtel liegt, welcher Klotz auf welchem steht und wie viele es insgesamt sind. Es beantwortet Fragen danach, was sich worauf stellen lässt. Es kann mehrere Klötze Schritt für Schritt stapeln. Bekommt eine neue Gruppe von Dingen einen Namen, verwendet es ihn fortan. Es merkt sich, was es selbst getan hat. Fragt man warum oder wie, geht es seine Ziele rückwärts durch und nennt den Grund.
In einigen Runden geht etwas nicht. Der Mensch sagt, die Maschine solle die Pyramide aufheben. Auf dem Tisch steht mehr als eine. Das Programm rät nicht, sondern fragt, welche gemeint ist. Verlangt jemand etwas, das nach den Regeln seiner Welt nicht geht, versucht es nicht, den Befehl mit Gewalt auszuführen.
ELIZA sollte unter anderem verbergen, was es nicht verstand. Dieses Programm zeigt im veröffentlichten Beispiel wiederholt offen, was es nicht kann. Wieder sprechen Mensch und Maschine über eine Schreibmaschine miteinander, aber die Programme wählen entgegengesetzte Vorgehensweisen.
Wie groß die Welt war, haben diejenigen nachgezählt, die den Code später aufbereitet haben. Etwa fünfzig Wörter bezogen sich auf diese Welt.
Oft hört man, Winograd habe das Projekt abgeschlossen und sofort erklärt, der Weg sei eine Sackgasse. Von 1973 bis 1976 veröffentlichte er jedoch weiterhin über das Verstehen natürlicher Sprache.
VII. Vier Kürzungen
Nun lassen sich die Kürzungen dieser Folge nebeneinanderlegen. Die erste betrifft die Seite von 1967. Eine Nacherzählung ließ den Satz weg, der mit »natürlich« beginnt. Übrig blieb: Die Sekretärin fiel auf das Programm herein.
Die zweite betrifft Seite 42 von 1966. Der Grund für die Rollenwahl verschwand. Übrig blieb: Es ist ein Psychotherapieprogramm.
Die dritte betrifft die Zusammenfassung von 1971. Der Satz, der die Welt begrenzte, wurde nicht mitgenommen. Übrig blieb: Ein Programm, das Englisch versteht. Die vierte Kürzung folgt im nächsten Abschnitt.
Die ersten drei haben eines gemeinsam. Jedes Mal verschwand eine Einschränkung, und jedes Mal wurde die Maschine größer. Die Sekretärin wurde getäuscht, also ähnelt die Maschine einem Menschen. Therapieprogramm, also ist es nützlich. Es versteht Englisch, also versteht es. Alle drei Sätze klingen stärker als der Wortlaut und bleiben leichter hängen.
Nebeneinander geraten sie aber in Streit. Die ersten beiden besagen, ein Programm, das fast nichts versteht, habe einen Menschen getäuscht. Der dritte handelt von einem Programm, das tatsächlich Englisch versteht. Aus demselben Jahrzehnt an derselben Hochschule wurden zwei entgegengesetzte Erinnerungen: wie gut die Maschine täuschen kann und wie gut sie versteht.
Im Wortlaut widersprechen sie sich nicht. Dort heißt es: Dieses Programm versteht nicht, und ich habe es verborgen. Das andere versteht ein wenig, nämlich das, was mit den Klötzen auf dem Tisch zu tun hat. Beide Sätze tragen ein Maß. Was verschieden bemessen ist, kann nebeneinander bestehen. Streicht man das Maß, bleiben zwei Eigenschaftswörter. Die können miteinander in Streit geraten.
Die Kürzung hat hier eine neue Seite. Wenn Einschränkungen verschwinden, werden Aussagen nicht nur größer. Mehrere Aussagen, die miteinander vereinbar waren, schließen einander nun aus. Spätere Leser sollen sich für eine Seite entscheiden. Im Wortlaut gab es diese Wahl gar nicht.
Beginnt man, Seiten zu wählen, treten die beiden Sätze abwechselnd auf. Wenn die Maschine gut täuscht, heißt es, das Fach betreibe Augenwischerei. Wenn die Maschine wirklich versteht, heißt es, das Fach stehe kurz vor dem Erfolg. Keiner der beiden Sätze muss neue Belege mitbringen. Sie sind nicht aus Belegen gewachsen, sondern aus zwei gekürzten Sätzen.
Wer eine Einschränkung streicht, hat meist einen Grund. Erzählt man einen Satz mit Maßen jemandem weiter, der sie nicht braucht, fallen sie von selbst weg. Der Journalist braucht einen Absatz, den man zu Ende liest. Die Lehrerin ein Beispiel, das hängen bleibt. Das Lehrbuch muss ein Jahrzehnt auf einer Seite unterbringen. Jedes Mal gibt es einen guten Grund, den halben Satz wegzulassen.
Nach dem Kürzen bekommt der nächste Erzähler schon die gekürzte Fassung in die Hand. Kürzt er erneut, beginnt er mit ihr. Der Wortlaut steht noch auf dem Papier.
VIII. Was man tun sollte
1976 veröffentlichte Weizenbaum Die Macht der Computer und die Ohnmacht der Vernunft; der Untertitel im englischen Original stellt zwei Wörter einander gegenüber: Urteilen und Rechnen.
Auf Seite 227 steht eine der meistzitierten und am häufigsten gekürzten Passagen. Sie geht so vor: Die Fragen sind weder technisch noch mathematisch, sondern ethisch. Sie lassen sich nicht mit der Frage lösen, ob etwas möglich ist. Die letzte Grenze des Computereinsatzes lässt sich nur damit ausdrücken, was man tun sollte. Erst nach einer zeitlichen Einschränkung kommt der Schluss: Gegenwärtig lässt sich einem Computer keine Weisheit geben; deshalb sollte man ihm jetzt keine Aufgaben übertragen, die Weisheit erfordern.
Gegenwärtig. Jetzt. Beides steht im Wortlaut. Streicht man es, heißt der Absatz: Ein Computer kann nie Weisheit haben, also sollte man ihm nie etwas Wichtiges übertragen. Gerade dieser Satz wird heute weitergegeben.
Das ist die vierte Kürzung. Sie läuft den ersten drei entgegen. Dort wurde die Maschine größer. Hier wurde die Behauptung eines Menschen größer. Der Handgriff ist derselbe: die Einschränkung wegnehmen.
Auf Seite 270 steht ein anderer Absatz. Dort nennt er zwei Personen, Simon und Colby, und schreibt, sie stünden für entgegengesetzte Richtungen. Dann sagt er, manche menschlichen Tätigkeiten sollten nicht durch Computer ersetzt werden.
Den Satz muss man mit dem folgenden lesen. Weizenbaum trennt sein Urteil gleich darauf von einer anderen Frage: Ob eine Maschine das tatsächlich tun kann, ist eine eigene Sache. Er behauptet nicht, dass sie es nicht kann. Er sagt, dass sie es nicht tun sollte.
Er stellt keine Liste von Verboten nach Berufen oder Programmtypen auf. Er zeigt auf Dinge, die Beziehungen ausmachen: Achtung, Verständnis, Liebe. Wer die Seite zu einem Verbot macht, wichtige Entscheidungen jemals von einem Computer treffen zu lassen, verliert gerade die Weise, in der Weizenbaum die Grenze zog.
Noch im Jahr des Erscheinens wurde der Streit öffentlich. Im Juni 1976 standen in den Mitteilungen einer Fachgruppe für künstliche Intelligenz nacheinander Benjamin Kuipers’ Reaktion auf Weizenbaums Buch, McCarthys Ein unvernünftiges Buch und Weizenbaums eigene Erwiderung. Drei Texte, ein Heft, fortlaufende Seiten.
Kuipers meinte nicht, die Fragen des Buches seien wertlos. Ihm zufolge verdeckte sein allzu scharfer Ton gerade die Fragen, auf die es ankam. Er betonte außerdem, der Computer sei damals weiterhin ein Werkzeug in Menschenhand. Die Verantwortung für das, was die Maschine tut, verschwindet nicht vom Menschen, nur weil ein Rechner dazwischensteht.
McCarthys Beitrag nennt das Buch schon im Titel unvernünftig. Er wehrt sich vor allem gegen die weiterreichenden Schlüsse, die Weizenbaum aus Tatsachen der Computertechnik über künstliche Intelligenz, menschliches Urteil und die Moral von Forschern zieht. Eine schwer zu erklärende menschliche Urteilskraft oder Einzigartigkeit taugt für ihn nicht dazu, im Voraus eine technische Grenze zu ziehen. Ebenso wenig billigt er eine moralische Charakterisierung aller, die in dem Fach arbeiten.
McCarthy taucht in der Reihe wieder auf. Sein Name stand auf dem Antrag für den Sommer 1956. Diesmal steht er auf der Seite, gegen die die Grenze gezogen wird.
McCarthys Einwand ist: Wenn jemand einer Maschine bestimmte Tätigkeiten verbieten will, weil Menschen ein nicht weiter erklärbares Urteilsvermögen hätten, lässt sich der Grund weder prüfen noch bestreiten. Für ihn muss eine Grenze sich berechnen, widerlegen oder neu ziehen lassen.
Auf Weizenbaums Seite steht zu Beginn von Seite 227, dass es ethische und keine technischen Fragen sind. Er wollte von Anfang an keine technische Grenze ziehen. Deshalb stehen die beiden beim Streit auf verschiedenem Boden. Der eine verlangt eine berechenbare Grenze. Der andere sagt ausdrücklich, dass seine Grenze nicht berechenbar ist. Beide stehen auf benachbarten Seiten desselben Heftes.
Im Oktober desselben Jahres erschien in einer Zeitschrift über Technik und Kultur eine Rezension von Joseph Agassi. Einige moralische Kernaussagen seien beinahe selbstverständlich, und Weizenbaum zeige nicht klar, was an ihnen über die Generation Wieners hinaus neu sei. Zugleich lobte Agassi die technischen Erklärungen für Laien und empfahl das Buch weiterhin zur Lektüre.
So sah die Debatte aus: Das Buch erschien, im selben Jahr gab es mehrere namentlich gezeichnete Rezensionen und Erwiderungen. Zwei Beiträge und die Antwort des Verfassers standen im selben Heft, Seite an Seite. Beim Buch über Perzeptrone in der vorigen Folge waren sechzehn Monate zwischen zwei Rezensionen vergangen. Hier kam es von Anfang an zu einem offenen Streit.
Der Inhalt des Streits wurde nicht weitergegeben. Überliefert wurde der sauber gekürzte Satz.
In den vier Kürzungen verschwanden der Satz über das Wissen der Sekretärin, der Grund für die Gestaltung des DOCTOR-Skripts, die Grenzen der Bauklotzwelt und die beiden Ausdrücke für »jetzt«. Zwei weitere Nacherzählungen kamen hinzu: Weizenbaum sei erschüttert gewesen, und der Verfasser des Bauklotzprogramms habe selbst den Weg für eine Sackgasse erklärt. Wann diese Fassungen entstanden, lässt sich nicht unbedingt feststellen. Der Augenblick, in dem ein Satz seine Gestalt ändert, hinterlässt selten Spuren. Wer eine Einschränkung streicht, glättet in seinen Augen meist nur den Satz.
Zurück in das Zimmer. Eine Sekretärin sitzt an der Schreibmaschine, tippt einige Sätze, dreht sich um und bittet den Programmierer hinaus. Sie weiß, dass eine Maschine ihr antwortet.
Zehn Jahre später schrieb der Programmierer, er sei überrascht gewesen. Die Menschen ließen sich sehr schnell und sehr tief gefühlsmäßig darauf ein. Nach seinem eigenen Satz von 1967 wusste die Sekretärin, dass es eine Maschine war.
Später wurde daraus eine Geschichte über Täuschung. Für Täuschung gibt es eine Lösung: Man erklärt, was Sache ist. Die ursprüngliche Begebenheit bleibt auch nach der Erklärung bestehen.
Auf Seite 227 des Buches steht eine andere Frage. Nicht, ob die Maschine etwas kann, sondern ob sie es tun sollte. Die Frage kann die Tür weder schließen noch öffnen. Sie lässt sie, wo sie ist, und lässt das Öffnen und Schließen aufseiten der Menschen.
Noch werden Maschinen gebaut. Wo aber die Grenze liegt, sagt jede Generation von Neuem.