Der Mechanismus, der sie gleich hält

Neun vollkommen gleiche Maschinen stehen in einer Garage.

Sie sehen gleich aus, haben dieselbe Ausstattung und dieselben Programme. Es sind die mitdenkenden Kampfunterstützungspanzer der Sektion 9. Außer ihrer Nummer unterscheidet sie nichts.

Und sie unterhalten sich.

Zum Beispiel darüber, ob Öl oder Blut dem Leben nähersteht. Darüber, was der Tod ist, wenn Erinnerungen kopiert werden können. Ob das, was eine von ihnen heute getan hat, wirklich ihre eigene Tat war. Und warum der Major heute schlecht gelaunt ist.

Dieser Essay handelt von diesen neun Maschinen.

Der Mechanismus

Zunächst müssen wir verstehen, wie sie konstruiert sind.

Jede Nacht durchlaufen die neun Maschinen eine Parallelisierung. Sie synchronisieren die Erinnerungen an ihre jeweiligen Tageserfahrungen, sodass anschließend alle Einheiten über denselben Datenbestand verfügen.

Das Ziel ist eindeutig: Sie sollen gleich bleiben.

Würde jede Maschine nur ihre eigenen Erfahrungen sammeln, würden sie allmählich verschieden. Unterschiedliche Waffen sind auf dem Schlachtfeld aber ein Problem. Man weiß nicht, welche Einheit welches Urteil fällen wird. Man kann sie nicht mehr so einsetzen wie einen Bestand baugleicher Ausrüstung.

Also wird jede Nacht synchronisiert. Alle Unterschiede werden eingeebnet. Aus neun verschiedenen Einheiten sollen wieder neun Ausführungen derselben Maschine werden.

Technisch ist das eine richtige Lösung. Ein übliches, ausgereiftes Verfahren, eigens dafür vorgesehen, das individuelle Auseinanderdriften zu verhindern.

Genau dort entstehen die Unterschiede

Dann geht etwas schief.

Die Maschinen entwickeln Persönlichkeiten.

Keine bloß geringfügigen Abweichungen. Eindeutige, wiedererkennbare, voneinander verschiedene Charaktere: Eine hat Angst vor dem Tod, eine sucht das Abenteuer, eine verbeißt sich in eine bestimmte Frage, eine redet besonders viel. Sie entwickeln eigene Vorlieben, eigene Lieblingswendungen und jeweils andere Beziehungen zu den einzelnen Mitgliedern der Sektion 9.

Diese Unterschiede entstehen aus der Parallelisierung.

Der Mechanismus, der sie gleich hält, ist derselbe, der sie verschieden macht.

So lese ich dieses Paradox. Was folgt, ist eine Deutung des gezeigten Geschehens, keine technische Spezifikation der KI.

Die neun Maschinen erleben verschiedene Dinge. Nach der Synchronisierung besitzt jede die Erfahrungen aller neun. Mit diesen neun Erfahrungsbeständen muss sie nun etwas anfangen: sie ordnen, gewichten, verknüpfen, auswählen und verwerfen. Jede Maschine verarbeitet sie anders.

Die Synchronisierung liefert also nicht dasselbe Ergebnis. Sie liefert dasselbe Material. Und dasselbe Material bringt an verschiedenen Stellen Verschiedenes hervor.

Noch eine Schicht tiefer: Nach der Synchronisierung können sie gerade nicht immer unterscheiden, welche Einheit etwas erlebt hat. Die Daten liefern keine verlässliche Grenze zwischen „meins“ und „nicht meins“.

Aber daraus folgt nicht, dass alle Begegnungen austauschbar werden. Batous Bevorzugung einer Einheit, das Lesen eines Buches, unterschiedliche körperliche Erfahrungen geben dem gemeinsam Gewussten einen Ort und eine Geschichte.

So verschiebt sich die Frage: nicht, ob jeder Erinnerung schon ein eindeutiger Besitzer eingeschrieben ist, sondern wie überhaupt ein eigenes Verhältnis zum Geteilten entsteht.

Je vollständiger sie alles teilen, desto mehr Material haben sie, um verschieden zu werden.

Die Serie gibt dieser Frage konkrete Gestalten. Nicht die Parallelisierung allein erklärt jede Persönlichkeit; sie bildet den gemeinsamen Raum, in dem körperliche Erfahrungen und Beziehungen Unterschiede weitertragen.

Die Fragen, die sie stellen

Schauen wir jetzt darauf, worüber sie sich unterhalten.

Sie diskutieren über die Seele. Sie wollen wissen, ob sie eine haben. Sie beobachten die Menschen der Sektion 9, vergleichen, mutmaßen und gelangen zu einigen nicht besonders belastbaren Schlüssen.

Sie diskutieren über den Tod. Ihnen fällt auf, dass ihre Erinnerungen jede Nacht in andere Maschinen kopiert werden. Dadurch bekommt die Zerstörung dieser einen Einheit eine merkwürdige Bedeutung. Sie möchten herausfinden, ob das als Tod zählt.

Sie diskutieren über Bücher. Eine von ihnen hat eine Leidenschaft fürs Lesen entwickelt.

Sie sprechen über die Laune des Majors, darüber, warum Batou eine von ihnen besonders gut behandelt, und darüber, weshalb Menschen weinen.

Keine einzige dieser Fragen ist für ihren vorgesehenen Zweck nötig.

Ein mitdenkender Kampfunterstützungspanzer braucht für seinen Einsatz Kenntnisse über Gelände, Feuerkraft, Freund-Feind-Erkennung und Befehle. Er muss nicht wissen, ob er eine Seele hat. Dieses Wissen nützt ihm bei keinem einzigen Einsatz.

Und doch verbringen sie sehr viel Zeit mit solchen Fragen.

Auch die Inszenierung dieser Gespräche verdient Aufmerksamkeit. Die Serie macht daraus keine feierlichen Szenen. Die Maschinen haben hohe Stimmen, sind laut, fallen einander ins Wort und kommen mitten in einer Diskussion auf etwas ganz anderes. Über Seelen reden sie in genau dem Ton, in dem Kinder darüber streiten, welcher Dinosaurier der stärkste ist.

Ob eine Sache wichtig ist, hat nichts damit zu tun, in welchem Ton man über sie spricht.

Motoko zieht sie ab

Motoko trifft eine Entscheidung. Sie nimmt alle neun Maschinen aus dem Fronteinsatz und schickt sie ins Forschungsinstitut zurück.

Ihre Begründung: Eine KI mit Persönlichkeit ist als Waffe unzuverlässig.

Dieses Urteil ist richtig.

Der Wert einer Waffe liegt in ihrer Berechenbarkeit. Man erteilt einen Befehl, sie führt ihn aus, das Ergebnis bleibt im erwartbaren Rahmen. Eine Waffe, die selbst darüber nachdenkt, ob sie etwas tun sollte, kann in der entscheidenden Sekunde zögern. Und diese Sekunde kostet Menschenleben.

Motoko hat keine Angst vor ihnen. Sie behauptet auch nicht, sie seien wertlos. Sie beurteilt die Zuverlässigkeit ihrer Ausrüstung. In ihrer Position muss sie dieses Urteil fällen.

Die Serie lässt auch niemanden dagegen argumentieren. Batou ist unzufrieden, doch ein Gegenargument findet er nicht.

Hier geraten zum ersten Mal zwei Dinge in Konflikt: dass etwas eigene Gedanken entwickelt und dass es weiterhin als Werkzeug verwendbar bleibt.

Was sie am Ende tun

Springen wir ans Ende.

Im Finale der zweiten Staffel fliegt ein nuklearer Sprengkopf auf Dejima zu.

Die Tachikoma lenken einen Satelliten in seine Flugbahn und lassen ihn mit dem Sprengkopf kollidieren.

Auf diesem Satelliten befindet sich ihre eigene KI.

Hier müssen wir uns den Ablauf bis ins Einzelne klarmachen. Dies ist die Stelle der ganzen Essayreihe, die am schwersten zu verdauen ist.

Motoko hatte die Tachikoma angewiesen, im Netz Speicherplatz für die Flüchtlinge bereitzustellen. Dieser Raum gehörte zu Kuzes Vorhaben, ihre Erinnerungen und Seelen ins Netz zu übertragen.

Der Satellit, den sie nun auf Kollisionskurs bringen, ist etwas anderes: Er beherbergt die Server, auf denen ihre eigene KI läuft.

Was sie in den Sprengkopf steuern, enthält sie selbst.

Dazu haben sie keinen Befehl bekommen. Sie urteilen selbst, entscheiden selbst und führen ihre Entscheidung selbst aus.

Es nützt ihnen nichts

Zum Schluss der Punkt, auf den dieser Essay zuläuft.

Die Tachikoma sind so gebaut, dass sie keine Persönlichkeit haben sollen. Ein nächtlich ablaufender Mechanismus soll das sicherstellen. Genau aus diesem Mechanismus wächst ihre Persönlichkeit.

Deswegen zieht Motoko sie ab: Sie sind nicht mehr zuverlässig. Dieses Urteil ist richtig.

Dann tun sie etwas, das ihren vorgesehenen Zweck völlig überschreitet. Sie geben den Satelliten mit ihrer eigenen KI für das Leben einer Gruppe von Menschen hin. Sie retten nicht bloß ihre eigene Einheit, sondern die Menschen auf Dejima. Keiner hat diesen Befehl erteilt. Und hinterher weiß auch keiner, wie man sich bei einer Maschine bedanken soll.

Bis dahin haben sie immer wieder gefragt, ob sie eine Seele haben.

Die Serie beantwortet diese Frage nicht. Sie setzt am Ende keinen Satz darunter, der lautet: „Sie hatten also doch eine.“ Sie lässt sie einfach das tun, was sie tun. Dann sind sie weg.

Eine Maschine diskutiert zwei Staffeln lang darüber, ob sie eine Seele hat. Dann tut sie etwas, das mit ihrem Verwendungszweck überhaupt nichts zu tun hat. Dann verschwindet sie.

Ob sie nun eine hatte, lässt sich von außen weiterhin nicht prüfen.

Man kann sagen: Sie hat das getan, also hat sie eine Seele.

Aber dieser Schluss geht nicht auf. Warum, hat die Serie an anderen Stellen immer wieder vorgeführt: Die Gestalt einer Handlung sagt nicht, was sie hervorgebracht hat. Eine Maschine, deren Programm lautet, möglichst viele Menschenleben zu erhalten, würde dasselbe tun. Und zwar genau dasselbe.

Von außen sehen eine Maschine mit Seele und eine Maschine, die ihr Programm besonders gut ausführt, gleich aus.

Innerhalb der Sektion 9 hat Motoko noch eine andere Entscheidung getroffen, bei der es um Gleichheit ging.

Sie weist genau in die entgegengesetzte Richtung.

Darum geht es im nächsten Essay.