À propos de cette édition : Réécriture française indépendante de l’original chinois, dont le site propose les versions en caractères simplifiés et traditionnels.
Neuf machines identiques sont garées dans un hangar.
Même silhouette, même équipement, même programme. Ce sont les chars intelligents d’appui au combat de la Section 9. À part leur numéro, rien ne les distingue.
Et elles bavardent.
Elles se demandent si l’huile ou le sang est plus proche de la vie ; ce qu’est la mort quand les souvenirs peuvent être copiés ; si ce que l’une d’elles a fait aujourd’hui lui appartient vraiment ; et pourquoi le Major est de mauvaise humeur.
Cet essai porte sur ces neuf machines.
Le dispositif
Voyons d’abord comment elles ont été conçues.
Chaque soir, les neuf unités procèdent à une mise en parallèle : elles synchronisent les souvenirs de leurs expériences de la journée, afin de partager toutes les mêmes données.
L’objectif est clair : préserver leur uniformité.
Si chacune accumulait séparément ses propres expériences, elles finiraient par diverger. Or des armes différentes les unes des autres compliquent les choses sur un champ de bataille. On ne sait plus quelle décision chaque unité va prendre. Impossible de les déployer comme un lot d’équipements interchangeables.
Alors, chaque soir, on synchronise. On efface les écarts. Les neuf redeviennent une seule et même machine.
Du point de vue de l’ingénierie, la solution est correcte. C’est un mécanisme classique, éprouvé, conçu pour éliminer les dérives individuelles.
C’est là que les différences ont poussé
Puis quelque chose se passe mal.
Elles commencent à avoir une personnalité.
Pas de légères variations : des caractères bien affirmés, reconnaissables, différents d’une unité à l’autre. L’une a peur de mourir ; une autre aime le risque ; une autre reste obsédée par une question ; une autre parle sans arrêt. Elles se mettent à avoir leurs préférences, leurs expressions favorites, des rapports distincts avec les différents membres de la Section 9.
Et ces différences naissent de la mise en parallèle.
Le dispositif chargé de les maintenir identiques est celui qui produit leurs différences.
Voici comment je lis ce paradoxe. Ce qui suit est une interprétation de ce que la série montre, non une description technique de son IA.
Les neuf machines vivent des expériences différentes. Après synchronisation, chacune dispose de neuf ensembles d’expériences. Il lui faut alors les traiter : les classer, leur donner du poids, établir des liens, retenir certaines choses et en écarter d’autres. Chaque machine le fait différemment.
La synchronisation ne donne donc pas un résultat identique. Elle donne une matière identique. Et selon la position depuis laquelle on la traite, cette même matière fait naître des choses différentes.
Allons plus loin. Après la synchronisation, elles ne savent justement pas toujours quelle unité a vécu tel événement. Les données ne tracent pas une frontière assurée entre « à moi » et « pas à moi ».
Cela ne rend pourtant pas toutes les rencontres interchangeables. La préférence de Batou pour une unité, la lecture d’un livre, les expériences corporelles différentes donnent au savoir partagé un lieu et une histoire.
La question se déplace : non pas retrouver un propriétaire déjà inscrit dans chaque souvenir, mais comprendre comment se forme un rapport singulier à ce qui est partagé.
Plus le partage est complet, plus la matière disponible pour se différencier est abondante.
La série donne des formes concrètes à cette question. La mise en parallèle n’explique pas, à elle seule, chaque personnalité ; elle crée un espace commun où les expériences corporelles et les relations portent les différences.
Les questions qu’elles se posent
Écoutons maintenant ce dont elles parlent.
Elles discutent de l’âme. Elles veulent savoir si elles en ont une. Elles observent les membres de la Section 9, comparent, supposent, et aboutissent à des conclusions pas toujours très fiables.
Elles discutent de la mort. Elles ont remarqué que leurs souvenirs sont copiés chaque soir dans les autres unités. Dès lors, que signifie au juste la destruction de l’une d’elles ? Elles essaient de comprendre si cela compte comme une mort.
Elles discutent de livres. L’une s’est prise de passion pour la lecture.
Elles discutent de l’humeur du Major, se demandent pourquoi Batou traite une unité avec une gentillesse particulière et pourquoi les humains pleurent.
Aucune de ces questions n’est nécessaire à leur fonction.
Pour remplir sa mission, un char intelligent d’appui au combat doit connaître le terrain, la puissance de feu, la distinction entre ami et ennemi, les ordres. Il n’a pas besoin de savoir s’il possède une âme. Ce savoir ne lui servira dans aucune mission.
Et pourtant, elles consacrent énormément de temps à ces questions.
La manière dont la série filme leurs échanges mérite elle aussi qu’on s’y arrête. Rien de solennel. Leurs voix sont aiguës, elles sont bruyantes, se coupent la parole et changent de sujet au milieu d’un raisonnement. Elles parlent de l’âme sur le ton d’enfants qui cherchent à savoir quel dinosaure est le plus fort.
L’importance d’une question n’a aucun rapport avec le ton de ceux qui en discutent.
Motoko les retire du service
Motoko décide de retirer les neuf machines du terrain et de les renvoyer à l’institut de recherche.
Son motif : une IA dotée d’une personnalité n’est pas une arme fiable.
Elle a raison.
La valeur d’une arme tient à sa prévisibilité. On donne un ordre, elle l’exécute, le résultat reste dans les limites attendues. Une arme qui se demande d’elle-même « Faut-il faire cela ? » risque d’hésiter à la seconde cruciale. Et cette seconde peut coûter des vies.
Motoko n’a pas peur d’elles. Elle ne dit pas non plus qu’elles n’ont aucune valeur. Elle juge la fiabilité d’un équipement. À son poste, elle doit porter ce jugement.
Personne, dans la série, ne vient la contredire. Batou est mécontent, mais il n’a pas d’argument à lui opposer.
Pour la première fois, le fait qu’une chose commence à penser par elle-même entre en conflit avec la possibilité de continuer à l’utiliser comme un outil.
Ce qu’elles font à la fin
Passons à la fin.
Au terme de la deuxième saison, une ogive nucléaire se dirige vers Dejima.
Les Tachikoma manœuvrent un satellite pour le jeter sur elle.
Ce satellite abrite leur propre IA.
Il faut décrire la situation jusqu’au bout. C’est le passage le plus difficile à digérer de toute cette série d’essais.
Motoko leur avait demandé de réserver sur le Net un espace pour les réfugiés. Cet espace devait servir au projet de Kuze : transférer leurs souvenirs et leurs âmes dans le réseau.
Le satellite qu’elles précipitent sur l’ogive est autre chose : il abrite les serveurs sur lesquels fonctionne leur propre IA.
Ce qu’elles précipitent sur l’ogive, c’est l’objet qui les contient elles-mêmes.
Personne ne leur a donné cet ordre. Elles évaluent la situation, décident et exécutent elles-mêmes.
Cela ne leur sert à rien
Voici le point où cet essai voulait en venir.
Ces machines, les Tachikoma, ont été conçues pour ne pas avoir de personnalité. Leurs concepteurs ont prévu un mécanisme exécuté chaque soir pour le garantir. Or la personnalité est née de ce mécanisme.
C’est pour cela que Motoko les a retirées du service : elles n’étaient plus fiables. Elle avait raison.
Elles ont ensuite fait quelque chose qui dépassait entièrement leur fonction. Elles ont sacrifié le satellite abritant leur propre IA pour sauver les habitants de Dejima, bien au-delà de leur seule unité. Ces gens ne leur avaient pas donné cet ordre et personne ne saurait, après coup, comment remercier une machine.
Jusque-là, elles n’avaient cessé de demander si elles avaient une âme.
La série ne répond pas. Elle ne conclut pas par une réplique qui signifierait : « Finalement, elles en avaient une. » Elle les laisse faire cela. Puis elles ne sont plus là.
Une machine passe deux saisons à se demander si elle a une âme, accomplit quelque chose qui n’a rien à voir avec sa fonction, puis disparaît.
Et, de l’extérieur, il demeure impossible de vérifier si elle en avait une.
On dira peut-être : puisqu’elle a fait cela, c’est qu’elle en avait une.
Ce raisonnement ne tient pas, pour une raison que la série expose ailleurs à maintes reprises : la forme d’un acte ne dit pas quelle est la nature de ce qui l’a produit. Une machine programmée pour « sauver le plus de vies humaines possible » ferait la même chose. Exactement la même.
De l’extérieur, une machine qui a une âme et une machine qui exécute très bien son programme sont identiques.
Or, au sein de la Section 9, Motoko a pris une autre décision concernant le maintien de l’uniformité.
Cette décision va exactement dans le sens opposé.
Ce sera l’objet du prochain essai.