La loi des cycles de taille et de construction · Série IA · 09

Elle savait que c’était une machine. Elle lui a tout de même demandé de sortir un instant

Han Qin · Environ 24 minutes · Publication

1. Pas moyen de taper un point d’interrogation

Au milieu des années 1960, au MIT, il y a une machine à écrire dans une pièce.

La machine à écrire n’est reliée à rien. Ou plutôt, l’ordinateur auquel elle est reliée ne se trouve pas dans cette pièce, mais ailleurs dans le bâtiment. D’autres personnes l’utilisent en même temps. À cette époque, un gros ordinateur coûte cher. Si une personne l’occupe à elle seule, c’est du gaspillage. On le partage donc entre plusieurs personnes, chacune devant sa machine à écrire, dans sa propre pièce.

On tape une phrase en anglais et on appuie deux fois sur la touche de retour. Deux fois, parce qu’une seule ne compte pas : c’est le second retour qui indique qu’on a fini son tour. La machine à écrire se met alors en mouvement toute seule et imprime la réponse sur la même feuille.

Pas moyen de taper un point d’interrogation. Le système le traite comme une commande : effacer toute la ligne qu’on vient de taper. On ne peut donc pas poser une question avec un point d’interrogation sur cette machine. Le délai de réponse varie selon le nombre de personnes qui se servent du même ordinateur dans le bâtiment. Quand il est occupé, on attend un peu plus.

Un imprimé du 22 mars 1965 nous est resté. Sur le papier, un échange avance tour après tour : d’un côté, ce que la personne tape ; de l’autre, ce que la machine imprime. Les deux sont sur la même feuille, de la même tête d’impression, avec les mêmes caractères et la même encre. Il faut distinguer ligne par ligne qui a tapé quoi.

Dans la démonstration imprimée ensuite dans l’article, les paroles de la machine sont en majuscules et les autres non. On les lit toujours à la suite les unes des autres.

Celui qui a écrit le programme s’appelle Joseph Weizenbaum. Le programme s’appelle ELIZA. C’est lui qui a choisi le nom, celui de la fleuriste de la pièce de Shaw, à qui l’on apprend peu à peu une autre façon de parler. Le nom désigne quelque chose dans la structure même du programme. Le programme ne sait rien dire tout seul : ce qu’il dit lui est donné par autre chose, qu’on peut remplacer et à quoi l’on peut apprendre à mieux parler petit à petit. On a souvent confondu les deux depuis.

ELIZA a deux couches. En bas, le programme lui-même, chargé d’une seule chose : découper les phrases qu’il reçoit, puis les réassembler selon des règles. Au-dessus, une liste, que Weizenbaum appelle un script. Elle dit quels mots repérer, comment découper la phrase pour chacun d’eux et comment arranger ensuite les morceaux. La liste ne fait pas partie du programme : on l’y introduit. Changez de liste et ce programme devient autre chose.

Voici comment il procède. On tape une phrase. Il y cherche d’abord les mots qui figurent sur la liste. S’il en trouve plusieurs, il retient le plus important selon l’ordre des priorités. Il applique ensuite à la phrase le patron associé à ce mot et la découpe en morceaux. Il les dispose autrement suivant la règle de réassemblage du patron et ajoute parfois quelques mots tout faits.

S’il ne trouve aucun de ces mots, il a deux solutions de repli. Il peut dire quelque chose sans rapport avec le contenu. Ou bien il peut aller chercher dans sa mémoire une phrase dite plus tôt, la retourner et la resservir. À aucun moment il n’a besoin de savoir de quoi on parle.

2. Pourquoi choisir un médecin ?

Il y a plusieurs listes. Celle dont on se souvient s’appelle DOCTOR. Elle fait jouer au programme le rôle d’un psychothérapeute.

Presque tout ce qu’on a dit d’ELIZA au cours des soixante années suivantes part de là : un programme conçu pour traiter des patients, un programme thérapeutique. L’article de 1966 dit autre chose.

À la page 42, Weizenbaum explique le choix du rôle. Dans un tel entretien, dit-il, le thérapeute peut dans une large mesure donner l’impression de ne presque rien savoir du monde réel. Voilà la raison. Le rôle n’a pas été choisi parce que la machine était faite pour soigner. Il permet à quelque chose qui ne sait à peu près rien de rester de l’autre côté de la table sans se trahir.

Quelqu’un qui joue un professeur de géographie et à qui l’on demande où se trouve l’Égypte doit pouvoir répondre. Quelqu’un qui joue un courtier en Bourse doit donner le cours du jour. Mais un thérapeute qui renvoie ses phrases une à une à la personne qui lui parle peut s’abstenir du début à la fin de fournir un seul fait sur le monde. Ce n’est pas un manquement, c’est la pratique même de ce rôle. On l’a donc choisi pour cacher tout ce que le programme ignore.

Deux pages plus haut, l’article imprime un dialogue de démonstration en quinze tours. Les deux premières répliques : « Les hommes sont tous pareils », dit la personne. « Pareils en quoi ? » répond la machine.

Les quatorze tours suivants se passent à peu près ainsi. Elle dit que les hommes viennent toujours l’ennuyer ; la machine lui demande un exemple. Elle dit que son compagnon l’a obligée à venir ; la machine le répète. Elle dit qu’il la trouve souvent déprimée ; la machine s’en dit désolée. Elle dit qu’elle est effectivement malheureuse ; la machine demande si venir ici peut l’aider à ne plus être malheureuse. Elle dit qu’elle a besoin d’aide ; la machine demande ce que cela signifierait pour elle d’en recevoir. Elle dit qu’elle apprendrait peut-être à s’entendre avec sa mère ; la machine lui demande d’en dire plus sur sa famille. Elle dit que sa mère prend soin d’elle ; la machine demande qui d’autre le fait dans la famille. « Mon père » ; la machine lui renvoie le mot « père ». Elle dit que la machine ressemble par certains côtés à son père ; la machine demande lesquels. Elle dit que la machine n’est pas très agressive, mais qu’elle semble ne pas vouloir le lui laisser remarquer ; la machine demande ce qui lui fait dire cela. Elle dit que la machine ne la contredit pas ; la machine demande pourquoi elle pense qu’elle ne la contredit pas. Elle dit que la machine a peur d’elle ; la machine demande si le croire lui fait plaisir. Elle dit que son père a peur de tout le monde ; la machine demande à quoi d’autre elle pense en pensant à son père. « Une brute », répond-elle. La machine raccorde le mot à la phrase où elle disait que son compagnon l’avait obligée à venir.

Choisissons un tour au milieu : toute la méthode est là. « Je suis effectivement malheureuse », dit-elle. « Est-ce que venir ici peut t’aider à ne plus être malheureuse ? » répond la machine. L’article explique le découpage avec des phrases du genre « je suis… ». Les premiers mots font partie du patron ; ce qui vient ensuite peut varier. La réponse dispose, elle aussi, d’un cadre tout fait. Dans ce tour, « malheureuse » réapparaît dans la phrase que la machine imprime en retour.

La machine ajoute « venir ici » et « t’aider », mais elle ne dit rien de nouveau sur la situation de la personne. La phrase revient après avoir fait un tour, et elle a changé de forme. D’une affirmation, elle est devenue une question. Elle venait de la personne ; elle s’adresse maintenant à elle. Et, du côté de la personne, l’effet est celui-ci : quelqu’un en face a pris ce qu’elle disait.

Deux choses dans ces quinze tours. Premièrement, la machine n’énonce pas un seul fait sur le monde. Deuxièmement, au dernier tour, elle a l’air plus que jamais d’avoir compris : elle relie deux répliques séparées par une bonne dizaine de tours. C’est la solution de repli par la mémoire. Elle lui rend, en la retournant, une phrase conservée plus tôt, et elle la rend juste au bon moment.

3. Cacher

Dans le même article, tournons jusqu’à la page 43. Weizenbaum commence par dire qu’ELIZA entretient une illusion de compréhension avec très peu de moyens.

Puis il dit que cette faculté de comprendre a un plafond. C’est le programme principal lui-même qui fixe le plafond, non la liste. Changer de liste ne le fait pas disparaître.

Il propose alors une autre mesure pour la compréhension véritable : la capacité à tirer des conclusions valides de ce qu’on nous a dit. Pour y parvenir, il faut au moins garder sélectivement une partie de ce qu’on a entendu. Dans la version qu’il décrit, en dehors du recours à la mémoire, ELIZA jette ce qu’elle a entendu dès que le tour est fini.

Puis vient cette phrase. Jusqu’alors, écrit-il, l’un des objectifs de conception était de cacher à l’utilisateur que le programme ne comprenait pas.

C’est le concepteur lui-même qui l’écrit. Ni un critique ni quelqu’un qui résume l’histoire après coup. Il l’écrit dans l’article technique qui présente son propre travail.

Il ajoute ensuite une phrase qui va en sens inverse. Si l’on entend un jour se servir de ces systèmes comme de véritables interfaces en langage naturel, il faut au contraire retourner l’objectif : il faut exposer les malentendus.

Il y a des choses auxquelles une machine n’a pas accès. C’est le cas de toutes les machines. Dans les épisodes précédents, on a appelé « le reste » la part hors d’atteinte. Ici, celui qui a fait la chose la désigne lui-même et dit aussi ce qu’il en a fait : il l’a cachée.

Cette phrase est écrite en 1966. Le programme vient d’être terminé et commence à circuler ; dans le texte officiel qui le présente, son auteur relève un défaut de conception. La correction qu’il propose ne consiste pas à ajouter ce que le programme ne comprend pas, mais à le rendre visible. Ajouter, c’est mettre encore des choses dedans. On a beau en ajouter, il en reste dehors. Rendre visible, c’est montrer ce qui reste. Faire qu’une machine dise qu’elle ne sait pas répondre reste aujourd’hui un sujet de travail.

Sur la même page, il apporte une réserve dans l’autre sens, qu’on a également omise par la suite. Il dit qu’il n’est pas tout à fait exact de prétendre que la liste ne contient aucune information sur le monde réel. Les règles de réassemblage incorporent déjà certaines hypothèses sur le monde. On peut donc voir dans l’ensemble de la liste un modèle sommaire de quelques aspects du monde. Il ne tranche pas entièrement, ni d’un côté ni de l’autre. Il ne dit ni que le programme comprend, ni qu’il ne comprend absolument rien.

Dans le dernier paragraphe, sur le plan technique, il classe le programme principal parmi les processeurs de traduction. Puis il prévient que, placé dans un cadre de psychologie, un tel objet peut aisément faire sur un observateur ordinaire une impression sans commune mesure avec ses quelques mécanismes, une impression de magie.

4. La secrétaire

L’histoire qu’on a le plus racontée ensuite est celle de sa secrétaire. Elle est imprimée pour la première fois dans un article d’août 1967, « La compréhension du contexte par les ordinateurs ». Voici ce que l’article raconte.

Un jour, la secrétaire demande à parler avec la machine. D’après Weizenbaum, elle l’a vu travailler longtemps sur le programme. Elle tape quelques phrases, puis se tourne vers lui et demande : peux-tu sortir un instant ?

Le texte original ajoute une phrase à l’histoire. « Bien sûr », écrit-il, « elle savait qu’elle parlait à une machine. » Les mots « bien sûr » sont dans l’original.

Une version qui circule veut qu’ELIZA ait trompé la secrétaire de Weizenbaum : elle aurait cru avoir en face d’elle une personne et demandé à rester seule pour cette raison. Sur la page d’août 1967, elle savait ; dans cette version, elle ne savait pas.

Les deux versions n’ont pas la même suite. Elle a été trompée. Alors le problème a une solution : une étiquette, un avertissement à l’écran, qui fasse savoir à tout le monde avant même de parler qu’il y a une machine en face. On règle le problème de la tromperie en disant la vérité.

Elle savait. Le savoir ne l’a pas empêchée de demander une fois à quelqu’un de sortir. Quant à la raison de sa demande, la page ne donne pas l’explication de la secrétaire elle-même.

Ce n’est pas à la machine qu’elle a demandé de sortir, mais à la personne qui était dans la pièce. La page ne dit pas ce qui s’est dit ensuite.

L’explication de Weizenbaum vient tout de suite après : comme le programme cache les malentendus, un sentiment d’être compris peut se maintenir. Il dit aussi qu’on pourrait écrire le programme à l’envers et rendre les malentendus visibles. C’est son explication, pas celle de la secrétaire. Ce qu’elle a dit, c’est qu’elle demandait à la personne dans la pièce de sortir.

5. J’ai été surpris

Alors, à quel moment a-t-il été surpris ? Dans le récit qui circule, sa stupeur est au milieu de la scène. Pour savoir de quelle année elle date, il faut ouvrir les textes l’un après l’autre.

L’article de 1966 ne dit rien de la sorte à la première personne. Celui de 1967 non plus. Il donne déjà des exemples de gens qui s’investissent affectivement dans le système, mais l’auteur ne dit pas ce qu’il éprouve lui-même.

La phrase à la première personne est à la page 6 du livre de 1976. Il écrit : « J’ai été surpris. » Vient ensuite ce qui l’a surpris : les personnes qui parlaient avec ce script s’engageaient très vite et très profondément sur le plan affectif et traitaient manifestement l’ordinateur comme une personne.

La phrase est donc celle d’un homme qui décrit sa réaction dix ans après, à l’appui d’un propos dans un livre. Aujourd’hui, on écrit plus souvent : il a été bouleversé. Être bouleversé, c’est plus fort qu’être surpris.

Au même moment, quelqu’un d’autre va dans la direction inverse. En février 1966, une revue médicale consacrée aux maladies nerveuses et mentales publie « Une méthode informatique de psychothérapie : communication préliminaire », signé Kenneth Colby et deux autres auteurs. Il s’est écoulé un mois environ depuis l’article sur ELIZA.

Du côté de Colby, on écrit que la psychothérapie par ordinateur est une voie qu’il vaut la peine de développer et de mettre à l’essai en clinique.

Les articles ne paraissent pas au même endroit. Celui sur ELIZA paraît dans le bulletin d’une association d’informatique. Le lecteur de cette revue voit un programme. Il demande comment il est écrit, de quels mécanismes il se compose et si l’on pourrait en refaire un.

L’article de Colby, lui, paraît dans une revue médicale. Le lecteur qui y voit une thérapie demande à qui elle s’adresse, quels résultats elle donne et quels risques elle présente.

Devant les deux métiers, la même chose reçoit deux séries de questions. Dans la première, une machine n’est qu’un programme. Dans la seconde, elle devient quelque chose qu’on va utiliser sur des personnes.

Deux personnes, deux articles imprimés à quelques semaines de distance, une chose qui a la même forme, deux conclusions opposées. L’un dit qu’il a choisi le rôle pour cacher ce que le programme ignore. L’autre dit que ce rôle peut réellement être mis au service de patients.

Dix ans après, à la page 270 de son livre, Weizenbaum nomme Colby.

6. Des cubes

Ailleurs dans la même école, les choses vont dans une tout autre direction. De 1968 à 1970, un étudiant de cycle supérieur nommé Terry Winograd met au point un programme au laboratoire d’intelligence artificielle.

Le nom du programme est une suite de lettres sans signification, SHRDLU. Il tourne sur la machine DEC du laboratoire. À l’écran, quelques lignes dessinent un plateau de table, des cubes, une pyramide, une boîte ouverte et une pince au-dessus.

Cette pince est dessinée. Aucune caméra ne regarde une vraie table, aucune main mécanique ne touche de vrais morceaux de bois. Ce que le programme modifie, c’est le monde qu’il a en lui. On tape sur un téléimprimeur et on regarde les lignes bouger à l’écran.

La description officielle paraît au début de 1971 sous forme de rapport technique, puis l’année suivante en livre, sous le titre « Comprendre le langage naturel ». Le résumé commence par « un système permettant à un ordinateur de comprendre l’anglais ». La phrase suivante délimite aussitôt le monde : un modèle formé d’un robot simple et de quelques objets jouets. Les deux phrases se touchent. La première ouvre grand ; la seconde resserre. C’est la première qui se transmet.

Ce monde resserré correspond à la méthode que le laboratoire présente publiquement à l’époque. Dans un bilan daté du 11 décembre 1971, Minsky et Papert appellent ce genre d’environnement un « micromonde ». Ils expliquent que le laboratoire prend alors ces petits milieux fermés pour terrain de travail sur le sens, le raisonnement, la vision et le langage. Autrement dit, ramener le monde à quelques cubes sur une table est un choix délibéré, écrit dans les documents de l’année.

Le livre de l’épisode précédent paraît à peu près au même moment que ce rapport, et les deux auteurs sont les mêmes. D’un côté, ils mesurent la limite d’une autre classe de machines. De l’autre, ils donnent un nom à la façon de travailler de leur laboratoire. Et ce nom porte déjà sa réserve : « micro ».

Le dialogue publié en démonstration comporte quarante-deux tours. Les deux premières répliques : « Prends un gros bloc rouge », dit la personne. « D’accord », répond la machine.

Voici ce que fait le programme dans ces quarante-deux tours. Il exécute des ordres comme prendre et poser. Il démêle des phrases longues avec des subordonnées et des comparatifs. Il reconnaît à quoi renvoie le mot « il » dans ce qui vient d’être dit. Il sait dire ce qu’il y a dans la boîte, quel bloc est posé sur quel autre, et combien il y en a. Il répond à des questions sur ce qu’un objet peut porter. Il empile plusieurs blocs une étape à la fois. Quand la personne donne un nom à un nouvel assemblage, il l’accepte et le réemploie ensuite. Il se souvient de ce qu’il a fait auparavant. Quand on lui demande pourquoi ou comment il a fait quelque chose, il peut remonter la chaîne de ses objectifs pour en donner la raison.

Il dit aussi, dans plusieurs de ces tours, qu’il ne peut pas faire quelque chose. On lui demande de prendre la pyramide, mais il y en a plusieurs sur la table : plutôt que de deviner, il demande laquelle. On lui demande quelque chose qu’on ne peut pas faire selon les règles de ce monde : il n’essaie pas de passer en force.

ELIZA avait entre autres pour but de cacher ce qu’elle ne comprenait pas. Dans sa démonstration publiée, l’autre programme montre, une fois après l’autre, ce qu’il ne peut pas faire. Une personne et une machine se parlent dans les deux cas par l’intermédiaire d’une machine à écrire ; sur le même point, les deux programmes font des choix contraires.

Quelle taille a ce monde ? Des gens qui ont remis le code en ordre à notre époque ont fait le compte : environ cinquante mots se rapportent à ce monde.

On entend souvent dire que Winograd a terminé le programme puis annoncé que cette voie était une impasse. Or de 1973 à 1976, il a continué à publier des articles sur la compréhension du langage naturel.

7. Quatre coupes

On peut maintenant disposer côte à côte les coupes de cet épisode. La première est à la page de 1967. Dans une version, la phrase qui commence par « bien sûr » n’a pas suivi. Il reste ceci : le programme a trompé la secrétaire.

Deuxième coupe, à la page 42 en 1966. La raison de choisir ce rôle disparaît. Il reste ceci : c’est un programme de psychothérapie.

Troisième coupe, dans le résumé de 1971. La phrase qui délimite le monde n’a pas suivi. Il reste ceci : un programme qui comprend l’anglais. La quatrième coupe est dans la section suivante.

Ces trois premières coupes ont quelque chose en commun. Ce qu’on retire, ce sont des réserves ; et après chaque retrait, la machine est plus grande. La secrétaire est trompée : la machine ressemble donc à une personne. C’est un programme de thérapie : elle est donc utile. Elle comprend l’anglais : elle comprend donc. Les trois phrases sonnent plus fort que les originales. Toutes trois sont plus faciles à retenir.

Mais elles se heurtent quand on les met ensemble. Les deux premières disent qu’un programme qui ne comprend presque rien a mené quelqu’un en bateau. La troisième dit qu’un programme comprend vraiment l’anglais. Une même décennie, une même école : on en retient deux choses qui se contredisent, que les machines trompent merveilleusement bien, et qu’elles comprennent merveilleusement bien.

Dans les textes d’origine, il n’y a pas de contradiction. Voici ce qu’ils disent : celui-ci ne comprend pas, et j’ai caché ce qu’il ne comprend pas ; celui-là comprend un peu, dans les limites des quelques blocs posés sur la table. Les deux phrases donnent des dimensions. Elles ne se heurtent pas, parce que des choses de dimensions différentes peuvent très bien coexister. Ôtez les dimensions et il reste deux qualificatifs. Des qualificatifs, eux, peuvent se heurter.

Voilà un aspect nouveau de ce qui revient dans les épisodes précédents. En retirant les réserves, on ne grossit pas seulement une phrase. On rend incompatibles plusieurs phrases qui pouvaient coexister. Ceux qui viennent ensuite doivent choisir leur camp, et les textes d’origine n’imposaient aucun choix de camp.

Une fois les camps formés, les deux phrases passent sur scène chacune à leur tour. Quand c’est au tour de « les machines savent très bien tromper », on dit que le domaine vend des tours de passe-passe. Quand c’est au tour de « les machines comprennent vraiment », on dit que le domaine est sur le point de réussir. Elles n’ont pas à apporter de preuve nouvelle en montant sur scène. Elles ne sont pas nées de preuves, mais de deux phrases retaillées.

Ceux qui coupent les réserves ont le plus souvent leurs raisons. Quand on rapporte une phrase avec ses dimensions à quelqu’un qui n’a pas besoin de les connaître, elles tombent toutes seules. Un journaliste veut écrire un paragraphe qu’on lira jusqu’au bout ; un professeur veut un exemple que ses élèves retiendront ; un manuel doit faire tenir dix ans sur une page. À chaque fois, on a de bonnes raisons de retirer une moitié de phrase.

Quand une phrase a été coupée, celui qui la rapporte ensuite reçoit déjà la version coupée. S’il coupe à son tour, c’est dans cette version qu’il coupe. La phrase originale est toujours sur le papier.

8. Devoir

En 1976, Weizenbaum publie « La puissance de l’ordinateur et la raison humaine : du jugement au calcul ». Le titre oppose deux mots : jugement et calcul.

Il y a un passage à la page 227 qui est parmi les plus cités du livre, et aussi parmi les plus amputés. Voici comment il avance. Ces questions, commence-t-il, ne sont ni techniques ni mathématiques. Ce sont des questions d’éthique. Ensuite : on ne peut pas les résoudre en commençant par demander si quelque chose est possible. Ensuite encore : pour exprimer la limite au-delà de laquelle on ne saurait se servir des ordinateurs, il ne reste que le langage du devoir. Pour finir, il fixe une limite de temps avant de donner la conclusion : à l’heure actuelle, on ne sait pas donner de sagesse aux ordinateurs. On ne devrait donc pas leur confier aujourd’hui les tâches qui demandent de la sagesse.

« À l’heure actuelle. » « Aujourd’hui. » Les deux réserves sont dans le texte. Ôtez-les et le passage dit : les ordinateurs ne pourront jamais avoir de sagesse, il ne faudra donc jamais leur confier de choses importantes. C’est cette dernière phrase qui circule aujourd’hui.

C’est la quatrième coupe. Elle va dans l’autre sens que les trois premières. Celles-ci grossissaient la machine ; celle-là grossit l’affirmation d’un homme. Le procédé, lui, ne change pas : on retire la réserve.

À la page 270, il y a un autre passage. Weizenbaum nomme deux personnes, Simon et Colby, et dit qu’ils représentent des directions opposées. Puis il écrit : il y a des choses qui relèvent des humains, et l’ordinateur ne devrait pas les faire à leur place.

Il faut lire la phrase avec ce qui suit. Il distingue aussitôt ce jugement d’une autre question : la machine peut-elle réellement faire ces choses ou non ? Il ne dit pas qu’elle ne le peut pas. Il dit qu’elle ne le devrait pas.

Il ne dresse pas une liste d’usages interdits par profession ou type de logiciel. Il désigne des éléments de certaines relations : le respect, la compréhension, l’amour. Ramener la page à « une décision importante ne doit jamais être prise par un ordinateur » fait perdre précisément la manière dont il trace la limite.

La dispute éclate publiquement dès l’année de parution. En juin 1976, un bulletin d’un groupe spécialisé en intelligence artificielle enchaîne « Réaction au livre de Weizenbaum », de Benjamin Kuipers, « Un livre déraisonnable », de McCarthy, puis la réponse de Weizenbaum lui-même. Trois textes, un seul numéro, des pages qui se suivent.

Kuipers ne dit pas que les questions du livre sont sans intérêt. Selon lui, le ton trop sévère du livre cache les questions qui comptent vraiment. Il souligne aussi que l’ordinateur reste alors un outil entre des mains humaines. La responsabilité de ce que fait la machine ne disparaît pas du côté humain parce qu’on a interposé un ordinateur.

Le titre de McCarthy dit bien « déraisonnable ». Il conteste surtout qu’on passe de faits concernant la technique des ordinateurs à des conclusions plus fortes sur l’intelligence artificielle, le jugement humain et la morale des chercheurs. Il refuse que l’on fixe d’avance une limite technique de principe en invoquant un jugement humain ou une singularité humaine qu’on ne sait pas expliquer. Il refuse aussi qu’on fasse en bloc le portrait moral de tous ceux qui travaillent dans le domaine.

Le nom de McCarthy revient dans la série. Il figurait sur la demande d’argent pour l’été 1956. Cette fois, McCarthy est du côté sur lequel on trace la limite.

Voici ce qu’il dit : si l’on veut dire qu’une machine ne devrait pas faire certaines choses et que l’on s’appuie sur une faculté de jugement humaine impossible à définir clairement, on ne peut ni vérifier la raison ni la discuter. De son côté, il faut une limite qu’on puisse calculer, réfuter et retracer.

Du côté de Weizenbaum, la première phrase à la page 227 dit que les questions sont éthiques, pas techniques. Son intention n’a jamais été de tracer une limite technique. Dans leur dispute, les deux hommes ne se tiennent donc pas sur le même terrain. L’un demande une limite qu’on puisse calculer ; l’autre dit explicitement que la sienne n’est pas de celles qu’on calcule. Les deux limites sont côte à côte, à quelques pages de distance dans le même bulletin.

En octobre de la même année, dans une autre revue sur la technique et la culture, Joseph Agassi publie une recension. D’un côté, il trouve que quelques-unes des propositions morales centrales sont presque des évidences et qu’on ne voit pas bien ce que le livre apporte de neuf après la génération de Wiener. De l’autre, il loue les explications techniques destinées aux non-spécialistes et recommande tout de même le livre.

Voilà la forme de la dispute. Un livre paraît ; plusieurs recensions et réponses signées paraissent la même année. Deux d’entre elles et la réponse de l’auteur se pressent dans les pages qui se suivent d’un même numéro. C’est différent du livre sur les perceptrons de l’épisode précédent, qui reçoit deux recensions à seize mois d’intervalle. Ici, la dispute commence au premier regard, en face à face.

Et ce que contenait la dispute ne s’est pas transmis non plus. Ce qui s’est transmis, c’est la phrase d’où l’on avait tout coupé.

Les quatre coupes de cet épisode ont fait disparaître la phrase qui dit que la secrétaire savait, la raison d’écrire ainsi le script DOCTOR, les dimensions du monde des blocs et deux « maintenant ». Deux autres récits se sont ajoutés : Weizenbaum aurait été bouleversé ; l’auteur du programme des blocs aurait déclaré lui-même que c’était une impasse. On ne peut pas forcément remonter au moment où ils ont pris forme. Une phrase ne laisse généralement pas de trace au moment où elle change. Pour celui qui enlève une réserve, il ne s’agit le plus souvent que d’écrire une phrase plus fluide.

Revenons pour finir dans cette pièce. Une secrétaire s’assied devant la machine à écrire, tape quelques phrases, se retourne et demande à celui qui a écrit le programme de sortir. Elle sait que c’est une machine qui lui répond.

Dix ans après, l’auteur du programme dit qu’il a été surpris. Il écrit que les gens s’engagent très vite, très profondément sur le plan affectif. Et selon la phrase qu’il a lui-même écrite en 1967, la secrétaire savait que c’était une machine.

Ceux qui ont repris l’histoire en ont fait une histoire de tromperie. À une tromperie, il y a une solution : dire les choses clairement. Dans l’histoire d’origine, les choses sont claires, et le geste a quand même lieu.

À la page 227 du livre, la question change. Il ne demande pas ce que la machine peut faire, mais ce qu’elle devrait faire. Cette question ne peut ni fermer ni ouvrir cette porte. Elle laisse la porte là, et laisse aux humains le soin de l’ouvrir ou de la fermer.

On construit encore des machines. Quant à savoir où passe la limite, chaque génération le dit à nouveau.