1. À quel point en êtes-vous sûr ?
Le livre de l’équipe de Stanford reproduit une démonstration sur terminal, faite avec la version de 1974 du programme. Quelqu’un est en train de lui apprendre une règle.
La voici : si le prélèvement mis en culture provient d’une certaine partie du corps, si la coloration de Gram donne un certain résultat, si la bactérie a une certaine forme au microscope, si elle n’a pas besoin d’oxygène et si l’agent pathogène est entré par une certaine voie, tout indique fortement qu’il s’agit d’une bactérie du genre Bacteroides. Cinq conditions, une conclusion.
La personne qui enseigne la règle commence par saisir les conditions et la conclusion. Le programme, arrivé à la conclusion, pose une question : à quel point en êtes-vous sûr ? Il ne demande pas à l’expert d’entrer directement un nombre décimal. Il lui tend une échelle, de un à dix, définie par des humains. L’expert tape neuf. Le programme affiche la règle telle qu’il l’a comprise. Il a séparé une condition en deux pour en faire cinq au total, et écrit 0,9 à la place du neuf. Il demande confirmation.
La règle reçoit d’emblée un numéro : deux cents. Dans le texte du programme, sa conclusion dit que de forts indices (0,9) indiquent qu’il s’agit d’une bactérie du genre Bacteroides.
Ce 0,9 est la note donnée par l’expert au lien entre les cinq conditions et la conclusion. Elle représente la force que l’expert attribue à ce lien. À l’origine, une personne a désigné un cran sur une échelle de un à dix. Le programme combine ces notes suivant ses propres règles, pas suivant la théorie des probabilités. Lire 0,9 comme 90 %, c’est une interprétation ultérieure.
Le jugement d’une personne devient une case sur une échelle, puis un nombre décimal, puis, pour ceux qui le relisent, une probabilité. À chaque passage, il s’éloigne d’un pas de la personne. Cet épisode raconte comment, au cours de ces vingt années, des gens ont mis ce qu’ils savaient dans des machines, et ce qui s’est passé après.
2. La masse atomique du carbone
Il faut remonter dix ans. En 1965, un projet commence à Stanford. Il prendra le nom de DENDRAL. En 1969 paraît son article de présentation, « DENDRAL heuristique : un programme pour produire des hypothèses explicatives en chimie organique », dans le quatrième volume du recueil Machine Intelligence. Il est signé Bruce Buchanan, Georgia Sutherland et Edward Feigenbaum.
Le problème est précis. On donne au programme la composition d’une molécule, puis son spectre de masse, c’est-à-dire les signaux de ses fragments, séparés selon le rapport de leur masse à leur charge. Il cherche d’abord dans le spectre quelles petites structures devraient être présentes et lesquelles ne devraient pas y être. À partir de ces indices et de règles de chimie, il dresse une liste de candidats. Il prédit ensuite quel spectre produirait chaque candidat, le compare au spectre observé et classe les candidats.
Le 21 mai de la même année, le Journal of the American Chemical Society publie dans le même numéro les deux premiers articles d’une série intitulée « Applications de l’intelligence artificielle à l’inférence en chimie ». En 1969, le terme « intelligence artificielle » figure dans un titre d’une revue de chimie. On est en plein milieu de la décennie que l’on appellera plus tard le premier hiver.
Le programme tourne sur la machine DEC du laboratoire d’intelligence artificielle de Stanford. Il est écrit dans un langage de traitement de listes. Sur la liste des auteurs, il y a deux groupes : les personnes qui programment et conçoivent des heuristiques, Lederberg, Feigenbaum, Buchanan et Sutherland ; les spécialistes de la spectrométrie de masse et de la chimie organique, Djerassi, Duffield et Robertson. Ce qu’il faut faire passer d’un groupe à l’autre, c’est ce que les chimistes savent et que le programme ne sait pas.
Au début, ces connaissances sont écrites directement dans le programme. La masse atomique du carbone se trouve dans une fonction appelée « poids ». Une constante de la nature est inscrite au milieu des étapes d’un calcul. Pour la changer, il faut modifier le programme.
Quand les connaissances s’accumulent, cette disposition ne tient plus. L’équipe finit par sortir les propriétés chimiques du programme et les placer dans une structure de données plus facile à modifier. Les participants ont ensuite résumé l’expérience en une phrase : faire entrer les connaissances du domaine dans le programme était devenu un goulet d’étranglement. C’est la première fois que l’expression apparaît ici. Ce n’est pas le calcul qui est lent. C’est l’entrée des connaissances.
DENDRAL est ensuite transféré sur une autre machine, accessible à distance par un service de calcul partagé. Pendant toutes les années 1970 et au début des années 1980, les chimistes des universités et des entreprises américaines peuvent s’en servir.
Quant à l’idée qu’il s’agirait du premier système expert au monde, le nom qu’il portait en 1969 était « DENDRAL heuristique ». Dans la revue de chimie, l’enseigne disait « intelligence artificielle ». Ce sont les participants eux-mêmes qui mettent « premier système expert pour la formulation d’hypothèses scientifiques » dans le titre d’une rétrospective en 1993.
3. Un nom et trois noms
Vers 1972, des membres de la faculté de médecine de Stanford et des programmeurs commencent à travailler ensemble. Au départ, le projet n’a pas de nom.
En 1973, la demande de financement oblige à nommer un programme qui tourne déjà. Le médecin Stanton Axline a une idée : prendre la terminaison anglaise de nombreux noms d’antibiotiques, comme ceux de la streptomycine et de l’érythromycine. On essaie d’en faire un sigle, sans trouver de formule qui convienne. On s’en tient à MYCIN.
Voilà pour le nom du programme. Sur la demande, à l’intention des bailleurs de fonds, trois autres noms figurent en capitales : PROGRAMME DE CONSULTATION ; CAPACITÉ D’EXPLICATION INTERACTIVE ; ACQUISITION INFORMATIQUE DE CONNAISSANCES DE JUGEMENT. Consultation, explication, acquisition du jugement. Aucun des trois ne dit « médecin ». Il s’agit de donner un avis à côté du médecin, de dire pourquoi on le donne et d’apprendre auprès d’experts comment en donner un.
Ce n’est pas ainsi qu’il devait se présenter à l’origine. Au départ, on pensait à un dispositif de surveillance des prescriptions d’antibiotiques de l’hôpital. Pour les surveiller, il fallait disposer des données de la pharmacie, du laboratoire clinique et du laboratoire de bactériologie. Elles étaient réparties entre trois systèmes informatiques. Pour éviter d’avoir à relier les trois, on fait du programme un système de consultation qui dialogue directement avec les médecins. La forme du programme est décidée par la difficulté du branchement. Relier trois systèmes est trop difficile : on interrogera une personne.
Le champ est d’abord le traitement antimicrobien des bactériémies. Il est ensuite étendu aux méningites infectieuses. Comme les méningites n’ont pas toutes une cause bactérienne, on ajoute à la base de connaissances certains virus et champignons.
Il y a aussi une particularité dans les situations où le programme intervient : dans les premières vingt-quatre à quarante-huit heures après l’admission, tous les résultats de laboratoire ne sont souvent pas encore disponibles. Il ne faut pas à tout prix identifier un agent pathogène unique à partir des premiers résultats. Il s’agit de couvrir les différents agents plausibles et dangereux. Les couvrir, ce n’est pas les identifier.
Au bilan de 1984, la base de connaissances arrivée à maturité compte quelque quatre cent cinquante règles et environ mille faits dans des tables. Elle peut prendre en compte environ cent vingt agents pathogènes.
4. Six étapes
Comment entre-t-on les règles une à une ? Edward Shortliffe est le premier à s’en charger pour MYCIN. Il recueille auprès des médecins Cohen et Axline leurs jugements sur les maladies infectieuses et discute avec Buchanan et d’autres de la manière de les représenter. Ils choisissent la forme « si… alors… » pour une raison explicite : les médecins peuvent la lire, y repérer les erreurs et la modifier. On choisit la forme des règles pour que les personnes puissent la lire.
Au milieu des années 1970, l’activité prend un nom. « Ingénierie des connaissances », « systèmes à base de connaissances », « systèmes experts » : ces termes deviennent courants dans ce milieu autour de 1975. Le bilan publié par l’équipe en 1984 définit l’acquisition des connaissances : les extraire d’experts humains, de manuels, de bases de données et de l’expérience, puis les traduire et les transformer. Ordinairement, un intermédiaire se tient entre l’expert et le programme. On l’appelle l’ingénieur des connaissances.
L’équipe décrit six étapes de travail. Premièrement, l’expert indique ce qu’il faut ajouter ou modifier. Deuxièmement, l’ingénieur modifie la base de connaissances. Troisièmement, on repasse les anciens cas dans le programme. Quatrièmement, les deux examinent les problèmes qui se sont présentés. Cinquièmement, l’expert apporte de nouveaux cas pour faire des essais. Sixièmement, on regarde les résultats et on revient à la première étape. Les auteurs soulignent qu’un seul tour prend beaucoup de temps. C’est l’une des difficultés principales.
Mais le plus difficile n’est pas le cycle lui-même. C’est souvent ce qui vient avant, écrivent-ils. L’ingénieur doit apprendre le jargon et les catégories de l’expert. Peu à peu, l’expert doit comprendre les formes de représentation que le programme permet. Ce n’est qu’après cela que les règles se multiplient rapidement. Ensuite, il faut les tester et les corriger une à une. D’abord, chacun doit apprendre la langue de l’autre.
Du côté de DENDRAL, c’est à peu près la même chose. Buchanan parle encore et encore avec les spécialistes des spectres de masse. Il organise leurs jugements, qu’ils n’ont jamais couchés par écrit, en règles heuristiques exécutables. Les experts et l’ingénieur des connaissances doivent y passer beaucoup de temps. Au départ, une large part de ce temps sert à modifier le programme, repenser les catégories et repasser les cas.
L’équipe crée ensuite des outils pour que les experts puissent examiner et modifier eux-mêmes la base de connaissances. L’un s’appelle TEIRESIAS, du nom du devin aveugle de la Grèce antique. La rétrospective précise que les spécialistes des maladies infectieuses n’adoptent pas au quotidien l’ensemble des fonctions d’acquisition et de mise au point. L’outil est là. La personne entre les deux reste indispensable.
5. Huit cents évaluations
Le 21 septembre 1979, le Journal of the American Medical Association publie « Choix des antimicrobiens par un ordinateur : évaluation en aveugle par des spécialistes des maladies infectieuses ». Le premier auteur est Victor Yu. Le titre ne parle ni de diagnostic, ni de victoire, ni d’intelligence artificielle.
Voici comment l’évaluation est conçue, étape par étape. Elle porte sur une chose : dans un cas de méningite infectieuse aiguë, quels antimicrobiens choisir tant que l’agent pathogène n’a pas été identifié ?
Première étape : prendre dix cas de méningite dans un hôpital de comté affilié à Stanford et en rédiger des résumés. Pour chaque cas, huit personnes reçoivent le même résumé et prescrivent chacune de leur côté : cinq enseignants spécialistes des maladies infectieuses à Stanford, un chercheur postdoctoral expérimenté dans la spécialité, un interne en fin de formation et un étudiant en médecine en fin de cursus. On ajoute la prescription de MYCIN et le traitement effectivement reçu par le patient. Pour chaque cas, on a donc dix prescriptions.
Deuxième étape : faire évaluer les prescriptions par huit spécialistes extérieurs à Stanford. Tous ont publié sur le traitement des méningites. Les dix prescriptions de chaque cas sont mélangées et mises au même format. Les évaluateurs ne savent pas qui a écrit chacune, ni que l’une vient d’un ordinateur. Chacun écrit d’abord comment il traiterait lui-même le cas. Il classe ensuite chaque prescription anonyme dans l’une de trois catégories : équivalente, autre choix acceptable, inacceptable. Dix cas, dix prescriptions, huit évaluateurs : huit cents évaluations.
Voici les résultats. Sur quatre-vingts évaluations pour chaque prescripteur, voici le nombre de fois où sa solution est jugée acceptable : MYCIN, cinquante-deux, soit 65 % ; enseignant A, cinquante ; enseignant B et chercheur postdoctoral, quarante-huit chacun ; enseignant C et traitement effectivement reçu, quarante-six chacun ; enseignant D, quarante-quatre ; interne, trente-six ; enseignant E, trente-quatre ; étudiant, vingt-quatre. La moyenne des cinq enseignants est de 55,5 %, avec des résultats de 42,5 % à 62,5 %.
Changeons de manière de compter. Dans combien de cas chaque solution a-t-elle été acceptée par la majorité des évaluateurs ? MYCIN : sept sur dix. Le traitement effectivement reçu : sept sur dix aussi. Prenons un critère plus sévère : la prescription laisse-t-elle de côté un agent pathogène traitable ? Zéro fois pour MYCIN. Zéro pour le traitement effectivement reçu. Pour les cinq enseignants, trois ont zéro, deux ont un chacun. Le chercheur postdoctoral, un ; l’interne, un ; l’étudiant, trois.
La version qui a circulé veut que MYCIN ait battu les médecins pour le diagnostic dans un test en aveugle. L’article évalue un choix de médicaments, pas un diagnostic. Il porte sur dix cas de méningite. On y évalue des prescriptions anonymes, sans confrontation entre machine et médecin.
Le tableau a dix lignes. Avec le premier calcul, MYCIN arrive en tête. Avec le deuxième, il est à égalité avec le traitement réellement reçu. Avec le troisième, à égalité avec plusieurs enseignants. Aucune ligne ne s’appelle « les médecins ». Pour dire 65 % contre 50 % environ, on prend la première ligne et on fait des cinq autres une moyenne.
6. Pourquoi personne ne s’en est servi
Les prescriptions les mieux notées viennent d’un programme qu’on n’a ensuite pas utilisé au chevet des malades. Ce ne sont pas des gens de l’extérieur qui le disent. Dans son livre de 1984, l’équipe a consacré une section à la question. Son titre : « Pourquoi MYCIN n’a pas été utilisé en routine ».
Voici les raisons données. Les machines nécessaires pour le faire tourner coûtaient encore trop cher. La couverture des maladies infectieuses était trop étroite. L’interface n’était pas assez bonne. Et un outil qui ne couvre que les méningites et les bactériémies ne vaut pas ce qu’il coûte.
Il y a aussi l’environnement d’exécution. Le programme est écrit dans un dialecte d’un langage de traitement de listes et dépend du type de système d’exploitation dont disposent Stanford et le service de calcul partagé à distance. Les services hospitaliers et les cabinets des médecins n’ont pas cet équipement. Pour ce qui est de réécrire un système grand et complexe pour de petites machines, les auteurs disent : « Nous n’étions pas motivés pour le faire. »
Puis viennent les raisons humaines. Qui porte la responsabilité juridique ? Il y a la fierté professionnelle des médecins. Le programme peut expliquer ses raisons : est-ce que cela suffit à le faire accepter par les médecins ? L’équipe reconnaît aussi une erreur : au début, elle assimilait de bonnes performances à une adoption effective. Elle trouve ensuite cette idée naïve.
L’évaluation en aveugle de 1979 demande si les experts jugent acceptables les prescriptions du programme. C’est une question mesurable, et on l’a mesurée. Il y en a une autre : un médecin s’en servira-t-il au chevet des malades ? À l’époque, on ne l’a pas mesurée.
On a pris ce qu’on avait mesuré pour la réponse à ce qu’on n’avait pas mesuré. Les épisodes 5 et 11 ont déjà montré ce geste : une question qu’on sait poser prend la place d’une question difficile à poser. Ici, la substitution vient des auteurs du programme eux-mêmes. Cinq ans plus tard, c’est encore eux qui le disent dans le livre.
Entre le programme qui obtient la meilleure note parmi huit cents évaluations et celui qui serait installé dans un service hospitalier, presque aucun des obstacles nommés par l’équipe n’est une règle. Ce sont le prix de la machine, la présence ou non d’un équipement dans une pièce, la personne qui assumera la responsabilité et le regard que les médecins portent sur eux-mêmes.
Il y a encore une chose. Après 1977 environ, les collaborateurs du côté médical passent les uns après les autres à d’autres travaux. La base des maladies infectieuses ne s’étend plus vraiment à grande échelle. Les travaux se poursuivent sur l’explication, l’acquisition des connaissances et les outils qui en sont issus. L’entrée des connaissances médicales, elle, s’arrête avec le départ des médecins.
MYCIN n’a donc pas de date de fin nette. Il s’arrête peu à peu. D’abord les gens s’en vont, puis les connaissances cessent de croître. La règle 200 reste dans la base de connaissances. Le 0,9 aussi. Du côté de la médecine, les gens qui donnaient ces nombres partent les uns après les autres faire autre chose.
7. Sept cent soixante-douze règles
À la même époque, un programme est effectivement utilisé. Dans les actes du premier congrès annuel de l’association américaine d’intelligence artificielle, en 1980, John McDermott publie un article dont le titre veut dire « Un expert dans le domaine des systèmes informatiques ». Le titre appelle le programme R1. Dans l’entreprise, on l’appellera ensuite XCON.
Son travail est concret. DEC vend un nouveau modèle d’ordinateur, le VAX-11/780. Un client passe commande et énumère les composants désirés. Le programme lit la commande, dessine l’emplacement des composants dans l’armoire, indique leur câblage et repère les pièces manquantes. Le technicien reçoit le schéma et assemble la vraie machine. DEC se sert d’une machine DEC pour configurer des machines DEC. R1 tourne sur un gros ordinateur DEC et est écrit dans un langage à règles de production.
La première phase commence en décembre 1978 et dure environ quatre mois. Les gens de DEC apprennent d’abord à McDermott, pendant cinq ou six jours d’affilée, comment configurer les systèmes. Il lit aussi deux manuels. La première version a moins de deux cents règles du domaine. La seconde phase dure encore environ quatre mois. Les experts de DEC regardent sans cesse ce qui sort du programme et signalent les erreurs et les omissions. La quantité de connaissances du domaine a presque triplé, d’après l’article.
En octobre et novembre 1979, cinquante commandes réelles servent à une évaluation systématique. Six spécialistes de la configuration vérifient les commandes, à raison d’une à deux heures par commande. Ils trouvent douze types d’erreurs. Toutes sont corrigées.
En juin 1980, le programme a sept cent soixante-douze règles permanentes, dont quatre cent quatre-vingts dites « de configuration » dans l’article. Il connaît quelque quatre cent vingt types de composants ; un système type en compte environ quatre-vingt-dix. Depuis janvier 1980, il a traité plus de cinq cents commandes. Le service de production de DEC l’utilise régulièrement et commence à le relier au processus de commande des ventes. Dans l’évaluation sur cinquante commandes, chaque commande déclenche en moyenne environ mille cinquante-six règles et prend deux minutes et demie de temps machine.
Le programme reste en service et continue à grandir. En 1989, deux employés de DEC, Barker et O’Connor, écrivent une rétrospective dans Communications of the ACM. À l’origine, deux personnes en avaient la charge et il avait environ deux cent cinquante règles. Maintenant, une équipe de plus de soixante personnes entretient plus de dix mille règles. De deux personnes à plus de soixante.
Dans un système à base de connaissances effectivement utilisé, on ne met pas les connaissances une fois pour toutes. Il faut une organisation qui reste là pour en prendre soin, et cette organisation grandit.
On dit souvent que le programme a permis à DEC d’économiser vingt-cinq millions de dollars par an. Dans la rétrospective de 1989 figure un autre nombre : selon l’estimation de responsables, les systèmes de configuration de cette sorte procurent environ quarante millions de dollars d’économies nettes par an.
8. Zéro virgule neuf
En août 1984, l’association américaine d’intelligence artificielle tient son congrès annuel à Austin. Un journaliste présent, George Johnson, écrit un long reportage en novembre. Voici la salle qu’il décrit : l’éclat bleu-gris des terminaux, les démonstrations publicitaires amplifiées dans le hall, et partout des gens venus recruter pour des entreprises. Il y a plus de trois mille participants ; environ deux tiers ne viennent pas du monde universitaire.
Sur un stand, une entreprise présente son produit comme un environnement d’ingénierie des connaissances pour fabriquer des systèmes experts. Sa brochure dit : « L’intelligence artificielle est enfin entrée dans l’âge adulte. » La brochure d’un autre produit annonce : « Nous avons construit un meilleur cerveau. » Le titre de couverture de BusinessWeek cette année-là : « L’intelligence artificielle, la voilà. » L’association distribue elle-même des autocollants pour pare-chocs : « L’intelligence artificielle, c’est réel. »
Feigenbaum dit au journaliste que le capital-risque cherche toujours la prochaine grande affaire. En 1980 et 1981, c’était la biotechnologie. Maintenant, c’est l’intelligence artificielle. En 1984, « intelligence artificielle » est donc une enseigne, pas un terme qu’on évite.
Le journaliste fait aussi autre chose. Il met côte à côte le texte des vendeurs et la manière de parler des chercheurs dans les séances techniques. Ces derniers ajoutent des réserves tout du long. L’épisode 7 mettait côte à côte des textes parus à plusieurs années de distance, pour voir quelles réserves chacun contenait et combien il en restait par la suite. Ici, dans le même lieu et la même semaine, un témoin note aussitôt les deux façons de parler l’une à côté de l’autre.
On a aussi des chiffres sur l’argent. En février 1985, le bureau d’évaluation technologique du Congrès américain publie un document où il rassemble les chiffres du marché à l’époque. En 1983, l’industrie a dépensé quelque soixante-six à soixante-quinze millions de dollars en produits d’intelligence artificielle. Sur la même page, on lit qu’au moins quinze des plus grandes entreprises américaines développent davantage de systèmes experts, qu’une bonne dizaine d’entreprises se sont créées ces dernières années pour produire de tels outils et qu’au moins seize millions de dollars de capital-risque sont entrés dans ces nouvelles entreprises. Le marché des machines vendues expressément pour le développement en intelligence artificielle est estimé à environ cinquante millions de dollars. Il y a dans le document un grand nombre de plus : ce marché pourrait atteindre entre 2,5 et 8,5 milliards de dollars au début des années 1990.
Les États entrent aussi en jeu. En 1982, au Japon, le ministère du Commerce international et de l’Industrie crée l’Institut des technologies informatiques de nouvelle génération pour le projet d’ordinateurs de cinquième génération. Les estimations extérieures les plus hautes donnent un total d’un à un milliard et demi de dollars tout au plus pour les huit à dix années suivantes. Les dépenses annuelles au départ sont d’environ deux millions de dollars en 1982, douze millions en 1983 et vingt-sept millions en 1984. L’institut compte cinquante-deux personnes.
Le programme Alvey, au Royaume-Uni, répond au projet japonais. Sa partie intelligence artificielle s’appelle « systèmes intelligents à base de connaissances ». L’État promet quelque trois cent dix millions de dollars ; les entreprises devraient en apporter deux cent trente millions de plus. Pour les systèmes intelligents à base de connaissances, les cinq premières années doivent coûter environ trente-neuf millions, dont environ trente millions pour les universités. En 1982, le Royaume-Uni compte environ cent cinquante chercheurs dans le domaine. On prévoit d’augmenter ce nombre de moitié en deux ou trois ans, et de le doubler en cinq ans.
Aux États-Unis, le programme d’informatique stratégique de la DARPA, l’agence des projets de recherche avancée du ministère de la Défense, débute à l’exercice 1984 : environ six cents millions de dollars sur cinq ans.
Dans le même document, « intelligence artificielle » et « systèmes experts » figurent dans un titre de chapitre. Et au même endroit, on prévient que certains enthousiasmes commerciaux sont peut-être sans fondement. Ceux qui conseillent le Congrès se méfient de ce qu’on avance sur l’utilité et les possibilités de généralisation de cette génération de systèmes experts. L’enseigne et la mise en garde sur l’enseigne sont dans le même chapitre du même document public.
Revenons au nombre de cet épisode. Ce que des gens ont essayé de faire en vingt ans se dit simplement : mettre dans la machine ce que savent des personnes. Les chimistes, les médecins, les ingénieurs de configuration. Les documents nous montrent comment ils s’y prennent.
La masse atomique du carbone est d’abord inscrite en dur dans le code, puis on doit l’en sortir pour pouvoir la changer. Le jugement d’un médecin devient une case sur une échelle de un à dix, puis un nombre décimal. Un tour de six étapes prend beaucoup de temps, et le plus difficile est le début, quand deux personnes apprennent chacune la langue de l’autre. Un programme de configuration passe de deux personnes pour l’entretenir à plus de soixante. Le programme de consultation le mieux noté cesse d’acquérir des connaissances dès que les médecins s’en vont.
Tous ces faits disent la même chose. Le travail ne s’achève pas une fois les connaissances mises dedans. Ensuite, il faut quelqu’un qui en prenne soin. Les documents disent très bien qui le fait : les ingénieurs des connaissances, les équipes de maintenance, les experts qui vont et viennent. Plus les règles sont nombreuses dans la machine, plus il y a de personnes autour d’elle.
Tout ce qu’on construit a une limite, au-delà de laquelle il reste quelque chose. La série appelle cette part « le reste ». Pendant ces vingt années, le reste a un visage précis : celui de la personne qui doit rester assise à côté de la machine.
On peut recopier les règles dans la machine et les compter : sept cent soixante-douze, quatre cent cinquante, plus de dix mille. Mais pourquoi une règle est-elle écrite de telle façon ? Pourquoi le 0,9 est-il un neuf plutôt qu’un huit ? Cela ne se recopie pas. Cela reste chez la personne qui a donné ce neuf. Tant qu’elle est là, la règle peut changer. Quand elle s’en va, la règle reste et le 0,9 reste aussi. La personne qui pouvait les expliquer n’est plus à côté de la machine.
Revenons pour finir à la démonstration sur le terminal. Un programme demande à quelqu’un : à quel point en êtes-vous sûr ? Il lui tend une échelle de un à dix. La personne tape neuf. Le programme écrit 0,9.
Ceux qui sont venus après ont lu 90 % à la place de 0,9. Au lieu de huit cents évaluations, ils ont lu une victoire sur les médecins. Dans une base de connaissances qui cesse de croître quand les médecins partent, ils ont vu un médecin artificiel qui avait exercé dans un hôpital. D’un programme dont plus de soixante personnes prennent soin, ils ont fait une machine qui économise vingt-cinq millions par an à son entreprise. À chaque lecture, celui qui avait dit neuf a été repoussé d’un pas vers l’extérieur.
On construit encore des machines. Quant à savoir où passe la limite, chaque génération le dit à nouveau.