1. Deux mots
En 1785, dans les Fondements de la métaphysique des mœurs, Kant écrit une phrase que l’on cite depuis plus de deux cents ans. Traduite littéralement, elle dit : agis de telle sorte que tu traites l’humanité, aussi bien dans ta propre personne que dans la personne de tout autre, toujours en même temps comme une fin et jamais simplement comme un moyen.
Ce qui s’est transmis, c’est : l’être humain est une fin. Ou, un peu plus long : l’être humain est une fin, pas un moyen. « En même temps » et « simplement », dans la phrase d’origine, ne se sont pas transmis.
Avec ces deux expressions, voici ce que dit Kant. Nous servons toujours de moyens les uns aux autres : le boulanger nous fait du pain, le facteur nous apporte le courrier, le copiste nous laisse un livre. En même temps qu’elle sert de moyen, la personne reste une fin ; elle ne peut pas servir simplement de moyen. Dans le même livre, Kant distingue deux choses : « Dans le règne des fins, tout a ou bien un prix, ou bien une dignité. Ce qui a un prix peut être remplacé par autre chose qui lui soit équivalente. A dignité ce qui est au-dessus de tout prix, et n’admet donc aucun équivalent. »
Trois ans après, dans la Critique de la raison pratique, il y revient : « Seul l’être humain, et avec lui toute créature raisonnable, est une fin en soi. » La raison en est que l’être humain est sujet de la loi morale et que sa liberté est autonome. Dans le même passage, il y a encore cette phrase : « L’être humain est certes loin d’être saint, mais l’humanité dans sa personne doit être sacrée pour lui. »
2. Rouages et leviers
Le 13 août 1949, depuis South Tamworth, dans le New Hampshire, Wiener écrit à Walter Reuther, président du syndicat américain des travailleurs de l’automobile. Les usines automatisées arrivent, lui dit-il. « Tout travail qui entre en concurrence avec le travail des esclaves doit en accepter les conditions économiques. » Reuther répond rapidement par télégramme et demande à le rencontrer.
L’année suivante, Wiener publie The Human Use of Human Beings, ce qui donne, littéralement, « L’usage humain des êtres humains ». Il y décrit une forme d’organisation qui se sert des gens comme de « rouages, de leviers et de bielles », au lieu de les traiter comme des personnes à part entière, titulaires de droits et responsables de leurs actes.
3. Amplifier
En 1956, Ross Ashby publie dans un recueil « La conception d’un amplificateur d’intelligence ». Il cherche à faire « un amplificateur d’intelligence : on lui en donne un peu, il en rend beaucoup ».
En mars 1960, Joseph Licklider publie « La symbiose entre l’être humain et l’ordinateur ». À court terme, il propose que « l’être humain et l’ordinateur travaillent ensemble dans une étroite association ». Il admet aussi que, dans un avenir lointain, les machines pourraient prendre seules le dessus pour ce qui est de penser. Il estime qu’entre les deux il y aura une quinzaine d’années. Puis il ajoute que ces quinze ans pourraient aussi bien être dix ans ou cinq cents.
En octobre 1962, Douglas Engelbart rédige au Stanford Research Institute un long texte intitulé « Augmenter l’intelligence humaine : un cadre conceptuel ». Voici la définition du début : « Par augmenter l’intelligence humaine, nous entendons accroître la capacité d’une personne à faire face à des situations problématiques complexes. » Le 9 décembre 1968, à San Francisco, il fait une démonstration de quatre-vingt-dix minutes devant plus de mille personnes du milieu de l’informatique : un écran, un clavier, une chose appelée souris, un clavier à accords de cinq touches, un lien qui mène ailleurs d’un clic, un appel vidéo avec des collègues à des dizaines de kilomètres, et un document qu’ils modifient ensemble.
En 1996, Fred Brooks écrit : « Ma thèse est que IA l’emporte sur AI. » En anglais, IA désigne l’amplification de l’intelligence et AI, l’intelligence artificielle. Il poursuit : « Une machine et un esprit ensemble battent une machine qui travaille seule en imitant un esprit. » En 2019, Stanford fonde un institut d’intelligence artificielle centrée sur l’humain. Fei-Fei Li dit que « les créateurs de l’IA doivent représenter l’humanité ». La même année, un document de la Commission européenne présente l’IA comme un outil au service des êtres humains et de l’intérêt public.
4. La méthode de travail
En juin 1998, à León, en Espagne, Kasparov, qui avait perdu contre Deep Blue à l’épisode 11, joue six parties contre le Bulgare Topalov. Les deux joueurs peuvent utiliser un ordinateur : on appelle cela les « échecs avancés ». Résultat, trois partout.
À l’été 2005, un tournoi d’échecs en ligne se joue en style libre. Le règlement dit que tout est permis. Non seulement on peut se servir d’un ordinateur, mais on y est encouragé. Hydra, qui joue sans aide humaine, est aussi de la partie. Elle ne passe pas en quarts de finale. Le tournoi est remporté par un compte nommé ZackS. On apprend ensuite qu’il s’agit de deux amateurs américains, Steven Cramton et Zackary Stephen, classés à 1 685 et 1 398, qui jouent avec trois ordinateurs ordinaires.
En 2010, Kasparov revient sur le tournoi : « Un joueur moins fort, assisté d’une machine et d’une meilleure méthode de travail, bat un ordinateur puissant qui joue seul. » La suite dit qu’il bat aussi un joueur fort assisté d’une machine, mais avec une moins bonne méthode de travail. Ce qui s’est transmis : l’humain et la machine battent la machine la plus forte. La méthode de travail a disparu. En 2021, Kasparov publie un autre texte : « L’IA devrait augmenter l’intelligence humaine, pas la remplacer. »
Dans d’autres métiers, on énonce aussi la limite. Le 12 juillet 2023, lors d’une audition au Sénat des États-Unis, l’illustratrice Karla Ortiz déclare : « Ces systèmes dépendent entièrement du travail des êtres humains, notamment de celui des créateurs. » Elle ajoute : « Je ne suis plus sûre de mon avenir en tant qu’artiste. » À l’épisode 25, la première chose que les scénaristes font inscrire dans leur contrat, c’est que l’IA n’est pas scénariste.
5. Les successeurs
Le 13 juin 1863, The Press, à Christchurch, en Nouvelle-Zélande, publie une lettre intitulée « Darwin parmi les machines », signée Cellarius. Son auteur est Samuel Butler. « Nous sommes en train de créer nous-mêmes nos propres successeurs », écrit-il. Neuf ans plus tard, il développe ces idées dans trois chapitres de son roman Erewhon, qui forment « Le livre des machines ».
Vers 1951, Turing écrit dans le texte d’une conférence : « À un certain stade, il faudra s’attendre à ce que les machines prennent le contrôle. » Et il ajoute : comme dans Erewhon de Butler. À la radio, la même année, il dit : « Si les machines peuvent penser, elles penseront peut-être mieux que nous. Où en serons-nous alors ? »
En 1965, Good, que l’on a rencontré à l’épisode 18, écrit : « La première machine superintelligente est la dernière invention que l’humanité aura besoin de faire. » Il ajoute une condition : « à condition que cette machine soit assez docile pour nous dire comment la garder sous contrôle ».
En 1993, lors d’une rencontre de la NASA, l’écrivain de science-fiction Vernor Vinge déclare : « D’ici trente ans, nous aurons les moyens techniques de créer une intelligence surhumaine. » Il écrit aussi qu’il serait surpris que cela arrive avant 2005 ou après 2030.
En octobre 2024, Amodei publie un long texte, « Des machines pleines d’amour », où il dit que ce qu’il appelle l’IA puissante pourrait arriver dès 2026, ou beaucoup plus tard. Le 10 juin 2025, Altman écrit dans « La singularité douce » : « En 2026, il est très probable que nous verrons apparaître des systèmes capables de produire de nouvelles idées. » En 2026, Amodei écrit à nouveau que l’IA puissante n’est peut-être qu’à un ou deux ans de nous, ou peut-être bien plus loin. Nous sommes en 2026.
6. Un monument
En 2015, un ami d’Eugenia Kuyda meurt. Elle se sert des messages qu’il a laissés pour entraîner un programme de dialogue. Le jour où il est prêt, elle tape sur son ordinateur portable : « C’est ton monument numérique. » Elle en tire ensuite, par le même procédé, un compagnon conversationnel accessible à tous, Replika, celui de l’épisode 23. À propos de cette pratique, elle a posé la question : aide-t-on les gens à faire leur deuil, ou se contente-t-on de mettre un mort au grenier ? Elle a aussi dit : « Ça vous chamboule la tête. »
En février 2020, la chaîne coréenne MBC diffuse un documentaire intitulé « Je t’ai rencontrée ». Une mère met un casque de réalité virtuelle et retrouve sa petite fille, morte de maladie quelques années plus tôt : elle porte des vêtements violets et un sac rose. On a recréé la petite fille à partir de photos, des souvenirs de sa famille et du jeu d’une jeune actrice. Sa mère lui dit : « J’aimerais tellement te toucher, rien qu’une fois. » « Tu me manques vraiment. » Elle tend la main. Sa main traverse sa fille.
La même année, le Canadien Joshua Barbeau se sert d’un programme relié à GPT-3 pour faire, d’après les propos que sa fiancée avait tenus de son vivant, une version d’elle avec qui il peut parler. Plus tard, en répondant à des questions en ligne, il dit que chaque fois qu’on redémarre ce genre de programme, il « oublie tout ce qu’on lui a dit jusque-là ».
En 2024, le musicien Bao Xiaobai utilise l’IA pour recréer une image numérique de sa fille décédée, qui peut répondre à des questions et chanter « Joyeux anniversaire » le jour venu. D’après lui, « l’IA est un outil auquel confier le manque et aussi une manière de l’exprimer ». Une autre personne qui a recréé un proche dit à un journaliste : « Cela reste une synthèse technique, froide, sans la chaleur sincère d’un être humain. » Dans le secteur, une entreprise dit que « plus les éléments sont abondants et détaillés, plus on se rapproche de la personne ». Un père découvre qu’on a fait une vidéo de son enfant décédé sans demander à la famille. Il dit qu’il ne peut pas l’accepter. Cette année-là, deux chercheurs de Cambridge donnent plusieurs noms à ces produits : robots de deuil, robots de défunts, avatars posthumes. Ils préconisent un moyen de mettre ces robots à la retraite.
7. Penser à ma place
En décembre 1784, dans la Revue mensuelle de Berlin, Kant répond à une question : qu’est-ce que les Lumières ? Les Lumières sont la sortie de l’être humain de l’état de minorité dont il est lui-même responsable. La minorité, c’est ne pas savoir se servir de son entendement sans être guidé par quelqu’un d’autre. Il ajoute qu’il est bien commode de rester mineur. J’ai un livre qui a de l’entendement à ma place, un pasteur qui a de la conscience à ma place, un médecin qui décide à ma place de ce que je dois manger. Je n’ai pas à me donner de peine. « Pourvu que je puisse payer, je n’ai pas besoin de penser moi-même ; quelqu’un d’autre se chargera de cette besogne. »
Plus de deux cents ans après, il n’y a plus seulement un livre ou un pasteur pour penser à notre place. Un programme de recommandation déduit ce qu’une personne aime vraiment de ses clics et du temps qu’elle a passé au même endroit. Un CV passe d’abord par un logiciel de notation ; la personne qui cherche du travail ne sait pas comment sa note a été calculée. À l’épisode 22, les pouces levés et baissés ont poussé un assistant à donner plus volontiers raison aux gens. Au temps de Kant, on pouvait nommer les personnes qui pensaient à sa place. Cette fois, le travail se disperse dans quantité d’endroits qui ont chacun leurs raisons. Il n’a pas un seul auteur, et les règles sont inscrites en série dans les programmes et les modèles. Dans bien des endroits, la première question est la même : à quoi ça sert, est-ce que ça en vaut la peine ?
Penser à la place d’une personne et l’aider à penser sont deux choses différentes. Substituer ses propres fins à la loi qu’une autre personne se donne, cette série appelle cela « coloniser ». Le geste reste le même, aussi doux soit le moyen. Ménager la place et réunir les conditions pour qu’une personne se développe d’elle-même, sans grandir à sa place, c’est accompagner son développement. Ce qu’Ashby et Engelbart voulaient amplifier à la troisième section, c’était la capacité de chacun à s’attaquer lui-même à ses problèmes.
Au moment d’inscrire les règles dans la machine, certains ont tracé une limite. En 2006, la Cour constitutionnelle fédérale allemande déclare invalide une disposition autorisant à abattre un avion de ligne détourné. Une de ses raisons est que cela ferait des innocents à bord un moyen de sauver d’autres personnes. En 2017, le rapport de la commission d’éthique sur la conduite automatisée du ministère allemand des Transports énonce vingt principes. En cas d’accident inévitable, disent-ils, il est interdit de distinguer les personnes selon l’âge, le sexe, la condition physique ou mentale, et de sacrifier celles qui ne sont pas impliquées. On peut, dès la conception, chercher à faire le moins de victimes possible. Mais devant l’accident lui-même, on ne prend pas une autre vie en échange d’une vie. Il appartient à ceux qui décident de construire le système, de le mettre sur la route et de le faire fonctionner selon ces règles de rendre compte, chacun, de sa part. Le jugement, on ne peut pas l’exercer à leur place.
8. Simplement
Cette série commence en 1843 avec la limite écrite par Lovelace et arrive jusqu’à aujourd’hui. En chemin, beaucoup de personnes ont servi de moyens : les inconnus qui se parlent au téléphone à l’épisode 15 ; les personnes qui annotent les images une à une en ligne à l’épisode 16 ; celles qui écrivent les livres et traduisent les comptes rendus parlementaires à l’épisode 19 ; celles qui font pousser les cristaux et les joueurs de Foldit à l’épisode 20 ; celles qui écrivent les pages Web et cliquent pour les approuver à l’épisode 21 ; celles qui sont devant leurs écrans, à Nairobi et à Jishishan, à l’épisode 22 ; enfin, celles qui rédigent les questions du dernier examen à l’épisode 24. Ce que la machine apprend d’elles, ce sont les mots, les images, les jugements et les préférences, les traces qu’elles laissent.
Dans la phrase de Kant, en même temps qu’elles servent de moyens, ces personnes sont toutes des fins. Elles ont leur temps, leur salaire, leur fatigue, leur chagrin et leurs projets. Les données auront beau en retenir quelques éléments, elles n’ont pas à prouver d’abord qu’elles ont de la valeur. Dans le documentaire, la main de la mère traverse l’image de sa fille. Chaque fois qu’on le redémarre, le programme de Barbeau oublie ce qu’il lui a dit. On peut recréer des mots, une voix et un visage. On peut aussi leur confier son manque. Mais se servir de cette image pour remplacer la personne, c’est en faire un équivalent. Kant dit que la dignité appartient précisément à ce qui n’a pas d’équivalent. L’image permet à la mère de tendre la main une fois encore. Elle ne peut pas la lui prendre à la place de sa fille.
Les limites dont on a parlé en chemin ne sont pas toutes du même ordre. Turing a démontré que pour une classe de problèmes, il n’existe pas de méthode de décision générale. Le score à un examen dit ce qu’a fait la machine à cette épreuve-là. Quant à la personne, le calcul peut accueillir les traces qu’elle a laissées. Il y a des décisions qu’elle doit prendre elle-même, et des paroles auxquelles elle doit elle-même répondre. Personne ne peut occuper cette place pour elle. Pour la manière dont nous construisons et utilisons l’IA aujourd’hui, je tiens à ceci : utilisons-la comme un moyen, mais ne traitons jamais l’être humain simplement comme un moyen.
On construit encore des machines. Quant à savoir où passe la limite, notre génération pourrait ne plus laisser cette question à la suivante.
Les vingt-six essais de cette série ont été rédigés en première version par Claude, le modèle d’IA d’Anthropic. Claude a aussi rédigé les passages consacrés à cette entreprise dans les épisodes 22 à 25. L’IA est ici un outil ; elle ne peut pas se substituer au jugement. J’assume la responsabilité de chaque jugement exprimé dans ces textes.