La loi des cycles de taille et de construction · Série IA · 16

Chaque image, quelqu’un l’a reconnue avant la machine

Han Qin · Environ 15 minutes · Publication

1. Des fleurs

En 1936, le statisticien Ronald Fisher publie dans le deuxième numéro du septième volume des Annals of Eugenics un article intitulé « L’emploi de mesures multiples dans les problèmes de classification ». L’article contient un tableau : trois espèces d’iris, cinquante fleurs de chaque espèce, cent cinquante au total. Quatre mesures par fleur : la longueur et la largeur des sépales, la longueur et la largeur des pétales.

Fisher donne le nom de celui qui a mesuré les fleurs : le botaniste Edgar Anderson. Anderson avait cueilli celles de deux espèces dans le même terrain, par lots de cinquante. L’année précédente, il avait publié un bref article, « Les iris de la péninsule de Gaspé ». C’est une péninsule de l’Est canadien qui s’avance dans le golfe du Saint-Laurent.

Cinquante et un ans plus tard, en 1987, à l’université de Californie à Irvine, un doctorant du nom de David Aha crée une archive accessible par transfert de fichiers sur un ordinateur de l’université. Il y dépose des données que plusieurs doctorants de l’université ont déjà recueillies, avec leur documentation, pour que des gens de l’extérieur puissent les récupérer. En 2019, il se souvient qu’au départ il n’y avait qu’« un petit nombre de jeux de données ». L’archive prendra le nom de dépôt de données pour l’apprentissage automatique. Les cent cinquante fleurs d’Anderson y entreront à leur tour.

Un botaniste, sur une péninsule, accroupi au milieu des fleurs sauvages, les mesure une à une. Les six cents nombres qu’il relève deviendront le premier exercice de classification de générations de machines.

2. Des cases

Vers 1990, l’Institut national des normes et de la technologie des États-Unis veut apprendre à des machines à lire l’écriture manuscrite pour les besoins d’un recensement. Il lui faut d’abord de l’écriture manuscrite. On distribue des formulaires à trois mille quatre cents agents de terrain permanents du Bureau du recensement. Deux mille cent formulaires sont renvoyés. Ils sont imprimés avec de petites cases ; on met un caractère par case. Une fois les formulaires reçus, un programme découpe les cases : une petite image par caractère.

D’autres formulaires sont distribués dans un lycée. Cinq cents élèves des cours de mathématiques et de sciences les remplissent sur place et les rendent pendant le cours. Les actes de la rencontre de 1992 insistent sur la différence entre les deux groupes. Les agents du recensement rendent les formulaires de leur plein gré et ont une motivation professionnelle. Leur écriture est assez régulière. Les élèves, eux, sont tenus de terminer l’exercice sur place, en classe.

Cette année-là, l’Institut tient la première conférence sur les systèmes de reconnaissance optique de caractères pour le recensement. Les données des agents servent à entraîner les machines en lice ; celles des élèves sont réservées au test, dont les réponses ne sont pas communiquées à l’avance. On compte les erreurs de reconnaissance. Pour les chiffres, le meilleur système se trompe dans 1,56 % des cas et le dernier dans 20 % des cas.

3. La performance humaine

Les mêmes actes décrivent une autre expérience. L’Institut demande à une personne de reconnaître les dix mille premiers chiffres du test écrit par les élèves. Elle ne connaît pas les réponses d’avance et reconnaît environ deux caractères par seconde. Elle travaille par séances d’une à deux heures, à plusieurs heures d’intervalle. Son taux d’erreur est de 1,57 %. Celui de la meilleure machine, de 1,56 %.

La conférence conclut que la reconnaissance de chiffres manuscrits isolés par des machines « se rapproche de la performance humaine ». Deux réserves suivent dans le même passage : les caractères des agents du recensement ne constituent pas un échantillon assez divers, et pour les lettres on n’a pas mené d’expérience comparable avec une personne. La performance humaine, ici, c’est la performance d’une personne.

Six ans plus tard, en 1998, Yann LeCun et trois collègues publient un long article où ils racontent comment ils ont refait un jeu de chiffres manuscrits. L’Institut, disent-ils, avait réservé les caractères des agents à l’entraînement et ceux des élèves au test. Or les premiers étaient « bien plus propres et bien plus faciles à reconnaître ». Ils disent aussi pourquoi : les premiers étaient écrits par des agents du recensement, les seconds par des lycéens. Le test était plus difficile que l’exercice, non parce que les questions changeaient, mais parce que les personnes qui écrivaient changeaient.

Ils mélangent donc les deux ensembles et les redistribuent. Ils répartissent d’abord les cinq cents élèves en deux groupes, sans partager les chiffres d’un même élève entre les groupes. Un groupe va à l’entraînement ; l’autre fournit des exemples possibles pour le test. On complète les données d’entraînement avec des caractères du recensement jusqu’à soixante mille images. Le test final en prend dix mille, moitié d’élèves, moitié d’agents. Ils l’appellent MNIST, la base de données modifiée de l’Institut national des normes. Pendant plus de vingt ans, elle deviendra l’une des épreuves les plus utilisées du domaine.

4. Le Turc

En novembre 2005, Amazon met une plate-forme en ligne. Une tâche y porte le nom de « tâche d’intelligence humaine ». Celui qui la propose est un demandeur ; celui qui l’accomplit, un travailleur.

En 2006, Felipe Cabrera, d’Amazon Web Services, l’explique à Wired : certaines choses sont difficiles pour les ordinateurs et faciles pour les gens. La plate-forme transforme les petites tâches confiées à des gens en un service qu’un logiciel peut appeler directement. Chez Amazon et dans les articles de l’époque, on parle d’« intelligence artificielle artificielle ».

La plate-forme s’appelle Mechanical Turk, le Turc mécanique. Le nom vient d’un automate joueur d’échecs qui tournait en spectacle au XVIIIᵉ siècle. Un mannequin en costume turc était assis au-dessus d’un meuble et jouait aux échecs avec des gens. On aurait dit une machine qui jouait seule. En réalité, quelqu’un caché dans le meuble jouait les coups. Présenté à Vienne vers 1770, l’automate fait pendant des décennies l’objet d’articles qui cherchent à percer son secret ; Edgar Allan Poe en écrit un en 1836. C’est ce détail qu’Amazon emprunte : à l’extérieur, on voit la machine ; à l’intérieur, quelqu’un fait le travail.

Des chercheurs ont demandé qui travaillait sur la plate-forme. En février 2010, Panos Ipeirotis, de l’université de New York, mène une enquête. Parmi les répondants, 46,8 % sont aux États-Unis, 34 % en Inde et les autres dans soixante-six pays. Plus tard, avec deux collègues, il enquête pendant vingt-huit mois et recueille plus de quatre-vingt-cinq mille réponses, venues d’environ quarante mille personnes différentes. Ils en concluent notamment que les gens vont et viennent sans cesse. Une enquête ponctuelle ne saisit qu’un moment.

Fin 2017, une équipe de recherche publie une analyse de relevés anonymes enregistrés par une extension de navigateur de septembre 2014 à janvier 2017. Ces relevés couvrent environ 3,8 millions de tâches effectuées par 2 676 travailleurs. Elle compte aussi le temps à chercher les tâches, à lire les consignes et à faire un travail dont le paiement est refusé. Le salaire horaire médian est d’environ deux dollars. Seuls 4 % environ gagnent plus que le salaire minimum fédéral américain de l’époque, soit 7,25 dollars de l’heure.

5. ImageNet

En juin 2009, à la conférence CVPR, Jia Deng, Fei-Fei Li et leurs quatre coauteurs de Princeton présentent « ImageNet : une base d’images hiérarchique à grande échelle ». La structure est déjà là. Depuis 1985, des psychologues et des linguistes de Princeton construisent un répertoire de l’anglais, WordNet. Son unité de base est l’ensemble de synonymes : des mots qui ont le même sens constituent un groupe, et les groupes sont reliés par des rapports de sens, par exemple de catégorie générale à catégorie plus précise. ImageNet reprend les quelque quatre-vingt mille ensembles de noms de WordNet. Le projet prévoit de donner à chacun cinq cents à mille images d’origine triées. À la parution de l’article, douze sous-arbres, 5 247 ensembles et quelque 3,2 millions d’images ont déjà été traités.

D’où viennent les images ? On lance sur des moteurs de recherche d’images des requêtes avec les mots de WordNet. On en obtient un gros lot, qu’on fait regarder image par image. La question est toute petite : cette chose est-elle dans l’image ? Les personnes à qui on le demande travaillent sur la plate-forme d’Amazon.

En 2014, 21 841 ensembles de synonymes d’ImageNet ont des images, et 14 197 122 images ont été annotées. Selon un bilan de Stanford publié en 2016, près de cinquante mille travailleurs de cent soixante-sept pays y ont participé, durant environ deux ans et demi.

Fei-Fei Li a raconté plusieurs fois comment le projet a commencé. Il s’agissait d’abord de faire grandir le jeu de données, pas d’écrire quelques règles de plus pour reconnaître des images. À la conférence de 2009, l’article est présenté dans la section des posters, sans exposé sur scène.

6. La salle d’examen

À partir de 2010, ImageNet organise tous les ans un concours de reconnaissance visuelle à grande échelle. Mille catégories. On publie les images d’entraînement et leurs réponses. Les images du test sont aussi publiques, mais pas leurs réponses. À partir de 2011, les équipes soumettent leurs résultats au serveur des organisateurs, qui les comparent aux réponses gardées secrètes. Les organisateurs expliquent pourquoi : pour que les gens ne puissent pas ajuster sans cesse leur programme sur le test. Sur le serveur qui reste ouvert après le concours, une équipe ne peut faire que deux soumissions par semaine.

On mesure le taux d’erreur sur les cinq meilleures réponses. La machine peut proposer cinq réponses, et une seule bonne suffit. En 2010, le vainqueur est NEC avec 28,2 % d’erreurs ; en 2011, le centre de recherche européen de Xerox, avec environ 25,8 % ; en 2012, l’équipe de trois personnes de l’université de Toronto, avec 15,3 % ; en 2013, une société du nom de Clarifai, avec 11,7 % ; en 2014, l’équipe de Google, avec 6,66 % ; en 2015, Microsoft Research, avec 3,57 % ; en 2016, une équipe du troisième institut de recherche du ministère chinois de la Sécurité publique, appelée Soushen, avec environ 2,99 % ; en 2017, le taux est d’environ 2,25 %.

Le 2 juin 2015, les organisateurs publient un communiqué. De fin novembre 2014 à mi-mai 2015, une équipe de Baidu a soumis ses résultats au moins deux cents fois sous au moins trente comptes. Elle l’a fait plus de quarante fois en cinq jours à la mi-mars. Selon les organisateurs, ces résultats « ne peuvent pas être directement comparés à ceux des autres équipes ». Ils demandent à Baidu de ne plus soumettre de résultats pendant douze mois. Dans son communiqué, l’équipe de Baidu dit : « Nous nous excusons pour cette erreur. » Quelques jours plus tard, Baidu rend publiques les conclusions de son enquête interne : un chef d’équipe a amené plusieurs jeunes ingénieurs à dépasser la limite de deux soumissions par semaine, et l’entreprise a mis fin à son contrat.

Dans la salle d’examen, il y a un autre nombre : combien d’erreurs fait une personne ? Le 2 septembre 2014, Andrej Karpathy, étudiant de cycle supérieur à Stanford, décrit une expérience sur son blog. Il commence par se familiariser avec les mille catégories sur cinq cents images de validation, puis identifie lui-même mille cinq cents images du test, à raison d’environ une par minute. Son taux d’erreur sur les cinq meilleures réponses est de 5,1 %. Sur les mêmes images, le réseau de Google fait environ 6,8 % d’erreurs. Karpathy apporte cette réserve : « d’après le lot d’images que j’ai effectivement traité ». Dans leur article ultérieur, les organisateurs évoquent une deuxième personne : elle s’entraîne sur cent images, en identifie deux cent cinquante-huit et se trompe dans 12 % des cas.

Le 6 février 2015, Kaiming He et trois collègues de Microsoft Research publient un article dont le titre parle de « dépasser la performance humaine ». Leur taux d’erreur est de 4,94 %. La performance humaine à laquelle ils se comparent est celle de Karpathy, 5,1 %. Et ils font précéder la comparaison de « à notre connaissance ».

7. Les gens sur la liste

En octobre 2006, Netflix lance un grand concours d’algorithmes de recommandation. Un million de dollars à qui réduira de 10 % l’erreur du propre système de Netflix dans la prévision des étoiles attribuées. Le jeu d’entraînement public contient environ 100 480 000 évaluations, venues de 480 189 abonnés et portant sur 17 770 films. Chaque évaluation est datée et donne une note d’une à cinq étoiles. Les noms des abonnés sont remplacés par des identifiants numériques.

La même année, Arvind Narayanan et Vitaly Shmatikov, de l’université du Texas, écrivent une prépublication qui paraît officiellement deux ans plus tard. Ils ne cherchent pas à extraire des noms du fichier, mais à montrer que les notes et les dates approximatives qu’une personne a laissées sur un autre site public pour quelques films peuvent correspondre à une série de notes dans les données anonymisées. Leur propos est que des traces aussi clairsemées peuvent être reliées à une personne lorsqu’on dispose d’autres informations.

Le 21 septembre 2009, le million de dollars revient à une équipe issue de la fusion de plusieurs équipes. En décembre, Netflix est poursuivi au sujet des données et de la deuxième édition envisagée. La plainte affirme que les notes anonymisées peuvent encore être réattribuées à des personnes, et donc révéler quels films elles ont regardés. En mars 2010, Netflix annonce qu’il n’y aura pas de deuxième édition. En 2012, les ingénieurs de Netflix expliquent sur le blog de l’entreprise que les nouvelles approches de la fin du concours ont donné des résultats effectivement plus précis dans les tests hors ligne, mais que cette précision supplémentaire « ne semblait pas justifier l’investissement nécessaire pour les mettre en production ».

ImageNet a une grande catégorie appelée « personne ». L’équipe ne l’a pas dressée de zéro : elle reprend dans son ensemble cette branche de la hiérarchie des sens de WordNet. En septembre 2019, Kate Crawford et Trevor Paglen mettent en ligne « Excavating AI ». Sous « personne », il y a plus de 2 800 sous-catégories. Un site qui accompagne le projet, ImageNet Roulette, permet à chacun d’envoyer une photo de soi et lui renvoie un nom tiré des étiquettes de cette catégorie.

En janvier 2020, l’équipe d’ImageNet publie son propre article. Pour la catégorie « personne », elle propose de retirer 1 593 étiquettes dénigrantes, offensantes ou liées à des identités sensibles, avec les 600 040 images correspondantes. En juin de la même année, des chercheurs du MIT annoncent avoir « décidé de retirer officiellement » un autre jeu de données plus ancien, celui des quatre-vingts millions de petites images, et demandent aux utilisateurs d’effacer leurs copies. Vers la même période, Vinay Prabhu et Abeba Birhane publient un article qui recense les catégories dénigrantes et les portraits recueillis sans consentement dans ces grandes banques d’images.

Il y a une autre épreuve, qui porte sur la manière dont la machine voit les gens. En février 2018, Joy Buolamwini et Timnit Gebru publient Gender Shades. Elles constituent leur propre test : environ mille deux cent soixante-dix portraits publics de parlementaires de trois pays africains et de trois pays européens, classés par genre et par teinte de peau selon une échelle à six niveaux utilisée en dermatologie. Elles testent les services de classification du genre que trois entreprises mettent à la disposition du public. Pour les femmes à la peau plus foncée, les taux d’erreur sont respectivement d’environ 34,7 %, 34,5 % et 20,8 %. Pour les hommes à la peau plus claire, ils sont tous inférieurs à 1 %. Deux de ces entreprises annoncent par la suite des améliorations et affirment que les erreurs ont diminué pour les personnes à la peau foncée.

8. Une personne

Dans cet épisode, il est deux fois question de la performance humaine. En 1992, une personne lit dix mille chiffres à raison de deux par seconde, une ou deux heures d’affilée. En 2014, il s’agit encore d’une personne : mille cinq cents images, une par minute, après cinq cents images pour s’entraîner. Les deux font le travail avec soin et disent comment ils s’y sont pris. Deux phrases se transmettent ensuite : la machine s’est rapprochée de l’humain ; la machine a dépassé l’humain.

Pour passer d’une personne à l’humain, on coupe la réserve de Karpathy dans son billet, les mots que He et ses collègues ont ajoutés, et les deux réserves qui suivent la conclusion de 1992. Une fois tout cela coupé, le résultat d’une personne à une épreuve devient une limite pour l’humanité.

Derrière chaque épreuve, il y a aussi des gens. Le botaniste qui mesure des fleurs dans la péninsule de Gaspé ; les deux mille cent agents qui renvoient leur formulaire et les cinq cents lycéens qui remplissent des cases en classe ; la personne qui reconnaît deux caractères par seconde ; les quelque cinquante mille travailleurs de la plate-forme qui regardent des images et répondent oui ou non ; les quatre cent quatre-vingt mille personnes qui regardaient des films et sont devenues des numéros ; les personnes que montrent les quelque six cent mille images de la catégorie « personne » dont l’équipe a ensuite proposé le retrait ; les plus de mille parlementaires de six pays.

Les épreuves se succèdent et les taux d’erreur baissent d’année en année. À la fin, les équipes rivalisent pour voir combien de réponses de plus elles peuvent faire correspondre aux réponses cachées. Une équipe, pour y parvenir plus souvent, soumet plus de quarante fois ses résultats en cinq jours. Le score est une mesure de la machine. Quand la mesure devient elle-même le but, les organisateurs doivent cacher les réponses et limiter les soumissions à deux par semaine.

Cette série appelle « le reste » ce qui demeure dehors, mesure après mesure. Ici, il n’est pas difficile à trouver : sur chaque épreuve, les caractères, les fleurs, les images et les notes viennent d’une main, d’une paire d’yeux, d’un choix fait par une personne. Le score des machines figure au classement. Certaines des personnes ont laissé un nom ; la plupart, un numéro, une case, un salaire horaire.

On construit encore des machines. Quant à savoir où passe la limite, chaque génération le dit à nouveau.