La loi des cycles de taille et de construction · Série IA · 15

« Chaque fois que je renvoie un linguiste, le taux de reconnaissance monte »

Han Qin · Environ 15 minutes · Publication

1. Des amis

En mai 2004, à Lisbonne, le congrès sur les ressources linguistiques et leur évaluation invite Frederick Jelinek à parler. Il intitule son intervention « Certains de mes meilleurs amis sont linguistes ».

Le titre reprend une vieille formule anglaise : pour se défendre d’avoir des préjugés, on dit que certains de ses meilleurs amis sont ceci ou cela. Le plus souvent, c’est qu’on a déjà une autre phrase attachée à son nom.

Pour Jelinek, la phrase qui s’est transmise dit : chaque fois que je renvoie un linguiste, le taux de reconnaissance monte d’un cran.

En 2011, des collègues qui lui rendent hommage consignent cette version : « Chaque fois qu’un linguiste quitte le groupe, le taux de reconnaissance monte. » D’après ce texte, Jelinek aimait faire rire avec cette boutade de 1988.

En 2012, quelqu’un qui était dans le public à Lisbonne se souvient de la version répandue : chaque fois que je renvoie un linguiste.

D’une version à l’autre, un verbe change et le sujet change avec lui. Dans l’une, un linguiste quitte le groupe. Dans l’autre, je renvoie un linguiste. La première constate un départ, sans dire qui l’a décidé. Dans la seconde, quelqu’un agit.

2. Un coup de téléphone

Jelinek a raconté dans un texte de souvenirs en 2009 comment le groupe avait commencé. En 1971, au centre de recherche Watson d’IBM à Yorktown Heights, dans l’État de New York, il y avait un groupe de réflexion interne dont faisaient partie John Cocke et Herman Goldstine. Il recommande au service de recherche de créer un groupe de reconnaissance de la parole continue. Début 1972, le groupe se met en route sous la direction de Joe Raviv.

Cet été-là, Jelinek est encore à l’université Cornell, où il enseigne depuis l’automne 1962. Il travaille sur la théorie de l’information et celle des communications. Il téléphone à Raviv, qui lui dit qu’IBM commence à travailler sur la reconnaissance de la parole. Jelinek prend un congé de Cornell pour venir. Au bout de quelques semaines, il prend la direction du groupe.

Les gens viennent de plusieurs endroits. Selon Jelinek, quatre seulement connaissaient déjà le domaine de la parole. Jim et Janet Baker, qui sont mariés, rejoignent aussi le groupe. En septembre 1972 arrive Robert Mercer, selon les mots de Jelinek « un physicien fraîchement diplômé ».

IBM détache aussi temporairement trois personnes du côté de la linguistique : Fred Damerau, Stan Petrick et Jane Robinson. Jelinek écrit plus tard que, vers le moment de l’arrivée des Baker, les trois sont retournés dans leur groupe d’origine. Son verbe est « retourner ». Trois linguistes ont quitté le groupe pour regagner leur service.

Quand on lui donne un nom, c’est « reconnaissance de la parole continue ». « Continue », comme quand on parle d’ordinaire : les mots se suivent sans pause. Le mot figure dans le nom du groupe en 1972.

3. Des pauses

Treize ans plus tard, le groupe a construit une machine capable de prendre une dictée en temps réel. En 1985, l’article de l’entreprise s’intitule « Un système de reconnaissance de mots isolés à grand vocabulaire sur ordinateur personnel ». C’est un ordinateur personnel d’IBM, avec dans le boîtier deux processeurs de signal fabriqués par IBM. Il a un vocabulaire de cinq mille mots, établi d’après le vocabulaire courant des notes de bureau et du courrier d’affaires. Chaque nouvelle personne doit d’abord lui parler une vingtaine de minutes pour qu’il s’habitue à sa voix. Dans un autre article de la même année, Jelinek précise comment lui parler : « Il faut marquer une courte pause entre les mots. »

En 1986, le vocabulaire passe à vingt mille mots. On ajoute deux processeurs dans un boîtier d’extension relié à l’ordinateur, ainsi qu’un poste de travail vocal pour étudier la rédaction de documents par la parole. Dans l’article de cette année-là, le système reçoit un nom : Tangora.

Dans ses souvenirs de 2009, Jelinek en donne l’origine : « Nous avons appelé le système Tangora d’après Albert Tangora. » Albert Tangora détient le record de frappe lors d’un salon commercial à New York en 1923. En une heure, il tape huit mille huit cent quarante mots sans faute, soit cent quarante-sept par minute. Une machine pour écrire en parlant reçoit le nom de celui qui tapait le plus vite.

En 1972, le groupe s’appelle « parole continue ». En 1985, la machine exige une pause après chaque mot et le titre de l’article dit « mots isolés ». Le mot du nom du groupe devra attendre encore douze ans. En octobre 1997, une revue professionnelle des technologies de la parole teste deux logiciels de dictée destinés au public : la première version de NaturallySpeaking, de Dragon Systems, et un logiciel d’IBM encore à l’essai. La revue parle de « parole continue ». Dragon Systems, c’est l’entreprise que les Baker ont fondée par la suite.

Dans son article de 1985, Jelinek donne sa définition de la voie qu’il suit : « Une formulation en termes de théorie de l’information plutôt qu’en termes de systèmes experts. » Les paramètres sont estimés directement à partir des données. Le terme qu’il prend pour contraste est « systèmes experts ». Comme on l’a vu dans l’épisode 12, 1985 est en plein dans l’engouement pour eux.

4. Un code

En mars 1947, Warren Weaver, de la Fondation Rockefeller, écrit à Wiener, celui de l’épisode 4. Dans sa lettre, il compare la traduction au déchiffrement d’un code. Voici une des phrases : « En réalité, c’est écrit en anglais, mais cela a été codé en symboles étranges. » Il a sous les yeux un texte russe.

En juillet 1949, Weaver reprend cette idée dans une note intitulée tout simplement « Traduction ». Il la rédige au Nouveau-Mexique et l’envoie à une trentaine de connaissances. Comme l’a raconté l’épisode 10, les États-Unis financent la traduction automatique pendant plus de dix ans. En 1966, un rapport juge qu’on ne voit pas à court terme de traduction automatique utilisable et recommande de travailler notamment sur la linguistique informatique et la traduction assistée. Ce que dit le rapport et les crédits effectivement accordés ensuite, ce sont deux comptes différents.

À Yorktown Heights, le groupe commence à travailler sur la traduction vers 1987. Jelinek se souvient qu’aucun des principaux chercheurs du projet n’était spécialiste du français. Il nomme Bahl, Peter Brown, Mercer et lui-même. Ils suivent ensuite un cours de français en immersion.

Du 12 au 14 juin 1988 se tient à Pittsburgh une conférence sur les questions théoriques et méthodologiques de la traduction automatique. Le groupe présente « Une méthode statistique de traduction du français vers l’anglais ». La même année, dans les actes de la conférence internationale de linguistique informatique à Budapest, on trouve leur « Méthode statistique de traduction des langues ». La version de juin 1990, dans Computational Linguistics, devient « Une méthode statistique de traduction automatique ». L’article long de juin 1993 s’intitule « Les mathématiques de la traduction automatique statistique : estimation des paramètres ». En cinq ans, on passe de la traduction du français vers l’anglais à la traduction des langues, puis à la traduction automatique, puis à la traduction automatique statistique.

L’article de 1990 fait de la traduction un problème de probabilités : étant donné une phrase française, chercher la phrase anglaise dont elle est le plus probablement issue. Le problème est divisé en deux. D’une part, à quel point la phrase anglaise ressemble à de l’anglais : c’est le modèle de langue. D’autre part, quelle est la probabilité qu’elle donne cette phrase française : c’est le modèle de traduction. La lettre de 1947 disait que le texte était en anglais à l’origine et qu’il avait changé de symboles. Quarante-trois ans après, mises côte à côte, les deux phrases donnent une comparaison et un algorithme.

Dans ses souvenirs de 2009, Jelinek reproduit aussi un avis de lecture. Selon lui, ils avaient soumis leurs premiers résultats à la conférence internationale de linguistique informatique de 1988. L’avis est anonyme et daté du 1er mars 1988. Il dit notamment : « La force brute des ordinateurs n’est pas de la science. » Les actes de la conférence de cette année-là contiennent l’article.

5. Les traducteurs

Pour apprendre à traduire, les systèmes décrits dans ces articles utilisent les comptes rendus des débats du Parlement canadien. Le Parlement conserve une version anglaise et une version française de ses comptes rendus. Jelinek précise plus tard que, quelle que soit la langue dans laquelle un député s’exprime, ses paroles sont traduites dans l’autre.

Pour chaque paire de phrases dont la machine apprend ici, d’un côté il y a les paroles d’un député, de l’autre ce qu’un traducteur en a fait. Combien de traducteurs travaillaient au Parlement ces années-là, qui a traduit quel passage : les articles ne le disent pas.

Plus de vingt ans auparavant, l’université Brown a établi ce qu’on appelle le corpus Brown. Il est fait de prose anglaise publiée aux États-Unis en 1961 : cinq cents échantillons d’environ deux mille mots, un million de mots en tout, rassemblés en 1963 et 1964.

Les noms des gens qui ont fait le corpus sont encore dans les archives d’une université. Les responsables du projet sont Nelson Francis et Henry Kučera. Anne Robb Taylor, Loretta Felice, Mary Lois Markworth, Henry Hall Peyton Jr. et Robert Stout Jr. travaillent au corpus. Andrew Mackay écrit le programme. Un million de mots : pour chacun, il faut que quelqu’un le prenne à la page d’un livre, puis le tape dans la machine.

En 1992, John Godfrey, Edward Holliman et Jane McDaniel publient un corpus de conversations téléphoniques, Switchboard, « le standard ». Il contient quelque deux mille quatre cents appels et cinq cent quarante-trois personnes. Les deux personnes d’un appel ne se connaissent le plus souvent pas. Les sujets viennent d’une liste établie à l’avance. Deux inconnus parlent de ce qui est sur une liste, au téléphone. On les enregistre pour que la machine apprenne comment les gens parlent.

6. Les arbres

De 1989 à 1992, l’université de Pennsylvanie constitue un corpus d’anglais annoté, le Penn Treebank. Dans l’article de juin 1993, il compte déjà plus de quatre millions et demi de mots. Chacun porte une étiquette de catégorie grammaticale, et les structures syntaxiques sont représentées pour plus de la moitié du corpus.

La machine passe d’abord, puis les personnes. Pour les catégories grammaticales, un programme d’étiquetage probabiliste écrit par Kenneth Church aux Bell Labs fait le premier passage. Puis les personnes corrigent une étiquette après l’autre. Pour la structure de la phrase, un programme d’analyse syntaxique donne d’abord un arbre, que les personnes reprennent.

Au début du projet, on fait une comparaison. Quatre annotateurs, tous formés en linguistique au-delà de la licence. Chacun s’exerce d’abord quinze heures à corriger l’étiquetage de la machine, puis six heures à tout étiqueter lui-même. Pour mille mots, il faut en moyenne quarante-quatre minutes à la main en partant de zéro, et vingt minutes si l’on corrige la machine. Dessiner les arbres est bien plus lent. Après plusieurs semaines d’exercice, on n’en fait encore que quelques centaines de mots par heure. En passant à une structure simplifiée, les personnes expérimentées atteignent de sept cent cinquante à plus de mille mots par heure.

Devant l’annotateur, à l’écran, il n’y a pas une phrase nue. Dans l’arbre fourni par le programme, certains fragments restent détachés et portent un point d’interrogation. L’annotateur clique près du point d’interrogation, fait glisser le fragment jusqu’au nœud supérieur auquel il doit être rattaché, puis relâche le bouton pour le coller. Il supprime ce qui est faux, et l’interface refait elle-même les retraits. Les catégories grammaticales se corrigent dans un éditeur de texte courant chez les programmeurs. On place le curseur sur le mot mal étiqueté, on tape la bonne étiquette, et le logiciel vérifie si elle est conforme. Pour savoir quoi étiqueter et comment, il y a deux manuels : celui sur les catégories grammaticales, rédigé par Beatrice Santorini en 1990, et celui sur les structures des phrases, qu’elle écrit avec Mary Ann Marcinkiewicz en 1991.

Dans l’article, le projet se décrit comme ayant une orientation statistique. Et les gens assis devant l’écran, qui rattachent les phrases un point d’interrogation après l’autre, ont étudié la linguistique.

En juin 1993, ces arbres sont accessibles aux membres du Linguistic Data Consortium.

En 1972, trois linguistes quittent le groupe. Vingt ans plus tard, les linguistes sont de l’autre côté : ce sont eux qui dessinent, un à un, les arbres sur lesquels les machines statistiques vont apprendre.

7. L’épreuve

En février 1991, lors d’un atelier sur la parole et le langage naturel, Charles Wayne présente les deux projets qu’il dirige. Pour les travaux sur la langue parlée, il distingue deux volets : la reconnaissance de la parole à grand vocabulaire et la compréhension de la langue parlée. Le programme, écrit-il ensuite, « met l’accent sur l’évaluation objective des performances ».

Le programme de 1971 à 1976, à l’épisode 10, s’appelait « compréhension de la parole ». En 1991, la reconnaissance et la compréhension sont deux volets, inscrits côte à côte dans le même document.

Pour l’évaluation, il y a plusieurs jeux d’épreuves communs. L’un, « Gestion des ressources », contient des demandes et des instructions lues à voix haute. L’autre, « Système d’information sur les voyages aériens », comporte des demandes formulées spontanément. Les enregistrements de ce dernier viennent de personnes à qui l’on a demandé de parler à un système de recherche de vols. Le système était simulé, selon ce qu’on appelait la méthode du magicien d’Oz. Quelqu’un se tenait derrière le rideau pour répondre à la place de la machine. Pour savoir comment les gens parlent à une machine, il a d’abord fallu les faire parler à quelqu’un qui fait semblant d’en être une.

Dix organismes reçoivent des fonds pour participer : des entreprises, des universités et des laboratoires nationaux, dont Dragon Systems, la société des Baker. C’est l’Institut national des normes et de la technologie des États-Unis qui prépare et note les épreuves.

Il y a aussi des épreuves pour l’écrit. La deuxième conférence sur la compréhension de messages, en 1989, utilise des dépêches opérationnelles de la marine. La troisième, en 1991, prend des articles traduits et compilés par le service de veille des médias étrangers. Le test consiste à faire extraire d’un texte les éléments d’un événement et à les faire entrer dans les cases d’une base de données. La traduction automatique aussi a une épreuve. Wayne précise qu’elle doit porter sur des « textes produits naturellement et jamais vus à l’avance ».

En juillet 2001, à Toulouse, au congrès annuel de l’Association for Computational Linguistics, Michele Banko et Eric Brill, de Microsoft, présentent « Passer à des corpus très, très vastes pour désambiguïser le langage naturel ». Le test porte sur une petite chose. Trois mots anglais, to, two et too, se prononcent de la même façon mais s’écrivent différemment et veulent dire, respectivement, « vers », « deux » et « aussi ». La machine doit choisir le bon dans la phrase. Ils essaient quatre méthodes d’apprentissage, dont un perceptron du genre de celui de l’épisode 8. Le volume d’entraînement passe d’un million à un milliard de mots. L’épreuve consiste en un million de mots du Wall Street Journal.

La courbe continue à monter. À un milliard de mots, elle ne s’est pas encore aplatie. Les auteurs posent aussitôt une réserve : « Accroître les données d’entraînement n’est pas sans coût. » En conclusion, ils recommandent de consacrer plus d’efforts à la constitution de corpus annotés et moins à départager les algorithmes sur de petits corpus. On rattache souvent à cet article la formule « davantage de données valent mieux que de meilleurs algorithmes ». Elle ne figure pas dans l’article.

8. Quitter

Les propos de l’autre côté ont eux aussi leurs dates.

En 1957, dans le deuxième chapitre de Structures syntaxiques, Chomsky donne deux suites de mots. Dans la première, des idées vertes incolores dorment furieusement. Dans la seconde, les mêmes mots sont pris à l’envers. Ni l’une ni l’autre n’a de sens. Mais la première est grammaticale et la seconde ne l’est pas. Chomsky s’en sert pour demander si le fait d’être grammatical et l’approximation donnée par un modèle statistique simple sont la même chose.

En 2000, Fernando Pereira publie « Grammaire formelle et théorie de l’information : des retrouvailles ? ». Avec un modèle statistique simple entraîné sur des textes de journaux, il refait les calculs sur les deux suites. La suite grammaticale est environ deux cent mille fois plus probable que la suite inversée. Dans le résumé, il dit que deux traditions jugées souvent incompatibles au cours des quarante années écoulées, la linguistique formelle de Chomsky et la théorie de l’information de Shannon, devraient se rejoindre. Le titre se termine par un point d’interrogation.

En 2011, lors d’une discussion pour le cent cinquantième anniversaire du MIT, Pinker demande à Chomsky ce qu’il pense des modèles probabilistes. Chomsky commence par répondre : « Il y a eu quelques réussites, mais aussi beaucoup d’échecs. » Il critique ensuite un critère de réussite qui consiste à bien approcher des données qu’on n’a pas analysées. La même année, Norvig publie une réponse, « Sur Chomsky et les deux cultures de l’apprentissage statistique ». En octobre, Church publie « Le balancier est allé trop loin ». Ces textes sont côte à côte, chacun avec son propos.

Revenons à la phrase. Dans la version qui circule, « un linguiste quitte le groupe » est devenu « je renvoie un linguiste ». On a remplacé un verbe et un sujet. Après le remplacement, la plaisanterie dit que quelqu’un a agi. Pour les trois personnes de 1972, Jelinek écrit qu’elles sont retournées dans leur groupe d’origine.

Il y a plus qu’un verbe qui a changé. La phrase dit que des gens s’en vont et que les chiffres montent. Elle ne dit pas d’où viennent ces chiffres. La machine apprend à traduire dans les comptes rendus du Parlement : des traducteurs ont traduit ces lignes françaises. La machine compte les mots anglais dans les journaux et les livres : à Brown, plusieurs personnes ont sélectionné et tapé ces mots, un à un, jusqu’à un million. La machine apprend la structure des phrases dans la banque d’arbres : des personnes formées à la linguistique ont rattaché ces arbres à l’écran, un point d’interrogation après l’autre. La machine apprend comment les gens parlent à une machine : en face, il y avait quelqu’un qui faisait semblant d’en être une.

On a compté la langue. On a compté des choses que des personnes avaient écrites, traduites, annotées et prononcées. Cette série appelle « le reste » cette part qui demeure toujours hors des calculs. À chaque fois que les chiffres montent d’un cran, il y a au-dessous le travail de plusieurs personnes. Le plus souvent, leurs noms ne se transmettent pas avec les chiffres.

Le titre à Lisbonne était : certains de mes meilleurs amis sont linguistes.

On construit encore des machines. Quant à savoir où passe la limite, chaque génération le dit à nouveau.