Ley del ciclo del cincelado y la construcción · Serie sobre IA · 15

«Cada vez que despido a un lingüista, mejora el reconocimiento»

Han Qin · Unos 14 minutos · Publicado

1. Los amigos

En mayo de 2004, en Lisboa, la conferencia sobre recursos lingüísticos y evaluación invitó a hablar a Frederick Jelinek. Tituló su charla «Algunos de mis mejores amigos son lingüistas».

El título juega con una fórmula vieja del inglés: cuando alguien quiere defenderse de la acusación de tener un prejuicio, dice que algunos de sus mejores amigos son de tal grupo. Suele decirlo porque ya se le atribuye otra frase.

La que se atribuía a Jelinek circulaba así: cada vez que despido a un lingüista, sube un poco la tasa de reconocimiento.

En 2011, sus colegas escribieron un texto en su memoria que recoge esta versión: «Cada vez que un lingüista se marcha del grupo, sube la tasa de reconocimiento». El texto dice que le gustaba divertir a la gente con aquella ocurrencia de 1988.

Un asistente a la charla de Lisboa, al recordarla en 2012, anotó en cambio la versión difundida: cada vez que despido a un lingüista.

Cambia un verbo y cambia el sujeto. En una versión, un lingüista se marcha del grupo. En la otra, yo despido a un lingüista. La primera dice que la persona se fue, no quién lo decidió. En la segunda, alguien toma la decisión.

2. Una llamada

En un texto de recuerdos de 2009, Jelinek explicó cómo había empezado el grupo. En 1971, el Centro de Investigación Watson de IBM, en Yorktown Heights, Nueva York, había formado un grupo de trabajo interno en que estaban John Cocke y Herman Goldstine, entre otros. El grupo propuso que el departamento de investigación formara un equipo llamado Reconocimiento del Habla Continua. Joe Raviv puso en marcha el equipo a comienzos de 1972.

Aquel verano, Jelinek seguía en Cornell. Enseñaba allí desde el otoño de 1962 y trabajaba en teoría de la información y de las comunicaciones. Llamó a Raviv, que le dijo que la empresa empezaba a estudiar el reconocimiento del habla. Pidió licencia en Cornell y se trasladó. Unas semanas después se hizo cargo de dirigir el grupo.

La gente venía de varios sitios. Según Jelinek, solo cuatro sabían del habla desde el principio. Más tarde se incorporaron Jim y Janet Baker. En septiembre de 1972 llegó Robert Mercer, en palabras de Jelinek, «un físico recién graduado».

La empresa también trasladó temporalmente a tres personas del área de lingüística: Fred Damerau, Stan Petrick y Jane Robinson. Según escribió Jelinek, más o menos al llegar los Baker los tres volvieron a sus grupos de origen. La palabra que usó fue volver. Los tres lingüistas dejaron el grupo para volver a sus equipos anteriores.

Al fundarse, el grupo se llamó Reconocimiento del Habla Continua. Continua quiere decir como suele hablar la gente, una palabra detrás de otra, sin detenerse. Así decía el nombre en 1972.

3. Pausas

Trece años más tarde, el grupo hizo una máquina que tomaba dictado en tiempo real. El artículo de la empresa de 1985 se titulaba «Un reconocedor del habla de palabras aisladas y vocabulario amplio basado en una computadora personal». En una computadora personal de IBM se instalaban dos procesadores de señal de la propia empresa. El vocabulario era de cinco mil palabras, con una lista básica extraída de memorandos de oficina y cartas comerciales. Cada persona nueva tenía que hablarle durante unos veinte minutos para que reconociera su voz. En otro artículo de ese año, Jelinek explicó cómo había que hablarle: «Entre las palabras debe haber pausas breves».

En 1986, el vocabulario se amplió a veinte mil. Se añadieron dos procesadores más en una unidad de expansión externa y una estación de trabajo con voz, dedicada a estudiar cómo se redactan documentos hablando. En el artículo de ese año el sistema ya tenía nombre: Tangora.

Jelinek explicó en 2009 el origen del nombre: «Llamamos Tangora al sistema por Albert Tangora». Albert Tangora batió el récord de mecanografía en una exposición comercial de Nueva York en 1923: ocho mil ochocientas cuarenta palabras bien escritas en una hora, ciento cuarenta y siete por minuto. Una máquina que permitía escribir documentos hablando tomó el nombre del hombre que tecleaba más deprisa.

En 1972 el nombre del grupo decía continua. En 1985 la máquina pedía una pausa después de cada palabra y el artículo decía palabras aisladas. Hubo que esperar doce años más para recuperar la palabra del nombre. En octubre de 1997, una revista profesional de tecnología del habla probó dos programas de dictado para el público: la primera versión de NaturallySpeaking, de Dragon Systems, y un producto de IBM aún en fase de prueba. La revista hablaba de habla continua. Los Baker habían fundado Dragon Systems.

En el artículo de 1985, Jelinek definió su enfoque como «un planteamiento de teoría de la información, no de sistemas expertos». Los parámetros se estimaban directamente a partir de los datos. El contraste era con los sistemas expertos. Como vimos en el duodécimo artículo, 1985 era justamente su momento de mayor auge.

4. Un código

En marzo de 1947, Warren Weaver, de la Fundación Rockefeller, escribió a Wiener, el del cuarto artículo. Comparó traducir con descifrar un código: «Esto está escrito en realidad en inglés, solo que codificado con unos símbolos extraños». Tenía delante un texto en ruso.

En julio de 1949, Weaver puso la idea en un memorando titulado «Traducción». Lo escribió en Nuevo México y se lo mandó a una treintena de conocidos. En el décimo artículo vimos que Estados Unidos gastó dinero en traducción automática durante más de diez años. En 1966 salió una evaluación: no veía una aplicación práctica a corto plazo y aconsejaba investigar temas como la lingüística computacional y la traducción asistida. Lo que recomendó el informe y lo que pasó después con las partidas de dinero son dos cuentas distintas.

El grupo de Yorktown Heights empezó a trabajar en traducción hacia 1987. Según Jelinek, ninguno de los miembros centrales del proyecto era experto en francés. Mencionó a Bahl, Peter Brown, Mercer y a sí mismo. Después fueron a un curso de inmersión en francés.

Del 12 al 14 de junio de 1988 hubo en Pittsburgh una conferencia sobre problemas teóricos y metodológicos de la traducción automática. El grupo presentó «Un método estadístico para la traducción del francés al inglés». Ese mismo año, las actas de la conferencia internacional de lingüística computacional de Budapest incluyeron «Un método estadístico para la traducción de lenguas». La versión de junio de 1990, en Computational Linguistics, se llamó «Un método estadístico para la traducción automática». El artículo largo de junio de 1993 se tituló «Las matemáticas de la traducción automática estadística: estimación de parámetros». En cinco años, el título pasó del francés al inglés a la traducción de lenguas, luego a la traducción automática y finalmente a la traducción automática estadística.

El artículo de 1990 planteó la traducción como un problema de probabilidad: dada una frase en francés, buscar la frase inglesa que con más probabilidad le habría dado origen. Lo separaron en dos partes. Una era si la frase inglesa parecía inglés: el modelo de lenguaje. La otra era la probabilidad de que esa frase inglesa se convirtiera en la francesa: el modelo de traducción. La carta de 1947 decía que era inglés escrito con otros signos. Cuarenta y tres años después, las frases se pueden poner juntas. Una era una comparación; la otra, un algoritmo.

En su retrospectiva de 2009, Jelinek reprodujo además una evaluación de pares. El grupo había enviado sus primeros resultados al congreso internacional de lingüística computacional de 1988. El informe era anónimo y llevaba fecha del 1 de marzo. Decía, entre otras cosas: «La fuerza bruta de la computadora no es ciencia». El artículo del grupo salió en las actas del congreso de aquel año.

5. Quienes traducían

Para aprender a traducir, los artículos se valían de las actas de debates del Parlamento canadiense. Se conservaban en inglés y en francés. Más tarde Jelinek señaló que, hablara un parlamentario en la lengua que hablara, se traducía lo que decía a la otra.

En cada par de frases del que aprendía la máquina, por un lado estaban las palabras de un parlamentario y, por el otro, la traducción que había hecho alguien. Los artículos no dicen cuántos traductores trabajaban en el Parlamento ni quién había traducido qué pasaje.

Más de veinte años antes, la Universidad Brown había elaborado el corpus Brown. Recogía prosa inglesa publicada en Estados Unidos en 1961: quinientas muestras de unas dos mil palabras cada una, alrededor de un millón en total. Se compiló entre 1963 y 1964.

En los archivos universitarios del corpus siguen los nombres de quienes lo hicieron. Lo dirigieron Nelson Francis y Henry Kučera. Lo compilaron Anne Robb Taylor, Loretta Felice, Mary Lois Mackworth, Henry Hall Peyton Jr. y Robert Stout Jr. Andrew Mackay escribió el programa. Un millón de palabras. Alguien tuvo que escoger cada una de la página impresa y teclearla en la máquina.

En 1992, John Godfrey, Edward Holliman y Jane McDaniel publicaron un corpus de voz telefónica llamado Switchboard, centralita. Había unas dos mil cuatrocientas llamadas y quinientas cuarenta y tres personas. Por lo general, quienes hablaban no se conocían y hablaban de un tema asignado de antemano a partir de una lista. Dos desconocidos hablan por teléfono sobre un tema de la lista, se graba la charla y se le da a una máquina para que aprenda cómo habla la gente.

6. Árboles

De 1989 a 1992, la Universidad de Pensilvania elaboró un corpus anotado en inglés, el Penn Treebank. En el artículo de junio de 1993 ya tenía más de cuatro millones y medio de palabras, todas marcadas por su categoría gramatical. En más de la mitad se había dibujado además el armazón de las oraciones.

Primero intervenía la máquina y después la gente. Para marcar la categoría, un programa probabilístico que Kenneth Church había escrito en Bell Labs hacía una primera pasada y luego alguien corregía las etiquetas una por una. Para marcar la estructura de la oración, un analizador sintáctico producía primero un árbol y luego alguien lo corregía.

Al principio se hizo una comparación. Los cuatro anotadores tenían formación de posgrado en lingüística. Cada uno practicó primero quince horas de corrección de etiquetas de máquina y luego seis horas de etiquetado desde cero. Por cada mil palabras, etiquetar a mano desde el comienzo llevaba de media cuarenta y cuatro minutos; corregir las etiquetas de la máquina, veinte. Dibujar árboles era más lento. Después de varias semanas de práctica se avanzaban unos cientos de palabras por hora. Con un armazón simplificado, alguien experimentado podía hacer de setecientas cincuenta a más de mil por hora.

En la pantalla del anotador no había una oración desnuda. En el árbol del analizador quedaban fragmentos sueltos, con un signo de interrogación al lado. El anotador hacía clic junto al signo, arrastraba al nodo superior que correspondía y soltaba el fragmento para unirlo. Borraba lo que estaba mal; la interfaz volvía a ajustar la sangría. Las categorías se corregían en un editor de texto habitual entre programadores: poner el cursor sobre la palabra mal marcada, teclear la etiqueta correcta y dejar que el programa comprobara si se ajustaba a las reglas. Para saber qué anotar y cómo había dos manuales: el de categorías gramaticales de Beatrice Santorini, de 1990, y el de estructura de oraciones que escribió con Mary Ann Marcinkiewicz en 1991.

El artículo se presentaba como un proyecto de orientación estadística. Las personas que unían las oraciones ante la pantalla, signo de interrogación tras signo de interrogación, tenían formación en lingüística.

En junio de 1993, los árboles quedaron a disposición de los miembros de una organización llamada Linguistic Data Consortium.

En 1972, tres lingüistas dejaron aquel grupo. Veinte años después, los lingüistas estaban en el otro extremo. Dibujaban uno a uno los árboles de los que aprendería una máquina estadística.

7. Las pruebas

En febrero de 1991, en un taller de habla y lenguaje natural, Charles Wayne presentó dos programas a su cargo. Dividió el del habla en reconocimiento del habla con vocabulario amplio y comprensión del lenguaje hablado. El programa, escribió, «pone el acento en la evaluación objetiva del rendimiento».

El programa de 1971 a 1976 del décimo artículo se llamaba comprensión del habla. En 1991, reconocimiento y comprensión eran dos partes del mismo documento, escritas una junto a otra.

Se usaban varios conjuntos de pruebas compartidos. Uno, llamado Resource Management, recogía consultas y órdenes leídas en voz alta. Otro, el Sistema de Información para Viajes Aéreos, recogía consultas espontáneas. Para grabarlas, se pedía a los participantes que hablaran con un sistema de consulta de vuelos. Era una simulación, lo que entonces se llamaba del Mago de Oz. Detrás del telón respondía una persona. Para saber cómo habla la gente con una máquina, primero hubo que hacerla hablar con una persona que fingía ser una máquina.

Recibieron fondos diez instituciones, entre empresas, universidades y laboratorios nacionales, incluida Dragon Systems, de los Baker. El Instituto Nacional de Estándares y Tecnología de Estados Unidos preparaba y puntuaba las pruebas.

También se examinaba el lenguaje escrito. En la segunda conferencia de comprensión de mensajes, en 1989, se usaron despachos operativos de la Marina. En la tercera, en 1991, se usaron noticias traducidas y editadas por el Servicio de Información sobre Emisiones Extranjeras. La prueba consistía en que una máquina leyera un texto y llenara con los hechos una tabla de base de datos. También se evaluaba la traducción automática. Wayne especificó que había que hacerlo con «textos producidos de manera natural y no vistos previamente».

En julio de 2001, en el congreso de la Asociación de Lingüística Computacional en Toulouse, Michele Banko y Eric Brill, de Microsoft, presentaron «Escalar a corpus muy, muy grandes para desambiguar el lenguaje natural». Se examinaba algo pequeño. En inglés hay tres palabras con la misma pronunciación y distinta escritura: to, two y too, que aquí corresponden a hacia, dos y también. La máquina tenía que escoger la correcta en una oración. Probaron cuatro métodos de aprendizaje, uno de ellos el perceptrón del octavo artículo. Aumentaron el texto de entrenamiento de un millón a mil millones de palabras. El examen era un millón de palabras de The Wall Street Journal.

La curva siguió subiendo. A los mil millones de palabras aún no se aplanaba. Los autores añadieron enseguida una salvedad: «Aumentar los datos de entrenamiento no sale gratis». En la conclusión recomendaban dedicar más trabajo a construir corpus bien anotados y menos a comparar algoritmos en corpus pequeños. Luego se les adjudicó a menudo la frase de que más datos vencen a mejores algoritmos. La frase no está en el artículo.

8. Marcharse

Las afirmaciones del otro lado también tienen sus fechas.

En el segundo capítulo de Estructuras sintácticas, de 1957, Chomsky presenta dos secuencias. Una dice: «Las ideas verdes incoloras duermen furiosamente». La otra consiste en invertir el orden de las palabras del original inglés. Ninguna tiene sentido, pero en inglés la primera es gramatical y la segunda, no. Chomsky las usó para discutir si la gramaticalidad y la aproximación de un modelo estadístico sencillo eran lo mismo.

En 2000, Fernando Pereira publicó «Gramática formal y teoría de la información: ¿juntas otra vez?». Volvió a calcular las secuencias con un modelo estadístico sencillo entrenado en textos periodísticos. La secuencia gramatical resultó unas doscientas mil veces más probable que la invertida. En el resumen proponía volver a conectar dos tradiciones que durante cuarenta años se habían tenido a menudo por incompatibles: la lingüística formal de Chomsky y la teoría de la información de Shannon. El título acaba con una interrogación.

En 2011, en un debate del ciento cincuenta aniversario del MIT, Pinker preguntó a Chomsky qué opinaba de los modelos probabilísticos. Empezó contestando: «Ha habido algunos éxitos, pero también muchos fracasos». Después criticó que se tomara por éxito aproximarse a datos sin analizar. Ese mismo año, Norvig publicó una réplica titulada «Sobre Chomsky y las dos culturas del aprendizaje estadístico». En octubre, Church publicó «El péndulo se ha ido demasiado lejos». Los textos están uno junto a otro, cada uno con su propia posición.

Volvamos a la frase. La versión que prosperó sustituyó «un lingüista se marcha del grupo» por «yo despido a un lingüista». Cambiaron el verbo y el sujeto. Después del cambio, alguien toma la decisión en el chiste. Y de aquellas tres personas de 1972, Jelinek escribió que habían vuelto a sus grupos de origen.

No se cambió solo un verbo. La frase dice que alguien se marcha y la cifra sube. No dice de dónde salen las cifras. La máquina aprende a traducir con las actas parlamentarias, y cada línea francesa es obra de un traductor. Aprende a contar el inglés de libros y periódicos con un millón de palabras que varias personas en Brown escogieron y teclearon una por una. Aprende la estructura de las oraciones a partir de árboles que personas formadas en lingüística unieron en la pantalla signo de interrogación tras signo de interrogación. Aprende cómo habla la gente con las máquinas mientras, al otro lado, una persona finge ser una máquina.

El lenguaje se contó. Se contó lo que las personas habían escrito, traducido, anotado o dicho en voz alta. Esta serie llama remanente a lo que queda fuera por más que se calcule. Cada vez que sube la cifra, debajo está el trabajo de unas personas. Sus nombres, por lo general, no se transmiten con la cifra.

El título de la charla de Lisboa era «Algunos de mis mejores amigos son lingüistas».

Se siguen construyendo máquinas. Dónde queda el límite vuelve a decirlo cada generación.