Ley del ciclo del cincelado y la construcción · Serie sobre IA · 19

Un título pensado en cinco segundos: Attention Is All You Need

Han Qin · Unos 11 minutos · Publicado

1. Compañía

En 1954, el lingüista Zellig Harris escribió en «Estructura distribucional» que las diferencias de significado guardan relación con las diferencias de distribución. Distribución quiere decir con qué otras palabras aparece una palabra. En 1957, el lingüista británico J. R. Firth lo dijo con más gracia: «¡Conocerás una palabra por las compañías que frecuenta!». En chino circuló después otra versión: el sentido de una palabra lo decide su contexto.

Pasaron muchos años antes de que una máquina se sirviera de la idea. En 2003, Bengio y tres colegas publicaron «Un modelo neuronal probabilístico de lenguaje». Hicieron que la máquina sustituyera cada palabra por una serie de números, un vector distribuido de características, que se aprendía a la vez que la capacidad de predecir la palabra siguiente.

En enero de 2013, Tomáš Mikolov y otros tres autores de Google publicaron la versión preliminar de «Estimación eficiente de representaciones de palabras en un espacio vectorial». Escribieron que habían aprendido vectores de palabras de buena calidad a partir de un texto de mil seiscientos millones de palabras «en menos de un día». En un segundo trabajo, en octubre, añadieron varios recursos para ahorrar tiempo y entrenaron con textos de Google Noticias. El enfoque se difundió con el nombre de un programa: word2vec.

Una palabra se convierte en una serie de cientos de números. Si dos palabras suelen ir con las mismas compañeras, sus números quedan cerca. Gato queda cerca de perro y lunes, de martes. La serie almacena con quién suele estar gato. Lo que decían Harris y Firth se ha convertido aquí en aritmética.

2. El rey

En junio de 2013, en el resumen de un trabajo presentado en un congreso, Mikolov y dos colegas dieron un ejemplo: al vector de rey se le resta el de hombre y se le suma el de mujer; el vector obtenido queda «muy cerca» del de reina.

Lo que circuló después fue una igualdad: rey menos hombre más mujer es igual a reina. En el programa que Google publicó aquel año, las líneas que resolvían la analogía llevaban una regla: ninguna de las tres palabras de la pregunta podía ser la respuesta. En 2019, tres investigadores de los Países Bajos e Italia publicaron un artículo de título parecido a una de esas analogías: «Hombre es a médico como mujer es a médico». Señalaron que, con la regla, algunas de las respuestas más razonables no podían aparecer. Si se quitaba, lo que quedaba más cerca del punto calculado era a menudo una de las palabras de la pregunta.

En 2016, otro grupo publicó un artículo que también llevaba una analogía por título: «¿Hombre es a programador como mujer es a ama de casa?». Usaron representaciones vectoriales entrenadas con Google Noticias. El resumen decía que los vectores «presentan estereotipos de género en un grado inquietante». Su propuesta era encontrar primero la dirección que representaba el género dentro del espacio vectorial y quitar de ese eje la componente de las palabras que no debían distinguir por género. Se conservaba el vínculo que sí correspondía, como el de reina y mujer.

Los vectores se aprendieron de las noticias. Las noticias las escribieron personas. Las compañías que aprendió la máquina tienen la forma que dejaron las maneras de hablar de esas personas en millones de artículos.

3. Alineación

En 2014 se usaron vectores de palabras para traducir.

En septiembre, Sutskever y dos colegas de Google publicaron «Aprendizaje de secuencia a secuencia con redes neuronales». Una red leía la oración original, palabra por palabra, y la convertía en una serie de números de longitud fija. Otra red partía de los números para escribir la traducción, palabra por palabra. También observaron que leer la oración original en orden inverso daba mejores resultados. En el verano de ese año, el grupo de Bengio en la Universidad de Montreal había hecho una red parecida, en dos partes.

Convertir una oración entera en una serie de longitud fija era, cuando la oración crecía, como meter un párrafo largo en una caja pequeña.

También en Montreal, el joven Dzmitry Bahdanau, otro investigador del grupo y Bengio publicaron el 1 de septiembre de 2014 una primera versión de «Traducción automática neuronal mediante el aprendizaje conjunto de la alineación y la traducción». Alinear es averiguar qué palabra de la traducción corresponde a cuál del original. Cada vez que la segunda red escribía una palabra, volvía a mirar todas las del original, asignaba a cada una un peso y hacía que la suma fuera uno. Combinaba con esos pesos la información de las distintas partes de la oración para escribir esa palabra.

Al explicar este paso, el artículo dice: «Intuitivamente, esto implementa un mecanismo de atención en el decodificador». El decodificador era la red que escribía la traducción.

4. El nombre

El título no decía atención. Decía alineación y traducción. Años después, Bahdanau explicó en una carta el origen del nombre. Primero había llamado a la arquitectura RNNsearch, búsqueda con una red recurrente. «El nombre mejor, atención, no lo añadió Yoshua hasta una de las últimas rondas de revisión». Yoshua era Bengio. Karpathy, el del decimosexto artículo, publicó luego la carta con permiso de Bahdanau. La palabra venía de la psicología. Al comenzar el capítulo sobre la atención en sus Principios de psicología, de 1890, William James escribió: «Todo el mundo sabe qué es la atención».

Un año antes de Bahdanau, en agosto de 2013, Alex Graves había hecho una red para escribir a mano. Mientras el programa trazaba una letra tras otra, una ventana que se desplazaba decidía qué letras del texto correspondía mirar. La llamó ventana blanda. Bahdanau y sus colegas citaron el artículo y señalaron el parecido. De un trabajo anterior, Schmidhuber ha dicho que sus pesos rápidos de 1991 eran formalmente equivalentes a una clase simplificada de atención posterior.

Un mismo mecanismo tuvo varios nombres: ventana blanda, alineación, búsqueda, atención. Quedó el que se añadió al final, el que en la frase llevaba delante «intuitivamente».

5. Líneas azules

El 26 de septiembre de 2016, Google publicó un informe técnico largo sobre su sistema de traducción automática neuronal. La segunda parte del título decía «Cerrar la brecha entre la traducción humana y la automática». Al día siguiente, el blog de la empresa anunció que todas las traducciones de chino a inglés en el móvil y la web ya usaban el sistema, unos dieciocho millones de veces al día. El primer par de lenguas en cambiar fue del chino al inglés.

La parte del sistema que escribía la traducción volvía también al original cada vez que escribía una palabra. En el blog había una figura: de un lado, las palabras chinas; del otro, las inglesas. Unas líneas azules las unían. La intensidad de cada línea mostraba cuánta atención se había puesto en la palabra china al escribir esa palabra inglesa. La atención tenía así una forma que cualquiera podía ver.

El informe incluía una evaluación humana. Para una misma oración inglesa, se mostraban cuatro traducciones francesas: la del sistema anterior, basado en frases; las de dos sistemas nuevos, y una referencia traducida por una persona. De un máximo de seis puntos, las medias eran 3,87, 4,46, 4,44 y 4,82. El resumen aclaraba que se había medido «un conjunto de oraciones sencillas y aisladas». El último párrafo del blog decía que la máquina aún omitía palabras, traducía mal nombres propios y palabras poco frecuentes y no tenía en cuenta el contexto. Añadía: «Esto no resuelve, ni mucho menos, la traducción automática».

6. Ocho personas

El 12 de junio de 2017, ocho personas publicaron un artículo, Attention Is All You Need.

Las firmas iban en este orden: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser e Illia Polosukhin. Una nota al pie de la primera página decía: «Contribución igual; el orden de las firmas es aleatorio». Después explicaba qué había hecho cada uno: Uszkoreit propuso sustituir la red recurrente por autoatención; Vaswani y Polosukhin diseñaron e implementaron el primer modelo; Shazeer propuso varios algoritmos decisivos; Parmar probó y ajustó muchas variantes; Jones se ocupó del código inicial y la visualización, y Kaiser y Gomez escribieron las herramientas para ejecutar los experimentos.

Llamaron Transformer a la arquitectura. El resumen decía que se basaba «solo en mecanismos de atención», sin recurrencia ni convolución. La red de la sección anterior leía una palabra tras otra. Al leer el original, Transformer permite que cada posición mire en paralelo las distintas partes de la oración y establezca sus pesos. Al escribir la traducción, no ve las palabras que aún no ha escrito. Sigue habiendo otras capas de procesamiento. De lo que se prescinde es de aquellas dos maneras de transmitir información.

Dos meses después, el blog de Google puso un ejemplo para el público. «El animal no cruzó la carretera porque estaba demasiado cansado». «El animal no cruzó la carretera porque era demasiado ancha». En la primera frase, el pronombre inglés it se refiere al animal; en la segunda, a la carretera. En francés, animal y carretera tienen géneros distintos, y cambia la traducción del pronombre. Según el blog, el nuevo modelo tradujo bien las dos. El diagrama del codificador muestra que, al leer it en el original, daba más peso a animal en la primera y a carretera en la segunda.

Entrenaron durante tres días y medio en ocho tarjetas gráficas Nvidia P100. El artículo presentaba traducción de inglés a alemán y a francés, y análisis sintáctico de inglés. En la conclusión escribieron que les entusiasmaba el futuro de los modelos basados en atención y que querían llevarlos más allá del texto, a las imágenes, el sonido y el vídeo.

En 2024, Jones dijo a un periodista de Wired que el título era una variación de All You Need Is Love, de los Beatles. Se le ocurrió una noche, a pocos días del plazo: «De verdad fueron cinco segundos». El 6 de diciembre de 2017, el artículo tuvo un póster en la sesión de la noche de NIPS, en Long Beach, California. Varios de los autores recordaron que hubo gente durante cuatro horas. A las diez y media de la noche todavía había un corro y el personal de seguridad acabó pidiendo que se fueran. En 2024, los ocho habían salido de Google. Algunos fundaron empresas y otros se fueron a trabajar a otros sitios.

7. Nombres cortos

En 2018, los resultados salieron uno detrás de otro, con nombres cortos.

En febrero, un grupo del Instituto Allen de Inteligencia Artificial y la Universidad de Washington presentó ELMo. En junio, OpenAI publicó «Mejorar la comprensión del lenguaje mediante el preentrenamiento generativo». Primero entrenaron un Transformer de doce capas para continuar texto no anotado en grandes cantidades. Luego lo usaron en tareas concretas. Más tarde el modelo se llamó GPT; por entonces las tres letras iban separadas, al comienzo de tres palabras del título en inglés. En octubre, Google publicó BERT. La variante pequeña se entrenó con cuatro TPU en la nube, y la grande, con dieciséis, unos cuatro días cada una. ELMo y BERT resultan ser nombres de personajes de Barrio Sésamo.

El artículo de GPT decía que el modelo había aprendido de un corpus de libros que contenía más de siete mil «libros nunca publicados», de aventuras, fantasía, romance y otros géneros. El corpus venía de otro artículo, de 2015, que lo llamaba BookCorpus y decía que contenía 11.038 «libros gratuitos de autores que aún no habían publicado», recogidos en internet.

En 2021, dos investigadores prepararon en retrospectiva una ficha del corpus. Encontraron que se habían recogido los libros automáticamente y en bloque de un sitio de autopublicación, Smashwords. Se reunieron enlaces a libros electrónicos gratuitos, se descargaron los libros y se pasaron a texto sin formato. Una conclusión decía: «Los autores no dieron su consentimiento explícito».

En abril de 2018, investigadores de la Universidad de Nueva York y otras instituciones hicieron un examen, GLUE, con nueve tareas de comprensión del lenguaje. El resultado humano, de unos ochenta y siete puntos, se obtuvo reuniendo las puntuaciones de las personas que hicieron cada tarea según las reglas de la prueba. En octubre, BERT obtuvo 80,5. A mediados de 2019 ya se anunciaban puntuaciones de máquinas por encima de aquella línea.

8. Atención

En 1890, James decía que todo el mundo sabía qué era la atención. En 2014 se añadió la palabra a un artículo sobre traducción, con «intuitivamente» delante. En 2016 se la dibujó con líneas azules. En 2017 entró en un título: Attention Is All You Need. Después se dijo que la máquina también tenía atención. En el camino cayó «intuitivamente».

En estos artículos, la atención es un conjunto de pesos que suman uno. Al escribir una palabra, esos pesos deciden a qué palabras del original mirar. Se aprenden a partir de textos: mil seiscientos millones de palabras, Google Noticias, oraciones bilingües traducidas por personas, más de siete mil libros inéditos. Todo lo escribieron o lo tradujeron personas.

También hay personas detrás de la línea en el examen. La traducción de referencia que obtuvo 4,82 la escribió una persona. Los ochenta y siete de GLUE salieron de gente que contestaba una tarea tras otra. Contra su trabajo se midieron las puntuaciones de las máquinas.

El animal estaba demasiado cansado y la carretera era demasiado ancha. Las dos frases las escribió alguien de Google para explicar el mecanismo. Sabía qué estaba cansado y qué era ancho, y por eso pudo formular la pregunta.

La atención humana es dónde pone una persona el tiempo limitado que tiene. Quienes escribieron los libros, tradujeron las actas parlamentarias o se sentaron a puntuar traducciones pusieron su atención en sus libros, en sus traducciones o en la oración que tenían delante. La máquina aprendió de los rastros que dejó esa atención. Esta serie llama remanente a lo que sigue quedando fuera por más que se aprenda.

Se siguen construyendo máquinas. Dónde queda el límite vuelve a decirlo cada generación.