Ley del ciclo del cincelado y la construcción · Serie sobre IA · 14

Quién inventó realmente la retropropagación

Han Qin · Unos 15 minutos · Publicado

1. Cuatro páginas

El 9 de octubre de 1986, el semanario británico Nature publicó un artículo de cuatro páginas: «Aprendizaje de representaciones mediante la retropropagación de errores». Iba firmado, en este orden, por David Rumelhart, Geoffrey Hinton y Ronald Williams.

La primera frase del resumen dice: «Describimos un nuevo procedimiento de aprendizaje, la retropropagación, para redes de unidades parecidas a neuronas». Nuevo es palabra de los propios autores.

A mitad de la explicación hay una aclaración: Parker ya había descubierto de forma independiente una variante del método, y LeCun, también por su cuenta, otra. En cuatro páginas están juntas dos cosas: la palabra nuevo y la frase también lo descubrieron de forma independiente.

Al final hay cuatro referencias: el libro de Rosenblatt, el de Minsky y Papert, un artículo en francés que LeCun había presentado el año anterior en París y el capítulo octavo de una obra en dos volúmenes que acababa de salir. Kelley, Bryson, Dreyfus, Linnainmaa y Werbos, nombres que aparecerán más adelante, no están entre las cuatro.

El artículo da varios experimentos pequeños. Uno es de simetría: hay seis interruptores, cada uno encendido o apagado, con sesenta y cuatro configuraciones posibles. La red debe decir si una configuración es simétrica de izquierda a derecha. Solo hay dos unidades entre la entrada y la salida. Un recorrido por las sesenta y cuatro configuraciones cuenta como una ronda. En el ejemplo se hicieron mil cuatrocientas veinticinco rondas. Otro experimento usa árboles genealógicos. En dos familias inventadas, se separa en relaciones quién es padre o tía de quién. Hay ciento cuatro relaciones. Se usan cien para entrenar la red y se reservan cuatro para ver si también es capaz de deducirlas. La red debe aprender relaciones entre personas. Las cuatro páginas dicen también que el método no garantiza encontrar el mejor conjunto de números.

2. Propagar hacia atrás

Por entonces había otra red, de Terrence Sejnowski y Charles Rosenberg, que aprendía a leer inglés en voz alta. Se llamaba NETtalk, algo así como «la red habla». Miraba siete letras a la vez, como por una ventanita de siete casillas. Tenía que responder cómo se pronunciaba la letra del centro. Después se desplazaba la ventana una casilla. Había doscientas tres unidades de entrada, ochenta en medio y veintiséis de salida, conectadas por más de dieciocho mil números ajustables. La red no emitía sonido, sino códigos para fonemas y acentos. Solo después de pasar los códigos a un sintetizador de voz de DEC salía un sonido audible.

En su informe técnico explican cómo se hacen los ajustes: «Después de cada palabra se ajustan los pesos según lo cerca que esté la pronunciación calculada de la pronunciación correcta». Los pesos son los más de dieciocho mil números ajustables. La influencia de una unidad sobre la siguiente depende del número que hay entre ellas.

Las cuatro páginas de Nature describen este orden. Se empieza en la entrada y se calcula, capa por capa, el estado de las unidades. En la última capa, se compara el resultado con la respuesta que debía salir. La diferencia es el error. Se empieza entonces en la capa de salida y se calcula hacia atrás, capa por capa, en qué sentido y cuánto cambiaría el error final si se modificara un poco cada número interno. Después se ajustan los números con el paso fijado. Lo que vuelve hacia atrás no es la misma diferencia numérica.

Hay algo que no está en la red: la pronunciación correcta. Se le da de antemano. Cada cambio acerca la red a esa respuesta previa. En el experimento genealógico, las respuestas procedían de quienes inventaron las familias. En el de simetría, quienes plantearon la tarea fijaron qué contaba como simétrico.

3. Trayectorias de vuelo

En mayo de 1960, la American Rocket Society celebró en Los Ángeles su reunión semestral. Henry Kelley, de Grumman Aircraft Engineering, leyó un trabajo titulado «Teoría del gradiente de las trayectorias de vuelo óptimas».

Calculaba cómo podía volar mejor una aeronave: cómo aprovechar sus prestaciones al máximo, cómo pasar de una órbita a otra y cómo llegar en el menor tiempo posible. Había restricciones todo el camino y la aeronave debía respetar su propia dinámica. Llamaba al método gradient method y también steepest descent, descenso más pronunciado: ir en la dirección en que algo baja más deprisa. En el artículo no hay redes ni se habla de aprendizaje.

En abril de 1961 hubo en Harvard un simposio sobre computadoras digitales y sus aplicaciones. Arthur Bryson presentó «Un método de gradiente para optimizar procesos de asignación en varias etapas». La asignación en varias etapas consiste en dividir algo en pasos y decidir el reparto de cada uno para obtener el mejor resultado en conjunto. Ocho años después, Bryson publicó con Yu-Chi Ho Control óptimo aplicado. Quienes escribieron luego la prehistoria del método pusieron el libro junto al trabajo de Kelley.

En 1962, una revista de matemáticas publicó «Solución numérica de problemas variacionales», de Stuart Dreyfus. En estos problemas también se busca el mejor camino entre muchos posibles. Quienes ordenaron más tarde esa prehistoria dicen que el trabajo organizaba el gradiente de atrás hacia delante con la sola regla de la cadena. Es una regla del cálculo: cuando una cantidad influye en otra a través de varias etapas, la influencia total se obtiene multiplicando las de cada etapa.

Stuart Dreyfus ya apareció en el undécimo artículo. Está en los agradecimientos del memorando de RAND de 1965 y es hermano menor de Hubert Dreyfus. Más de veinte años después escribirían libros y artículos juntos. Un trabajo matemático que el hermano del filósofo de lo que no pueden hacer las computadoras escribió en 1962 acabaría en esta línea de la historia.

Vuelo, asignación y cálculo variacional. En las tres tareas se buscaba el mejor camino entre muchos posibles. Entonces el método se llamaba gradiente; lo que buscaba eran trayectorias. Nadie lo llamaba aprendizaje.

4. Error de redondeo

En junio de 1967, Shun'ichi Amari publicó en una revista de computación electrónica «Una teoría de los clasificadores adaptativos de patrones». Llamó descenso probabilístico a una clase de ajustes y trató también el descenso más pronunciado. Su campo eran la clasificación de patrones y la estadística. Buscaba cómo podía la máquina clasificar lo que recibía.

En 1970, Seppo Linnainmaa presentó en la Universidad de Helsinki su tesis de maestría. La escribió en finés. El título, traducido, era «El error acumulado de redondeo de un algoritmo como desarrollo de Taylor de los errores locales de redondeo».

Una computadora dispone de un número finito de cifras al calcular. A veces redondea el resto hacia abajo o hacia arriba. Linnainmaa buscaba un modo practicable de calcular cómo se acumulan esas pequeñas diferencias en el resultado final de una cadena larga. Su objeto era un programa de cálculo cualquiera, no una red. La tesis no habla de redes neuronales ni usa el nombre retropropagación. Después, quienes trabajaban en diferenciación automática llamaron a esa familia de métodos acumulación inversa. El nombre no existía cuando escribió la tesis.

5. La palabra aprendizaje

En 1974, Paul Werbos presentó en Harvard la tesis doctoral Más allá de la regresión: nuevas herramientas de predicción y análisis en las ciencias del comportamiento. Trabajaba en las ciencias del comportamiento y le interesaba predecir. En la tesis llamaba retroalimentación dinámica al procedimiento eficiente de diferenciación.

En la página veintidós del segundo capítulo se habla de «las funciones correspondientes a las neuronas del modelo». La frase siguiente dice: «La forma más fácil de calcular estas derivadas es recurrir sin más a la retroalimentación dinámica». La tesis habla después del cerebro y de la idea de transmitir las derivadas hacia atrás.

En 1981, Werbos presentó «Aplicaciones de los avances en el análisis de sensibilidad no lineal» en un encuentro de modelado y optimización de sistemas en Nueva York. Según quienes han escrito la prehistoria del método, esta vez lo aplicó de manera explícita a redes neuronales.

En 1982, la oficina de licencias tecnológicas de Stanford recibió una declaración de invención titulada «Lógica del aprendizaje», de David Parker. En aquella oficina, un método para calcular derivadas era una invención pendiente de licencia. En 1985, Parker publicó un informe técnico en un centro de investigación informática para las ciencias económicas y de gestión del MIT. El título era más largo: «Lógica del aprendizaje: fundir la corteza cerebral humana en silicio».

En 1985 se celebró en París el encuentro de ciencias cognitivas Cognitiva 85. El título del artículo en francés que presentó Yann LeCun se traduce como «Un procedimiento de aprendizaje para redes asimétricas de umbral».

Hacia septiembre de 1985, en San Diego, Rumelhart, Hinton y Williams publicaron un informe técnico numerado, «Aprendizaje de representaciones internas mediante propagación de errores». Al año siguiente fue el título del capítulo octavo de los dos volúmenes, sin cambiar una palabra. Allí llamaron a la regla de ajuste regla delta generalizada. En Nature, la propagación de errores del título se volvió retropropagación de errores.

Pongamos en fila algunos nombres de entonces: método de gradiente, descenso más pronunciado, descenso probabilístico, retroalimentación dinámica, lógica del aprendizaje, procedimiento de aprendizaje, propagación de errores, regla delta generalizada, retropropagación. No hay acuerdo sobre cuáles designan exactamente lo mismo.

Se ve un corte claro. En la empresa aeronáutica, se buscaban trayectorias. En Helsinki, se buscaba medir errores. En las ciencias del comportamiento de Harvard, se buscaban predicciones. La palabra aprendizaje apareció al meter el método en una red de unidades parecidas a neuronas: lógica del aprendizaje en 1982, procedimiento de aprendizaje y aprendizaje de representaciones internas en 1985, nuevo procedimiento de aprendizaje en 1986. Una aritmética parecida, cuando trata trayectorias, se llama optimización; cuando trata errores, análisis; en una red se llama aprendizaje.

La cuestión de si una máquina aprende o no marca un límite en esta serie desde la máquina de damas de Samuel, en el séptimo artículo. Esta vez el límite cayó sobre una aritmética que calcula derivadas hacia atrás. Lo que la hizo cruzar fue un nombre.

6. Dos volúmenes

En julio de 1986, MIT Press publicó los dos volúmenes de Procesamiento distribuido en paralelo: exploraciones en la microestructura de la cognición. El primero llevaba por subtítulo Fundamentos; el segundo, Modelos psicológicos y biológicos. El primero estaba firmado por Rumelhart, McClelland y el grupo de investigación de procesamiento distribuido en paralelo. En el segundo, McClelland iba primero.

El libro se vendió deprisa. La primera tirada, de seis mil ejemplares, se agotó antes de que saliera oficialmente. Dos años después se calculaba que había unos treinta mil en circulación. Los dos números los anotaron los hermanos Dreyfus en «Construir una mente o modelar un cerebro», el artículo de 1988 que vimos en el undécimo de esta serie. Stuart Dreyfus ha aparecido aquí dos veces: con el trabajo matemático de 1962, integrado después en la prehistoria del método, y junto a su hermano en 1988, contando los ejemplares de la obra.

El 4 de enero de 1987, The New York Times reseñó la obra bajo el título «Las conexiones de la cognición». El mismo año hubo reseñas en Science y en Nature, donde se tituló «¡Solo conectar!». El 12 de junio la reseñó también The Times Literary Supplement. Un libro sobre cómo una red puede ajustar por sí misma sus representaciones internas había llegado a las páginas de crítica de los periódicos.

Por entonces no había un solo nombre para aquella línea. El libro decía procesamiento distribuido en paralelo. También se hablaba de conexionismo, computación neuronal e investigación sobre redes neuronales. Más tarde se impuso conexionismo.

En 1988, McClelland y Rumelhart publicaron un manual con modelos, programas y ejercicios en el título. Al final venían dos disquetes con los programas de las redes. Quien compraba el libro podía meter los discos en su computadora personal y poner en marcha una red en su propia mesa, retropropagar errores y ajustar una ronda tras otra.

7. En su forma actual

La última sección de las cuatro páginas de Nature empieza así: «Este procedimiento de aprendizaje, en su forma actual, no es un modelo verosímil del aprendizaje en el cerebro».

Continúa diciendo que, aplicado a varias tareas, muestra que al bajar por el gradiente se obtienen representaciones internas interesantes. Merece la pena buscar entonces métodos de descenso por gradiente biológicamente más verosímiles para redes neuronales. El artículo que anunciaba un nuevo procedimiento de aprendizaje traza al final un límite: se llama aprendizaje, pero en su forma actual no es el aprendizaje del cerebro. El límite lo pusieron los autores.

El 12 de enero de 1989, Nature publicó un comentario de Francis Crick, «El reciente entusiasmo por las redes neuronales». Era uno de quienes habían descubierto la estructura de doble hélice del material genético. La última frase del resumen dice: «Por desgracia, la mayoría de estas redes neuronales no son realistas en varios aspectos importantes».

Por entonces había también otra discusión. En 1988, el volumen veintiocho de Cognition publicó dos artículos largos. Fodor y Pylyshyn preguntaban si una red así podía explicar la composicionalidad del pensamiento: quien puede pensar que Juan ama a la muchacha también puede pensar que la muchacha ama a Juan. Pinker y Prince, en más de ciento veinte páginas, se centraban en un modelo de los dos volúmenes que aprendía el pasado de los verbos ingleses. Preguntaban cómo representaba, con qué material se entrenaba, cómo generalizaba y si podía explicar las reglas de la lengua. Aquel mismo año se publicó la edición ampliada del libro de Minsky y Papert del octavo artículo. El epílogo examinaba también el nuevo método de ajuste.

Se trata de límites distintos. Los autores decían que el método en su forma actual no era el aprendizaje del cerebro. Crick decía que las redes diferían del cerebro real en aspectos importantes. Fodor y sus colegas preguntaban si podían explicar la estructura del pensamiento. Se trazan tres límites en tres sitios y se hacen tres preguntas.

Ese mismo 1989, el método ya se utilizaba para trabajar. Yann LeCun y seis colegas de Bell Labs publicaron «Retropropagación aplicada al reconocimiento de códigos postales manuscritos» en el cuarto número del primer volumen de Neural Computation, que acababa de fundarse. Los datos eran imágenes de dígitos de dieciséis por dieciséis puntos en escala de grises: nueve mil doscientas noventa y ocho, de las cuales siete mil doscientas noventa y una sirvieron para entrenar y dos mil siete quedaron para la prueba. Los dígitos, dice el artículo, «aparecían en correspondencia estadounidense que había pasado por la oficina postal de Buffalo, Nueva York». No se dice quién los había escrito.

En Carnegie Mellon, Dean Pomerleau hizo una red capaz de conducir siguiendo la carretera y la instaló en el vehículo experimental autónomo de la universidad. La imagen de la cámara entraba como treinta por treinta y dos puntos, tomando el brillo del canal azul. Había veintinueve unidades en medio y cuarenta y cinco direcciones de salida, de giro brusco a la izquierda a giro brusco a la derecha, pasando por seguir recto. Se la entrenó principalmente con imágenes de carreteras simuladas y después se la probó en caminos reales. El artículo dice que podía seguir la carretera en ciertas condiciones de campo.

Leer inglés en voz alta, reconocer los números de un sobre, seguir una carretera. Las pruebas medían si pronunciaba bien, si reconocía bien y si el vehículo seguía en el camino. Ninguna examinaba cuánto se parecía a un cerebro.

8. De manera independiente

La prioridad del descubrimiento sigue en disputa. Quien más ha insistido en ella es Jürgen Schmidhuber. Desde 2014 ha publicado sucesivas versiones de la cronología en su página. En 2020 volvió a presentarla como conmemoración de medio siglo, con el título «¿Quién inventó la retropropagación?». Según él, el estudiante finlandés Linnainmaa publicó por primera vez la forma moderna en 1970; el trabajo de Kelley de 1960 fue precursor; después vienen Bryson, Stuart Dreyfus, Werbos, Parker, LeCun y el grupo de Rumelhart, uno por uno. Pidió públicamente a los tres premiados después con el Turing que respondieran a cada punto de la lista.

Por su parte, un reportaje de abril de 2020 recogió una respuesta de Hinton en un foro: «Nunca he afirmado que yo inventara la retropropagación. David Rumelhart la inventó de forma independiente después de que gente de otros campos ya la hubiera inventado». Según Hinton, la aportación de su grupo fue mostrar con claridad que el método podía aprender representaciones internas interesantes y llamar la atención de mucha gente sobre él.

El 8 de octubre de 2024, el Nobel de Física se concedió a John Hopfield y Geoffrey Hinton por descubrimientos e invenciones fundamentales que permiten el aprendizaje automático con redes neuronales artificiales. Las tres afirmaciones tienen lugares distintos. Están una junto a otra.

La palabra independiente se ha aplicado dos veces. En 1986, en las cuatro páginas de Nature, se aplicaba a Parker y LeCun: el método era nuevo y otras dos personas también habían descubierto por su cuenta variantes. Nuevo era el texto principal; independiente, la nota de paso. En 2020, en la respuesta de Hinton, se aplicaba a Rumelhart: en otros terrenos se había inventado antes, y él lo inventó después por su cuenta. Entonces la prioridad era de otros, y la independencia se decía del propio lado. En treinta y cuatro años, una misma palabra cambió de sitio. La movió uno de los firmantes.

Lo que más se transmite es otra frase: en 1986 tres personas inventaron la retropropagación y consiguieron que la máquina aprendiera como el cerebro.

Para decirlo así hay que quitar dos cosas. Una es el «también lo descubrieron de forma independiente» de la mitad del artículo, junto con los lugares que no aparecen en las referencias: la empresa aeronáutica, el simposio de Harvard, la revista matemática, la tesis de maestría de Helsinki y la oficina de licencias de Stanford. Otra es el «en su forma actual» del final, junto con la afirmación entera de que no era un modelo del aprendizaje del cerebro. Las dos cosas son salvedades y no sostienen el relato. Al quitarlas quedan un invento, tres inventores y una máquina que se parece al cerebro.

Hay otra cosa que no entra en el relato, se recorte o no.

En los experimentos de este artículo, el error mide a qué distancia está la salida de la máquina de lo correcto. Alguien ha dado antes la pronunciación, el dígito, la dirección en que hay que girar o quién es tía de quién en el árbol genealógico. El cálculo hacia atrás no decide por sí solo qué significa correcto. Hay otros métodos de aprendizaje en los que nadie tiene que dar la respuesta uno por uno, pero aun así hace falta un criterio que diga hacia dónde ajustar la red. En esta serie se llama remanente a lo que sigue quedando fuera.

Cada uno de los más de nueve mil dígitos de la oficina postal de Buffalo salió de una mano. No consta a quién pertenecían esas manos. Al escribir los números, solo querían que una carta llegara a su destino.

Se siguen construyendo máquinas. Dónde queda el límite vuelve a decirlo cada generación.