1. Cuatro nombres
En julio de 2006 aparecieron casi a la vez dos artículos. Uno salió en el séptimo número del volumen dieciocho de Neural Computation. Era de Geoffrey Hinton, Simon Osindero y Yee-Whye Teh y se titulaba «Un algoritmo rápido de aprendizaje para redes de creencia profundas». El resumen describía un algoritmo rápido y voraz que podía aprender redes de creencia dirigidas y profundas, capa por capa. Enseguida ponía una condición: «Siempre que las dos capas superiores formen una memoria asociativa no dirigida».
El otro, de Hinton y Ruslan Salakhutdinov, salió en Science el 28 de julio: «Reducción de la dimensionalidad de los datos con redes neuronales». Primero se preentrenaba una red de varias capas, capa por capa. Luego se afinaba con la retropropagación de errores del decimocuarto artículo. En el título se leía, sin rodeos, redes neuronales.
En el invierno de ese año, en la conferencia de sistemas de procesamiento de información neuronal, conocida como NIPS, el grupo de Yoshua Bengio de la Universidad de Montreal presentó «Entrenamiento voraz de redes profundas capa por capa». El resumen empezaba por las redes neuronales profundas de varias capas y, al hablar de la dificultad, decía que optimizar por gradiente desde un punto inicial aleatorio «parece llevar a menudo» a malas soluciones. Parece y a menudo estaban los dos. En el mismo congreso, el grupo de Yann LeCun de la Universidad de Nueva York presentó «Aprendizaje eficiente de representaciones dispersas con un modelo basado en la energía». El título no decía profundo.
Cuatro artículos, cuatro expresiones: redes de creencia profundas, redes neuronales, redes profundas, representaciones dispersas. Aquel año no había un nombre común.
Tampoco era nueva aquel año la expresión aprendizaje profundo en la literatura del aprendizaje automático. En agosto de 1986, en el congreso anual de la asociación estadounidense de inteligencia artificial, Rina Dechter presentó un trabajo sobre problemas de satisfacción de restricciones, «Aprender mientras se busca». Allí hablaba de aprendizaje profundo en contraste con el superficial. La profundidad era hasta dónde se registraban los conflictos durante la búsqueda. No tenía que ver con redes de varias capas.
No es la primera vez en la serie que un adjetivo aparece primero en otro terreno y después se usa para nombrar otra cosa.
2. Aquellos años
En 2004, Hinton y varios colaboradores consiguieron un proyecto nuevo en el Instituto Canadiense de Investigación Avanzada. Se llamaba Computación Neuronal y Percepción Adaptativa. Participaban Bengio y LeCun. Hinton lo dirigió hasta 2013. En agosto de 2006, el proyecto organizó una escuela de verano en Toronto.
En diciembre de 2007 hubo en Vancouver un encuentro que se llamaba Taller de Aprendizaje Profundo de NIPS 2007. El título de la charla de Hinton figura en citas posteriores como «Cómo hacer retropropagación en el cerebro». En el decimocuarto artículo vimos que el de 1986 concluía que el método, en su forma de entonces, no era un modelo del aprendizaje cerebral. Veintiún años después, la misma persona hablaba en un taller de aprendizaje profundo de cómo hacer que ocurriera en el cerebro.
El nombre fue creciendo poco a poco. En 2009, en el título de un trabajo del grupo de Andrew Ng en Stanford apareció aprendizaje profundo no supervisado. En 2011 hubo un taller llamado Aprendizaje profundo y aprendizaje no supervisado de características, que se proponía reunir a quienes se interesaban por ambos. En 2012, un artículo de Google hablaba en el cuerpo del texto de aprendizaje no supervisado de características y aprendizaje profundo. Ese mismo año, el título de un estudio del reconocimiento del habla decía redes neuronales profundas.
LeCun bromeó más tarde con que eran la supuesta conspiración del aprendizaje profundo. Contó que en 2011 CVPR había rechazado un artículo que al año siguiente aceptó ICML. Antes se habían rechazado muchos trabajos con redes convolucionales.
3. La tarjeta gráfica
La tarjeta gráfica se había hecho para dibujar imágenes. En febrero de 2007, Nvidia lanzó unas herramientas de programación llamadas CUDA, con las que los programas dedicados a otros cálculos podían usar las tarjetas gráficas sin dar un rodeo por la interfaz gráfica.
En junio de 2009, Andrew Ng y sus estudiantes Rajat Raina y Anand Madhavan publicaron «Aprendizaje profundo no supervisado a gran escala con procesadores gráficos». En las diapositivas indicaron la tarjeta que habían usado: una Nvidia GTX 280, con un gigabyte de memoria gráfica, doscientos cuarenta núcleos y un precio entonces de unos doscientos cincuenta dólares. Frente a una computadora corriente de dos núcleos, el entrenamiento de una red fue setenta y dos veces más rápido; el de otra, unas quince veces. Cada capa de una red de varias capas se podía entrenar en alrededor de un día.
Cerca de Lugano, en Suiza, hay un instituto de inteligencia artificial llamado IDSIA. En 2010, Dan Cireșan, Jürgen Schmidhuber y sus colegas pasaron la retropropagación corriente a tarjetas gráficas y obtuvieron treinta y cinco errores por cada diez mil dígitos manuscritos. En julio de 2011, escribieron en un artículo de IJCAI que con las tarjetas gráficas se podían entrenar redes convolucionales grandes en días, no en meses.
Ese año ganaron un concurso de reconocimiento de señales de tráfico alemanas, con más de cincuenta mil imágenes. Su error fue del 0,56 %; el de las personas usadas como referencia, del 1,16 % de media. En 2012 ganaron otros dos: uno sobre separar estructuras neuronales en imágenes de microscopía electrónica y otro sobre detectar células en división en cortes de tejido de cáncer de mama.
4. Dos tarjetas gráficas
A las veintitrés horas de Greenwich del 30 de septiembre de 2012 vencía el plazo de aquel año del concurso de reconocimiento visual del decimosexto artículo. Tres personas de la Universidad de Toronto entregaron las respuestas con el nombre de SuperVision: Alex Krizhevsky, Ilya Sutskever y Geoffrey Hinton. Su red tenía sesenta millones de parámetros, seiscientas cincuenta mil neuronas, cinco capas convolucionales y tres totalmente conectadas. Más tarde se la llamó AlexNet, por el primer autor.
Para entrenarla usaron dos tarjetas gráficas Nvidia GTX 580 de tres gigabytes cada una. La red no cabía entera en la memoria de una sola. La partieron en dos y pusieron una mitad en cada tarjeta. Algunas capas permitían que las tarjetas se pasaran información. Un entrenamiento llevaba cinco o seis días.
En 2023, Hinton le contó a un periodista de The New Yorker dónde estaban las tarjetas: «Las dos tarjetas gráficas estaban zumbando en su dormitorio». En el mismo relato dijo que la electricidad no había salido barata y que la pagaron los padres de Krizhevsky.
SuperVision combinó las predicciones de siete redes. En el concurso tuvo un 15,3 % de error entre las cinco primeras respuestas; el mejor de los otros equipos, un 26,2 %. El 12 de octubre, en el taller de Florencia, Italia, SuperVision habló de las cinco y cinco a las cinco y media de la tarde. Después aquella tarde se ha contado de muchas maneras.
En diciembre apareció en las actas del congreso el artículo «Clasificación de ImageNet con redes neuronales convolucionales profundas». El título seguía diciendo redes neuronales.
En la discusión, los autores cuentan un experimento: al quitar cualquiera de las capas convolucionales intermedias, la precisión bajaba unos dos puntos porcentuales si solo se tenía en cuenta la primera respuesta. Añaden: «Así que la profundidad sí es importante para obtener nuestros resultados». En la misma sección se aclara que esta vez no usaron preentrenamiento no supervisado capa por capa, el paso de los dos artículos de 2006.
5. Tianjin
En octubre de 2012, en Tianjin, Rick Rashid, director de Microsoft Research, hizo una demostración en el congreso Computación en el Siglo XXI, organizado por Microsoft Research Asia. Desde el escenario habló en inglés. En la pantalla que tenía encima aparecieron primero sus palabras en inglés, después las palabras en chino y al final una voz sintética leyó el chino. La voz se había hecho a imagen de la de Rashid. Él no hablaba chino. El público aplaudió.
El 8 de noviembre escribió en el blog de la empresa que los sistemas anteriores se equivocaban en cerca de una de cada cuatro o cinco palabras. Ahora, en una de cada siete u ocho, una reducción de errores de más del treinta por ciento. En el mismo párrafo añadió: «Todavía estamos lejos de la perfección».
Ese mismo mes, una revista de procesamiento de señales publicó un artículo con once firmas: «Redes neuronales profundas para el modelado acústico del reconocimiento del habla: la visión común de cuatro grupos de investigación». Los grupos eran de la Universidad de Toronto, Microsoft Research, Google e IBM. En uno de los resultados de Microsoft, la tasa de error por palabra bajó del 27,4 % al 18,5 %. La demostración de Rashid se apoyaba en esa línea de trabajo.
6. Gatos
A fines de diciembre de 2011, ocho autores, entre ellos Quoc V. Le, Jeff Dean y Andrew Ng, pusieron en línea «Construcción de características de alto nivel mediante aprendizaje no supervisado a gran escala». Lo presentaron en ICML al año siguiente. La red tenía nueve capas y cerca de mil millones de conexiones. Recibió diez millones de imágenes pequeñas, de doscientos por doscientos puntos, sacadas de vídeos de internet. Nadie había etiquetado lo que se veía en ellas. El entrenamiento llevó alrededor de tres días en mil máquinas con dieciséis mil núcleos de procesamiento.
Al comienzo querían saber si de imágenes sin etiquetar podía salir una unidad que reconociera caras humanas. Encontraron una que reaccionaba con especial fuerza a las caras. Luego hicieron varias pruebas de control: desplazaron las caras, les cambiaron el tamaño y las giraron para ver qué ocurría. La frase del resumen sobre los gatos dice que la misma red «también es sensible a otros conceptos de alto nivel, como las caras de gato».
Se difundió que la red de Google había aprendido sola a reconocer gatos. En el artículo dice sensible, dice caras de gato y dice otros conceptos de alto nivel.
7. La subasta
En 2012, Hinton y sus dos estudiantes fundaron DNNresearch. La empresa eran ellos tres.
El congreso NIPS de diciembre de aquel año se celebró en un hotel con casino junto al lago Tahoe. En 2021, el periodista Cade Metz reconstruyó los hechos mediante entrevistas. En la habitación 731 del hotel se subastó la empresa de tres personas. Pujaron Google, Microsoft, Baidu y una empresa londinense llamada DeepMind. Al llegar a unos veintidós millones de dólares, Hinton hizo una pausa. Cuando se reanudó la puja, Microsoft se retiró y quedaron Google y Baidu. A los veinticuatro millones, un directivo de Pekín tomó el relevo de Kai Yu en la puja de Baidu. A los cuarenta y cuatro millones, Hinton no siguió subiendo el precio. La empresa se quedó en Google. A partir de 2013, Hinton trabajó en Google y siguió en la Universidad de Toronto.
En enero de 2014, Google compró también DeepMind, fundada en Londres en 2010. En las noticias de entonces se habló tanto de cuatrocientos millones de dólares como de cuatrocientos millones de libras.
Una empresa de tres personas. Lo que se subastaba eran esas tres personas. En la habitación, una de ellas decidía dónde paraba el precio.
8. Profundo
En noviembre de 2012, John Markoff publicó un reportaje largo en The New York Times, recordado por el título «Los científicos ven futuro en los programas de aprendizaje profundo». Contaba la demostración de Tianjin, el inglés y el chino en la pantalla y la voz de Rashid. También entrevistó a Hinton, que le dijo que desde muy pronto habían decidido no ganar dinero con el método, sino difundirlo todo lo posible.
Ese año, LeCun y Bengio pusieron en marcha un congreso nuevo. La primera edición se celebró al año siguiente en Scottsdale, Arizona. El nombre era Conferencia Internacional sobre Representaciones Aprendidas, ICLR. La primera edición recibió sesenta y siete trabajos y aceptó veintitrés. En el nombre no figuraban ni aprendizaje profundo ni redes neuronales.
Se difundió que se cambió de nombre a aprendizaje profundo por la mala fama de las redes neuronales. Sin embargo, los títulos impresos de aquellos años, el de Science en 2006 y el de ImageNet en 2012, seguían diciendo redes neuronales. En el decimotercer artículo se decía que se había guardado el nombre inteligencia artificial. Como con aquel relato, hay mucha gente que cuenta el cambio de nombre y muy pocos documentos que lo acrediten.
También se han recortado cosas aquí. De 2006, «parece llevar a menudo»; de 2012, «para obtener nuestros resultados»; del artículo de Google, «sensible» y «caras de gato»; de Rashid, «todavía estamos lejos de la perfección». Después del recorte quedan frases rotundas: solo funcionan las redes profundas, la máquina aprendió a reconocer gatos y la máquina puede traducir al chino lo que digas.
En 1986, profundo decía hasta dónde se guardaba algo en una búsqueda. En 2006, cuántas capas se apilaban. En 2012, que al quitar una capa intermedia la precisión bajaba unos dos puntos porcentuales, si solo se puntuaba la primera respuesta. Luego se volvió un nombre. Después de convertirse en nombre, lo que el adjetivo describía capa por capa retrocedió detrás de él.
Queda aquella tarde en Tianjin. La máquina convirtió en chino el inglés de alguien y lo dijo con su propia voz. La persona del escenario no sabía decir una frase en chino. Se pudo reproducir la voz. Quién quería decir esas palabras y a quién iban dirigidas seguía siendo cosa de quien estaba en el escenario. Esta serie llama remanente a esa parte que no se consigue meter en la máquina.
Se siguen construyendo máquinas. Dónde queda el límite vuelve a decirlo cada generación.