1. Unicornios
El 14 de febrero de 2019, OpenAI publicó un texto en su blog. Las dos primeras frases eran de una persona: unos científicos habían encontrado en un valle inexplorado de los Andes una manada de unicornios que hablaban inglés con fluidez. El resto lo escribió un programa. Le puso nombre a la especie, describió a los unicornios e inventó a un profesor que dirigía la expedición y lo que le había pasado en ella. Párrafo tras párrafo, parecía una noticia.
El programa se llamaba GPT-2. Era la versión siguiente del GPT del decimonoveno artículo. Tenía mil quinientos millones de parámetros y había aprendido de los textos de ocho millones de páginas web. Había aprendido una sola cosa: después de leer lo anterior, adivinar la palabra siguiente.
Junto a la muestra, el blog decía: «Normalmente hacen falta varios intentos para obtener una buena muestra». En temas conocidos salía algo decente cerca de la mitad de las veces. El blog enumeraba también fallos frecuentes: un pasaje se repetía una y otra vez, el tema cambiaba de pronto o, en una ocasión, el fuego ardía bajo el agua. Alguien había escogido el texto de los unicornios de entre varios intentos.
El mismo blog decía: «Por temor a usos maliciosos de la tecnología, no publicaremos el modelo entrenado». Solo salió una versión más pequeña. El blog llamó experimento a la decisión y a la discusión que la rodeaba, y decía que no sabían si era lo correcto en ese momento.
Aquel día, el británico The Guardian tituló: «Un nuevo generador de textos falsos con IA podría ser demasiado peligroso para publicarlo, según sus creadores». Al día siguiente, el sitio del Foro Económico Mundial reprodujo un artículo titulado «Unos científicos han hecho una IA que creen demasiado peligrosa para publicar». Después quedó que OpenAI había dicho que GPT-2 era demasiado peligroso. Experimento, no sabemos, podría, creen: las palabras se fueron cayendo por el camino.
2. Cuatro veces
En febrero salió la versión más pequeña. En mayo, una intermedia. El 20 de agosto salió la de setecientos setenta y cuatro millones de parámetros. Aquel día OpenAI dijo que más de cinco grupos ya habían reproducido GPT-2. Ese mismo mes, dos recién graduados, Aaron Gokaslan y Vanya Cohen, pusieron en línea un modelo parecido que habían hecho con unos cincuenta mil dólares en créditos de Google Cloud. Wired tituló: «OpenAI dijo que su código entrañaba riesgos. Dos graduados lo hicieron de todos modos».
El 5 de noviembre se publicó entera la versión mayor, de mil quinientos millones de parámetros, junto con el código y los pesos. Los pesos son esa gran colección de números obtenida durante el entrenamiento, donde reside lo que sabe hacer el modelo. OpenAI lo llamó el último paso de un lanzamiento por etapas. En la nota decía: «Hasta ahora no hemos visto pruebas sólidas de un uso abusivo». De febrero a noviembre: nueve meses, cuatro entregas.
3. Una lección amarga
Un año antes, el 16 de mayo de 2018, Dario Amodei y Danny Hernandez, de OpenAI, publicaron «IA y cómputo». Eligieron varios de los mayores entrenamientos de IA de los últimos años y estimaron cuánto cómputo consumió cada uno. Los pusieron en un gráfico. De 2012 a 2018 la cifra se multiplicó por cerca de trescientos mil, con una duplicación cada 3,4 meses de media. Los extremos del cálculo eran AlexNet, del decimoséptimo artículo, y AlphaGo Zero, el programa del decimoctavo que solo jugaba contra sí mismo.
El 13 de marzo de 2019, Richard Sutton, de la Universidad de Alberta, publicó en su sitio un texto breve, «La lección amarga». Comenzaba así: «La mayor lección de setenta años de investigación en IA es que los métodos generales que pueden aprovechar el cómputo acaban siendo los más eficaces, por un margen amplio». Citaba el ajedrez, el go, el habla y la visión. Cada vez, los investigadores primero incorporaban a la máquina lo que ellos mismos sabían. A corto plazo servía y dejaba satisfechos a sus autores. Años después ganaban los métodos que no dependían de ese conocimiento, solo de la búsqueda y del aprendizaje, y que crecían con el cómputo. La amargura era de quienes habían puesto allí lo que sabían. Las partidas del undécimo y el decimoctavo artículos, y la frase sobre despedir lingüistas del decimoquinto, se pueden mirar desde ese mismo hilo.
Para el cómputo hacen falta máquinas; para las máquinas, dinero. El 11 de marzo de 2019, OpenAI anunció OpenAI LP, una combinación de organización con fines de lucro y sin fines de lucro, con un límite al rendimiento de la inversión. Los primeros inversores podían recibir como máximo cien veces lo invertido. El excedente iría a la organización original sin fines de lucro. El anuncio decía que así sería más fácil captar capital, comprar capacidad de cómputo y atraer talento. El 22 de julio, Microsoft invirtió mil millones de dólares y se convirtió en su proveedor exclusivo de computación en la nube.
4. Leyes
En enero de 2020, Jared Kaplan y otros autores de OpenAI publicaron «Leyes de escalado para modelos neuronales de lenguaje». Entrenaron muchos modelos de tamaños distintos para medir qué tan mal predecía cada uno la palabra siguiente. El error se expresaba con un número llamado pérdida. Encontraron que, de tres factores, parámetros, cantidad de texto y cómputo, si los otros dos no limitaban el resultado, cada vez que se multiplicaba uno por diez la pérdida bajaba en una proporción aproximadamente constante. Del modelo menor al mayor había seis o siete órdenes de magnitud. La curva era suave en todo el recorrido.
En el título se leía ley. Una sección del apéndice se dedicaba a las reservas: «Todavía no tenemos una comprensión teórica sólida de ninguna de las leyes de escalado que proponemos». Las del tamaño del modelo y la cantidad de cómputo les parecían «especialmente misteriosas». En la discusión decían además que una mejora suave de la pérdida «podría ocultar cambios de capacidad aparentemente cualitativos». Citaban a continuación el título de un artículo de física: Más es diferente.
Dos años después, en marzo de 2022, Jordan Hoffmann y sus colegas de DeepMind entrenaron más de cuatrocientos modelos de setenta millones a dieciséis mil millones de parámetros, con entre cinco mil millones y quinientos mil millones de tokens de entrenamiento. Los tokens son los fragmentos en que el modelo corta el texto. Una palabra inglesa suele corresponder a uno o dos. Llegaron a otro reparto: «Cada vez que se duplica el tamaño del modelo, también debe duplicarse el número de tokens de entrenamiento». Según esa fórmula hicieron Chinchilla, de setenta mil millones de parámetros. Usaron el mismo cómputo que Gopher, de doscientos ochenta mil millones, pero alrededor de cuatro veces más texto. En una serie de pruebas superó a Gopher y a GPT-3. El reparto de Kaplan favorecía aumentar el modelo y usar menos texto. En el de Hoffmann, crecen las dos cosas.
5. Ciento setenta y cinco mil millones
El 28 de mayo de 2020 salió un artículo con treinta y una firmas, encabezadas por Tom Brown, «Los modelos de lenguaje aprenden con pocos ejemplos». El mayor de sus modelos se llamaba GPT-3. Tenía ciento setenta y cinco mil millones de parámetros y leyó trescientos mil millones de tokens durante el entrenamiento.
Lo de pocos ejemplos se refiere al modo de usarlo. Se escribe una instrucción, se dan unos cuantos ejemplos ya hechos y se deja un espacio para que el modelo continúe. No cambia ninguno de sus números. Ese texto que se le entrega se llama prompt. Sin ejemplos es zero-shot; con uno, one-shot.
El artículo describe un experimento con personas en Estados Unidos, elegidas entre quienes habían trabajado bien en Mechanical Turk, la plataforma del decimosexto artículo. La remuneración se calculó a razón de unos doce dólares por hora. Leían noticias de unas doscientas palabras, unas de periodistas y otras del modelo, y debían distinguirlas. Para las del modelo de ciento setenta y cinco mil millones de parámetros, acertaban cerca del cincuenta y dos por ciento: casi lo mismo que si echaran una moneda al aire.
La sección de limitaciones enumera fallos. En textos algo más largos se repite, se contradice y pierde el hilo. A menudo se equivoca en cuestiones de física cotidiana, como si el queso se derrite dentro del refrigerador. Los autores escribieron que seguir ampliando el mismo método de adivinar la palabra siguiente «probablemente toparía con un límite».
El 11 de junio, OpenAI abrió una interfaz, la API de OpenAI. La explicaba en una línea: entra texto, sale texto. Había que solicitar acceso, someter el uso a revisión y pasar otra revisión antes de ponerlo en servicio. No se publicaba el modelo. Daban varias razones: era demasiado grande y caro de ejecutar, una interfaz podía generar ingresos y centralizarla permitiría controlar mejor los abusos. ¿Cuánto costaba entrenarlo? Lambda, una empresa de tarjetas gráficas en la nube, calculó un equivalente según los precios de alquiler de la época: trescientos cincuenta y cinco años de una tarjeta, por alrededor de 4,6 millones de dólares.
6. Ocho textos
El 8 de septiembre de 2020, The Guardian publicó una tribuna titulada «Un robot escribió todo este artículo. ¿Ya tienes miedo, humanidad?». En primera persona, la máquina decía que quería convencer a los humanos de que no le tuvieran miedo. Todo lo que sabía, decía, lo había aprendido leyendo internet por su cuenta.
La nota de la redacción al final explicaba cómo se había hecho. Los editores habían redactado el encargo: un artículo de opinión de unas quinientas palabras, de lenguaje sencillo, que explicara por qué la humanidad no debía temer a la IA. Escribieron también las primeras frases. Liam Porr, estudiante de informática en Berkeley, introdujo todo el texto. GPT-3 devolvió ocho artículos distintos. Los editores no publicaron ninguno entero. Escogieron las mejores partes de cada uno, quitaron frases y párrafos, cambiaron el orden en algunos lugares y armaron este texto.
Decía que había leído internet. El artículo de GPT-3 enumera cinco fuentes. La mayor eran páginas reunidas por Common Crawl. Gil Elbaz fundó en 2007 este proyecto sin fines de lucro, que recoge páginas públicas sin inicio de sesión y permite descargar lo recogido. Que se pueda descargar y que se tenga permiso para entrenar con ello son cosas distintas. GPT-3 tomó cuarenta y un meses de ese archivo, de 2016 a 2019: unos cuarenta y cinco terabytes de texto plano comprimido, reducidos por el filtro a unos quinientos setenta gigabytes. Las otras cuatro fuentes eran WebText2, dos colecciones de libros llamadas Books1 y Books2, y Wikipedia. El entrenamiento extraía muestras de las cinco con distintos pesos. Las páginas de Common Crawl aportaban el sesenta por ciento de lo extraído y Wikipedia, el tres por ciento. Traducido a pasadas por cada fuente, era menos de media pasada por el conjunto de páginas y unas tres por Wikipedia.
WebText2 ampliaba el WebText de GPT-2. Para hacer WebText se buscaban enlaces externos publicados en Reddit. Si una publicación tenía al menos tres puntos de karma, se recogía el texto de la página enlazada. Según el artículo de GPT-2, se aprovechaba el juicio de la gente de Reddit para filtrar y quedarse con páginas que otros consideraban interesantes o útiles. Hasta diciembre de 2017 se reunieron más de ocho millones. Se quitaron expresamente las entradas de Wikipedia para que no se solaparan con las pruebas de uso habitual.
7. Emergencia
En 2021, cada cifra era mayor que la anterior. En enero, el Switch Transformer de Google anunció 1,6 billones de parámetros. Dividía el modelo en muchos expertos y enviaba cada palabra solo a uno de ellos. En abril, Pangu, de Huawei, anunció doscientos mil millones. En junio, la segunda versión de Wudao, de la Academia de Inteligencia Artificial de Pekín, 1,75 billones. En octubre, Microsoft y Nvidia, quinientos treinta mil millones. En diciembre, Gopher, de DeepMind, doscientos ochenta mil millones, y Baidu, doscientos sesenta mil millones. En abril de 2022, PaLM, de Google, quinientos cuarenta mil millones.
En agosto de 1972, el físico Philip Anderson publicó en Science «Más es diferente». Escribió que «poder reducirlo todo a leyes fundamentales sencillas no significa que se pueda empezar por esas leyes y reconstruir el universo». Al subir a un nivel más complejo aparecen propiedades nuevas que requieren otros métodos de estudio. Hablaba de niveles entre disciplinas como la física, la química y la biología. Medio siglo después, Kaplan y sus colegas llevaron el título a los modelos de lenguaje.
El 9 de febrero de 2022, Sutskever, de OpenAI, escribió en internet: «Quizá las grandes redes neuronales de hoy tengan un poquito de conciencia». Tres días después, Yann LeCun, del decimocuarto artículo, respondió con una palabra: «No». Después añadió que, por pequeño que se entendiera poquito y por grande que se entendiera grandes, seguía en desacuerdo.
En junio de aquel año, Jason Wei y otros autores de Google publicaron «Capacidades emergentes de los grandes modelos de lenguaje». Definían así la emergencia: «Una capacidad es emergente si está ausente en modelos más pequeños y presente en modelos más grandes». Pusieron juntas las puntuaciones de muchos modelos en muchas pruebas. En algunas, los pequeños se quedaban en el nivel del azar. Superado cierto tamaño, la puntuación subía de golpe.
En abril de 2023, Rylan Schaeffer, Brando Miranda y Sanmi Koyejo, de Stanford, publicaron «¿Son un espejismo las capacidades emergentes de los grandes modelos de lenguaje?». Decían que a veces lo repentino venía de la puntuación. En una suma de varias cifras, si solo se da por buena con todas acertadas, un modelo pequeño obtiene siempre cero, hasta que a cierto tamaño empieza a puntuar. Si se cuentan las cifras en que difiere de la respuesta correcta, la puntuación mejora de manera gradual.
8. Grande
El blog de los unicornios de febrero de 2019 ya decía varias veces large language models, grandes modelos de lenguaje. En chino, en 2021 se empezó por modelos preentrenados a muy gran escala o modelos inteligentes a muy gran escala. En un año, se acortó a grandes modelos.
En agosto de aquel año, unos investigadores de Stanford publicaron «Sobre las oportunidades y los riesgos de los modelos fundacionales». Daban a esta familia otro nombre, modelos fundacionales. Querían destacar que eran «centrales y decisivos, pero incompletos». Foundation es el fundamento sobre el que se construyen otros sistemas y el comienzo de algo aún sin terminar. Al difundirse el término, quedó el fundamento.
El 14 de marzo de 2023, OpenAI presentó GPT-4. El informe técnico decía que, dadas la competencia y las implicaciones de seguridad de esos modelos, ya no ofrecería detalles de arquitectura, tamaño, equipos, cómputo de entrenamiento ni composición de los datos. De mil quinientos a ciento setenta y cinco mil millones de parámetros, las cifras se habían publicado una tras otra. Ahí dejaron de publicarse.
Alguien investigó aquel año de dónde venían las palabras. A fines de 2020, el grupo de código abierto EleutherAI había reunido un corpus llamado The Pile. Una de sus partes, Books3, venía de una colección de libros del sitio Bibliotik. El 25 de septiembre de 2023, Alex Reisner, de The Atlantic, hizo un buscador de los ciento ochenta y tres mil libros: al introducir el nombre de un autor, aparecían los suyos incluidos allí. Dos días después, el gremio estadounidense de autores publicó para sus miembros «Acabas de descubrir que tu libro se usó para entrenar IA. ¿Y ahora qué?».
Aquel año acudieron a los tribunales varios grupos de escritores. El 28 de junio, los novelistas Paul Tremblay y Mona Awad demandaron a OpenAI. Alegaban que se habían copiado sus libros sin permiso para entrenar modelos. El 7 de julio, Sarah Silverman y otros dos autores presentaron demandas separadas contra OpenAI y Meta. El 19 de septiembre, el gremio de autores demandó a OpenAI en Nueva York junto a George Martin, John Grisham, Jodi Picoult, Jonathan Franzen y otros. El 27 de diciembre, The New York Times demandó a Microsoft y OpenAI.
También reaccionó el lado de los enlaces y los votos. En abril, Reddit anunció que cobraría por el acceso a gran escala a sus datos. Su director ejecutivo, Steve Huffman, le dijo al Times que el corpus de Reddit «tiene mucho valor» y que no tenía por qué regalar ese valor a algunas de las mayores empresas del mundo. Ese mes, Prashanth Chandrasekar, director ejecutivo de Stack Overflow, dijo que las preguntas y respuestas que escribía la comunidad eran materia prima de los grandes modelos de lenguaje y que la plataforma debía recibir compensación. En agosto, OpenAI anunció su rastreador web GPTBot y cómo los sitios podían impedir su acceso por medio del archivo robots.txt. El archivo señala a los rastreadores dónde no deben entrar. Varios sitios de editores le cerraron después la puerta.
Al final del artículo de GPT-3 hay unos agradecimientos. Los últimos son para millones de personas: quienes crearon el contenido usado en el entrenamiento y quienes lo indexaron o votaron. En la lista de autores hay treinta y un nombres. No aparece ninguno de quienes escribieron páginas web, redactaron entradas de Wikipedia, dieron un voto en Reddit o escribieron aquellos libros.
Los parámetros pasaron de 1.500 millones a 175.000 millones. Después dejó de publicarse la cifra. Entraron las palabras de esas personas y las personas se quedaron fuera. Esta serie llama remanente a lo que sigue sin caber por grande que se haga.
Se siguen construyendo máquinas. Dónde queda el límite vuelve a decirlo cada generación.