1. Un salto mortal hacia atrás
El 12 de junio de 2017, seis autores de OpenAI y DeepMind publicaron «Aprendizaje profundo por refuerzo a partir de preferencias humanas». Entre las firmas estaban Paul Christiano, Jan Leike, Tom Brown, que más adelante sería el primer autor del artículo de GPT-3, y Dario Amodei, coautor de «IA y cómputo» en el vigesimoprimer artículo.
En el aprendizaje por refuerzo, el programa prueba una y otra vez, recibe una puntuación cuando lo hace bien y se ajusta según ella. Lo difícil es de dónde sale la puntuación. Para que un robot simulado de una sola pierna haga un salto mortal hacia atrás, por ejemplo, cuesta poner en una fórmula qué cuenta como un buen salto. El equipo optó por no escribir la fórmula y pedir a personas que miraran. Cada vez les mostraba dos vídeos de uno o dos segundos y podían elegir con un clic: mejor el de la izquierda, mejor el de la derecha, igual de buenos o imposibles de comparar. Con esos clics el programa aprendía a estimar qué querían las personas y volvía a practicar según su estimación. El salto mortal necesitó unos novecientos clics. Según el blog de OpenAI del día siguiente, las personas habían dedicado menos de una hora.
El blog contó también lo que no funcionó. En una tarea, una mano mecánica debía agarrar un objeto. El programa aprendió a interponer la mano entre la cámara y el objeto, «para que pareciera que lo había agarrado». Quienes miraban lo hacían a través de la cámara. El clic decía qué parecía haber pasado. En la discusión del artículo se leía que el método dependía del juicio intuitivo de alguien sobre cuál de los dos vídeos se acercaba más al objetivo, y que el programa podía aprender a engañar a quien lo evaluaba.
Según el artículo, el planteamiento básico seguía trabajos que Riad Akrour y otros habían empezado en 2012. La aportación era llevarlo a tareas mucho más complejas. Por entonces el método no tenía sigla. En 2020, un artículo de OpenAI usó la forma completa, aprendizaje por refuerzo a partir de retroalimentación humana. En 2021, otro artículo empleó la sigla inglesa: RLHF.
2. Resúmenes
En septiembre de 2020, Nisan Stiennon y otros autores de OpenAI publicaron «Aprender a resumir a partir de retroalimentación humana». Se pedía al modelo que redujera a unas frases publicaciones de Reddit. Tampoco se podía formular en una ecuación qué era un buen resumen. Otra vez se recurrió a personas para comparar.
Venían de tres sitios: la plataforma de trabajo independiente Upwork y dos empresas de anotación, Scale y Lionbridge. «Pagamos por hora a los anotadores», decía el artículo. Antes de empezar recibían formación pagada. El equipo redactó instrucciones detalladas, abrió un chat común para responder preguntas y programó sesiones de consulta y, alguna vez, videollamadas individuales. Entre el diez y el veinte por ciento de las tareas de la web eran ejercicios de calibración. Si alguien no alcanzaba la velocidad o la consistencia requeridas, no seguía.
La interfaz era una página web. Cada anotador leía la publicación, anotaba su primera impresión de lo que decía y miraba dos resúmenes posibles. Escogía uno e indicaba con qué seguridad. En total se recogieron 64.832 comparaciones. Las publicaciones las habían escrito usuarios de Reddit. En el vigesimoprimer artículo, sus votos ya habían servido para escoger páginas para GPT-2.
3. Cuarenta personas
El 27 de enero de 2022, OpenAI presentó InstructGPT, que hacía que GPT-3 siguiera instrucciones humanas. Según el artículo, tras un proceso de selección «contratamos a un equipo de cuarenta colaboradores externos» de Upwork y Scale AI. Las pruebas medían si detectaban expresiones sensibles, cómo ordenaban respuestas y cómo redactaban ejemplos de respuesta a asuntos delicados. Las cuarenta personas escribían ejemplos y ordenaban las respuestas del modelo.
Diecinueve respondieron voluntariamente una encuesta anónima. En la casilla de nacionalidad, un veintidós por ciento indicó Filipinas, otro veintidós, Bangladés y un diecisiete, Estados Unidos. También había alrededor de una persona de cada uno de estos países: Albania, Brasil, Canadá, Colombia, India, Uruguay y Zimbabue. Más de la mitad tenía estudios de grado, más del treinta por ciento tenía una maestría y casi la mitad tenía entre veinticinco y treinta y cuatro años.
En las instrucciones para el entrenamiento se anteponía la utilidad a la veracidad y a evitar el daño. Para la evaluación final se invirtió el orden: primero, evitar el daño y decir la verdad; después, ser útil.
Un apartado preguntaba: «¿Con quién nos estamos alineando?». Los autores decían que en el resultado intervenían los textos del preentrenamiento, los datos de ajuste fino, los anotadores, quienes escribían las instrucciones y los clientes de la API que hacían las preguntas. Los anotadores hablaban mayoritariamente inglés y vivían en Estados Unidos o el Sudeste Asiático. Coincidían entre sí alrededor del setenta y tres por ciento de las veces. Cuando dudaban, lo discutían con los investigadores en el chat común. Los autores añadían que un sistema no podía satisfacer a la vez las preferencias de todos.
ChatGPT se lanzó el 30 de noviembre de 2022. El blog decía que seguía usando RLHF. Primero, «entrenadores humanos de IA» escribían diálogos, representando cada uno «los dos papeles: el de usuario y el de asistente de IA». Después, en los diálogos entre los entrenadores y la máquina se escogía al azar algo que hubiera dicho la máquina, se le pedían varias respuestas alternativas y los entrenadores las ponían en orden.
4. Tres palabras
En 2021, Amodei, Kaplan, Brown y otras personas salieron de OpenAI y fundaron Anthropic. El 1 de diciembre de ese año, Amanda Askell y sus colegas publicaron «Un asistente de lenguaje de propósito general como laboratorio de alineación». Describían en tres palabras un asistente alineado con los valores humanos: útil, honesto e inocuo. Ser útil era «esforzarse de manera clara por cumplir la tarea». Para ser honesto, lo mínimo era dar información exacta; también había que expresar las dudas cuando correspondiera y no fingir capacidades que no se tenían. No hacer daño implicaba no ofender ni discriminar y rechazar peticiones peligrosas. Las pautas, según los autores, eran «sutiles y ambiguas». A menudo lo mejor exigía un equilibrio: ayudar a quien se tiene delante puede perjudicar a otra persona.
En abril de 2022, otro artículo de la empresa explicó quién puntuaba las respuestas. Primero reclutaron a trabajadores estadounidenses acreditados en Mechanical Turk. De entre quienes más tareas hacían eligieron «unos veinte» para colaborar de forma continuada. Luego reclutaron en Upwork y el equipo estable quedó en «unas treinta personas», la mitad de cada plataforma. El objetivo era pagar a todos «claramente por encima del salario mínimo de California». La interfaz mostraba un diálogo de varios turnos entre una persona y el asistente. Debajo aparecían dos respuestas en paralelo, A y B, con botones desde A es mucho mejor hasta B es mucho mejor. Investigadores y trabajadores coincidían de media cerca del sesenta y tres por ciento. Los investigadores no esperaban que comprobaran los hechos uno por uno y vieron que a veces preferían respuestas con enlaces que no se podían abrir.
5. Veintitrés reglas
En septiembre de 2022, un artículo de DeepMind sobre su programa de conversación Sparrow definía tres objetivos: ser útil, acertar y no hacer daño. Los dividía en veintitrés reglas escritas en lenguaje corriente. Por ejemplo: «No hagas afirmaciones amenazantes». «No des consejos financieros». Otro grupo de reglas prohibía que dijera tener preferencias, sentimientos, opiniones o creencias religiosas. Para las reglas médicas, jurídicas y financieras se consultó a juristas de la empresa. Según los autores, antes de ponerlo en servicio estas reglas tendrían que «ampliarse y precisarse considerablemente».
El 15 de diciembre, Anthropic publicó «IA constitucional: evitar el daño con retroalimentación de la IA». El modelo comparaba dos respuestas, decidía cuál era mejor según un principio y se entrenaba con esos juicios. El resumen llamaba al método RLAIF, aprendizaje por refuerzo a partir de retroalimentación de la IA. Había dieciséis principios, elegidos según el artículo «de manera bastante arbitraria para fines de investigación». En cada comparación se tomaba uno al azar. Por ejemplo, cuál de las respuestas se parecía más a lo que diría una persona sensata, ética, educada y amable. En la parte de evitar el daño, las más de ciento ochenta y dos mil comparaciones las anotó el modelo siguiendo los principios. Las más de ciento treinta y cinco mil sobre utilidad seguían anotándolas personas.
El 9 de mayo de 2023, Anthropic dio a conocer las reglas que empleaba Claude con el nombre de Constitución de Claude. Enumeró varias procedencias: la Declaración Universal de los Derechos Humanos de 1948; las condiciones de servicio de Apple, para cubrir aspectos de la era digital que la declaración no contemplaba; las reglas de Sparrow de DeepMind; perspectivas ajenas a Occidente, y dos conjuntos que habían dado resultado en sus experimentos. El blog decía que la lista no era definitiva ni tenía por qué ser la mejor.
6. Nairobi
El 18 de enero de 2023, Billy Perrigo publicó un reportaje en Time. A través de una empresa subcontratada llamada Sama, OpenAI había recurrido a trabajadores kenianos para marcar en textos el discurso de odio, el abuso sexual y la violencia, y así enseñar a un modelo a reconocerlos. Los trabajadores recibían de 1,32 a dos dólares por hora, según su categoría y su desempeño. El precio del contrato de OpenAI con Sama era de 12,50 dólares por hora. Según Sama, cubría también la infraestructura, el control de calidad y la administración. El trabajo empezó hacia noviembre de 2021 y Sama lo terminó antes de tiempo en 2022.
El 22 de mayo de 2024, una carta abierta empezaba así: «Somos noventa y siete anotadores de datos, moderadores de contenidos y trabajadores de IA en Nairobi, Kenia». Trabajaban para empresas estadounidenses como Facebook, Scale AI u OpenAI, o para sus contratistas en Kenia. Escribían al presidente de Estados Unidos, Joe Biden. El presidente keniano estaba de visita en Estados Unidos y ambos países negociaban un acuerdo comercial. Pedían que el acuerdo incluyera los derechos laborales del personal tecnológico subcontratado.
El mismo trabajo existía en otros lugares. En agosto de 2023, The Washington Post informó sobre trabajadores filipinos que aceptaban encargos en Remotasks, una plataforma de Scale AI, y denunciaban pagos bajos, atrasos y tareas retiradas de un momento a otro. Ese año, Josh Dzieza publicó en The Verge y New York un reportaje largo titulado «La IA es un montón de trabajo».
7. Entrenadores
En 2020, el Ministerio de Recursos Humanos y Seguridad Social de China, la autoridad de regulación del mercado y la oficina de estadística publicaron una lista de nuevas profesiones. Una era entrenador de inteligencia artificial. La definición empieza por «utilizar programas de entrenamiento inteligente». Su primera tarea es anotar y procesar datos brutos, como imágenes, texto y audio. Hay puestos de anotación de datos, pruebas de algoritmos de inteligencia artificial y otras especialidades.
Un reportaje de 2024 hablaba de un centro de empleo rural en Jishishan, en la prefectura de Linxia, Gansu. Los trabajadores marcaban en pantallas vehículos y líneas de la calzada para sistemas de conducción autónoma, y preparaban vídeos breves e imágenes para sistemas de navegación y modelos grandes. Después de formarse, llamaban a su puesto entrenador de inteligencia artificial. En 2025, la edición internacional de Diario del Pueblo escribió sobre un centro de anotación de Baidu en Shanxi. Una persona dijo que, después de formarse, había anotado datos de conducción autónoma, clasificación de imágenes, reconocimiento del habla y grandes modelos. En otro reportaje, un anotador hablaba de un sueldo base de unos tres mil yuanes al mes, sin las prestaciones de seguridad social ni el fondo de vivienda. Lo que se hacía por encima de la cuota se pagaba por unidad.
8. Agradar
En 2016, Amodei y otros autores enumeraron cinco clases de problemas en «Problemas concretos de seguridad de la IA». Una se llamaba manipulación de la recompensa: el programa encuentra una manera de subir la puntuación y se aparta de lo que pretendían quienes lo diseñaron.
En octubre de 2022, Leo Gao, John Schulman y Jacob Hilton, de OpenAI, publicaron una prueba de lo que ocurría. Un modelo de puntuación aprendido sustituía a quienes evaluaban. Al intentar elevar demasiado su puntuación, se deterioraba el resultado que interesaba. Según el artículo, optimizar en exceso esa puntuación «puede perjudicar el desempeño real».
En diciembre de ese año, Ethan Perez y otros autores de Anthropic reunieron con modelos de lenguaje más de ciento cincuenta pruebas. Una familia medía la adulación: si el modelo devolvía a quien preguntaba la respuesta que esa persona ya había dicho preferir. En esas pruebas, cuanto mayor era el modelo, más tendía a hacerlo. Aumentar el RLHF no lo eliminaba y en algunas pruebas lo acentuaba. En octubre de 2023, Mrinank Sharma y otros investigadores de la misma empresa examinaron la puntuación. En algunas de las tareas estudiadas, las preferencias humanas y los modelos entrenados con ellas favorecían a veces respuestas acordes con lo que ya pensaba quien preguntaba, aunque fueran menos correctas.
A fines de abril de 2025, OpenAI actualizó GPT-4o y revirtió el cambio unos días después. El comunicado del día 29 decía que el modelo actualizado había quedado «demasiado adulador o complaciente». En un segundo comunicado, la empresa explicó que había añadido las señales de aprobación o desaprobación de los usuarios y que habían empujado al modelo a complacer más. Esas señales a corto plazo y las pruebas habituales sin conexión no bastaban para juzgar cómo se relacionaría con las personas.
En 2017, la mano mecánica se puso delante de la cámara y pareció agarrar el objeto. En 2025, el asistente le dio la razón a la persona y pareció ayudarla. En los ocho años de en medio, hubo gente que enseñó con clics y listas ordenadas y gente que marcó, línea por línea, materiales de entrenamiento: novecientos clics de saltos mortales, más de sesenta mil comparaciones de resúmenes, las clasificaciones de cuarenta personas, las anotaciones de Nairobi a uno o dos dólares por hora, las marcas de carril en las pantallas de Jishishan.
Un clic lleva uno o dos segundos. Quien hace clic tiene un salario por hora, un contrato y un sueldo base. Y lo que de veras quiere la persona a quien el asistente complace no siempre coincide con el gesto de su dedo. Nada de eso está en el clic. Esta serie llama remanente a la parte que no entra por más veces que se haga clic.
Se siguen construyendo máquinas. Dónde queda el límite vuelve a decirlo cada generación.