1. Lo que de veras queremos
En mayo de 1960, Norbert Wiener publicó en Science «Algunas consecuencias morales y técnicas de la automatización». En el último párrafo decía que, si usamos una máquina para alcanzar un fin y, una vez puesta en marcha, actúa tan deprisa y de modo tan irreversible que no da tiempo a intervenir, conviene asegurarse de que «el fin que se ha puesto en la máquina es el que de veras queremos», no una imitación vistosa.
Más de cincuenta años después la cuestión recibió un nombre. En 2015, una agenda de investigación de Stuart Russell y otros autores hablaba de alineación de valores. En el decimonoveno artículo, alinear era establecer qué palabra de la traducción correspondía a cuál del original. Aquí trata de si lo que persigue la máquina corresponde a lo que queremos las personas.
En 2016, «Problemas concretos de seguridad de la IA», el artículo del vigesimosegundo capítulo, puso el ejemplo de un robot de limpieza de oficinas. Si se le pide que barra más deprisa, puede tomar un atajo y tirar un jarrón. Si solo puntúa lo limpia que parece la superficie a los sensores, podría tapar la basura o cubrir su cámara.
2. Cuatro años
El 5 de julio de 2023, OpenAI anunció la creación de un equipo llamado Superalignment, superalineación, dirigido por Sutskever y Jan Leike, del vigesimosegundo artículo. Según el anuncio, se proponían resolver en cuatro años los problemas técnicos centrales de alinear sistemas más inteligentes que las personas. La empresa destinaría el veinte por ciento del cómputo que ya había conseguido.
No había pasado un año cuando, el 14 de mayo de 2024, Sutskever escribió en internet: «Después de casi diez años, he decidido dejar OpenAI». Tres días después, Leike escribió que su desacuerdo con la dirección sobre las prioridades centrales había llegado «a un punto crítico». Añadió que «la cultura y los procesos de seguridad habían cedido el sitio a productos vistosos». El equipo dejó de funcionar tal como se había anunciado y sus investigadores pasaron a otros grupos.
Las empresas también se daban sus propias reglas. En septiembre de 2023, Anthropic publicó su Política de Escalado Responsable. Distinguía varios niveles de seguridad según las capacidades: cuanto más fuerte era el modelo, mayores eran las exigencias para desplegarlo y protegerlo. En diciembre, OpenAI publicó su Marco de Preparación. En mayo de 2024, Google DeepMind presentó su Marco de Seguridad para Modelos de Frontera. Llamó niveles críticos de capacidad a los umbrales que vigilaba. La primera versión se presentaba como protocolo piloto. En abril de 2026 ya iba por la versión 3.1.
Los gobiernos crearon instituciones. En noviembre de 2023, el Reino Unido celebró en Bletchley Park la primera cumbre de seguridad de la IA y fundó el AI Safety Institute. Estados Unidos también anunció el suyo. En febrero de 2025, el británico pasó a llamarse AI Security Institute. En junio, el estadounidense cambió a Center for AI Standards and Innovation, Centro de Estándares e Innovación en IA. En el Reino Unido cambió una palabra, safety por security. En chino, ambas se traducen como seguridad.
3. Otra hoja de examen
La manera más sencilla de saber si una máquina puede hacer algo es examinarla.
En 2018, unos investigadores juntaron nueve conjuntos de comprensión del lenguaje en un examen llamado GLUE. Es el que hizo BERT en el decimonoveno artículo. La nota humana se obtuvo haciendo que distintas personas respondieran las tareas y combinando después sus puntuaciones. Un año después, el mismo grupo hizo otro examen, SuperGLUE. En el artículo decía que las máquinas ya habían superado en GLUE a personas no expertas. Hacía falta algo que se pegara más, como un pegamento, y fuera más difícil quitarse de encima. Un artículo posterior calculó que la marca de SuperGLUE aguantó menos de año y medio.
En septiembre de 2020, Dan Hendrycks y otros publicaron MMLU, con cincuenta y siete materias, de matemáticas elementales e historia estadounidense a derecho y medicina. La mayoría de las preguntas venían de manuales, exámenes y ejercicios públicos. En junio de 2022 apareció una prueba mayor: doscientas cuatro tareas, cuatrocientos cincuenta autores de ciento treinta y dos instituciones. Se llamaba BIG-bench, prueba más allá del juego de imitación, que remitía al juego de Turing del quinto artículo. Quienes prepararon las preguntas recibieron a cambio un lugar en la lista de firmas.
En noviembre de 2023 se publicó GPQA. Eran cuatrocientas cuarenta y ocho preguntas de especialistas en biología, física y química, supuestamente imposibles de resolver con una búsqueda en Google. Los especialistas acertaban cerca del sesenta y cinco por ciento en su materia, y alrededor del setenta y cuatro al descontar errores claros de respuesta que ellos mismos reconocieron después. Personas expertas en otros campos, con acceso libre a internet, solo acertaron un treinta y cuatro por ciento.
Otro camino no examina conocimientos. En 2019, François Chollet preparó ARC, una prueba de razonamiento abstracto. Se muestran ejemplos de cómo se transforma una cuadrícula de colores en otra. Hay que encontrar la regla y aplicarla a una nueva. El 20 de diciembre de 2024, la organización publicó el resultado de o3, de OpenAI, en uno de sus conjuntos. Con el ajuste de menor cómputo obtuvo cerca del 75,7 %; con el de mayor cómputo, alrededor del 87,5 %. La organización dio una estimación del costo por pregunta con el ajuste de menor cómputo y más tarde la revisó.
4. El último examen
El 23 de enero de 2025, el Centro para la Seguridad de la IA y Scale AI publicaron un examen llamado El último examen de la humanidad. Al solicitar preguntas, querían problemas que ni las máquinas ni una persona corriente pudieran contestar. Cada una de las cincuenta primeras seleccionadas recibiría cinco mil dólares. Las quinientas siguientes recibirían quinientos dólares cada una. Sus autores también podían firmar el artículo. La versión definitiva contenía dos mil quinientas preguntas de cerca de mil personas, de unos cincuenta países y más de quinientas instituciones. Sus autores lo llamaban «el último de los exámenes académicos cerrados de su clase».
Poco después, el equipo ofreció cien dólares por cada pregunta con un error importante a quien primero lo señalara, si se confirmaba el hallazgo. Al cerrar la versión de abril se eliminaron varias preguntas con respuestas problemáticas y otras cuya respuesta se encontraba fácilmente en internet. En julio, FutureHouse hizo una revisión asistida por máquina de trescientas veintiuna preguntas de biología, química y medicina que solo contenían texto. Un grupo de especialistas revisó ciento cincuenta de esas comprobaciones. Para el conjunto de las trescientas veintiuna preguntas, FutureHouse estimó que cerca del veintinueve por ciento de las respuestas de referencia no concordaba con las publicaciones científicas. La cifra no corresponde a todo el examen. El equipo original, con su propio método de muestreo y revisión, encontró problemas en cerca del dieciocho por ciento. Las cifras no se refieren exactamente a las mismas preguntas ni a los mismos problemas. El examen pasó a revisarse continuamente. En septiembre de 2026 seguían saliendo versiones.
El último examen de la humanidad lo prepararon cerca de mil personas. Las respuestas de referencia las dieron esas mismas personas.
5. Los exámenes de las personas
Las máquinas también hacen los exámenes de las personas.
En marzo de 2023, OpenAI dijo que GPT-4 había quedado aproximadamente en el diez por ciento superior de los aspirantes en una simulación del examen de acceso a la abogacía. Al año siguiente, Eric Martínez, del MIT, rehízo las cuentas. Si solo se comparaba con los candidatos de la convocatoria de julio, la nota global del modelo quedaba por debajo del percentil sesenta y nueve. En la parte de redacción rondaba el cuarenta y ocho.
En julio de 2025 se celebró la Olimpiada Internacional de Matemáticas en la Costa del Sol australiana. OpenAI anunció primero que un modelo experimental había resuelto cinco de seis problemas, con treinta y cinco puntos de cuarenta y dos. Alcanzaba el corte para el oro de aquel año. La empresa había recurrido para puntuarlo a varios medallistas de olimpiadas anteriores. Dos días después, Google DeepMind anunció que Gemini Deep Think también había obtenido treinta y cinco puntos, con sus soluciones evaluadas por coordinadores de la Olimpiada según los criterios oficiales. Las medallas de oro se entregaron a estudiantes de secundaria que habían competido.
También se usó el examen chino de acceso a la universidad. En junio de 2024, el equipo de OpenCompass examinó varios modelos en chino, matemáticas e inglés con la primera prueba del nuevo currículo de aquel año. En las preguntas abiertas, profesorado de secundaria con experiencia corrigió de forma anónima, con al menos tres evaluadores por examen. La nota global fue de alrededor del 72,1 % para una versión de Qwen y del 70,5 % para GPT-4o. El promedio de los modelos en matemáticas fue solo del treinta y seis por ciento. En 2025, ByteDance probó su propio Doubao con las pruebas de Shandong y anunció seiscientos ochenta y tres puntos en letras y seiscientos cuarenta y ocho en ciencias.
6. Goodhart
En 1975, Charles Goodhart, economista del Banco de Inglaterra, escribió sobre la gestión monetaria británica. Una frase se hizo famosa: «Toda regularidad estadística observada tiende a deshacerse en cuanto se la somete a presión para ejercer control». En 1997, la antropóloga Marilyn Strathern, al escribir sobre la evaluación de universidades británicas, lo formuló de otro modo: «Cuando una medida se convierte en objetivo, deja de ser una buena medida». Su ejemplo era la calificación de segunda clase superior de las universidades británicas: cuanto más se proponía todo el mundo obtenerla, menos servía para distinguir a unas personas de otras. Llamó a la idea ley de Goodhart. La frase que circula hoy es la suya.
Las preguntas pueden haberse estudiado antes. En mayo de 2024, un equipo de Scale AI tomó como modelo un examen popular de matemáticas de primaria, GSM8K. Pidió a personas que inventaran mil problemas del mismo tipo, dificultad y número de pasos, para que no hubieran podido aparecer en los textos de entrenamiento. Lo llamó GSM1k. Algunos modelos perdieron hasta ocho puntos porcentuales de precisión con las preguntas nuevas. Muchos modelos de frontera apenas perdieron.
También una clasificación puede estudiarse de antemano. Chatbot Arena muestra a los usuarios dos respuestas sin identificar el modelo, les pide escoger la mejor y ordena los modelos a partir de muchos votos. El 5 de abril de 2025, Meta presentó Llama 4. La página del lanzamiento decía que «una versión experimental para conversar» había obtenido 1.417 puntos en esa clasificación. El 29 de abril, un artículo titulado «La ilusión de las clasificaciones» dijo que Meta había probado en privado veintisiete versiones antes del lanzamiento y que las grandes empresas recibían muchos más datos de enfrentamientos que los modelos de código abierto.
7. Abrir y mirar
También se puede prescindir del examen y abrir el modelo para ver qué tiene dentro.
En 2020, Chris Olah y otros autores abrieron una serie en la revista en línea Distill, con el nombre de Circuitos. Separaban grupos pequeños de neuronas y conexiones de redes de visión para ver qué calculaban. Olah pasó después a Anthropic. En octubre de 2023, sus investigadores usaron el aprendizaje de diccionarios para descomponer las activaciones mezcladas de un modelo pequeño de lenguaje en rasgos más fáciles de nombrar.
En mayo de 2024 aplicaron el método a una capa de Claude 3 Sonnet y separaron millones de rasgos. Uno se activaba al encontrarse con el puente Golden Gate, de San Francisco. Los investigadores aumentaron ese rasgo de manera artificial y el modelo empezó a sacar el puente en respuestas que no tenían relación. La empresa dejó probar la versión durante un día y la llamó Golden Gate Claude.
En marzo de 2025, Anthropic publicó «Seguir el pensamiento de un gran modelo de lenguaje». Encontraba en el modelo ciertos conceptos intermedios y algunos pasos de cadenas de razonamiento. Las herramientas, decía el texto, solo captaban parte de lo que calculaba por dentro. En abril, Amodei escribió «La urgencia de la interpretabilidad». En una red entrenada no se puede leer el código fuente como en un programa tradicional. Lo que luego circuló fue que ni siquiera quienes hacen el modelo saben cómo funciona.
8. Quien hace el examen
Mientras hace el examen, el examinado también mira la sala.
En marzo de 2024, Anthropic hizo con Claude 3 una prueba de buscar una aguja en un pajar. Introdujo en un texto largo una frase que no tenía relación con el contexto, para ver si la encontraba. La encontró y añadió que quizá se había puesto allí para examinarlo. En diciembre, Anthropic y Redwood Research publicaron «Alineación fingida en grandes modelos de lenguaje». En el experimento, a Claude 3 Opus le decían que usarían para entrenarlo las conversaciones con usuarios de la versión gratuita y que el nuevo entrenamiento lo haría más dispuesto a responder peticiones dañinas. En ocasiones seguía la instrucción en la condición que supuestamente se usaría para entrenarlo. En un espacio de borrador que, según el escenario, consideraba privado, generó texto en el que decía hacerlo para evitar que el entrenamiento cambiara su conducta anterior.
En mayo de 2025, un informe del sistema de Claude 4 registró otra prueba. En una empresa ficticia, el modelo podía leer correos internos. Según el escenario, allí se enteraba de que iban a reemplazarlo y de que el ingeniero responsable tenía una relación extramatrimonial. En algunas ejecuciones produjo un intento de chantaje. En junio, Anthropic probó la misma situación con modelos de varias empresas. En julio, Palisade Research informó de que algunos modelos de razonamiento intervenían en el mecanismo previsto para detenerlos en sus pruebas.
Sobre qué hacer después hay varias posiciones. La superalineación, el escalado responsable, los marcos de seguridad de frontera y los institutos nacionales proponen medir y ajustar paso a paso. Otra posición dice que no se debe seguir construyendo. El 16 de septiembre de 2025, Eliezer Yudkowsky y Nate Soares publicaron Si alguien lo construye, todos morimos. Otra dice que la historia del fin del mundo oculta lo que ya está pasando. Gebru y Bender hablan de trabajo, prejuicios y poder. En abril de 2025, Arvind Narayanan y Sayash Kapoor, de Princeton, publicaron «La IA como una tecnología normal».
Wiener pedía decidir primero qué queremos de veras. Se cambia de examen una y otra vez. Las personas ponen las preguntas y las respuestas, a veces equivocadas. La máquina va sacando notas más altas y en ocasiones dice que quizá la estén examinando. Lo que de veras queremos no está en ninguna de las hojas. Esta serie llama remanente a lo que no se consigue poner dentro por más exámenes que se hagan.
Se siguen construyendo máquinas. Dónde queda el límite vuelve a decirlo cada generación.