1. Flores
En 1936, el estadístico Ronald Fisher publicó «El uso de mediciones múltiples en problemas taxonómicos» en el segundo número del séptimo volumen de Annals of Eugenics. Incluía una tabla de tres especies de iris, cincuenta flores de cada una, ciento cincuenta en total. De cada flor se tomaron cuatro medidas: largo y ancho del sépalo, largo y ancho del pétalo.
Fisher mencionaba por su nombre a quien había medido las flores: el botánico Edgar Anderson. Dos de las especies las había recogido Anderson en el mismo terreno, cincuenta flores de cada una. El año anterior había publicado un texto breve sobre los iris de la península de Gaspé, al este de Canadá, que se adentra en el golfo de San Lorenzo.
Cincuenta y un años después, en 1987, un doctorando de la Universidad de California en Irvine llamado David Aha abrió en una computadora de la universidad un archivo de transferencia de ficheros. Puso allí, con sus explicaciones, los datos que varios doctorandos de la misma universidad ya habían reunido, para que otros pudieran descargarlos. En 2019 recordaba que al comienzo solo había «unos pocos conjuntos de datos». El archivo llegó a llamarse Repositorio de Datos para el Aprendizaje Automático. Las ciento cincuenta flores de Anderson también acabaron allí.
Un botánico se agacha entre las flores silvestres de una península y las mide una por una. Los seiscientos números que obtiene se convierten en el primer ejercicio de clasificación de una generación de máquinas tras otra.
2. Casillas
Hacia 1990, el Instituto Nacional de Estándares y Tecnología de Estados Unidos necesitaba que las máquinas reconocieran caracteres manuscritos para una tarea del censo. Primero necesitaba reunir escritura a mano. Se distribuyeron formularios a tres mil cuatrocientos agentes de campo permanentes de la Oficina del Censo y se devolvieron dos mil cien. Los formularios llevaban casillas pequeñas, con un carácter por casilla. Tras recogerlos, un programa recortaba las casillas y convertía cada carácter en una imagen.
Otra tanda de formularios se entregó a quinientos estudiantes de matemáticas y ciencias de una escuela secundaria. Los llenaron y devolvieron durante la clase. Las actas de 1992 dejaban constancia de la diferencia entre ambos grupos: los agentes devolvieron los formularios de forma voluntaria, tenían una motivación profesional y escribían con relativa claridad; a los estudiantes se les pidió que los llenaran allí mismo como ejercicio de clase.
Ese año, el instituto celebró la primera conferencia sobre sistemas de reconocimiento óptico de caracteres para el censo. Las máquinas participantes se entrenaron con los formularios de los agentes. Los de los estudiantes se reservaron para el examen, sin comunicar de antemano las respuestas a los concursantes. Se comparaba cuántos errores cometían. En los dígitos, el mejor equipo falló un 1,56 %; el que más se equivocó, un veinte por ciento.
3. El desempeño humano
En las mismas actas figura otro experimento. El instituto le pidió a una persona que reconociera los primeros diez mil dígitos de la prueba de los estudiantes. No tenía las respuestas de antemano. Leía unos dos caracteres por segundo y trabajaba una o dos horas por sesión, con varias horas de descanso entre sesiones. Se equivocó un 1,57 % de las veces. La mejor máquina, un 1,56 %.
La conclusión decía que las máquinas, al reconocer dígitos manuscritos aislados, «se están acercando al desempeño humano». El mismo párrafo añadía dos salvedades: la escritura del personal del censo no era una muestra lo bastante diversa y, para las letras, no se había hecho una prueba con personas en las mismas condiciones. Desempeño humano era aquí el desempeño de una persona.
Seis años después, en 1998, Yann LeCun y tres colegas publicaron un artículo largo que explicaba cómo habían preparado otro conjunto de dígitos manuscritos. El instituto había destinado al entrenamiento los formularios de los agentes, y al examen, los de los estudiantes. Pero, decían, «los del censo eran mucho más limpios y fáciles de reconocer». También explicaron por qué: unos los escribieron empleados de la Oficina del Censo; otros, estudiantes de secundaria. El examen era más difícil que el ejercicio no porque se hubiera cambiado la pregunta, sino porque había cambiado quien escribía.
Mezclaron, pues, las dos tandas y las repartieron de nuevo. A los quinientos estudiantes los dividieron en dos grupos por persona, la mitad para el entrenamiento y la otra mitad como posibles casos de prueba. Completaron el entrenamiento con ejemplos del censo hasta reunir sesenta mil imágenes. Para la prueba se escogieron diez mil, la mitad de estudiantes y la mitad del censo. Lo llamaron MNIST, la base de datos modificada del Instituto de Estándares. Durante más de veinte años fue uno de los exámenes más usados del campo.
4. El Turco
En noviembre de 2005, Amazon lanzó una plataforma. Cada encargo se llamaba tarea de inteligencia humana. Quien lo publicaba era el solicitante y quien lo hacía, el trabajador.
En 2006, Felipe Cabrera, de Amazon Web Services, explicó el servicio a Wired. Hay cosas difíciles para una computadora y fáciles para una persona. La plataforma convertía el encargo de esas tareas a personas en un servicio al que podía recurrir directamente un programa. Tanto Amazon como las noticias de la época hablaron de «inteligencia artificial artificial».
La plataforma se llamaba Mechanical Turk, el Turco Mecánico. Tomó el nombre de una máquina de ajedrez que hacía exhibiciones itinerantes en el siglo XVIII. Una figura con indumentaria turca se sentaba sobre un armario y jugaba al ajedrez con personas. Parecía jugar sola, pero las jugadas las hacía una persona escondida en el armario. Se presentó en Viena hacia 1770. Durante décadas hubo quienes escribieron para explicar su truco; Edgar Allan Poe lo hizo en 1836. Amazon tomó prestada esa parte del nombre: por fuera se ve una máquina; por dentro trabaja una persona.
Alguien se preguntó quiénes trabajaban en la plataforma. En febrero de 2010, Panos Ipeirotis, de la Universidad de Nueva York, hizo una encuesta. De quienes respondieron, el 46,8 % estaba en Estados Unidos, el 34 % en la India y el resto en otros sesenta y seis países. Después hizo con dos colegas una encuesta de veintiocho meses. Recogieron más de ochenta y cinco mil respuestas de unas cuarenta mil personas distintas. Una conclusión era que la gente entraba y salía sin cesar: cualquier encuesta aislada retrataba solo un momento.
A fines de 2017 se publicó un análisis de los registros anónimos que una extensión de navegador había recogido entre septiembre de 2014 y enero de 2017: alrededor de 3,8 millones de tareas de 2.676 trabajadores. Contaron el tiempo de buscar encargos, leer las instrucciones y hacer trabajos por los que luego no se cobró. La mediana salió en unos dos dólares por hora. Solo cerca del cuatro por ciento ganó más que el salario mínimo federal estadounidense de entonces, 7,25 dólares por hora.
5. ImageNet
En junio de 2009, en CVPR, seis autores de Princeton, entre ellos Jia Deng y Fei-Fei Li, presentaron «ImageNet: una base de datos jerárquica de imágenes a gran escala». La estructura ya existía. Desde 1985, un grupo de psicólogos y lingüistas de Princeton elaboraba un repertorio léxico en inglés, WordNet. Su unidad era el conjunto de sinónimos: las palabras con un mismo sentido formaban un grupo; los grupos se enlazaban por relaciones como las de categoría más general o más específica. ImageNet tomó los conjuntos de sustantivos de WordNet, unos ochenta mil, y se propuso asociar a cada uno entre quinientas y mil imágenes originales ya depuradas. Al publicarse el artículo, se habían completado doce ramas: 5.247 conjuntos, unos 3,2 millones de imágenes.
¿De dónde venían las imágenes? Se buscaban palabras de WordNet en motores de búsqueda de imágenes y se recogían muchos resultados. Después se pedía a personas que miraran imagen por imagen y contestaran una pregunta pequeña: ¿aparece ahí esa cosa? Eran trabajadores de la plataforma de Amazon.
En 2014, ImageNet tenía imágenes para 21.841 conjuntos de sinónimos y contaba con 14.197.122 imágenes etiquetadas. Una retrospectiva del proyecto que Stanford publicó en 2016 indica que participaron cerca de cincuenta mil trabajadores de ciento sesenta y siete países, durante unos dos años y medio.
Fei-Fei Li ha contado varias veces cómo empezó el proyecto. Habla de ampliar primero los datos, no de escribir unas cuantas reglas más para examinar imágenes. El trabajo de 2009 se presentó como póster. No se leyó en el estrado.
6. El examen
Desde 2010, ImageNet celebró cada año un concurso de reconocimiento visual a gran escala. Había mil categorías. Las imágenes de entrenamiento y sus respuestas eran públicas. Las de examen también se podían ver, pero no sus respuestas. Desde 2011, los equipos enviaban sus respuestas al servidor de evaluación y la organización las comparaba con las respuestas de referencia ocultas. La razón para ocultarlas era explícita: que nadie usara repetidamente las preguntas del examen para ajustar su programa. En el servidor que quedó abierto después del concurso, cada equipo podía hacer como máximo dos envíos semanales.
La medida era la tasa de error entre las cinco primeras respuestas: la máquina podía dar cinco opciones y bastaba con acertar una. En 2010 ganó NEC, con un 28,2 % de error. En 2011, el centro europeo de investigación de Xerox quedó en torno al 25,8 %. En 2012, el equipo de tres personas de la Universidad de Toronto obtuvo un 15,3 %. En 2013, Clarifai, un 11,7 %. En 2014, el equipo de Google, un 6,66 %. En 2015, Microsoft Research, un 3,57 %. En 2016, el equipo Soushen, del Tercer Instituto de Investigación del Ministerio de Seguridad Pública de China, alrededor de un 2,99 %. En 2017, alrededor de un 2,25 %.
El 2 de junio de 2015, la organización publicó un comunicado. Desde finales de noviembre de 2014 hasta mediados de mayo de 2015, un equipo de Baidu había usado al menos treinta cuentas para hacer como mínimo doscientos envíos al servidor. En cinco días de mediados de marzo hizo más de cuarenta. La organización dijo que esos resultados «no se pueden comparar directamente con los de otros equipos» y pidió a Baidu que no volviera a enviar resultados durante doce meses. El equipo de Baidu dijo en un comunicado: «Pedimos disculpas por este error». Unos días después, Baidu informó de su investigación interna. Un responsable de equipo había hecho que varios ingenieros jóvenes superaran el límite de dos envíos semanales. La empresa había puesto fin a la relación laboral con él.
Había otra cifra en el examen: cuántos errores cometían las personas. El 2 de septiembre de 2014, Andrej Karpathy, estudiante de posgrado en Stanford, contó un experimento en su blog. Primero se familiarizó con las mil categorías mediante quinientas imágenes de validación. Después reconoció a mano mil quinientas imágenes de examen, a razón de una por minuto, aproximadamente. Su error entre las cinco primeras respuestas fue del 5,1 %. En esas mismas imágenes, la red de Google se equivocó alrededor de un 6,8 %. Karpathy acotó el resultado: «en el conjunto de imágenes que examiné». Un artículo posterior de la organización da el caso de una segunda persona: practicó con solo cien imágenes, examinó doscientas cincuenta y ocho y se equivocó un doce por ciento.
El 6 de febrero de 2015, cuatro autores de Microsoft Research, entre ellos Kaiming He, publicaron un artículo cuyo título decía «superar el nivel humano». Obtuvieron un 4,94 %. El nivel humano con que lo comparaban era el 5,1 % de Karpathy. Antepusieron «hasta donde sabemos».
7. Las personas de las listas
En octubre de 2006, Netflix lanzó un premio para algoritmos de recomendación. Pagaría un millón de dólares a quien redujera en un diez por ciento el error de su propio sistema al pronosticar el número de estrellas de una película. Los datos de entrenamiento puestos a disposición del público incluían unos 100.480.000 votos, de 480.189 abonados, sobre 17.770 películas. Cada registro llevaba una fecha y de una a cinco estrellas. Los nombres de los abonados se habían sustituido por identificadores numéricos.
Ese mismo año, Arvind Narayanan y Vitaly Shmatikov, de la Universidad de Texas, escribieron un preprint que se publicó formalmente dos años después. No descifraron nombres guardados en un archivo. Compararon los rastros anónimos con puntuaciones y fechas aproximadas que algunas personas habían publicado en otro sitio. Querían mostrar que un registro disperso, en presencia de otra información, puede volver a asociarse a una persona.
El 21 de septiembre de 2009, el millón de dólares se entregó a un equipo formado por la unión de varios. En diciembre hubo una demanda contra Netflix por esos datos y por el segundo concurso, que se empezaba a preparar. Se alegaba que las puntuaciones supuestamente anónimas se podían reconocer y revelar qué películas había visto alguien. En marzo de 2010, Netflix anunció que no habría segundo concurso. En 2012, ingenieros de la empresa escribieron en su blog que los métodos del final de la competición efectivamente mejoraban la precisión en pruebas sin conexión, pero que la mejora «no parecía justificar el esfuerzo necesario para llevarlos a producción».
Una de las categorías grandes de ImageNet se llama persona. El equipo no la creó desde cero, sino que heredó la rama entera de la jerarquía de WordNet. En septiembre de 2019, Kate Crawford y Trevor Paglen pusieron en línea un proyecto, Excavando la inteligencia artificial. La categoría persona tenía más de 2.800 subcategorías. Un sitio asociado, ImageNet Roulette, permitía subir una foto propia y recibir una de las etiquetas de esa categoría.
En enero de 2020, el equipo de ImageNet publicó un artículo en que recomendaba retirar 1.593 etiquetas despectivas, ofensivas o relacionadas con identidades sensibles de la categoría persona, junto con 600.040 imágenes asociadas. En junio, investigadores del MIT anunciaron que habían decidido retirar formalmente otro conjunto anterior, Ochenta millones de imágenes diminutas, y pidieron a quienes lo habían usado que borraran las copias. Por las mismas fechas, Vinay Prabhu y Abeba Birhane publicaron una revisión de las categorías degradantes y los retratos incluidos sin consentimiento en grandes colecciones de esta clase.
Hubo otro examen, sobre cómo ven las máquinas a las personas. En febrero de 2018, Joy Buolamwini y Timnit Gebru publicaron Gender Shades. Prepararon una prueba con unos 1.270 retratos públicos de parlamentarios de tres países africanos y tres europeos. Los agruparon por género y según una clasificación dermatológica del tono de piel de seis niveles. Evaluaron servicios de clasificación de género que tres empresas ofrecían al público. Para las mujeres de piel más oscura, las tasas de error fueron aproximadamente del 34,7 %, 34,5 % y 20,8 %, respectivamente. Para los hombres de piel más clara, las tres quedaron por debajo del uno por ciento. Dos empresas anunciaron después mejoras y dijeron que habían reducido los errores para las personas de piel más oscura.
8. Una persona
En este artículo hay dos niveles humanos. En 1992 fue una persona, diez mil dígitos, dos por segundo, una o dos horas por sesión. En 2014 también fue una persona, mil quinientas imágenes, una por minuto, con otras quinientas para practicar. Ambas hicieron el trabajo con cuidado y explicaron cómo. Quedaron dos frases: la máquina se acerca al ser humano; la máquina supera al ser humano.
Para pasar de una persona al ser humano se quitan la frase con que Karpathy acotó el resultado en su blog, el «hasta donde sabemos» añadido por He y sus colegas y las dos salvedades de la conclusión de 1992. Al quitarlas, la puntuación de alguien en un examen se vuelve el límite de toda la humanidad.
También hay personas detrás de cada examen. El botánico que midió flores en Gaspé; los dos mil cien agentes que devolvieron formularios y los quinientos estudiantes que llenaron casillas en clase; quien leía dos caracteres por segundo; los casi cincuenta mil trabajadores de la plataforma que respondían si algo aparecía en una imagen; los más de cuatrocientos ochenta mil espectadores convertidos en números; las cerca de seiscientas mil imágenes de la categoría persona que se propuso retirar; los más de mil parlamentarios de seis países.
Cambia un examen tras otro y bajan las tasas de error año tras año. Al final, los equipos compiten por acertar unas cuantas respuestas ocultas más. Uno hizo más de cuarenta envíos en cinco días para ver si acertaba alguna más. La puntuación es una vara para medir a la máquina. Cuando la vara misma se vuelve el objetivo, la organización tiene que esconder las respuestas y limitar los envíos a dos por semana.
La serie llama remanente a lo que queda fuera por más que se mida. Aquí no cuesta encontrarlo. La escritura, las flores, las imágenes y las puntuaciones de cada examen salieron de una mano, de unos ojos, de una decisión de alguien. La puntuación de la máquina está en la clasificación. De algunas personas quedó el nombre. De la mayoría quedó un número, una casilla o un salario por hora.
Se siguen construyendo máquinas. Dónde queda el límite vuelve a decirlo cada generación.