Ley del ciclo del cincelado y la construcción · Serie sobre IA · 12

El programa que «venció a los médicos»

Han Qin · Unos 19 minutos · Publicado

1. ¿Qué grado de certeza tiene?

El equipo de Stanford publicó en su libro una demostración de la versión de 1974 del programa, hecha en un terminal. En ella, alguien enseña una regla al programa.

La regla dice: si la muestra del cultivo de un paciente se tomó de cierto lugar, la tinción de Gram dio cierto resultado, al microscopio el microorganismo tiene cierta forma, no necesita oxígeno y ha entrado en el cuerpo por cierta vía, hay indicios sólidos de que es un Bacteroides. Cinco condiciones, una conclusión.

Quien enseña teclea primero las condiciones y la conclusión. Ante la conclusión, el programa pregunta: «¿Qué grado de certeza tiene?». No pide directamente al especialista un decimal. Le ofrece una escala del uno al diez, fijada por personas. El especialista introduce un nueve. El programa muestra la regla tal como la entendió, desdobla una condición hasta dejar cinco, convierte el nueve en 0,9 y pide confirmación.

La regla recibe desde el comienzo un número: doscientos. En el texto del programa, la conclusión dice que hay indicios sólidos, 0,9, de que el microorganismo es un Bacteroides.

Ese 0,9 es la puntuación que el especialista da al vínculo entre las cinco condiciones y la conclusión. Expresa la fuerza que le atribuye. Viene de una persona que señaló un punto de una escala del uno al diez. El programa tiene sus propias reglas para combinar esas puntuaciones. No son las de la teoría de la probabilidad. Leer el 0,9 como un noventa por ciento es algo posterior.

El juicio de una persona pasa primero a un punto de una escala, después a un decimal y al final se lee como una probabilidad. Con cada cambio se aleja un paso de la persona. Este artículo trata de cómo, durante veinte años, se puso dentro de las máquinas lo que sabían las personas, y de lo que pasó después.

2. El peso atómico del carbono

Hay que retroceder diez años. En 1965 empezó en Stanford un proyecto que llegaría a llamarse DENDRAL. Su artículo formal apareció en 1969 en el cuarto volumen de Inteligencia de las máquinas, con el título «DENDRAL heurístico: un programa que genera hipótesis explicativas en química orgánica». Los autores eran Bruce Buchanan, Georgia Sutherland y Edward Feigenbaum.

El problema era concreto. Se le daba la composición de una molécula y su espectro de masas, es decir, la señal de sus fragmentos, separados por su relación masa-carga después de romper la molécula. A partir del espectro, el programa infería qué estructuras pequeñas debían estar presentes y cuáles no, y con esas pistas y las reglas de la química enumeraba posibles estructuras. Después estimaba el espectro que daría cada una, lo comparaba con el de partida y ordenaba las candidatas.

El 21 de mayo de aquel año aparecieron los dos primeros artículos de una serie en el mismo número de Journal of the American Chemical Society. La serie se titulaba «Aplicaciones de la inteligencia artificial a la inferencia química». En 1969, una revista de química llevaba en un título las palabras inteligencia artificial. El año cae justo en medio de la década que se llamaría el primer invierno.

El programa funcionaba en una máquina DEC del laboratorio de inteligencia artificial de Stanford y estaba escrito en un lenguaje de procesamiento de listas. Había dos grupos de autores. Por un lado, quienes escribían programas o ideaban heurísticas: Lederberg, Feigenbaum, Buchanan y Sutherland. Por otro, quienes trabajaban en espectrometría de masas y química orgánica: Djerassi, Duffield y Robertson. Entre un grupo y otro había que trasladar lo que sabían los químicos y el programa no.

Al principio, ese conocimiento se escribía directamente en el programa. El peso atómico del carbono figuraba dentro de una función llamada peso. Una constante de la naturaleza estaba escrita en los pasos de un cálculo. Para cambiarla había que modificar el programa.

A medida que aumentó el conocimiento, el método dejó de servir. El proyecto sacó del código las propiedades químicas y las puso en estructuras de datos más fáciles de modificar. Los participantes resumieron luego lo aprendido en una frase: introducir en un programa el conocimiento de un dominio se había vuelto un cuello de botella. Aquí aparece por primera vez la expresión. No quiere decir que la máquina calcule despacio. Quiere decir que el conocimiento entra despacio.

DENDRAL se trasladó luego a otra máquina y se ofreció mediante un servicio informático remoto y compartido. A lo largo de los años setenta y a comienzos de los ochenta pudieron usarlo químicos de universidades y de empresas estadounidenses.

En cuanto a llamarlo el primer sistema experto del mundo: en 1969, se llamaba DENDRAL heurístico, y las revistas de química lo presentaban bajo el letrero de la inteligencia artificial. Quienes pusieron en un título «el primer sistema experto para formular hipótesis científicas» fueron sus propios participantes, en una retrospectiva de 1993.

3. Un nombre y otros tres

Hacia 1972, varias personas de la Facultad de Medicina de Stanford y varios programadores empezaron a trabajar juntas. El proyecto no tenía nombre.

En 1973 hubo que escribir una solicitud de fondos y, por obligación, buscar nombre a un programa que ya funcionaba. Al médico Stanton Axline se le ocurrió tomar el sufijo inglés común de muchos antibióticos, como la estreptomicina y la eritromicina. Intentaron formar una sigla, sin éxito. Se quedó así: MYCIN.

El nombre salió de ese arreglo. En la solicitud a los financiadores figuraban otros tres, en mayúsculas: PROGRAMA DE CONSULTA; CAPACIDAD DE EXPLICACIÓN INTERACTIVA; ADQUISICIÓN INFORMÁTICA DE CONOCIMIENTO BASADO EN EL JUICIO. Consultar, explicar y adquirir criterios. Ninguno de los nombres decía médico. El programa había de aconsejar desde un lado, explicar por qué aconsejaba eso y aprender de los expertos a hacerlo.

Al comienzo no tenía esa forma. Se pensó en un sistema de vigilancia de las recetas de antibióticos del hospital. Para vigilarlas había que consultar datos de farmacia, del laboratorio clínico y del laboratorio de bacteriología, tres conjuntos de datos en tres sistemas distintos. Para no tener que conectarlos, se cambió el plan por un sistema de consulta que hablara directamente con el profesional. La dificultad del cableado decidió la forma del programa. Conectar tres sistemas era demasiado difícil, así que se pasó a preguntar a una persona.

El alcance era este. Al comienzo solo trataba de la terapia antimicrobiana de la bacteriemia; luego se amplió a la meningitis infecciosa. Como la meningitis no siempre es bacteriana, se añadieron a la base de conocimiento algunos virus y hongos.

Había otro rasgo de la situación. En las primeras veinticuatro a cuarenta y ocho horas de hospitalización, era frecuente que no estuvieran todos los resultados de laboratorio. La tarea no era decidir, con los primeros datos, cuál era el único patógeno. Era cubrir las posibilidades peligrosas. Cubrirlas no es identificarlas.

Al hacer balance del proyecto en 1984, la base de conocimiento madura tenía unas cuatrocientas cincuenta reglas y cerca de mil hechos en tablas. Podía considerar unos ciento veinte patógenos.

4. Seis pasos

¿Cómo se introducían las reglas, una por una? Edward Shortliffe fue el primero en ocuparse de ello en MYCIN. Recogía los juicios sobre enfermedades infecciosas de los médicos Cohen y Axline, mientras discutía con Buchanan y otros cómo representarlos. Escogieron reglas de la forma «si ocurre esto, entonces aquello» por una razón expresa: un médico podía leerlas, detectar errores y cambiarlas. La forma de la regla se eligió para que una persona la entendiera.

A mediados de los setenta aquello recibió nombre. Hacia 1975 se hicieron comunes en el grupo varias expresiones: ingeniería del conocimiento, sistemas basados en conocimiento, sistemas expertos. En el balance de 1984, el equipo definió la adquisición de conocimiento como extraerlo, trasladarlo y transformarlo a partir de especialistas humanos, libros de texto, bases de datos y experiencia. Por lo general, entre el especialista y el programa había una persona: el ingeniero del conocimiento.

El equipo dividió el trabajo efectivo en seis pasos. Primero, el especialista indica qué hay que añadir o cambiar. Segundo, el ingeniero modifica la base. Tercero, se vuelven a ejecutar casos anteriores. Cuarto, ambos examinan qué problemas aparecen. Quinto, el especialista prueba con casos nuevos. Sexto, se miran los resultados y se vuelve al comienzo. Los autores insisten: cada vuelta lleva mucho tiempo y ese es uno de los problemas decisivos.

Lo más difícil no siempre era el ciclo. A menudo, escribieron, era el tramo del comienzo. El ingeniero tenía que aprender la jerga y las clasificaciones del especialista, y este tenía que ir entendiendo qué formas de representación admitía el programa. Después podía crecer deprisa el número de reglas. Luego habría que ponerlas a prueba y corregirlas una por una. Primero, dos personas tenían que aprender a hablar la lengua de la otra.

En DENDRAL ocurría algo parecido. Buchanan hablaba una y otra vez con los expertos en espectrometría de masas para ordenar como reglas heurísticas ejecutables unos juicios que nunca habían puesto por escrito. Ambos lados invertían mucho tiempo. Al principio, buena parte se iba en cambiar el programa, reconsiderar las clasificaciones y volver a ejecutar los casos.

Más tarde se hicieron herramientas para que los especialistas pudieran revisar y modificar directamente la base. Una se llamaba TEIRESIAS, por el adivino ciego de la antigua Grecia. En el balance quedó escrito que los colaboradores en enfermedades infecciosas no llegaron a usar a diario y en su forma completa las funciones de adquisición y depuración. La herramienta existía. La persona del medio no se podía retirar.

5. Ochocientas evaluaciones

El 21 de septiembre de 1979, Journal of the American Medical Association publicó «Selección de antimicrobianos por una computadora: una evaluación ciega por especialistas en enfermedades infecciosas». El primer firmante era Victor Yu. El título no decía diagnóstico, vencer ni inteligencia artificial.

La evaluación se diseñó por pasos. Medía una cosa: qué antimicrobianos elegir para una meningitis infecciosa aguda cuando aún no se había determinado el patógeno.

Primero se tomaron diez casos de meningitis de un hospital del condado afiliado a Stanford y se prepararon resúmenes. Cada resumen se entregó a ocho personas para que prescribieran de forma independiente: cinco docentes de Stanford en enfermedades infecciosas, un investigador posdoctoral avanzado en esa especialidad, un residente avanzado y un estudiante de medicina de últimos cursos. Se añadieron la recomendación de MYCIN y el tratamiento que el paciente había recibido de verdad. Había diez prescripciones por caso.

Después se encargó la evaluación a ocho especialistas en enfermedades infecciosas de fuera de Stanford. Los ocho habían publicado sobre el tratamiento de la meningitis. Las diez prescripciones de cada caso se desordenaron y se pusieron en un formato común. Los evaluadores no sabían de quién era cada una ni que una procedía de una computadora. Cada especialista escribía primero cómo trataría el caso. Luego clasificaba cada prescripción anónima en uno de tres niveles: equivalente, alternativa aceptable o inaceptable. Diez casos, diez propuestas, ocho evaluadores: ochocientas puntuaciones.

Los resultados fueron estos. De ochenta evaluaciones por propuesta, MYCIN fue aceptable cincuenta y dos veces, un 65 %. El docente A, cincuenta. El docente B y el investigador posdoctoral, cuarenta y ocho cada uno. El docente C y el tratamiento que el paciente había recibido, cuarenta y seis cada uno. El docente D, cuarenta y cuatro. El residente, treinta y seis. El docente E, treinta y cuatro. El estudiante, veinticuatro. La media de los cinco docentes fue del 55,5 %, entre el 42,5 % y el 62,5 %.

Con otra cuenta, la de cuántos casos recibieron la aceptación de la mayoría, MYCIN obtuvo siete de diez. El tratamiento real también obtuvo siete. Con un criterio más estricto, si se omitió un patógeno que podía tratarse, MYCIN no tuvo ninguna omisión. El tratamiento real, tampoco. Entre los docentes, tres no tuvieron ninguna y dos tuvieron una cada uno. El investigador posdoctoral tuvo una; el residente, una; el estudiante, tres.

Se difundió que MYCIN había vencido al diagnóstico de los médicos en una prueba ciega. El artículo evaluaba la elección del medicamento, no el diagnóstico. Eran diez casos de meningitis y se puntuaban prescripciones anónimas. No era un encuentro cara a cara de una máquina con unos médicos.

La tabla tiene diez filas. En la primera cuenta, MYCIN va primero. En la segunda empata con el tratamiento real. En la tercera empata con varios docentes. No hay una fila llamada médicos. Decir 65 % frente a cerca del 50 % es tomar la primera fila y convertir otras cinco en una sola media.

6. Por qué no lo usó nadie

La prescripción con mayor puntuación salió de un programa que no llegó a usarse junto a la cama de un paciente. No lo dijo alguien de fuera. En su libro de 1984, el equipo dedicó una sección a «Por qué MYCIN no se usó de manera habitual».

Enumeró estas razones: la clase de máquina necesaria para ejecutarlo aún era demasiado cara; el conocimiento sobre enfermedades infecciosas no abarcaba lo suficiente; la interfaz dejaba que desear. Si solo servía para la meningitis y la bacteriemia, no compensaba como herramienta.

También estaba el entorno de ejecución. El programa se había escrito en un dialecto de un lenguaje de procesamiento de listas y dependía del tipo de sistema operativo de Stanford y del servicio remoto compartido. Ni las plantas del hospital ni los consultorios tenían esos equipos. Sobre reescribir un sistema grande y complejo para máquinas pequeñas, dijeron: «No teníamos incentivos para hacerlo».

También había razones humanas. Quién asumiría la responsabilidad legal. El orgullo profesional de los médicos. Si al médico le bastaría que el programa pudiera explicar sus razones para aceptarlo. Los autores reconocieron además algo: antes habían equiparado un buen desempeño con que el programa llegara a usarse. Después consideraron ingenua esa idea.

La evaluación ciega de 1979 preguntaba si a los especialistas les parecían aceptables las prescripciones. Era una pregunta que se podía medir, y se midió. Otra era si un médico usaría el programa junto a la cama de un paciente. Esa pregunta no se había medido.

La respuesta a la pregunta medida se tomó por respuesta a la que no se midió. La serie ya ha visto ese movimiento en el quinto artículo y en el anterior: una pregunta difícil cede el sitio a otra más fácil. Esta vez hicieron el cambio los autores del programa. Cinco años después, ellos mismos lo contaron en el libro.

Entre un programa que obtiene la mejor nota en ochocientas evaluaciones y un programa instalado en una planta del hospital casi nada de lo que enumera el propio equipo es una regla. Es el precio de la máquina; si hay en la sala un equipo de esa clase; quién asume la responsabilidad y cómo se ven a sí mismos los médicos.

Había otro motivo. Aproximadamente a partir de 1977, los colaboradores médicos se fueron dedicando a otros trabajos. La base de enfermedades infecciosas dejó en lo esencial de ampliarse a gran escala. Siguió la investigación sobre explicación, adquisición de conocimiento y las herramientas que salieron del proyecto. La incorporación de conocimiento médico se paró cuando se fueron los médicos.

MYCIN no tiene, por eso, una fecha nítida de cierre. Se fue parando poco a poco: se marchó la gente y dejó de crecer el conocimiento. La regla número doscientos seguía en la base. También el 0,9. Las personas que daban esos números por el lado médico se fueron dedicando a otras cosas.

7. Setecientas setenta y dos reglas

Por la misma época hubo un sistema que sí se usó. En las actas del primer congreso anual de la asociación estadounidense de inteligencia artificial, en 1980, John McDermott publicó un artículo cuyo título venía a decir «Un experto en el dominio de los sistemas informáticos». En el título el programa se llamaba R1. Más tarde la empresa lo llamó XCON.

Hacía una tarea concreta. DEC vendía un modelo nuevo de máquina, la VAX-11/780. El cliente enviaba un pedido con la lista de componentes. El programa leía el pedido, dibujaba cómo se colocarían los componentes en el armario, cómo iría el cableado y qué piezas faltaban. El dibujo pasaba a los técnicos, que montaban la máquina real. DEC usaba una máquina DEC para configurar máquinas DEC. El programa funcionaba en una computadora grande de DEC y se había escrito en un lenguaje de sistemas de producción.

La primera fase empezó en diciembre de 1978 y duró unos cuatro meses. El personal de DEC explicó a McDermott durante cinco o seis días seguidos cómo configurar un sistema. También leyó dos manuales. La primera versión tenía menos de doscientas reglas del dominio. La segunda fase duró otros cuatro meses, aproximadamente. Los expertos de DEC examinaban la salida y señalaban errores y omisiones. La cantidad de conocimiento del dominio, según el artículo, casi se triplicó.

Entre octubre y noviembre de 1979, se hizo una prueba sistemática con cincuenta pedidos reales. Participaron seis expertos en configuración. La revisión de cada pedido les llevó una o dos horas. Detectaron doce clases de errores, que se corrigieron.

En junio de 1980 había setecientas setenta y dos reglas permanentes. El artículo llamaba reglas de configuración a cuatrocientas ochenta. El sistema reconocía unos cuatrocientos veinte componentes y una configuración típica incluía unos noventa. Desde enero de 1980 llevaba procesados más de quinientos pedidos. El departamento de producción lo usaba habitualmente y empezaba a conectarlo con el proceso de pedidos de ventas. En la prueba de los cincuenta, cada pedido activaba unas mil cincuenta y seis reglas de media y consumía dos minutos y medio de computadora.

El programa siguió en uso y siguió creciendo. En 1989, Valerie Barker y Dennis O'Connor, empleados de DEC, publicaron una retrospectiva en Communications of the ACM. De unas doscientas cincuenta reglas atendidas por dos personas se había pasado a más de diez mil reglas y un equipo de mantenimiento de más de sesenta. Dos personas se habían convertido en más de sesenta.

Cuando se usa un sistema de conocimiento, no se carga el conocimiento una vez y se acabó. Hace falta una organización que siga cuidándolo, y esa organización va creciendo.

Se suele decir que ahorraba a DEC veinticinco millones de dólares al año. La cifra de la retrospectiva de 1989 era otra: los responsables calculaban unos cuarenta millones al año de ahorro neto para esta clase de sistemas de configuración.

8. Cero coma nueve

En agosto de 1984, la asociación estadounidense de inteligencia artificial celebró su congreso anual en Austin. Asistió un periodista llamado George Johnson, que publicó en noviembre un reportaje largo. El congreso que anotó era así: pantallas de terminales de luz azul grisácea, demostraciones de ventas con altavoces y reclutadores de empresas por todas partes. Asistieron más de tres mil personas. Cerca de dos tercios no venían de la universidad.

En un puesto, una empresa presentaba su producto como un entorno de ingeniería del conocimiento, para hacer sistemas expertos. El folleto decía: «La inteligencia artificial por fin ha llegado a la edad adulta». Otro folleto decía: «Hemos hecho un cerebro mejor». La portada de BusinessWeek de aquel año decía: «Inteligencia artificial: ya está aquí». La asociación repartía pegatinas para parachoques: «Inteligencia artificial: es de verdad».

Feigenbaum dijo a Johnson que el capital de riesgo siempre busca el próximo sector de moda. En 1980 y 1981 había sido la biotecnología. Ahora era la inteligencia artificial. En 1984, inteligencia artificial era un letrero, no una expresión que se evitara.

El periodista hizo también otra cosa. Puso las palabras de los vendedores junto a lo que decían los investigadores en las sesiones técnicas. Estos seguían añadiendo salvedades. El séptimo artículo ponía lado a lado textos separados por años y preguntaba qué salvedades llevaba cada uno y cuántas perduraron. Aquí, en un mismo congreso y en una misma semana, alguien que estaba allí dejó anotadas las dos formas de hablar.

Hay también cifras de dinero. En febrero de 1985, la Oficina de Evaluación Tecnológica del Congreso estadounidense publicó un informe de mercado. En 1983, las empresas habían gastado entre sesenta y seis y setenta y cinco millones de dólares en productos de inteligencia artificial. En la misma página se dice que quince o más de las principales empresas del país ampliaban su desarrollo de sistemas expertos; en los últimos años habían aparecido por lo menos unas diez empresas de esos productos; el capital de riesgo invertido en las empresas nuevas de ese tipo era de al menos dieciséis millones de dólares. El mercado de las máquinas vendidas específicamente para desarrollar inteligencia artificial se estimaba en unos cincuenta millones. Había también una cifra grande: a comienzos de los noventa, el mercado podía valer entre dos mil quinientos y ocho mil quinientos millones de dólares.

Entraron también los Estados. En 1982 el Ministerio de Comercio Internacional e Industria de Japón creó el Instituto de Tecnología Informática de Nueva Generación para el proyecto de computadoras de quinta generación. Las estimaciones externas más altas daban un máximo de entre mil y mil quinientos millones de dólares para los siguientes ocho a diez años. Al comienzo se gastaron unos dos millones en 1982, doce millones en 1983 y veintisiete en 1984. El instituto tenía cincuenta y dos personas.

El programa británico Alvey fue una respuesta al proyecto japonés. Su parte de inteligencia artificial se llamaba sistemas inteligentes basados en conocimiento. El Gobierno comprometió unos trescientos diez millones de dólares y se esperaba que las empresas añadieran doscientos treinta millones. Para los sistemas inteligentes basados en conocimiento se calculaban unos treinta y nueve millones en los primeros cinco años, de los que cerca de treinta serían para las universidades. En 1982, el Reino Unido tenía unos ciento cincuenta investigadores del campo. Se pensaba aumentar la cifra en la mitad en dos o tres años y doblarla en cinco.

El programa de computación estratégica de la agencia estadounidense de proyectos de investigación avanzados de Defensa, DARPA, empezó en el ejercicio de 1984. Contaba con unos seiscientos millones de dólares para cinco años.

En el mismo documento, inteligencia artificial y sistemas expertos son títulos de capítulos. En el mismo lugar se advierte que parte del entusiasmo comercial puede ser infundado. Quienes asesoran al Congreso recelan de cuánto se dice que puede servir y extenderse la generación actual de sistemas expertos. El letrero y la advertencia están en el mismo capítulo del mismo documento oficial.

Volvamos al número de este artículo. Lo que se quiso hacer durante esos veinte años se puede decir en pocas palabras: poner en la máquina lo que sabían las personas. Lo que sabían los químicos, los médicos, los ingenieros de configuración. Lo que dejan los documentos es la forma de ese trabajo.

El peso del carbono se escribió primero en el programa; hubo que sacarlo para cambiarlo. El juicio del médico se pidió primero como un punto de una escala del uno al diez y se guardó como un decimal. Un ciclo de seis pasos tardaba mucho en completarse, y lo más difícil era que dos personas aprendieran a hablar la lengua de la otra. Un programa de configuración pasó del cuidado de dos personas al de más de sesenta. Un programa de consulta obtuvo la puntuación más alta; cuando se fueron los médicos, dejó de crecer su conocimiento.

Los hechos dicen lo mismo. El conocimiento no se coloca dentro de una vez. Una vez dentro, hace falta que alguien lo cuide. Los documentos dicen con toda claridad quién lo hacía: ingenieros del conocimiento, equipos de mantenimiento, especialistas que entraban y salían. Cuantas más reglas había dentro, más gente había alrededor de la máquina.

Lo que se construye tiene un límite y siempre queda algo fuera. A esa parte la serie la llama remanente. En esos veinte años el remanente tiene una cara: es la persona que tiene que seguir sentada al lado de la máquina.

Las reglas se pueden copiar y contar: setecientas setenta y dos, cuatrocientas cincuenta, más de diez mil. No se puede copiar por qué una se escribió así o por qué en aquel 0,9 hubo un nueve y no un ocho. Eso queda en quien dio el nueve. Mientras está, se puede cambiar la regla. Cuando se va, la regla sigue, el 0,9 también, y la persona que puede explicarlo ya no está junto a la máquina.

Volvamos al terminal. Un programa pregunta a una persona qué grado de certeza tiene y le da una escala del uno al diez. La persona introduce nueve. El programa escribe 0,9.

Más tarde se leyó el 0,9 como un 90 %, las ochocientas puntuaciones como una victoria sobre los médicos, la base que dejó de crecer al marcharse sus médicos como un médico artificial usado en hospitales y el programa que necesitaba a más de sesenta personas como una máquina que le ahorraba veinticinco millones de dólares al año a una empresa. Cada lectura alejó un paso más a la persona que había dicho nueve.

Se siguen construyendo máquinas. Dónde queda el límite vuelve a decirlo cada generación.