Ley del ciclo del cincelado y la construcción · Serie sobre IA · 09

Sabía que era una máquina. Aun así, le pidió que saliera un momento

Han Qin · Unos 22 minutos · Publicado

1. No se puede teclear un signo de interrogación

A mediados de los años sesenta, en el MIT, había una máquina de escribir en una habitación.

La máquina de escribir no estaba conectada a nada. O, mejor dicho, la computadora a la que estaba conectada no estaba allí, sino en otra parte del edificio, y había más gente usándola al mismo tiempo. Por entonces una gran computadora era tan cara que tenerla para uno solo era un desperdicio. Se repartía su uso entre muchas personas, cada una con una máquina de escribir en su propia habitación.

Se teclea una frase en inglés y se pulsa dos veces la tecla de retorno. Una vez no basta. Hay que pulsarla dos veces seguidas para dar por entregado el turno. Entonces la máquina de escribir se pone a funcionar sola y escribe la respuesta en la misma hoja.

No se puede teclear el signo de interrogación. El sistema lo toma por un carácter de control que borra entera la línea que se acaba de escribir. De modo que, para hablar con esa máquina, se prescinde de las preguntas con signo de interrogación. Cuánto tarda en responder depende de cuántas personas en el edificio estén usando la misma computadora. Cuando hay mucho trabajo, la espera es algo mayor.

Se conserva una impresión del 22 de marzo de 1965. Sobre el papel, el diálogo avanza turno a turno: de un lado, lo que alguien teclea; del otro, lo que imprime la máquina. Las dos voces salen en la misma hoja, con el mismo cabezal, los mismos caracteres y la misma tinta. Quien lee el papel tiene que distinguir línea por línea qué escribió la persona y qué le respondió la máquina.

En la demostración que apareció después en el artículo, las palabras de la máquina se imprimen en mayúsculas y las de la persona, no. Las dos voces se siguen leyendo una tras otra.

El autor del programa era Joseph Weizenbaum. El programa se llamaba ELIZA. Él mismo eligió el nombre de la florista de la obra de George Bernard Shaw, una muchacha a la que van enseñando poco a poco otra manera de hablar. En el nombre está la estructura del programa: por sí mismo no dice nada. Lo que dice depende de otra cosa, que se puede sustituir y que se puede ir enseñando poco a poco. Más tarde, ambas cosas se confundieron a menudo.

ELIZA tiene dos capas. Debajo está el programa, que hace una sola cosa: descomponer la frase que entra y volver a montarla según unas reglas. Encima hay una lista que Weizenbaum llamaba guion. La lista dice a qué palabras prestar atención, por dónde dividir la frase que contiene cada una y cómo reordenar los fragmentos. La lista no es parte del programa. Es el material con que se lo alimenta. Con otra lista, el programa se convierte en otra cosa.

Funciona así. Se teclea una frase y el programa busca en ella las palabras de la lista. Si encuentra varias, elige la más importante según el orden de prioridad de la lista. Luego toma el patrón correspondiente a esa palabra, lo aplica a la frase y la parte en segmentos. Con las reglas de recomposición asociadas al patrón, vuelve a disponer los segmentos y en ocasiones añade unas palabras fijas.

Si no encuentra ninguna palabra, tiene dos salidas. Puede decir algo que no depende del contenido. O sacar de la memoria algo que se dijo antes, darle una vuelta y devolverlo. En todo el procedimiento no hay un solo momento que requiera saber de qué se habla.

2. Por qué eligió a un médico

Había varios guiones. El que se recuerda se llamaba DOCTOR. Hacía que el programa representara a un psicoterapeuta.

Casi todo lo que se ha dicho sobre ELIZA en sesenta años parte de ahí: un programa escrito para tratar a pacientes, un programa de terapia. El artículo de 1966 dice otra cosa.

En la página cuarenta y dos explica por qué eligió ese papel. En esa clase de conversación, el terapeuta puede adoptar en buena medida la apariencia de alguien que no sabe casi nada del mundo real. Esa es la razón. No que la máquina sea apta para tratar a nadie. El papel permite que se siente al otro lado de la mesa algo que sabe muy poco, sin que se note.

Si alguien hace de profesor de geografía y se le pregunta dónde está Egipto, tiene que poder contestar. Si hace de agente de bolsa y se le pide el precio de hoy, tiene que darlo. Un terapeuta que devuelve lo que le dice su interlocutor puede pasar la sesión entera sin aportar un solo dato sobre el mundo. No solo no es una falta: es el modo de trabajar del oficio. Ese papel se eligió para ocultar todo lo que el programa no sabía.

En las dos primeras páginas del artículo hay un diálogo de demostración de quince turnos. Empieza así: la persona dice que todos los hombres son iguales. La máquina pregunta en qué son iguales.

Los catorce turnos siguientes van, a grandes rasgos, así. Ella dice que los hombres siempre dan la lata y la máquina pide un ejemplo. Ella dice que su novio la obligó a venir y la máquina le devuelve la frase. Dice que el novio la cree a menudo deprimida y la máquina lamenta la depresión. Admite que no es feliz y la máquina pregunta si venir allí puede ayudarla a dejar de ser infeliz. Dice que necesita ayuda y la máquina pregunta qué significaría para ella recibirla. Dice que quizá pueda aprender a llevarse con su madre y la máquina le pide que hable más de su familia. Dice que su madre la cuida y la máquina pregunta quién más la cuida en la familia. Ella responde que su padre, y la máquina le devuelve la palabra padre. Ella dice que la máquina se parece en algunas cosas a su padre y la máquina pregunta en cuáles. Dice que la máquina no es muy agresiva pero parece no querer que ella lo note, y la máquina pregunta en qué se basa. Dice que la máquina no discute con ella, y la máquina pregunta por qué cree que no discute. Dice que la máquina le tiene miedo, y la máquina pregunta si le agrada creerlo. Dice que su padre le tiene miedo a todo el mundo, y la máquina pregunta qué más le viene a la cabeza al pensar en él. Ella dice «abusón». La máquina enlaza esa palabra con la frase anterior, la del novio que la obligó a venir.

Basta mirar uno de los turnos para ver el método entero. Ella dice: «La verdad es que no soy feliz». La máquina contesta: «¿Venir aquí puede ayudarte a dejar de ser infeliz?». Para explicar cómo descompone la frase, el artículo usa ejemplos como «Soy…»: las primeras palabras son parte del patrón; lo que sigue puede variar. La respuesta tiene también un molde. En ese turno, lo de no ser feliz vuelve en la frase que teclea la máquina.

Ha añadido «venir aquí» y «ayudarte», pero no le ha dicho un solo hecho nuevo sobre su situación. La frase se ha dado una vuelta y ha vuelto con otra forma. De afirmación pasó a ser pregunta; en lugar de salir de ella, se dirige a ella. Del lado humano, la vuelta tiene un efecto: del otro lado han recogido lo que dijo.

En los quince turnos pasan dos cosas. La primera: la máquina no dice ni un solo hecho sobre el mundo. La segunda: el último turno es el que más parece comprensión. Une dos frases separadas por más de diez turnos. Es la salida de la memoria. Da una vuelta a algo que había guardado y lo devuelve en el momento justo.

3. Ocultarlo

En el mismo artículo, pasemos a la página cuarenta y tres. Allí dice primero que ELIZA mantiene una ilusión de comprensión con muy poco mecanismo.

Luego dice que esa capacidad de comprensión tiene un techo, y que el techo lo fija el programa principal, no un guion. Cambiar de guion no lo cambia.

Después mide la comprensión efectiva con otra vara: si se pueden sacar conclusiones válidas de lo que se le ha dicho. Para eso, como mínimo, hay que guardar de manera selectiva lo que se oye. En la versión de ELIZA del artículo, salvo por el recurso de la memoria, todo se descarta después de cada turno.

Entonces llega la frase: hasta entonces, uno de los objetivos del diseño había sido ocultarle al usuario que el programa no comprendía.

Lo escribió quien había hecho el programa. No un crítico ni alguien que hiciera después balance. Puso esa frase en el artículo técnico que presentaba su propio trabajo.

Luego dijo algo que va en dirección contraria. Si algún día se usa algo así como una verdadera interfaz de lenguaje natural, habría que invertir el objetivo: poner de manifiesto los malentendidos.

Una máquina siempre tiene partes a las que no llega. En esta serie, a esa parte se la llama remanente. Aquí quien hizo la máquina señala el remanente y cuenta qué había hecho con él: ocultarlo.

Lo escribió en 1966, cuando acababa de hacer el programa y alguien se lo enseñaba ya a otros. En el texto oficial, el propio autor señaló un defecto del diseño. El cambio que propuso no era llenar lo que el programa no entendía, sino mostrarlo. Llenar es añadir más cosas dentro, y por mucho que se añada algo quedará fuera. Mostrar es hacer visible lo que queda fuera. Que una máquina sepa decir que no puede contestar sigue siendo un problema en el que se trabaja.

En la misma página dejó una salvedad en sentido contrario, que después se omitió también. No era del todo exacto decir que el guion no contenía ninguna información sobre el mundo. Las reglas de recomposición incorporaban ya algunos supuestos sobre él. El guion entero podía verse así como un modelo impreciso de ciertos aspectos del mundo. No cerró el asunto por ninguno de los dos extremos. Ni dice que comprenda, ni dice que no entienda nada en absoluto.

En el último párrafo clasifica técnicamente al programa principal como un tipo de procesador de traducción. Añade una advertencia: en un entorno psicológico, algo así puede dejar en un observador común una impresión que va mucho más allá del poco mecanismo que hay. Parece magia.

4. La secretaria

La historia que más se ha contado después es la de su secretaria. Salió impresa por primera vez en agosto de 1967, en un artículo llamado «La comprensión del contexto por las computadoras». Allí se cuenta así.

Un día su secretaria pidió hablar con la máquina. Según Weizenbaum, llevaba mucho tiempo viéndolo trabajar en aquel programa. Tecleó unas frases. Luego se volvió y le preguntó si podía salir un momento.

En el relato original hay una frase más. Weizenbaum dice: por supuesto, ella sabía que hablaba con una máquina. «Por supuesto» está en el original.

Circula una versión en que ELIZA engañó a la secretaria de Weizenbaum. Ella creyó que hablaba con una persona y por eso pidió privacidad. En la página de agosto de 1967, lo sabía. En esa otra versión, no.

Cada versión lleva a una conclusión distinta. Si la engañaron, el problema tiene solución. Se pone una etiqueta o se muestra un aviso, de modo que antes de hablar todo el mundo sepa que del otro lado hay una máquina. Si el problema es el engaño, se resuelve diciendo la verdad.

Ella lo sabía. Saberlo no impidió que pidiera a alguien que saliera aquella vez. La página no recoge ninguna explicación suya de por qué lo pidió.

No le pidió a la máquina que saliera, sino a la persona que estaba en la habitación. La página no cuenta qué se dijo después.

La explicación de Weizenbaum viene enseguida: al ocultar el malentendido, el programa hacía posible que perdurara la sensación de que alguien comprendía. También dice que se podía escribir un programa al revés, para que el malentendido se viera. Es la explicación de él, no la de ella. Lo único que ella dijo fue que saliera la persona que estaba en la habitación.

5. Me sorprendió

¿Cuándo se sorprendió? La versión difundida pone su conmoción en el centro del relato. Para saber en qué año aparece hay que volver a los textos uno por uno.

En el artículo de 1966 no habla de sí mismo en esos términos. Tampoco en el de 1967. Este ya da ejemplos de cómo las personas se implicaban emocionalmente con el sistema, pero el autor no dice cómo reaccionó él.

La frase en primera persona está en la página seis del libro de 1976. Es «Me sorprendió». Luego dice que la gente que hablaba con aquel guion se implicaba emocionalmente, muy deprisa y muy a fondo, y atribuía con toda claridad cualidades humanas a la computadora.

La frase es, pues, el recuerdo que una de las personas implicadas dejó diez años después para sostener un argumento de su libro. Hoy se lee más a menudo que quedó conmocionado. Conmocionarse es más fuerte que sorprenderse.

En ese mismo tiempo, otra persona iba en sentido contrario. En febrero de 1966, una revista médica sobre enfermedades nerviosas y mentales publicó «Un método informático para la psicoterapia: comunicación preliminar», de Kenneth Colby y otros dos autores. Había aproximadamente un mes de distancia entre ese artículo y el de ELIZA.

Colby decía que usar computadoras en psicoterapia era un camino que merecía desarrollarse y probarse en la clínica.

Los dos textos aparecieron en sitios distintos. El de ELIZA era de una revista de una asociación de informática. Sus lectores, ante un programa, se preguntaban cómo se había escrito, qué mecanismos empleaba y si se podía hacer otro igual.

El de Colby salió en una revista médica. Ante un tratamiento, sus lectores preguntaban para quién sirve, qué resultados da y qué riesgos tiene.

Dos oficios tienen la misma cosa delante y le hacen dos clases de preguntas. En la primera, la máquina no pasa de ser un programa. En la segunda, se vuelve algo que se va a usar con personas.

Dos personas, dos artículos impresos con unas semanas de diferencia y algo de la misma forma. Las conclusiones son opuestas. Uno dice que eligió el papel para ocultar lo que el programa ignoraba. El otro dice que de verdad se podría usar ese papel para tratar a alguien.

Diez años después, en la página doscientas setenta de su libro, Weizenbaum mencionó a Colby por su nombre.

6. Piezas de juguete

En el otro extremo de la misma universidad, el trabajo iba en otra dirección. Entre 1968 y 1970, un estudiante de posgrado llamado Terry Winograd trabajaba en un programa en el laboratorio de inteligencia artificial.

El programa se llamaba SHRDLU, una serie de letras sin significado. Funcionaba en la máquina DEC del laboratorio. En la pantalla, unas líneas dibujaban una mesa, unas piezas cuadradas, una pirámide, una caja abierta y, sobre ellas, una pinza.

La pinza era un dibujo. No había una cámara que mirara una mesa de verdad, ni una mano mecánica que tocara madera de verdad. El programa modificaba el mundo que llevaba dentro. La persona escribía en el teletipo y miraba cómo se movían las líneas de la pantalla.

El texto oficial fue un informe técnico de principios de 1971. Al año siguiente salió como libro, con el título Comprender el lenguaje natural. En la primera frase del resumen se lo llama un sistema para que una computadora entienda el inglés. La frase siguiente acota enseguida el mundo: un modelo de un robot sencillo y unos objetos de juguete. Las dos frases van juntas. La primera abre mucho el alcance. La segunda lo reduce mucho. Perdura la primera.

Ese mundo tan acotado era un método que el laboratorio explicaba en público. En un informe de avances del 11 de diciembre de 1971, Minsky y Papert llamaron micromundos a esos entornos. El informe presentaba esos espacios cerrados como terrenos de trabajo para estudiar el significado, el razonamiento, la visión y el lenguaje. Reducir el mundo a una mesa con unas piezas fue deliberado y quedó en los documentos de aquel año.

El libro del artículo anterior y ese informe son más o menos de la misma época, y los escribieron las mismas dos personas. Mientras medían el límite de otra clase de máquinas, daban un nombre a su modo de trabajar en el laboratorio. El nombre llevaba ya su propia salvedad: micro.

En la demostración publicada hay cuarenta y dos turnos. Al empezar, la persona dice: «Levanta una pieza grande y roja». La máquina contesta: «De acuerdo».

A lo largo de los cuarenta y dos turnos hace lo siguiente. Ejecuta órdenes de levantar y dejar piezas. Resuelve frases largas con subordinadas y comparativos. Identifica a qué objeto de los anteriores se refiere un pronombre. Dice qué hay en la caja, qué pieza está encima de cuál y cuántas hay. Contesta si una cosa puede sostener a otra. Apila piezas paso a paso. Acepta el nombre que una persona da a una combinación nueva y lo usa en adelante. Recuerda lo que ha hecho antes. Si se le pregunta por qué hizo algo y cómo, puede repasar hacia atrás su serie de objetivos y dar una razón.

En algunos turnos dice que no. Le piden que levante la pirámide y en la mesa hay más de una. No adivina: pregunta cuál. Le piden algo que no se puede hacer según las reglas de ese mundo y no intenta forzarlo.

Uno de los objetivos de ELIZA era ocultar lo que no entendía. En su demostración publicada, este otro programa muestra una y otra vez lo que no puede hacer. La misma situación, una persona y una máquina conversando por una máquina de escribir, y dos programas que eligen lo contrario ante el mismo problema.

Quienes han vuelto a ordenar el código en nuestra época contaron el tamaño de ese mundo. Hay unas cincuenta palabras relacionadas con él.

Se oye a menudo que, al acabar, Winograd declaró que aquel camino no llevaba a ninguna parte. Entre 1973 y 1976 siguió publicando sobre la comprensión del lenguaje natural.

7. Cuatro recortes

Ya se pueden poner juntos los recortes de este artículo. El primero está en la página de 1967. Al repetir la historia, alguien no se llevó la frase que empezaba por «por supuesto». Lo que quedó: el programa engañó a la secretaria.

El segundo está en la página cuarenta y dos, de 1966. Desapareció la razón para elegir el papel. Lo que quedó: era un programa de psicoterapia.

El tercero está en el resumen de 1971. No pasó a la versión posterior la frase que acotaba el mundo. Lo que quedó: un programa que entiende el inglés. El cuarto recorte está en la sección siguiente.

Los tres primeros tienen algo en común. Se pierden salvedades y, al perderlas, la máquina se hace mayor. Si la secretaria fue engañada, la máquina se parece a una persona. Si es un programa de terapia, sirve. Si entiende el inglés, comprende. Las tres frases suenan más y se recuerdan mejor que las originales.

Pero juntas se pelean. Las dos primeras dicen que un programa que casi no entiende nada engañó a la gente. La tercera habla de un programa que de verdad entendía el inglés. De la misma década y de la misma universidad se recuerdan dos cosas que se contradicen: lo bien que engaña una máquina y lo bien que entiende.

En las palabras originales no hay contradicción. Dicen: este no entiende, y yo he ocultado que no entiende; el otro entiende algo, y lo que entiende no va más allá de las piezas que hay sobre la mesa. Las dos frases traen sus dimensiones. Dos cosas de distinto tamaño pueden coexistir. Al quitar las dimensiones quedan dos adjetivos, y los adjetivos sí pueden pelearse.

Algo que ya ha aparecido en otros artículos muestra aquí otra cara. Quitar una salvedad no solo agranda una afirmación. También vuelve incompatibles varias afirmaciones que podían coexistir. Quienes vienen después han de elegir bando. En el original no había bando que elegir.

Una vez que se empieza a tomar partido, las dos frases se turnan en el escenario. Cuando sube la de que la máquina engaña muy bien, se dice que el campo ofrece trucos de prestidigitación. Cuando sube la de que entiende de verdad, se dice que está a punto de conseguirlo. Cada vez salen sin necesidad de pruebas nuevas: no nacieron de las pruebas, sino de dos frases recortadas.

Quien recorta una salvedad casi siempre tiene sus razones. Al contarle algo que trae dimensiones a quien no las necesita, suelen caerse esas dimensiones. Un periodista quiere escribir un párrafo que se lea hasta el final; un profesor, dar un ejemplo que sus alumnos recuerden; un manual, poner diez años en una página. En cada caso hay razones suficientes para quitar media frase.

Cuando una frase ha pasado por un recorte, quien la vuelva a contar tiene a mano la versión recortada. Si vuelve a cortar, corta sobre ella. El original sigue en el papel.

8. Lo que se debe hacer

En 1976, Weizenbaum publicó El poder de la computadora y la razón humana: del juicio al cálculo. Dos palabras se miran en el título: juicio y cálculo.

En la página doscientas veintisiete hay uno de los pasajes más citados del libro, y de los que más se han recortado. Va así. Primero, los problemas de que se ocupa no son de técnica ni de matemáticas, sino de ética. Luego, no se resuelven con preguntas que empiezan por «¿se puede?». El límite último de dónde conviene aplicar las computadoras solo puede expresarse con «se debe». Finalmente, antes de concluir, acota la afirmación en el tiempo: por el momento, no sabemos dar sabiduría a una computadora; por tanto, ahora no se deben confiar a las computadoras tareas que requieren sabiduría.

Por el momento. Ahora. Las dos salvedades están en el original. Si se quitan, queda esto: las computadoras nunca podrán tener sabiduría, y por tanto nunca hay que confiarles asuntos importantes. Eso último es lo que circula hoy.

Es el cuarto recorte. Va en dirección contraria a los otros tres. Los primeros agrandaban a la máquina. Este agranda la afirmación de una persona. Se hace, sin embargo, de la misma manera: quitándole las salvedades.

En la página doscientas setenta hay otro pasaje. Menciona por nombre a dos personas, Simon y Colby, y dice que van en direcciones opuestas. Luego escribe que ciertas cosas que corresponden a las personas no deberían quedar sustituidas por una computadora.

La frase se lee junto a lo que sigue. Weizenbaum distingue enseguida ese juicio de una cuestión diferente: si las máquinas pueden hacerlo en la práctica. No dice que no puedan. Dice que no se debe.

No da una lista de prohibiciones por oficio o por tipo de programa. Señala cosas que hay dentro de algunas relaciones: respeto, comprensión, amor. Reducir esa página a que ninguna decisión importante puede dejarse nunca a una computadora borra justo la manera en que él trazó el límite.

El debate se abrió en público el mismo año en que salió el libro. En junio de 1976, un boletín especializado en inteligencia artificial publicó primero «Reacción al libro de Weizenbaum», de Benjamin Kuipers; luego «Un libro insensato», de McCarthy, y por último la respuesta del propio Weizenbaum. Tres textos, un número, páginas seguidas.

Kuipers no negaba valor a las preguntas del libro. Le parecía que el tono demasiado severo tapaba lo que de veras importaba. Recalcó también que la computadora seguía siendo una herramienta en manos humanas. Poner una máquina en medio no quitaba a las personas la responsabilidad de lo que hiciera.

El título de McCarthy habla de un libro insensato. Su objeción principal era el paso de ciertos hechos técnicos a conclusiones más fuertes sobre la inteligencia artificial, el juicio humano y la moral de los investigadores. No aceptaba que un juicio humano indefinido, o alguna singularidad humana, sirvieran para trazar de antemano un límite técnico de principio. Tampoco aceptaba retratar con un mismo juicio moral a toda la gente de la disciplina.

Vuelve el nombre de McCarthy. Figuraba en la solicitud de fondos para el verano de 1956. Esta vez está del lado al que se le marca un límite.

El punto de McCarthy es este. Si alguien dice que una máquina no debería hacer cierta clase de cosas porque las personas tienen una capacidad de juicio que no sabe precisar, la razón no se puede comprobar ni discutir con él. Para McCarthy, el límite tenía que poder calcularse, refutarse y volverse a trazar.

Y del lado de Weizenbaum, la primera frase de la página doscientas veintisiete dice que se trata de problemas de ética, no de técnica. Nunca se había propuesto trazar un límite técnico. Cuando discutían, estaban en terrenos distintos. Uno pedía un límite que se pudiera calcular. El otro decía expresamente que no ofrecía un límite calculable. Los dos límites quedaron juntos, en páginas contiguas del mismo boletín.

En octubre del mismo año hubo una reseña de Joseph Agassi en otra revista, sobre tecnología y cultura. Consideraba que algunas tesis morales centrales del libro eran casi de sentido común y que el libro no dejaba clara su novedad respecto de la generación de Wiener. Elogiaba, por otro lado, las explicaciones técnicas para quienes no eran especialistas y recomendaba leerlo pese a todo.

La discusión tuvo esta forma: salió un libro, y el mismo año salieron varias reseñas firmadas y varias respuestas. Dos de ellas y la réplica del autor ocuparon páginas seguidas de un solo boletín. No fue como con el libro sobre los perceptrones. Aquel tuvo dos reseñas separadas por dieciséis meses. Este empezó con una discusión cara a cara.

La discusión tampoco se transmitió. Se transmitió la frase a la que le habían quitado todo.

En los cuatro recortes de este artículo se pierden la frase de que la secretaria lo sabía, la razón del guion DOCTOR, el tamaño del mundo de las piezas y las dos referencias al presente. Hay otras dos versiones posteriores: quedó conmocionado; el autor del programa de las piezas declaró por su cuenta que era un camino sin salida. No siempre se puede seguir la pista al momento en que tomaron forma. El momento en que una frase cambia de forma no suele dejar rastro. Para quien quita una salvedad, casi siempre se trata solo de escribir la frase con un poco más de soltura.

Volvamos a la habitación. La secretaria se sienta ante la máquina de escribir, teclea unas frases, se vuelve y le pide a quien escribió el programa que salga. Sabe que le está contestando una máquina.

Diez años después, quien escribió el programa dice que le sorprendió. Escribe que la gente se implicaba emocionalmente muy deprisa y muy a fondo. Y según la frase que él mismo escribió en 1967, la secretaria sabía que era una máquina.

Después se convirtió el hecho en una historia de engaño. Las historias de engaño tienen solución: basta aclarar las cosas. Lo que ocurrió en la habitación sigue ahí incluso después de aclararlas.

En la página doscientas veintisiete del libro cambia la pregunta: no si la máquina puede, sino si se debe. La pregunta no puede cerrar aquella puerta ni abrirla. Deja la puerta donde estaba, y deja abrirla o cerrarla de este lado, el de las personas.

Se siguen construyendo máquinas. Dónde queda el límite vuelve a decirlo cada generación.