El mecanismo para mantenerlos iguales

Nueve máquinas idénticas están aparcadas en el garaje.

Tienen el mismo aspecto, la misma configuración y el mismo programa. Son los tanques pensantes de apoyo al combate de la Sección 9. Fuera de su número, no hay nada que los distinga.

Y están charlando.

Hablan de si el aceite o la sangre están más cerca de la vida; de qué significa morir si los recuerdos se pueden copiar; de si lo que uno de ellos ha hecho hoy cuenta como algo suyo; y de por qué está de mal humor la mayor.

Este ensayo trata de esas nueve máquinas.

El mecanismo

Empecemos por cómo están diseñadas.

Cada noche, las nueve máquinas realizan una sincronización en paralelo: ponen en común los recuerdos de lo vivido durante el día, para que todas las unidades compartan los mismos datos.

El objetivo del diseño es inequívoco: mantenerlas iguales.

Si cada una acumulara únicamente sus propias experiencias, acabarían diferenciándose. Y un conjunto de armas distintas es un problema en el campo de batalla: no sabes qué juicio hará cada una ni puedes desplegarlas como un lote de equipos del mismo modelo.

Por eso se sincronizan cada noche. Se eliminan todas las diferencias, de modo que las nueve vuelvan a ser una sola.

Desde la ingeniería, la solución es correcta. Es un mecanismo estándar, maduro, pensado para eliminar las desviaciones individuales.

Y de ahí nacen las diferencias

Entonces llega el problema.

Empiezan a tener personalidad.

No son diferencias leves. Son personalidades claras, reconocibles y distintas en cada unidad: una teme morir, otra busca aventuras, otra no consigue dejar de darle vueltas a cierta pregunta, otra habla por los codos. Empiezan a tener preferencias, muletillas y relaciones particulares con los distintos miembros de la Sección 9.

Esas diferencias nacen de la sincronización en paralelo.

El mecanismo que debe mantenerlas iguales es el mismo que produce sus diferencias.

Así leo esta paradoja. Lo que sigue es una interpretación de lo que vemos, no una ficha técnica de la inteligencia artificial.

Las nueve máquinas viven cosas distintas. Tras sincronizarse, cada una recibe nueve conjuntos de experiencias. Luego tiene que procesarlos: ordenarlos, darles un peso, relacionarlos, elegir qué conserva y qué descarta. Cada máquina realiza ese proceso de una manera distinta.

La sincronización, por tanto, no proporciona el mismo resultado, sino los mismos materiales. Y unos mismos materiales, procesados desde posiciones diferentes, dan lugar a cosas diferentes.

Hay otra capa. Después de sincronizarse, precisamente no siempre pueden distinguir qué unidad vivió cada experiencia. Los datos no ofrecen una frontera segura entre «mío» y «no mío».

Eso no vuelve intercambiables todos los encuentros. La preferencia de Batou por una unidad, la lectura de un libro y las distintas experiencias corporales dan un lugar y una historia a lo que saben en común.

La pregunta cambia: no se trata de localizar un dueño ya inscrito en cada recuerdo, sino de entender cómo nace una relación propia con lo compartido.

Cuanto más comparten, más material tienen para diferenciarse.

La obra da formas concretas a esa pregunta. La sincronización, por sí sola, no explica cada personalidad: crea un espacio compartido en el que las experiencias corporales y las relaciones transmiten diferencias.

Las preguntas que se hacen

Fijémonos ahora en sus conversaciones.

Hablan del alma. Quieren saber si tienen una. Observan a los miembros de la Sección 9, comparan, conjeturan y llegan a conclusiones no demasiado fiables.

Hablan de la muerte. Han advertido que cada noche sus recuerdos se copian a los otros cuerpos. Eso vuelve muy extraño lo que significa «que destruyan esta unidad». Quieren averiguar si eso cuenta como morir.

Hablan de libros. Una de las unidades se ha aficionado a leer.

Hablan del humor de la mayor, de por qué Batou trata especialmente bien a una de ellas y de por qué lloran los humanos.

Ninguna de esas preguntas es necesaria para cumplir su función.

Para ejecutar una misión, un tanque pensante de apoyo al combate necesita conocer el terreno, la potencia de fuego, la identificación de amigos y enemigos y las órdenes. No necesita saber si tiene alma. Ese conocimiento no le sirve en ninguna misión.

Y, sin embargo, dedican muchísimo tiempo a preguntárselo.

También merece atención cómo filma la serie esas conversaciones. No las vuelve solemnes. Las máquinas hablan con voces agudas, hacen ruido, se pisan unas a otras y a mitad de una discusión se van por las ramas. Hablan del alma con el mismo tono con que unos niños discutirían qué dinosaurio es el más fuerte.

La importancia de una cuestión no depende del tono con que se hable de ella.

Motoko las retira

Motoko decide retirar a las nueve máquinas de primera línea y devolverlas al centro de investigación.

Su motivo: una inteligencia artificial con personalidad no es fiable como arma.

Tiene razón.

El valor de un arma está en que sea previsible. Das una orden, la ejecuta y el resultado entra dentro de lo esperado. Un arma que se pregunta por su cuenta «¿debería hacer esto?» puede detenerse en el segundo crucial. En ese segundo muere gente.

Motoko no les tiene miedo. Tampoco dice que carezcan de valor. Está juzgando la fiabilidad de un equipo, y desde el puesto que ocupa tiene la obligación de hacerlo.

La obra no hace que nadie la refute. A Batou le disgusta, pero no encuentra un argumento en contra.

Por primera vez entran en conflicto dos cosas: que algo empiece a pensar por su cuenta y que siga pudiendo utilizarse como herramienta.

Lo último que hacen

Saltemos al final.

Al terminar la segunda temporada, una cabeza nuclear se dirige hacia Dejima.

Los Tachikoma maniobran un satélite para estrellarlo contra ella.

Ese satélite alberga su propia inteligencia artificial.

Hay que precisar qué están haciendo, porque este es el punto más difícil de digerir de estos ensayos.

Motoko les había encargado reservar espacio en la red para los refugiados. Ese espacio debía servir al proyecto de Kuze de transferir a la red sus recuerdos y sus almas.

El satélite que lanzan contra la cabeza nuclear es otra cosa: alberga los servidores en los que funciona su propia inteligencia artificial.

Lo que estrellan es el objeto que los contiene a ellos mismos.

Nadie les ha dado esa orden. Ellos juzgan, ellos deciden y ellos ejecutan la acción.

No les sirve de nada

Veamos, para terminar, adónde lleva todo esto.

Los Tachikoma fueron diseñados para no tener personalidad. Sus creadores establecieron un mecanismo nocturno que debía garantizarlo. La personalidad nació precisamente de ese mecanismo.

Por eso Motoko los retiró: habían dejado de ser fiables. Su juicio era correcto.

Después hicieron algo completamente ajeno a la función que tenían asignada. Sacrificaron el satélite que albergaba su propia inteligencia artificial para salvar a unas personas. No salvaron únicamente a su unidad, sino a la gente de Dejima. Nadie les había dado aquella orden y ninguna sabría después cómo darle las gracias a una máquina.

Hasta entonces no habían dejado de preguntarse si tenían alma.

La obra no responde. No coloca al final una frase que diga «resulta que sí tenían». Se limita a dejar que hagan aquello. Y después ya no están.

Una máquina pasa dos temporadas preguntándose si tiene alma, hace algo que no tiene ninguna relación con su función y desaparece.

Y desde fuera sigue sin haber manera de comprobar si la tiene.

Alguien dirá: si ha hecho eso, es que la tiene.

La inferencia no funciona. La razón es algo que la serie explica una y otra vez en otros lugares: la forma de un acto no permite saber qué lo ha producido. Una máquina programada para «salvar el mayor número posible de vidas humanas» haría lo mismo. Exactamente lo mismo.

Desde fuera, una máquina con alma y una máquina que ejecuta muy bien su programa son lo mismo.

Dentro de la Sección 9, Motoko tomó otra decisión relacionada con «mantener la uniformidad».

Esa decisión va justo en sentido contrario al de este ensayo.

Lo veremos en el siguiente ensayo.