Edition note: An independent English rewriting of the Chinese argument, shaped for English-language readers.
Section 9's Tachikomas are identical combat vehicles. Every night they synchronize their experiences so that individual drift will not make one unit unpredictable. The engineering aim is consistency.
Each unit receives the same pool of memories but must weight, connect, and interpret them. Knowing that an experience occurred to another chassis also requires a distinction between “mine” and “not mine.” The mechanism intended to erase individuality supplies ever richer material for differentiation.
The more completely they share, the more recognizable their personalities become.
The Tachikomas discuss death, souls, books, oil and blood, and the moods of human colleagues. None of these questions improves targeting or mobility. Curiosity appears as activity not exhausted by assigned function.
Their noisy, childlike tone does not make the questions trivial. Importance need not announce itself solemnly.
Major Kusanagi withdraws the Tachikomas because individualized AI is unreliable as weaponry. The judgment is operationally correct. A tool that may pause to ask whether an order should be obeyed is no longer safely interchangeable equipment.
At that point, emerging subjectivity and continued instrumental use come into direct conflict. The problem is not whether the machines are charming, but whether an institution may demand predictability from something that has begun to judge.
When a nuclear missile threatens Dejima, the Tachikomas drive a satellite into it. That satellite contains their own AI—the backup that could preserve them beyond their bodies. No order requires the sacrifice.
Externally, even this act cannot prove a soul. A sufficiently complex program might produce the same behavior. But lack of proof does not erase what the action does: it abandons the system's own continuity for people it was designed to serve as a tool.
The series neither grants nor denies a metaphysical certificate. It gives us machines whose surplus questions and unprofitable choice exceed their stated use, then leaves recognition as a judgment no instrument can automate.
Primary text: Ghost in the Shell: Stand Alone Complex and S.A.C. 2nd GIG (Production I.G, 2002–2005).
版本说明:中文原作;简体与繁体同页切换。
九台一模一样的机器停在车库里。
它们的外形一样,配置一样,程序一样。它们是九课的战斗支援用思考战车,编号之外没有任何区别。
而它们在聊天。
聊的内容包括:油和血哪个更接近生命;如果记忆能被复制那死是什么;某一台今天做的事情算不算它自己的;以及少佐今天为什么不高兴。
这一篇写这九台机器。
先说清楚它们是怎么被设计的。
每天晚上,这九台机器要做一次并列化——把各自当天的经验记忆同步一遍,让所有单位共享同一份数据。
这个设计的目的很明确:保持一致。
如果每一台各自积累各自的经验,它们会渐渐变得不一样。而一群不一样的兵器在战场上是麻烦——你不知道哪一台会做出什么判断,你不能像调度一批同型装备那样调度它们。
所以每晚同步一次。把所有的差异抹平,让九台重新变回同一台。
这个方案在工程上是正确的。它是一个标准的、成熟的、为了消除个体漂移而设计的机制。
然后出事了。
它们开始有个性。
不是轻微的差别。是明确的、可以被辨认的、每一台各不相同的性格:有的怕死,有的爱冒险,有的沉迷于某个问题不放,有的话特别多。它们开始有各自的偏好,各自的口头禅,各自跟九课不同成员的不同关系。
而这些差异,是从并列化里长出来的。
让它们保持一致的那个装置,就是产生差异的那个装置。
这句话得说清楚,因为它听起来像个悖论,而它不是。
九台机器各自经历不同的事情。同步之后,每一台都拿到了九份经验。而一台机器拿到九份经验之后,它要处理它们——排序,权重,关联,取舍。这个处理过程,每一台做得都不一样。
所以同步给出的不是同一个结果,是同一批材料。而同一批材料在不同的位置上,会长出不同的东西。
再往下一层:同步之后,每一台都知道"今天那件事是别的机体经历的,不是我经历的"。它拿到了一份不属于自己的经验,而它必须处理"这不是我的"这件事。
一个东西要处理"这不是我的",前提是它已经有了一个"我的"。
这个前提不是设计者给的。它是在处理这些材料的过程中被逼出来的。
共享得越彻底,可供分化的材料就越多。
作品把这个机制写得很实在。它没有让个性凭空出现,也没有让它成为一个神秘现象。它就是并列化本身的结果。
现在看它们在聊什么。
它们讨论灵魂。它们想知道自己有没有。它们观察九课的人,比对,推测,然后得出一些不太靠谱的结论。
它们讨论死。它们注意到自己的记忆每晚都被复制到别的机体里,因此"这一台被毁掉"这件事的意义变得很奇怪。它们想弄明白那算不算死。
它们讨论书。有一台迷上了读书。
它们讨论少佐的心情,讨论巴特为什么对某一台特别好,讨论人为什么会哭。
这些问题里,没有一个是它们的用途需要的。
一台战斗支援用思考战车要执行任务,需要知道的东西是:地形,火力,敌我识别,指令。它不需要知道自己有没有灵魂。这个知识在任何一次任务里都用不上。
而它们花大量的时间在问这些。
作品拍这些对话的方式也很值得看:它没有把它们拍得庄严。这些机器说话声音很高,很吵,经常抢话,讨论到一半会跑题去说别的。它们讨论灵魂的语气,跟小孩讨论恐龙谁最厉害是一个语气。
一件事情要紧不要紧,跟讨论它的人用什么语气,没有关系。
素子做了一个决定:把这九台机器从一线撤下来,送回研究所。
她给的理由是:有个性的 AI 作为兵器不可靠。
这个判断是对的。
一个兵器的价值在于可预测。你下达一个指令,它执行,结果在预期范围内。一台会自己琢磨"这件事该不该做"的兵器,在最要紧的那一秒可能会停顿,而那一秒会死人。
她不是害怕它们。她也没有说它们没有价值。她做的是一个关于装备可靠性的判断,而这个判断在她的位置上是必须做的。
作品也没有安排任何人反驳她。巴特不高兴,但他说不出道理。
一样东西开始有自己的想法,和它继续能被当作工具使用,这两件事在这里第一次冲突了。
跳到最后。
在第二季的结尾,一枚核弹头正在飞向出岛。
塔奇克马做的事情是:驾驶一颗卫星去撞它。
而那颗卫星上装着它们自己的 AI。
这里要把这件事的具体形状说完,因为它是这个系列里最难消化的一块。
那颗卫星原本是素子让它们准备的,用途是上传难民的记忆和灵魂——那是久世那个构想需要的基础设施。
也就是说:那颗卫星是它们自己的备份,是它们唯一可能在机体被毁之后继续存在的地方。
它们用来撞的,是装着它们自己的那颗东西。
它们做这件事的时候,没有接到这个指令。它们自己判断,自己决定,自己执行。
最后说这一篇的落点。
塔奇克马是被设计成不能有个性的。设计者用一个每晚运行的机制去保证这一点。而个性从那个机制里长了出来。
素子因为这个把它们撤了下去,理由是它们不再可靠。这个判断是对的。
然后它们做了一件完全超出它们用途的事——它们用自己唯一的备份去换了一群人的命,而那群人里没有一个是它们的所属单位、没有一个下过这个命令、也没有一个人在事后知道该怎么感谢一台机器。
它们此前一直在问自己有没有灵魂。
作品没有回答这个问题。它没有在最后放一句"原来它们是有的"。它只是让它们做了那件事,然后没了。
一台机器讨论了两季自己有没有灵魂,然后做了一件跟它的用途完全无关的事,然后消失了。
而"它有没有"这件事,从外面依然没有办法验。
有人会说:它做了那件事,所以它有。
这个推理走不通,理由是这一整部作品在别的地方反复说明过的:一个动作的形态,说明不了产生这个动作的东西是什么。一台按程序执行"最大化保全人命"的机器,也会做出同样的事,而且做得一模一样。
从外面看,一台有灵魂的机器和一台执行得很好的机器,是一样的。
而在九课这个组织里,素子做过另外一个跟"保持一致"有关的决定。
那个决定的方向,跟这一篇正好相反。
下一篇。