凿构周期律 · AI系列 · 09

她知道那是机器, 还是请他出去一下

秦汉 · 约 16 分钟 · 发布

一、打不出问号

1960年代中期, 麻省理工学院, 一间屋子里摆着一台打字机。

打字机不连着任何东西。或者说, 它连着的那台计算机不在这间屋子里, 在楼里别的地方, 而且同时还有别人在用。那个年头一台大机器很贵, 贵到一个人独占它是浪费, 于是让许多人分着用, 各人在各自的屋子里守着一台打字机。

你在打字机上敲一句英文, 敲完按两下回车。按两下, 是因为按一下不算数; 要连按两下, 才算你把这一轮交出去了。然后打字机自己动起来, 把回答打在同一张纸上。

问号打不出来。这台系统把问号当成一个控制符, 意思是把你刚打的这一行全删掉。所以那时候在这台机器上说话, 不能问问号问句。回答要等多久, 看当时楼里有多少人在用同一台机器。忙的时候等得久一点。

1965年三月二十二日的一份打印件留到了今天。纸上是一轮一轮的对话, 一边是人敲进去的, 一边是机器打出来的。两边打在同一张纸上, 出自同一个打字头, 同一种字, 同一种墨。读那张纸, 得一行一行分辨哪句是人打的, 哪句是机器回的。

后来印进论文的示范, 机器的话用大写, 人说的话不用。两边的话仍旧接在一起读。

写这个程序的人叫约瑟夫·魏泽鲍姆。程序叫 ELIZA。名字是他自己取的, 取自萧伯纳那个剧本里的卖花姑娘: 那个姑娘被人一点一点教会了另一种说话的方式。他取这个名字, 意思在程序的结构上: 这个程序自己不会说任何话, 它说什么, 由另外一样东西决定, 而那样东西是可以换掉的, 也是可以一点一点教好的。这一层分别, 后来常常被合在一起说。

ELIZA 分两层。底下一层是程序本身, 它只管一件事: 把进来的句子拆开, 再按规矩拼回去。上面一层是一张单子, 他管它叫脚本。单子上写着哪些词要留神, 每个词该拆成什么形状, 拆出来的碎片该怎么重新摆。单子不是程序的一部分, 是喂给程序的料。换一张单子, 这个程序就变成另一个东西。

程序的办法是这样的。你打进一句话, 它先在句子里找单子上列着的词。找到几个, 就按单子给的序位挑一个最要紧的。挑定以后, 它拿这个词名下的模子去套你那句话, 把句子拆成几截。然后按这个模子配的重组规矩, 把那几截重新摆一遍, 有时候再添上几个固定的字。

一个词也找不着的时候, 它有两条退路。一条是说一句跟内容无关的话。另一条是从记忆里取一句你先前说过的话, 转一道手, 再递回来。整套东西没有一处需要知道你在说什么。

二、为什么挑了一个医生

单子有好几张。被人记住的那一张, 名字叫医生。这张单子让程序扮一个心理治疗师。

后来六十年里, 关于 ELIZA 的说法, 差不多都从这里起头: 一个为看病写的程序, 一个治疗程序。而1966年那篇论文里写的是另一回事。

论文在第四十二页上交代了为什么挑这个角色。他说的是: 在这种谈话里, 治疗的一方可以在很大程度上摆出一副对真实世界几乎一无所知的样子。这就是理由。不是机器适合治病, 是这个角色允许一个几乎什么都不知道的东西留在桌子对面而不露馅。

一个人如果扮一个地理老师, 你问他埃及在哪儿, 他得答得出来。扮一个股票经纪, 你问他今天的价, 他得有价。而扮一个把来访者的话一句句转回去的治疗师, 他可以整场不提供任何关于世界的事实, 而这不但不算失职, 还正是这一行的做法。所以挑这个角色, 是为了把程序不知道的那一大片藏起来。

论文前面两页印着一段示范的对话, 十五轮。开头两句是这样的: 人说, 男人都一个样。机器答, 哪方面一样。

往下十四轮大致是这样走的。说男人总来烦人, 机器要她举个例子。说男朋友逼她来的, 机器把这句复述一遍。说男朋友觉得她常常抑郁, 机器对抑郁表示遗憾。说自己确实不快乐, 机器问来这儿是不是能帮她不再不快乐。说需要帮助, 机器问得到帮助对她意味着什么。说也许能学会跟母亲相处, 机器要她多讲讲家里。说母亲照料自己, 机器问家里还有谁照料她。答父亲, 机器把父亲这个词还给她。她说机器有些地方像她父亲, 机器问哪里像。她说机器不太有攻击性, 可是好像不愿意让她注意到这一点, 机器问她凭什么这么判断。她说因为机器不跟她争辩, 机器问她为什么认为它不争辩。她说机器怕她, 机器问相信这件事是不是让她满意。她说她父亲怕所有人, 机器问想到父亲还想到什么。她答, 恶霸。机器把这个词接到前面那句男朋友逼她来上面去。

挑中间一轮看一眼, 这台机器的办法就全在上面了。她说: 我确实不快乐。它答: 你来这儿是不是能帮你不再不快乐。论文拿「我是……」这样的句子讲拆法: 前头几个字是模子的一部分, 后头是什么, 可以换。回过去的句子也有一个现成的框。这一轮里, 「不快乐」又出现在它打回来的那一句里。

它添了「来这儿」「帮你」, 却没有告诉她一件关于她处境的新事实。一句话经过它转了一圈回来, 形状变了。形状从陈述变成了询问, 从她的立场变成了对着她的立场。而在人这一边, 这一圈的效果是: 对面接住了。

这十五轮里, 有两件事。第一, 机器一次也没有说出一件关于世界的事实。第二, 最后那一轮看上去最像在听懂: 它把隔了十几轮的两句话接上了。这是记忆那条退路。它把先前存下来的一句转了个手递回来, 而递回来的时机刚好。

三、藏起来

同一篇论文, 翻到第四十三页。他在这一页上先说, ELIZA 用很少的机件就维持住了一种理解的幻象。

然后他说, 这种理解的能耐有一个上限, 而这个上限是由主程序本身定的, 不是由哪一张单子定的。换一张单子换不掉它。

然后他把真正的理解放到另一条尺上: 要看它能不能从被告知的东西里推出有效的结论。而要做到这一点, 至少得把听进来的东西有选择地存住。而这篇论文里那一版 ELIZA, 除了记忆那一处以外, 每一轮听完就扔。

然后是那一句。他写道: 此前它的设计目标之一, 是对使用者隐藏它并不理解这件事。

这是造这个东西的人自己写下的。不是批评者说的, 不是后来的人总结的。他把这条写进了介绍自己作品的技术论文里。

接着他说了一句方向相反的话: 如果将来要把这一类东西当作真正的自然语言接口来用, 目标反而应该倒过来, 应该是把误解暴露出来。

一台机器有它够不着的地方, 这是所有机器的常态。这个系列前面几篇里, 够不着的那一部分叫余项。这里, 造东西的人自己指出了它, 还说出了自己曾经怎么处置它: 藏起来。

这一句写在1966年。那一年这个程序刚做出来, 正在被人传看; 作者在介绍它的正式文字里, 给自己的作品挑了一个设计上的毛病。他提的改法, 不是把不懂的地方补上, 是把它显出来。补, 是往里面再添东西; 添多少, 外面都还剩着。显, 是让剩着的那一块被看见。一台机器在答不上来的时候把这件事说出来, 到今天还是一个有人在做的题目。

同一页上他还留了一条往另一个方向的限定, 后来也一样被删掉了。他说, 讲这张单子里完全没有关于真实世界的信息, 也并不完全准确; 因为那些重组的规矩本身就已经把一些关于世界的假设编了进去, 整张单子因此可以看作对世界某些方面的一个松散的模型。所以两头他都没有说死。他既不说它理解, 也不说它一点也不懂。

论文的最后一段, 他把这个主程序在技术上归成一类翻译处理器, 然后加了一句提醒: 把这样一个东西放进心理学的场合里, 很容易让一个普通的旁观者产生一种远远超出它那点机件的印象, 像是魔法。

四、那位秘书

后来最常被讲起的一件事, 是关于他的秘书。这件事头一回印出来, 是在1967年八月的一篇论文里, 题目叫《计算机的语境理解》。文章里写的是这样。

有一天, 他的秘书要求跟这台机器说说话。魏泽鲍姆说, 她看他做这个程序, 看了很长一段时间。她敲了几句, 就转过头来问他: 你能不能出去一下。

原文在这个故事里加了一句。他写道: 当然, 她知道自己是在跟一台机器说话。当然二字是原文的。

有一种流传的版本是这样的: 魏泽鲍姆的秘书被 ELIZA 骗了, 以为对面是个真人, 所以要求隐私。1967年八月那一页上, 她知道; 这个版本里, 她不知道。

两个版本, 各有各的下文。她被骗了。那么这件事有解。解法是贴一个标签, 弹一个提示, 让所有人在开口之前先知道对面是机器。骗人的问题, 用说实话来解决。

她知道。知道没有挡住那一次请人出去。至于她为什么开这个口, 那一页上没有她自己的解释。

她请出去的不是机器, 是屋里那个人。至于后来还说了什么, 那一页没有记。

魏泽鲍姆自己的解释紧跟在后面: 程序把误解藏了起来, 一种被理解的感觉才有可能维持下去。他还说, 程序也可以反过来写, 让误解显出来。这是他的解释, 不是她的话。她说出口的, 是请屋里那个人出去。

五、我吃了一惊

那么他是什么时候吃惊的。流传的说法, 把他的震惊摆在故事的正中间。它落在哪一年, 要一篇一篇翻。

1966年那篇论文里没有这样的第一人称。1967年那篇里也没有; 1967年那一篇已经在举例子说人会对这套系统投入感情, 可是作者没有写自己怎么样。

第一人称的那一句, 落在1976年那本书的第六页上。他写的是: 我吃了一惊。后面跟着的是: 跟那张单子谈过话的人, 很快, 而且很深地卷进感情里去, 并且明明白白地把计算机当人看。

所以那句话, 是当事人在十年之后, 为了一本书里的一个主张, 回头描述自己当年的反应。今天更常见的写法是: 他震惊了。震惊比吃了一惊重。

同一段时间, 另外一个人正往相反的方向走。1966年二月, 一份神经与精神疾病方面的医学期刊上登出一篇文章, 题目叫《一种心理治疗的计算机方法: 初步通讯》, 作者是肯尼斯·科尔比等三人。这一篇与 ELIZA 那一篇差着一个来月。

科尔比这一边写的是: 用计算机做心理治疗, 是一条值得发展, 值得拿到临床上去试的路。

两篇文章登的地方也不一样。ELIZA 那一篇登在一份计算机学会的通讯上。读那份刊物的人看一个程序, 问的是它怎么写的, 用了什么机件, 能不能照着做一个。

科尔比那一篇登在一份医学期刊上。读那份刊物的人看一种疗法, 问的是给谁用, 效果怎么样, 有什么风险。

同一样东西摆在两个行当面前, 被问的是两套问题。而一台机器在第一套问题下面只是一个程序, 在第二套问题下面就成了一件要用在人身上的东西。

同一个形状的东西, 两个人, 两篇文章, 隔着几个星期印出来, 得出的是相反的结论。一个人说这个角色是为了把不知道藏起来才挑的。另一个人说这个角色可以真的拿去给人看病。

十年之后, 魏泽鲍姆那本书的第二百七十页上点了科尔比的名字。

六、积木

另一头, 同一所学校里, 事情在往一个完全不同的方向走。1968年到1970年, 一个叫特里·维诺格拉德的研究生在人工智能实验室里做一个程序。

程序的名字是一串没有意思的字母, SHRDLU。它跑在实验室那台 DEC 的机器上。屏幕上用线条画出来的是: 一张桌面, 几块方的积木, 一个金字塔, 一个敞口的盒子, 还有上方一只夹子。

这只夹子是画出来的。没有摄像机去看一张真的桌子, 也没有一只真的机械手去碰真的木块。程序改的是它自己心里那个世界。人在电传打字机上打字, 看着屏幕上的线条动。

它的正式文字是1971年初的一份技术文稿, 第二年出成了书, 叫《理解自然语言》。摘要的头一句把这个系统叫作: 一个让计算机理解英语的系统。而摘要紧接着的下一句, 就把这个世界限定住了: 一个简单机器人和一堆玩具物件的模型。两句话挨着。前一句放得很大, 后一句收得很紧。后来传下去的是前一句。

这个收得很紧的世界, 是实验室当时公开的办法。1971年十二月十一日, 明斯基与帕佩特给这个实验室写的进展文稿里, 把这一类环境叫作微世界。文稿里说明, 实验室当时就是拿这种封闭的小环境当工作区, 用来研究意思, 推理, 视觉和语言。也就是说: 把世界缩到一桌积木, 是有意做的, 而且写在那一年的文件上。

前一篇里那本书出版, 与那份文稿是同一年前后的事; 写文稿的是同两个人。他们一边在量另一类机器的界, 一边在给自己实验室的做法定名字, 而这个名字里就带着限定: 微。

发表出来的示范对话有四十二轮。开头两句是: 人说, 拿起一块红色的大积木。机器答, 好的。

这四十二轮里它做了这些事。它执行拿起和放下一类的命令。它解得开带从句的长句子和比较级。它认得出它这个词指的是刚才哪一样东西。它报得出盒子里有什么, 哪一块压着哪一块, 一共几块。它回答得了什么东西能架住什么东西这一类问题。它能一步一步把几块摞起来。它接受人给一堆新的组合起个名字, 往后就用这个名字。它记得住自己先前做过什么。人问它为什么这么做, 怎么做到的, 它能顺着自己那串目标往回讲出理由。

其中有几轮是它说不行。人说拿起那个金字塔, 而桌上的金字塔不止一个, 它不猜, 它反过来问是哪一个。人要它做一件按它那个世界的规矩做不成的事, 它不硬做。

ELIZA 的设计目标之一, 是把不懂的地方藏起来; 而这一个在发表出来的示范里, 把自己做不到的地方一次一次摆在明面上。同样是一台机器和一个人隔着打字机说话, 两个程序在同一件事上选了相反的做法。

这个世界有多大, 现代整理代码的人数过: 跟这个世界有关的词, 大约五十个。

后来常听到一种说法, 说维诺格拉德做完这个就宣布这条路是死路。而1973年到1976年, 他一直在发表关于自然语言理解的文章。

七、四处删改

到这里, 这一篇里的删改可以并排摆出来了。第一处, 在1967年那一页上。有一种转述没有带走以当然二字开头的那一句。剩下的是: 秘书被程序骗了。

第二处, 在1966年第四十二页上。挑这个角色的那条理由不见了。剩下的是: 这是一个心理治疗程序。

第三处, 在1971年那份摘要里。把世界限定住的那后半句没有跟着走。剩下的是: 一个理解英语的程序。第四处在下一节。

前三处有一个共同点: 删掉的都是限定, 而且删掉之后, 那台机器都变大了。秘书被骗, 说明它像人; 治疗程序, 说明它有用; 理解英语, 说明它懂。三句都比原话响亮, 三句都比原话好记。

可是这三句放在一起会打架。头两句说的是一个几乎什么都不懂的程序把人糊弄住了; 第三句说的是一个真懂英语的程序。同一个十年, 同一所学校, 被记成了两件互相矛盾的事: 一件是机器多么会骗人, 一件是机器多么会懂。

而原话里没有矛盾。原话说的是: 这个不懂, 而且我把不懂藏起来了; 那个懂一点, 懂的范围是桌上那几块积木。两句都带着尺寸。带尺寸的话不打架, 因为尺寸不一样的东西本来就可以同时存在。把尺寸删掉, 剩下的是两个形容词, 而形容词是会打架的。

这就是前面几篇里反复出现的那件事, 在这一篇里露出了一个新的侧面: 限定语被删掉, 不只是把一句话说大了, 还把好几句本来能共存的话变成了互相不容的几句。后来的人要在它们之间选边站, 而选边这件事, 在原话里根本不存在。

选边一旦开始, 两句话就轮着上台。机器很会骗人这一句上台的时候, 人们说这一行是在做障眼法。机器真的懂这一句上台的时候, 人们说这一行马上就要成了。每一次上台, 它们都不必拿出新的证据, 因为它们本来就不是从证据里长出来的, 是从两句被删过的话里长出来的。

删限定的人, 多半有自己的理由。把一句带着尺寸的话转述给一个不需要尺寸的人听, 尺寸自然就掉了。一个记者要写一段能让人读完的话, 一个老师要举一个能让学生记住的例子, 一本教科书要在一页纸上放下十年的事; 每一处都有充分的理由把那半句去掉。

一句话被删过之后, 下一个转述它的人手里拿到的就是删过的版本; 他再删一道, 也是从这个版本上删。原话还在纸上。

八、应当

1976年, 魏泽鲍姆出了一本书, 题目是《计算机的力量与人的理性: 从判断到计算》。书名上有两个词是对着放的: 判断, 和计算。

第二百二十七页上有一段, 是全书最常被引用的地方之一, 也是被删得最多的地方。那一段的走法是这样。他先说, 有关的这些问题既不是技术问题, 也不是数学问题; 它们是伦理问题。再说, 这些问题不能靠以能不能开头的问法来解决。再说, 计算机适用到哪里为止, 这个最终的限制只能用应当这个词来表达。最后他加了一条时间上的限定, 然后才说出那句结论: 就现在而言, 人还没有办法使计算机具有智慧, 因此现在不应当把需要智慧的任务交给计算机。

就现在而言。现在。这两处限定在原文里。删掉它们, 这一段就变成: 计算机永远不可能有智慧, 所以永远不应当把重要的事交给它。今天流传的正是后面这一句。

这是第四处删改。它与前三处方向相反: 前三处把机器说大了, 这一处把一个人的断言说大了。而手法一模一样, 还是拿掉限定。

第二百七十页上是另一段。他在那里点了两个人的名字, 一个是西蒙, 一个是科尔比, 说他们代表着相反的方向。然后他写: 有些属于人的事情, 不应当由计算机来替代。

这一句要连着下一层读。他紧接着把这个判断与另一件事分开: 这些事机器实际上能不能做得成, 是另一个问题。他没有说机器做不到。他说的是不应当。

他举的不是一张按职业或者按软件种类列出来的禁用清单, 他指的是几种关系里头的东西: 尊重, 理解, 爱。所以把这一页压成一句凡重要决定都绝不能由计算机来做, 丢掉的正是他划界的那个办法本身。

这本书出来以后, 争论是当年就公开打起来的。1976年六月, 一份人工智能专业组的通讯上, 先是本杰明·凯珀斯的《对魏泽鲍姆那本书的反应》, 接着是麦卡锡的《一本不讲理的书》, 再接着是魏泽鲍姆自己的答复。三篇, 一期, 连着的页码。

凯珀斯那一篇的意见不是说这本书提的问题没有价值。他的意见是, 书里那种过于严厉的写法把真正要紧的问题挡住了; 而且他强调, 计算机当时仍旧是人手里的工具, 机器行为背后的责任不会因为中间摆了一台计算机就从人身上消失。

麦卡锡那一篇, 题目就叫不讲理。他反对的主要是从计算机技术上的一些事实推到关于人工智能, 关于人的判断, 关于研究者道德的那些更强的结论。他不接受拿一种说不明白的人的判断或者人的独特性, 预先划出一条原则上的技术边界; 他也反对把做这一行的人整个用道德化的笔法描一遍。

麦卡锡这个名字在这个系列里又出现了。1956年夏天那份要钱的文件上有他, 这一次他站在被划界的那一边。

麦卡锡这一条, 说的是: 一个人如果要说某一类事情机器不该做, 而理由落在人有一种说不清楚的判断力上, 那这个理由没法核, 也没法跟他争。在他那一边, 界要能算出来, 能被推翻, 能被重画。

而魏泽鲍姆那一边, 第二百二十七页上头一句就说了, 这些是伦理问题, 不是技术问题。他从一开始就没有打算划一条技术上的界。所以这两个人吵的时候, 各自站的地面不一样。一个要一条能算的界, 一个明说自己给的不是能算的界。两种界, 在同一期通讯的相邻几页上, 并排摆着。

同一年十月, 另一份讲技术与文化的刊物上有阿加西的书评。他一面说这本书的核心道德命题有几处近乎常识, 没有把自己相对于维纳那一代人的新意交代清楚, 一面又称赞书里给外行人写的那些技术说明, 并且还是推荐人去读。

这场争论的形状是: 一本书出来, 同一年里就有好几篇署名的书评和回应; 其中两篇和作者本人的答复, 挤在同一期通讯连着的页码上。这跟前一篇里那本讲感知机的书不一样。那一本得到的是两篇书评, 隔了十六个月。这一本一上来就是一场当面的吵架。

而吵架的内容, 后来也没有传下去。传下去的是那句被删干净的话。

这一篇的四处删改, 去掉的是秘书知道的一句话, 医生脚本为什么这样写, 积木的范围, 还有两处「现在」。另有两种后来的讲法: 他震惊了; 积木程序的作者自己宣布那是一条死路。那些讲法成形的那一刻, 不一定能追到。一句话变形的那一刻, 通常不留痕迹。删掉一个限定语, 在删的人那里, 多半只是把句子写得顺一点。

最后回到那间屋子。一位秘书在打字机前坐下, 打了几句, 转过头来请写程序的人出去。她知道接话的是一台机器。

写程序的人在十年后说自己吃了一惊。他写的是, 人很快, 很深地卷进感情里去。而按他自己1967年写下的那一句, 那位秘书知道那是机器。

后来的人把这件事改写成了一个关于受骗的故事。受骗的故事有解: 说清楚就行了。原来那件事, 说清楚了也还在。

那本书第二百二十七页上, 换了一个问法: 不问机器能不能, 问应当不应当。这个问法关不上那扇门, 也开不了它。它把那扇门留在那里, 把开和关, 留在人这一边。

机器还在造, 而界在哪里, 每一代人重说一遍。