一、打不出問號
1960年代中期, 麻省理工學院, 一間屋子裡擺著一臺打字機。
打字機不連著任何東西。或者說, 它連著的那臺計算機不在這間屋子裡, 在樓裡別的地方, 而且同時還有別人在用。那個年頭一臺大機器很貴, 貴到一個人獨佔它是浪費, 於是讓許多人分著用, 各人在各自的屋子裡守著一臺打字機。
你在打字機上敲一句英文, 敲完按兩下回車。按兩下, 是因為按一下不算數; 要連按兩下, 才算你把這一輪交出去了。然後打字機自己動起來, 把回答打在同一張紙上。
問號打不出來。這臺系統把問號當成一個控制符, 意思是把你剛打的這一行全刪掉。所以那時候在這臺機器上說話, 不能問問號問句。回答要等多久, 看當時樓裡有多少人在用同一臺機器。忙的時候等得久一點。
1965年三月二十二日的一份打印件留到了今天。紙上是一輪一輪的對話, 一邊是人敲進去的, 一邊是機器打出來的。兩邊打在同一張紙上, 出自同一個打字頭, 同一種字, 同一種墨。讀那張紙, 得一行一行分辨哪句是人打的, 哪句是機器回的。
後來印進論文的示範, 機器的話用大寫, 人說的話不用。兩邊的話仍舊接在一起讀。
寫這個程序的人叫約瑟夫·魏澤鮑姆。程序叫 ELIZA。名字是他自己取的, 取自蕭伯納那個劇本裡的賣花姑娘: 那個姑娘被人一點一點教會了另一種說話的方式。他取這個名字, 意思在程序的結構上: 這個程序自己不會說任何話, 它說什麼, 由另外一樣東西決定, 而那樣東西是可以換掉的, 也是可以一點一點教好的。這一層分別, 後來常常被合在一起說。
ELIZA 分兩層。底下一層是程序本身, 它只管一件事: 把進來的句子拆開, 再按規矩拼回去。上面一層是一張單子, 他管它叫腳本。單子上寫著哪些詞要留神, 每個詞該拆成什麼形狀, 拆出來的碎片該怎麼重新擺。單子不是程序的一部分, 是餵給程序的料。換一張單子, 這個程序就變成另一個東西。
程序的辦法是這樣的。你打進一句話, 它先在句子裡找單子上列著的詞。找到幾個, 就按單子給的序位挑一個最要緊的。挑定以後, 它拿這個詞名下的模子去套你那句話, 把句子拆成幾截。然後按這個模子配的重組規矩, 把那幾截重新擺一遍, 有時候再添上幾個固定的字。
一個詞也找不著的時候, 它有兩條退路。一條是說一句跟內容無關的話。另一條是從記憶裡取一句你先前說過的話, 轉一道手, 再遞回來。整套東西沒有一處需要知道你在說什麼。
二、為什麼挑了一個醫生
單子有好幾張。被人記住的那一張, 名字叫醫生。這張單子讓程序扮一個心理治療師。
後來六十年裡, 關於 ELIZA 的說法, 差不多都從這裡起頭: 一個為看病寫的程序, 一個治療程序。而1966年那篇論文裡寫的是另一回事。
論文在第四十二頁上交代了為什麼挑這個角色。他說的是: 在這種談話裡, 治療的一方可以在很大程度上擺出一副對真實世界幾乎一無所知的樣子。這就是理由。不是機器適合治病, 是這個角色允許一個幾乎什麼都不知道的東西留在桌子對面而不露餡。
一個人如果扮一個地理老師, 你問他埃及在哪兒, 他得答得出來。扮一個股票經紀, 你問他今天的價, 他得有價。而扮一個把來訪者的話一句句轉回去的治療師, 他可以整場不提供任何關於世界的事實, 而這不但不算失職, 還正是這一行的做法。所以挑這個角色, 是為了把程序不知道的那一大片藏起來。
論文前面兩頁印著一段示範的對話, 十五輪。開頭兩句是這樣的: 人說, 男人都一個樣。機器答, 哪方面一樣。
往下十四輪大致是這樣走的。說男人總來煩人, 機器要她舉個例子。說男朋友逼她來的, 機器把這句復述一遍。說男朋友覺得她常常抑鬱, 機器對抑鬱表示遺憾。說自己確實不快樂, 機器問來這兒是不是能幫她不再不快樂。說需要幫助, 機器問得到幫助對她意味著什麼。說也許能學會跟母親相處, 機器要她多講講家裡。說母親照料自己, 機器問家裡還有誰照料她。答父親, 機器把父親這個詞還給她。她說機器有些地方像她父親, 機器問哪裡像。她說機器不太有攻擊性, 可是好像不願意讓她注意到這一點, 機器問她憑什麼這麼判斷。她說因為機器不跟她爭辯, 機器問她為什麼認為它不爭辯。她說機器怕她, 機器問相信這件事是不是讓她滿意。她說她父親怕所有人, 機器問想到父親還想到什麼。她答, 惡霸。機器把這個詞接到前面那句男朋友逼她來上面去。
挑中間一輪看一眼, 這臺機器的辦法就全在上面了。她說: 我確實不快樂。它答: 你來這兒是不是能幫你不再不快樂。論文拿「我是……」這樣的句子講拆法: 前頭幾個字是模子的一部分, 後頭是什麼, 可以換。回過去的句子也有一個現成的框。這一輪裡, 「不快樂」又出現在它打回來的那一句裡。
它添了「來這兒」「幫你」, 卻沒有告訴她一件關於她處境的新事實。一句話經過它轉了一圈回來, 形狀變了。形狀從陳述變成了詢問, 從她的立場變成了對著她的立場。而在人這一邊, 這一圈的效果是: 對面接住了。
這十五輪裡, 有兩件事。第一, 機器一次也沒有說出一件關於世界的事實。第二, 最後那一輪看上去最像在聽懂: 它把隔了十幾輪的兩句話接上了。這是記憶那條退路。它把先前存下來的一句轉了個手遞回來, 而遞回來的時機剛好。
三、藏起來
同一篇論文, 翻到第四十三頁。他在這一頁上先說, ELIZA 用很少的機件就維持住了一種理解的幻象。
然後他說, 這種理解的能耐有一個上限, 而這個上限是由主程序本身定的, 不是由哪一張單子定的。換一張單子換不掉它。
然後他把真正的理解放到另一條尺上: 要看它能不能從被告知的東西裡推出有效的結論。而要做到這一點, 至少得把聽進來的東西有選擇地存住。而這篇論文裡那一版 ELIZA, 除了記憶那一處以外, 每一輪聽完就扔。
然後是那一句。他寫道: 此前它的設計目標之一, 是對使用者隱藏它並不理解這件事。
這是造這個東西的人自己寫下的。不是批評者說的, 不是後來的人總結的。他把這條寫進了介紹自己作品的技術論文裡。
接著他說了一句方向相反的話: 如果將來要把這一類東西當作真正的自然語言接口來用, 目標反而應該倒過來, 應該是把誤解暴露出來。
一臺機器有它夠不著的地方, 這是所有機器的常態。這個系列前面幾篇裡, 夠不著的那一部分叫餘項。這裡, 造東西的人自己指出了它, 還說出了自己曾經怎麼處置它: 藏起來。
這一句寫在1966年。那一年這個程序剛做出來, 正在被人傳看; 作者在介紹它的正式文字裡, 給自己的作品挑了一個設計上的毛病。他提的改法, 不是把不懂的地方補上, 是把它顯出來。補, 是往裡面再添東西; 添多少, 外面都還剩著。顯, 是讓剩著的那一塊被看見。一臺機器在答不上來的時候把這件事說出來, 到今天還是一個有人在做的題目。
同一頁上他還留了一條往另一個方向的限定, 後來也一樣被刪掉了。他說, 講這張單子裡完全沒有關於真實世界的信息, 也並不完全準確; 因為那些重組的規矩本身就已經把一些關於世界的假設編了進去, 整張單子因此可以看作對世界某些方面的一個鬆散的模型。所以兩頭他都沒有說死。他既不說它理解, 也不說它一點也不懂。
論文的最後一段, 他把這個主程序在技術上歸成一類翻譯處理器, 然後加了一句提醒: 把這樣一個東西放進心理學的場合裡, 很容易讓一個普通的旁觀者產生一種遠遠超出它那點機件的印象, 像是魔法。
四、那位秘書
後來最常被講起的一件事, 是關於他的秘書。這件事頭一回印出來, 是在1967年八月的一篇論文裡, 題目叫《計算機的語境理解》。文章裡寫的是這樣。
有一天, 他的秘書要求跟這臺機器說說話。魏澤鮑姆說, 她看他做這個程序, 看了很長一段時間。她敲了幾句, 就轉過頭來問他: 你能不能出去一下。
原文在這個故事裡加了一句。他寫道: 當然, 她知道自己是在跟一臺機器說話。當然二字是原文的。
有一種流傳的版本是這樣的: 魏澤鮑姆的秘書被 ELIZA 騙了, 以為對面是個真人, 所以要求隱私。1967年八月那一頁上, 她知道; 這個版本裡, 她不知道。
兩個版本, 各有各的下文。她被騙了。那麼這件事有解。解法是貼一個標籤, 彈一個提示, 讓所有人在開口之前先知道對面是機器。騙人的問題, 用說實話來解決。
她知道。知道沒有擋住那一次請人出去。至於她為什麼開這個口, 那一頁上沒有她自己的解釋。
她請出去的不是機器, 是屋裡那個人。至於後來還說了什麼, 那一頁沒有記。
魏澤鮑姆自己的解釋緊跟在後面: 程序把誤解藏了起來, 一種被理解的感覺才有可能維持下去。他還說, 程序也可以反過來寫, 讓誤解顯出來。這是他的解釋, 不是她的話。她說出口的, 是請屋裡那個人出去。
五、我吃了一驚
那麼他是什麼時候吃驚的。流傳的說法, 把他的震驚擺在故事的正中間。它落在哪一年, 要一篇一篇翻。
1966年那篇論文裡沒有這樣的第一人稱。1967年那篇裡也沒有; 1967年那一篇已經在舉例子說人會對這套系統投入感情, 可是作者沒有寫自己怎麼樣。
第一人稱的那一句, 落在1976年那本書的第六頁上。他寫的是: 我吃了一驚。後面跟著的是: 跟那張單子談過話的人, 很快, 而且很深地卷進感情裡去, 並且明明白白地把計算機當人看。
所以那句話, 是當事人在十年之後, 為了一本書裡的一個主張, 回頭描述自己當年的反應。今天更常見的寫法是: 他震驚了。震驚比吃了一驚重。
同一段時間, 另外一個人正往相反的方向走。1966年二月, 一份神經與精神疾病方面的醫學期刊上登出一篇文章, 題目叫《一種心理治療的計算機方法: 初步通訊》, 作者是肯尼斯·科爾比等三人。這一篇與 ELIZA 那一篇差著一個來月。
科爾比這一邊寫的是: 用計算機做心理治療, 是一條值得發展, 值得拿到臨床上去試的路。
兩篇文章登的地方也不一樣。ELIZA 那一篇登在一份計算機學會的通訊上。讀那份刊物的人看一個程序, 問的是它怎麼寫的, 用了什麼機件, 能不能照著做一個。
科爾比那一篇登在一份醫學期刊上。讀那份刊物的人看一種療法, 問的是給誰用, 效果怎麼樣, 有什麼風險。
同一樣東西擺在兩個行當面前, 被問的是兩套問題。而一臺機器在第一套問題下面只是一個程序, 在第二套問題下面就成了一件要用在人身上的東西。
同一個形狀的東西, 兩個人, 兩篇文章, 隔著幾個星期印出來, 得出的是相反的結論。一個人說這個角色是為了把不知道藏起來才挑的。另一個人說這個角色可以真的拿去給人看病。
十年之後, 魏澤鮑姆那本書的第二百七十頁上點了科爾比的名字。
六、積木
另一頭, 同一所學校裡, 事情在往一個完全不同的方向走。1968年到1970年, 一個叫特里·維諾格拉德的研究生在人工智能實驗室裡做一個程序。
程序的名字是一串沒有意思的字母, SHRDLU。它跑在實驗室那臺 DEC 的機器上。屏幕上用線條畫出來的是: 一張桌面, 幾塊方的積木, 一個金字塔, 一個敞口的盒子, 還有上方一隻夾子。
這只夾子是畫出來的。沒有攝像機去看一張真的桌子, 也沒有一隻真的機械手去碰真的木塊。程序改的是它自己心裡那個世界。人在電傳打字機上打字, 看著屏幕上的線條動。
它的正式文字是1971年初的一份技術文稿, 第二年出成了書, 叫《理解自然語言》。摘要的頭一句把這個系統叫作: 一個讓計算機理解英語的系統。而摘要緊接著的下一句, 就把這個世界限定住了: 一個簡單機器人和一堆玩具物件的模型。兩句話挨著。前一句放得很大, 後一句收得很緊。後來傳下去的是前一句。
這個收得很緊的世界, 是實驗室當時公開的辦法。1971年十二月十一日, 明斯基與帕佩特給這個實驗室寫的進展文稿裡, 把這一類環境叫作微世界。文稿裡說明, 實驗室當時就是拿這種封閉的小環境當工作區, 用來研究意思, 推理, 視覺和語言。也就是說: 把世界縮到一桌積木, 是有意做的, 而且寫在那一年的文件上。
前一篇裡那本書出版, 與那份文稿是同一年前後的事; 寫文稿的是同兩個人。他們一邊在量另一類機器的界, 一邊在給自己實驗室的做法定名字, 而這個名字裡就帶著限定: 微。
發表出來的示範對話有四十二輪。開頭兩句是: 人說, 拿起一塊紅色的大積木。機器答, 好的。
這四十二輪裡它做了這些事。它執行拿起和放下一類的命令。它解得開帶從句的長句子和比較級。它認得出它這個詞指的是剛才哪一樣東西。它報得出盒子裡有什麼, 哪一塊壓著哪一塊, 一共幾塊。它回答得了什麼東西能架住什麼東西這一類問題。它能一步一步把幾塊摞起來。它接受人給一堆新的組合起個名字, 往後就用這個名字。它記得住自己先前做過什麼。人問它為什麼這麼做, 怎麼做到的, 它能順著自己那串目標往回講出理由。
其中有幾輪是它說不行。人說拿起那個金字塔, 而桌上的金字塔不止一個, 它不猜, 它反過來問是哪一個。人要它做一件按它那個世界的規矩做不成的事, 它不硬做。
ELIZA 的設計目標之一, 是把不懂的地方藏起來; 而這一個在發表出來的示範裡, 把自己做不到的地方一次一次擺在明面上。同樣是一臺機器和一個人隔著打字機說話, 兩個程序在同一件事上選了相反的做法。
這個世界有多大, 現代整理代碼的人數過: 跟這個世界有關的詞, 大約五十個。
後來常聽到一種說法, 說維諾格拉德做完這個就宣佈這條路是死路。而1973年到1976年, 他一直在發表關於自然語言理解的文章。
七、四處刪改
到這裡, 這一篇裡的刪改可以並排擺出來了。第一處, 在1967年那一頁上。有一種轉述沒有帶走以當然二字開頭的那一句。剩下的是: 秘書被程序騙了。
第二處, 在1966年第四十二頁上。挑這個角色的那條理由不見了。剩下的是: 這是一個心理治療程序。
第三處, 在1971年那份摘要裡。把世界限定住的那後半句沒有跟著走。剩下的是: 一個理解英語的程序。第四處在下一節。
前三處有一個共同點: 刪掉的都是限定, 而且刪掉之後, 那臺機器都變大了。秘書被騙, 說明它像人; 治療程序, 說明它有用; 理解英語, 說明它懂。三句都比原話響亮, 三句都比原話好記。
可是這三句放在一起會打架。頭兩句說的是一個幾乎什麼都不懂的程序把人糊弄住了; 第三句說的是一個真懂英語的程序。同一個十年, 同一所學校, 被記成了兩件互相矛盾的事: 一件是機器多麼會騙人, 一件是機器多麼會懂。
而原話裡沒有矛盾。原話說的是: 這個不懂, 而且我把不懂藏起來了; 那個懂一點, 懂的範圍是桌上那幾塊積木。兩句都帶著尺寸。帶尺寸的話不打架, 因為尺寸不一樣的東西本來就可以同時存在。把尺寸刪掉, 剩下的是兩個形容詞, 而形容詞是會打架的。
這就是前面幾篇裡反覆出現的那件事, 在這一篇裡露出了一個新的側面: 限定語被刪掉, 不只是把一句話說大了, 還把好幾句本來能共存的話變成了互相不容的幾句。後來的人要在它們之間選邊站, 而選邊這件事, 在原話裡根本不存在。
選邊一旦開始, 兩句話就輪著上台。機器很會騙人這一句上台的時候, 人們說這一行是在做障眼法。機器真的懂這一句上台的時候, 人們說這一行馬上就要成了。每一次上台, 它們都不必拿出新的證據, 因為它們本來就不是從證據裡長出來的, 是從兩句被刪過的話裡長出來的。
刪限定的人, 多半有自己的理由。把一句帶著尺寸的話轉述給一個不需要尺寸的人聽, 尺寸自然就掉了。一個記者要寫一段能讓人讀完的話, 一個老師要舉一個能讓學生記住的例子, 一本教科書要在一頁紙上放下十年的事; 每一處都有充分的理由把那半句去掉。
一句話被刪過之後, 下一個轉述它的人手裡拿到的就是刪過的版本; 他再刪一道, 也是從這個版本上刪。原話還在紙上。
八、應當
1976年, 魏澤鮑姆出了一本書, 題目是《計算機的力量與人的理性: 從判斷到計算》。書名上有兩個詞是對著放的: 判斷, 和計算。
第二百二十七頁上有一段, 是全書最常被引用的地方之一, 也是被刪得最多的地方。那一段的走法是這樣。他先說, 有關的這些問題既不是技術問題, 也不是數學問題; 它們是倫理問題。再說, 這些問題不能靠以能不能開頭的問法來解決。再說, 計算機適用到哪裡為止, 這個最終的限制只能用應當這個詞來表達。最後他加了一條時間上的限定, 然後才說出那句結論: 就現在而言, 人還沒有辦法使計算機具有智慧, 因此現在不應當把需要智慧的任務交給計算機。
就現在而言。現在。這兩處限定在原文裡。刪掉它們, 這一段就變成: 計算機永遠不可能有智慧, 所以永遠不應當把重要的事交給它。今天流傳的正是後面這一句。
這是第四處刪改。它與前三處方向相反: 前三處把機器說大了, 這一處把一個人的斷言說大了。而手法一模一樣, 還是拿掉限定。
第二百七十頁上是另一段。他在那裡點了兩個人的名字, 一個是西蒙, 一個是科爾比, 說他們代表著相反的方向。然後他寫: 有些屬於人的事情, 不應當由計算機來替代。
這一句要連著下一層讀。他緊接著把這個判斷與另一件事分開: 這些事機器實際上能不能做得成, 是另一個問題。他沒有說機器做不到。他說的是不應當。
他舉的不是一張按職業或者按軟件種類列出來的禁用清單, 他指的是幾種關係裡頭的東西: 尊重, 理解, 愛。所以把這一頁壓成一句凡重要決定都絕不能由計算機來做, 丟掉的正是他劃界的那個辦法本身。
這本書出來以後, 爭論是當年就公開打起來的。1976年六月, 一份人工智能專業組的通訊上, 先是本傑明·凱珀斯的《對魏澤鮑姆那本書的反應》, 接著是麥卡錫的《一本不講理的書》, 再接著是魏澤鮑姆自己的答復。三篇, 一期, 連著的頁碼。
凱珀斯那一篇的意見不是說這本書提的問題沒有價值。他的意見是, 書裡那種過於嚴厲的寫法把真正要緊的問題擋住了; 而且他強調, 計算機當時仍舊是人手裡的工具, 機器行為背後的責任不會因為中間擺了一臺計算機就從人身上消失。
麥卡錫那一篇, 題目就叫不講理。他反對的主要是從計算機技術上的一些事實推到關於人工智能, 關於人的判斷, 關於研究者道德的那些更強的結論。他不接受拿一種說不明白的人的判斷或者人的獨特性, 預先劃出一條原則上的技術邊界; 他也反對把做這一行的人整個用道德化的筆法描一遍。
麥卡錫這個名字在這個系列裡又出現了。1956年夏天那份要錢的文件上有他, 這一次他站在被劃界的那一邊。
麥卡錫這一條, 說的是: 一個人如果要說某一類事情機器不該做, 而理由落在人有一種說不清楚的判斷力上, 那這個理由沒法核, 也沒法跟他爭。在他那一邊, 界要能算出來, 能被推翻, 能被重畫。
而魏澤鮑姆那一邊, 第二百二十七頁上頭一句就說了, 這些是倫理問題, 不是技術問題。他從一開始就沒有打算劃一條技術上的界。所以這兩個人吵的時候, 各自站的地面不一樣。一個要一條能算的界, 一個明說自己給的不是能算的界。兩種界, 在同一期通訊的相鄰幾頁上, 並排擺著。
同一年十月, 另一份講技術與文化的刊物上有阿加西的書評。他一面說這本書的核心道德命題有幾處近乎常識, 沒有把自己相對於維納那一代人的新意交代清楚, 一面又稱贊書裡給外行人寫的那些技術說明, 並且還是推薦人去讀。
這場爭論的形狀是: 一本書出來, 同一年裡就有好幾篇署名的書評和回應; 其中兩篇和作者本人的答復, 擠在同一期通訊連著的頁碼上。這跟前一篇裡那本講感知機的書不一樣。那一本得到的是兩篇書評, 隔了十六個月。這一本一上來就是一場當面的吵架。
而吵架的內容, 後來也沒有傳下去。傳下去的是那句被刪乾淨的話。
這一篇的四處刪改, 去掉的是秘書知道的一句話, 醫生腳本為什麼這樣寫, 積木的範圍, 還有兩處「現在」。另有兩種後來的講法: 他震驚了; 積木程序的作者自己宣佈那是一條死路。那些講法成形的那一刻, 不一定能追到。一句話變形的那一刻, 通常不留痕跡。刪掉一個限定語, 在刪的人那裡, 多半只是把句子寫得順一點。
最後回到那間屋子。一位秘書在打字機前坐下, 打了幾句, 轉過頭來請寫程序的人出去。她知道接話的是一臺機器。
寫程序的人在十年後說自己吃了一驚。他寫的是, 人很快, 很深地卷進感情裡去。而按他自己1967年寫下的那一句, 那位秘書知道那是機器。
後來的人把這件事改寫成了一個關於受騙的故事。受騙的故事有解: 說清楚就行了。原來那件事, 說清楚了也還在。
那本書第二百二十七頁上, 換了一個問法: 不問機器能不能, 問應當不應當。這個問法關不上那扇門, 也開不了它。它把那扇門留在那裡, 把開和關, 留在人這一邊。
機器還在造, 而界在哪裡, 每一代人重說一遍。