一、朋友
2004年五月, 裡斯本, 一個叫語言資源與評測的大會請弗雷德里克·賈里尼克去講話。他給講話起的題目是《我最好的朋友裡有幾個是語言學家》。
這個題目套的是一句英文裡的老話頭: 有人要替自己辯白不懷偏見, 就說我最好的朋友裡有幾個是某某人。說這種話的人, 多半是因為身上正掛著一句別的話。
賈里尼克身上掛著的那一句, 後來流傳的樣子是: 每開除一個語言學家, 識別率就上升一截。
2011年, 同行寫給他的紀念文字記下了這樣一版: 「只要有一個語言學家離開這個組, 識別率就會上升。」那篇文字說, 他愛拿1988年的這句俏皮話逗人。
一位當年坐在裡斯本底下的聽眾, 2012年回憶這一場, 記下的卻是流行的那一版: 我每開除一個語言學家。
兩版差了一個動詞, 也差了一個主語。一版是語言學家離開這個組; 一版是我開除語言學家。前一版只說人離了組, 沒說是誰作的決定; 後一版裡, 有一個人動了手。
二、一個電話
這個組怎樣起頭, 賈里尼克2009年在一篇回憶裡寫過。1971年, IBM 紐約州約克敦高地的沃森研究中心設過一個內部的專題小組, 成員裡有約翰·科克, 赫爾曼·戈德斯坦。小組建議研究部門成立一個組, 名字叫連續語音識別。1972年初, 這個組由喬·拉維夫帶著起了頭。
那年夏天, 賈里尼克還在康奈爾大學。他1962年秋天起在那裡教書, 做的是信息論和通信理論。他給拉維夫打了個電話, 拉維夫告訴他, 公司正在開始做語音識別。他於是從康奈爾告假過來, 幾個星期以後, 接手了這個組的方向。
組裡的人是從幾處湊起來的, 按他的說法, 原本懂語音的只有四個。吉姆·貝克和珍妮特·貝克夫婦後來也加入了。1972年九月來了一個羅伯特·默瑟, 賈里尼克的原話是: 一個剛畢業的物理學家。
公司還臨時從語言學那一邊調了三個人進來: 弗雷德·達默勞, 斯坦·佩特里克, 簡·魯濱遜。賈里尼克後來寫, 大約在貝克夫婦到來前後, 這三位回到了原來的組。他在這裡用的詞是回到。三個語言學家從這個組離開, 是回原單位去了。
這個組起名字的時候叫連續語音識別。連續, 說的是人平常說話那樣, 一個詞連著一個詞, 中間不停。這是1972年組名裡的兩個字。
三、停頓
十三年後, 這個組做出了一臺能實時聽寫的機器。1985年公司的論文題目叫《基於個人計算機的大詞彙量孤立發音語音識別器》。一臺公司自己的個人計算機, 機箱裡插兩塊公司自制的信號處理器。詞彙五千, 基礎詞表取自辦公室的備忘錄和商業信函裡的常用詞。每一個新的說話人, 先要對著它說上大約二十分鐘, 讓它認識這個人的聲音。同一年賈里尼克在另一篇論文裡寫明瞭怎樣對它說話: 「各詞之間必須留有短暫停頓。」
1986年, 詞彙擴到兩萬, 又多加兩塊處理器, 裝在機箱外另接的擴展箱裡; 另配了一個語音工作站, 專門用來研究人怎樣用嘴寫文件。這一年的論文裡, 它有了一個名字, 叫 Tangora。
名字的來歷, 賈里尼克2009年寫道: 「我們把這個系統叫作 Tangora, 是取自阿爾伯特·坦戈拉的名字。」阿爾伯特·坦戈拉是1923年紐約一次商業展覽會上的打字紀錄保持者, 一小時打出八千八百四十個拼寫正確的詞, 合一分鐘一百四十七個。一臺讓人用嘴寫文件的機器, 用了打字最快的那個人的名字。
1972年組名裡寫著連續; 1985年的機器要求每個詞後面停一下, 論文標題裡寫的是孤立發音。組名裡那兩個字, 要再等十二年: 1997年十月, 一份語音技術的行業刊物同時測了兩個面向普通人的聽寫軟件, 一個是 Dragon Systems 公司的 NaturallySpeaking 第一版, 一個是 IBM 尚在試用階段的一款, 刊物用的詞是連續語音。Dragon Systems 是貝克夫婦後來自己開的公司。
1985年那篇論文裡, 賈里尼克給自己的路子下了一個定義: 「信息論式的表述, 而不是專家系統式的表述。」參數直接從數據裡估出來。他拿來對照的那一邊, 叫專家系統。第十二篇寫過, 1985年正是專家系統最熱的時候。
四、密碼
1947年三月, 洛克菲勒基金會的沃倫·韋弗給第四篇裡那位維納寫了一封信, 信裡把翻譯比作破譯密碼。其中一句是: 「這其實是用英語寫的, 只不過被編碼成了一些奇怪的符號。」他看著的是一篇俄文。
1949年七月, 韋弗把這個想法寫進一份備忘錄, 題目就叫《翻譯》。他在新墨西哥州寫成, 寄給了三十來個熟人。第十篇寫過, 此後十幾年裡美國在機器翻譯上花了錢, 1966年一份評估出來, 說近期看不到機器翻譯實用的前景, 建議把研究放到計算語言學和輔助翻譯等題目上。報告寫了什麼, 和後來的錢怎樣撥, 是兩筆賬。
約克敦高地那個組做翻譯, 是1987年前後的事。賈里尼克回憶, 組裡做這件事的核心幾個人, 沒有一個是法語專家; 他點了巴爾, 彼得·布朗, 默瑟和他自己的名字, 說他們後來去上了法語的沈浸式課程。
1988年六月十二日到十四日, 匹茲堡開機器翻譯理論與方法問題會議, 他們交了一篇《法英翻譯的一種統計方法》。同一年, 布達佩斯的國際計算語言學會議論文集裡, 有他們的《語言翻譯的一種統計方法》。1990年六月, 期刊版登在《計算語言學》上, 題目改成《機器翻譯的一種統計方法》。1993年六月的長文, 題目是《統計機器翻譯的數學: 參數估計》。五年裡, 題目從法英翻譯, 到語言翻譯, 到機器翻譯, 最後落在統計機器翻譯這個說法上。
1990年那篇把翻譯寫成一道概率題: 看見一句法文, 去找最有可能是它來處的那一句英文。這道題又拆成兩半: 一半是一句英文本身像不像英文, 他們叫語言模型; 一半是這句英文變成這句法文的可能有多大, 他們叫翻譯模型。1947年那封信裡說, 這本來是英文, 只是換了符號。四十三年後, 兩句話擺在一起, 一句是比方, 一句是算法。
賈里尼克2009年那篇回憶裡, 還複製了一份審稿意見。他說, 他們把頭一批結果投給了1988年那次國際計算語言學會議, 審稿意見是匿名的, 日期是1988年三月一日。裡面有一句: 「計算機的粗暴蠻力不是科學。」同年那次會議的論文集裡, 印著他們那篇文章。
五、譯員
這些文章用來學翻譯的, 是加拿大議會的辯論記錄。加拿大議會的記錄同時保存英文和法文兩個版本; 賈里尼克後來特意說明, 一位議員用哪一種語言發言, 他的話就會被譯成另一種。
機器在這裡學到的每一對句子, 一邊是議員說的話, 一邊是譯員譯出來的話。那些年裡議會有多少譯員, 誰譯的哪一段, 論文裡沒有寫。
再早二十幾年, 布朗大學做過一份語料, 大家叫它布朗語料。它取的是1961年這一年在美國出版的英文散文, 五百個樣本, 每個兩千詞上下, 合起來約一百萬詞, 1963年到1964年編成。
當年做語料的人, 今天一所大學的語料檔案裡還留著名字。項目負責人是納爾遜·弗朗西斯和亨利·庫切拉; 做語料的是安妮·羅布·泰勒, 洛蕾塔·費利斯, 瑪麗·洛伊絲·馬克沃思, 小亨利·霍爾·佩頓, 小羅伯特·施陶特; 寫程序的是安德魯·麥凱。一百萬個詞, 每一個都要有人從書頁上挑出來, 再敲進機器。
1992年, 約翰·戈弗雷, 愛德華·霍利曼, 簡·麥克丹尼爾發表了一份電話語音語料, 名字叫 Switchboard, 電話總機。裡面有約兩千四百次電話, 五百四十三個說話的人, 通話的兩個人通常互不相識, 聊什麼由一張事先定好的題目單指定。兩個陌生人, 按一張單子上的題目, 對著電話聊, 錄下來, 給機器去學人怎樣說話。
六、樹
1989年到1992年, 賓夕法尼亞大學做了一份標注過的英文語料, 叫賓州樹庫。1993年六月的論文裡, 它已經有四百五十多萬個詞, 每個詞都標了詞類, 一半以上還畫出了句子的骨架。
做法是機器先來, 人後到。標詞類, 先由肯尼思·丘奇在貝爾實驗室寫的一個按概率打標的程序過一遍, 再由人一個一個地改。畫句子結構, 先由一個句法分析程序給出一棵樹, 再由人去修。
項目初期做過一次對照。四個標注員, 四個人都受過語言學的研究生訓練。每人先練十五個小時改機器的標, 再練六個小時從頭自己標。結果是: 每一千個詞, 從頭人工標平均要四十四分鐘; 改機器標好的, 平均二十分鐘。畫樹要慢得多, 練上幾個星期, 一小時才幾百個詞; 改用簡化的骨架以後, 熟手一小時七百五十到一千多個詞。
標注員面前的屏幕, 不是一個空白的句子。那個分析程序給出的樹裡, 有些碎塊接不上, 旁邊掛著一個問號。標注員在問號旁邊按下鼠標, 拖到該掛上去的那個上級節點, 再松開, 把碎塊粘上去; 錯的就刪掉; 界面自己重新排好縮進。標詞類在一個程序員常用的文本編輯器裡做: 把光標移到標錯的詞上, 敲進正確的標記, 軟件檢查這個標記合不合規矩。標什麼, 怎樣標, 有兩本手冊: 比阿特麗斯·桑托里尼1990年寫的詞類標注手冊, 她和瑪麗·安·馬欽凱維奇1991年寫的句子結構標注手冊。
論文給這個項目的自我描述, 是它有一種統計的取向。而坐在屏幕前, 一個問號一個問號地把句子粘好的, 是受過語言學訓練的人。
到1993年六月, 這些樹對一個叫語言數據聯盟的組織的成員開放。
1972年離開那個組的是三個語言學家。二十年後, 語言學家坐到了另一頭: 統計的機器要學的那些樹, 是他們一棵一棵畫出來的。
七、考卷
1991年二月, 查爾斯·韋恩在一次語音與自然語言研討會上介紹他管的兩個項目。說到口語那個項目, 他把它分成兩塊, 一塊叫大詞彙量語音識別, 一塊叫口語理解; 然後寫道, 項目「強調客觀的性能評測」。
第十篇裡那個1971年到1976年的計劃, 名字叫語音理解。到1991年, 識別和理解在同一份文件裡是兩塊, 並排寫著。
考的是幾套公共的題。一套叫資源管理, 是念出來的查詢和命令; 一套叫航空旅行信息系統, 是隨口說出來的查詢。後一套的錄音, 是讓受試者去跟一個查航班的系統說話錄下的; 那個系統是模擬的, 當時的說法叫巫師式。坐在幕後替機器回答的, 是人。要知道人會怎樣跟機器說話, 先得讓人對著一個假裝成機器的人說話。
拿錢參加的有十家, 公司, 大學, 國家實驗室都有, 其中也有貝克夫婦的 Dragon Systems。出卷, 評分的, 是美國國家標準與技術研究院。
書面語言那一邊也有考。1989年第二屆消息理解會議, 用的是海軍的作戰電報; 1991年第三屆, 用的是外國廣播新聞處譯編的新聞稿。考的是讓機器從一段文字裡把事情填進一張數據庫的表格。機器翻譯也要考, 韋恩寫明要在「事先未見過的, 自然產生的文本」上考。
2001年七月, 圖盧茲, 計算語言學協會年會上, 微軟的米歇爾·班科和埃里克·布里爾交了一篇文章, 題目是《擴展到非常非常大的語料以做自然語言消歧》。考的是一件小事: 英文裡有三個讀音一樣, 拼法不同的詞, 意思分別是往, 二, 也, 機器要在句子裡挑對那一個。他們讓四種學習辦法去學, 其中一種是第八篇裡那種感知機; 訓練的文字從一百萬詞加到十億詞, 考卷是一百萬詞的《華爾街日報》。
曲線一直往上走, 到十億詞還沒有平。緊接著, 作者加了一句限定: 「增加訓練數據並不是零成本的。」結論裡建議的是, 這一行多花力氣去建標注好的語料, 少在小語料上比較算法的高下。後來流傳的那句更多的數據勝過更好的算法, 常被掛在這篇文章上。文章裡沒有這句話。
八、離開
另一邊的話, 也各有年份。
1957年, 喬姆斯基的《句法結構》第二章裡有兩串詞。一串是: 無色的綠色想法狂怒地睡覺。另一串是把它倒過來。兩串都沒有意思, 可前一串合語法, 後一串不合; 他拿這兩串來討論, 合不合語法, 與一個簡單的統計模型給出的逼近, 是不是一回事。
2000年, 費爾南多·佩雷拉發表《形式語法與信息論: 重新走到一起?》。他拿一個在報紙文字上訓練的簡單統計模型, 重新算了那兩串詞: 合語法的那一串, 可能性約是倒過來那一串的二十萬倍。他在摘要裡講的, 是過去四十年裡兩條常被看成不能相容的傳統, 喬姆斯基一路的形式語言學和香農一路的信息論, 應當重新接上。題目末尾, 是一個問號。
2011年, 麻省理工學院一百五十週年的一場討論會上, 平克問喬姆斯基怎樣看概率模型。喬姆斯基回答的開頭是: 「有過一些成功, 但也有很多失敗。」接著他批評的, 是一種把逼近沒有分析過的數據當作成功的標準。同一年, 諾維格寫了一篇回應, 題目是《論喬姆斯基與統計學習的兩種文化》。同年十月, 丘奇發表一篇文章, 題目是《鐘擺擺得太遠了》。這幾段話並排放著, 各說各的。
回到那一句。流傳的那一版, 把語言學家離開這個組, 換成了我開除語言學家。換掉的是一個動詞, 一個主語。換完以後, 一句玩笑裡多了一個動手的人。而1972年那三個人, 賈里尼克寫的是回到了原來的組。
換掉的還不止一個動詞。那句話講的是人離開, 數字上升; 它沒有講那些數字是從哪裡來的。機器在議會的記錄上學翻譯, 那一行行法文是譯員譯的; 機器在報紙和書上數英文, 那一百萬個詞是布朗大學幾個人一個個挑出來, 敲進去的; 機器在樹庫上學句子的結構, 那些樹是受過語言學訓練的人在屏幕前一個問號一個問號粘好的; 機器學人怎樣跟機器說話, 對面坐著的是一個扮成機器的人。
語言是數出來的。數的是人寫下的, 譯出的, 標好的, 說出口的東西。這個系列管這種算來算去總剩在外面的一份叫餘項: 數字每往上走一截, 底下都墊著一批人的活, 而那些人的名字, 大多沒有跟著數字一起傳下來。
裡斯本那一場的題目是: 我最好的朋友裡有幾個是語言學家。
機器還在造, 而界在哪裡, 每一代人重說一遍。