一、朋友
2004年五月, 里斯本, 一个叫语言资源与评测的大会请弗雷德里克·贾里尼克去讲话。他给讲话起的题目是《我最好的朋友里有几个是语言学家》。
这个题目套的是一句英文里的老话头: 有人要替自己辩白不怀偏见, 就说我最好的朋友里有几个是某某人。说这种话的人, 多半是因为身上正挂着一句别的话。
贾里尼克身上挂着的那一句, 后来流传的样子是: 每开除一个语言学家, 识别率就上升一截。
2011年, 同行写给他的纪念文字记下了这样一版: 「只要有一个语言学家离开这个组, 识别率就会上升。」那篇文字说, 他爱拿1988年的这句俏皮话逗人。
一位当年坐在里斯本底下的听众, 2012年回忆这一场, 记下的却是流行的那一版: 我每开除一个语言学家。
两版差了一个动词, 也差了一个主语。一版是语言学家离开这个组; 一版是我开除语言学家。前一版只说人离了组, 没说是谁作的决定; 后一版里, 有一个人动了手。
二、一个电话
这个组怎样起头, 贾里尼克2009年在一篇回忆里写过。1971年, IBM 纽约州约克敦高地的沃森研究中心设过一个内部的专题小组, 成员里有约翰·科克, 赫尔曼·戈德斯坦。小组建议研究部门成立一个组, 名字叫连续语音识别。1972年初, 这个组由乔·拉维夫带着起了头。
那年夏天, 贾里尼克还在康奈尔大学。他1962年秋天起在那里教书, 做的是信息论和通信理论。他给拉维夫打了个电话, 拉维夫告诉他, 公司正在开始做语音识别。他于是从康奈尔告假过来, 几个星期以后, 接手了这个组的方向。
组里的人是从几处凑起来的, 按他的说法, 原本懂语音的只有四个。吉姆·贝克和珍妮特·贝克夫妇后来也加入了。1972年九月来了一个罗伯特·默瑟, 贾里尼克的原话是: 一个刚毕业的物理学家。
公司还临时从语言学那一边调了三个人进来: 弗雷德·达默劳, 斯坦·佩特里克, 简·鲁滨逊。贾里尼克后来写, 大约在贝克夫妇到来前后, 这三位回到了原来的组。他在这里用的词是回到。三个语言学家从这个组离开, 是回原单位去了。
这个组起名字的时候叫连续语音识别。连续, 说的是人平常说话那样, 一个词连着一个词, 中间不停。这是1972年组名里的两个字。
三、停顿
十三年后, 这个组做出了一台能实时听写的机器。1985年公司的论文题目叫《基于个人计算机的大词汇量孤立发音语音识别器》。一台公司自己的个人计算机, 机箱里插两块公司自制的信号处理器。词汇五千, 基础词表取自办公室的备忘录和商业信函里的常用词。每一个新的说话人, 先要对着它说上大约二十分钟, 让它认识这个人的声音。同一年贾里尼克在另一篇论文里写明了怎样对它说话: 「各词之间必须留有短暂停顿。」
1986年, 词汇扩到两万, 又多加两块处理器, 装在机箱外另接的扩展箱里; 另配了一个语音工作站, 专门用来研究人怎样用嘴写文件。这一年的论文里, 它有了一个名字, 叫 Tangora。
名字的来历, 贾里尼克2009年写道: 「我们把这个系统叫作 Tangora, 是取自阿尔伯特·坦戈拉的名字。」阿尔伯特·坦戈拉是1923年纽约一次商业展览会上的打字纪录保持者, 一小时打出八千八百四十个拼写正确的词, 合一分钟一百四十七个。一台让人用嘴写文件的机器, 用了打字最快的那个人的名字。
1972年组名里写着连续; 1985年的机器要求每个词后面停一下, 论文标题里写的是孤立发音。组名里那两个字, 要再等十二年: 1997年十月, 一份语音技术的行业刊物同时测了两个面向普通人的听写软件, 一个是 Dragon Systems 公司的 NaturallySpeaking 第一版, 一个是 IBM 尚在试用阶段的一款, 刊物用的词是连续语音。Dragon Systems 是贝克夫妇后来自己开的公司。
1985年那篇论文里, 贾里尼克给自己的路子下了一个定义: 「信息论式的表述, 而不是专家系统式的表述。」参数直接从数据里估出来。他拿来对照的那一边, 叫专家系统。第十二篇写过, 1985年正是专家系统最热的时候。
四、密码
1947年三月, 洛克菲勒基金会的沃伦·韦弗给第四篇里那位维纳写了一封信, 信里把翻译比作破译密码。其中一句是: 「这其实是用英语写的, 只不过被编码成了一些奇怪的符号。」他看着的是一篇俄文。
1949年七月, 韦弗把这个想法写进一份备忘录, 题目就叫《翻译》。他在新墨西哥州写成, 寄给了三十来个熟人。第十篇写过, 此后十几年里美国在机器翻译上花了钱, 1966年一份评估出来, 说近期看不到机器翻译实用的前景, 建议把研究放到计算语言学和辅助翻译等题目上。报告写了什么, 和后来的钱怎样拨, 是两笔账。
约克敦高地那个组做翻译, 是1987年前后的事。贾里尼克回忆, 组里做这件事的核心几个人, 没有一个是法语专家; 他点了巴尔, 彼得·布朗, 默瑟和他自己的名字, 说他们后来去上了法语的沉浸式课程。
1988年六月十二日到十四日, 匹兹堡开机器翻译理论与方法问题会议, 他们交了一篇《法英翻译的一种统计方法》。同一年, 布达佩斯的国际计算语言学会议论文集里, 有他们的《语言翻译的一种统计方法》。1990年六月, 期刊版登在《计算语言学》上, 题目改成《机器翻译的一种统计方法》。1993年六月的长文, 题目是《统计机器翻译的数学: 参数估计》。五年里, 题目从法英翻译, 到语言翻译, 到机器翻译, 最后落在统计机器翻译这个说法上。
1990年那篇把翻译写成一道概率题: 看见一句法文, 去找最有可能是它来处的那一句英文。这道题又拆成两半: 一半是一句英文本身像不像英文, 他们叫语言模型; 一半是这句英文变成这句法文的可能有多大, 他们叫翻译模型。1947年那封信里说, 这本来是英文, 只是换了符号。四十三年后, 两句话摆在一起, 一句是比方, 一句是算法。
贾里尼克2009年那篇回忆里, 还复制了一份审稿意见。他说, 他们把头一批结果投给了1988年那次国际计算语言学会议, 审稿意见是匿名的, 日期是1988年三月一日。里面有一句: 「计算机的粗暴蛮力不是科学。」同年那次会议的论文集里, 印着他们那篇文章。
五、译员
这些文章用来学翻译的, 是加拿大议会的辩论记录。加拿大议会的记录同时保存英文和法文两个版本; 贾里尼克后来特意说明, 一位议员用哪一种语言发言, 他的话就会被译成另一种。
机器在这里学到的每一对句子, 一边是议员说的话, 一边是译员译出来的话。那些年里议会有多少译员, 谁译的哪一段, 论文里没有写。
再早二十几年, 布朗大学做过一份语料, 大家叫它布朗语料。它取的是1961年这一年在美国出版的英文散文, 五百个样本, 每个两千词上下, 合起来约一百万词, 1963年到1964年编成。
当年做语料的人, 今天一所大学的语料档案里还留着名字。项目负责人是纳尔逊·弗朗西斯和亨利·库切拉; 做语料的是安妮·罗布·泰勒, 洛蕾塔·费利斯, 玛丽·洛伊丝·马克沃思, 小亨利·霍尔·佩顿, 小罗伯特·施陶特; 写程序的是安德鲁·麦凯。一百万个词, 每一个都要有人从书页上挑出来, 再敲进机器。
1992年, 约翰·戈弗雷, 爱德华·霍利曼, 简·麦克丹尼尔发表了一份电话语音语料, 名字叫 Switchboard, 电话总机。里面有约两千四百次电话, 五百四十三个说话的人, 通话的两个人通常互不相识, 聊什么由一张事先定好的题目单指定。两个陌生人, 按一张单子上的题目, 对着电话聊, 录下来, 给机器去学人怎样说话。
六、树
1989年到1992年, 宾夕法尼亚大学做了一份标注过的英文语料, 叫宾州树库。1993年六月的论文里, 它已经有四百五十多万个词, 每个词都标了词类, 一半以上还画出了句子的骨架。
做法是机器先来, 人后到。标词类, 先由肯尼思·丘奇在贝尔实验室写的一个按概率打标的程序过一遍, 再由人一个一个地改。画句子结构, 先由一个句法分析程序给出一棵树, 再由人去修。
项目初期做过一次对照。四个标注员, 四个人都受过语言学的研究生训练。每人先练十五个小时改机器的标, 再练六个小时从头自己标。结果是: 每一千个词, 从头人工标平均要四十四分钟; 改机器标好的, 平均二十分钟。画树要慢得多, 练上几个星期, 一小时才几百个词; 改用简化的骨架以后, 熟手一小时七百五十到一千多个词。
标注员面前的屏幕, 不是一个空白的句子。那个分析程序给出的树里, 有些碎块接不上, 旁边挂着一个问号。标注员在问号旁边按下鼠标, 拖到该挂上去的那个上级节点, 再松开, 把碎块粘上去; 错的就删掉; 界面自己重新排好缩进。标词类在一个程序员常用的文本编辑器里做: 把光标移到标错的词上, 敲进正确的标记, 软件检查这个标记合不合规矩。标什么, 怎样标, 有两本手册: 比阿特丽斯·桑托里尼1990年写的词类标注手册, 她和玛丽·安·马钦凯维奇1991年写的句子结构标注手册。
论文给这个项目的自我描述, 是它有一种统计的取向。而坐在屏幕前, 一个问号一个问号地把句子粘好的, 是受过语言学训练的人。
到1993年六月, 这些树对一个叫语言数据联盟的组织的成员开放。
1972年离开那个组的是三个语言学家。二十年后, 语言学家坐到了另一头: 统计的机器要学的那些树, 是他们一棵一棵画出来的。
七、考卷
1991年二月, 查尔斯·韦恩在一次语音与自然语言研讨会上介绍他管的两个项目。说到口语那个项目, 他把它分成两块, 一块叫大词汇量语音识别, 一块叫口语理解; 然后写道, 项目「强调客观的性能评测」。
第十篇里那个1971年到1976年的计划, 名字叫语音理解。到1991年, 识别和理解在同一份文件里是两块, 并排写着。
考的是几套公共的题。一套叫资源管理, 是念出来的查询和命令; 一套叫航空旅行信息系统, 是随口说出来的查询。后一套的录音, 是让受试者去跟一个查航班的系统说话录下的; 那个系统是模拟的, 当时的说法叫巫师式。坐在幕后替机器回答的, 是人。要知道人会怎样跟机器说话, 先得让人对着一个假装成机器的人说话。
拿钱参加的有十家, 公司, 大学, 国家实验室都有, 其中也有贝克夫妇的 Dragon Systems。出卷, 评分的, 是美国国家标准与技术研究院。
书面语言那一边也有考。1989年第二届消息理解会议, 用的是海军的作战电报; 1991年第三届, 用的是外国广播新闻处译编的新闻稿。考的是让机器从一段文字里把事情填进一张数据库的表格。机器翻译也要考, 韦恩写明要在「事先未见过的, 自然产生的文本」上考。
2001年七月, 图卢兹, 计算语言学协会年会上, 微软的米歇尔·班科和埃里克·布里尔交了一篇文章, 题目是《扩展到非常非常大的语料以做自然语言消歧》。考的是一件小事: 英文里有三个读音一样, 拼法不同的词, 意思分别是往, 二, 也, 机器要在句子里挑对那一个。他们让四种学习办法去学, 其中一种是第八篇里那种感知机; 训练的文字从一百万词加到十亿词, 考卷是一百万词的《华尔街日报》。
曲线一直往上走, 到十亿词还没有平。紧接着, 作者加了一句限定: 「增加训练数据并不是零成本的。」结论里建议的是, 这一行多花力气去建标注好的语料, 少在小语料上比较算法的高下。后来流传的那句更多的数据胜过更好的算法, 常被挂在这篇文章上。文章里没有这句话。
八、离开
另一边的话, 也各有年份。
1957年, 乔姆斯基的《句法结构》第二章里有两串词。一串是: 无色的绿色想法狂怒地睡觉。另一串是把它倒过来。两串都没有意思, 可前一串合语法, 后一串不合; 他拿这两串来讨论, 合不合语法, 与一个简单的统计模型给出的逼近, 是不是一回事。
2000年, 费尔南多·佩雷拉发表《形式语法与信息论: 重新走到一起?》。他拿一个在报纸文字上训练的简单统计模型, 重新算了那两串词: 合语法的那一串, 可能性约是倒过来那一串的二十万倍。他在摘要里讲的, 是过去四十年里两条常被看成不能相容的传统, 乔姆斯基一路的形式语言学和香农一路的信息论, 应当重新接上。题目末尾, 是一个问号。
2011年, 麻省理工学院一百五十周年的一场讨论会上, 平克问乔姆斯基怎样看概率模型。乔姆斯基回答的开头是: 「有过一些成功, 但也有很多失败。」接着他批评的, 是一种把逼近没有分析过的数据当作成功的标准。同一年, 诺维格写了一篇回应, 题目是《论乔姆斯基与统计学习的两种文化》。同年十月, 丘奇发表一篇文章, 题目是《钟摆摆得太远了》。这几段话并排放着, 各说各的。
回到那一句。流传的那一版, 把语言学家离开这个组, 换成了我开除语言学家。换掉的是一个动词, 一个主语。换完以后, 一句玩笑里多了一个动手的人。而1972年那三个人, 贾里尼克写的是回到了原来的组。
换掉的还不止一个动词。那句话讲的是人离开, 数字上升; 它没有讲那些数字是从哪里来的。机器在议会的记录上学翻译, 那一行行法文是译员译的; 机器在报纸和书上数英文, 那一百万个词是布朗大学几个人一个个挑出来, 敲进去的; 机器在树库上学句子的结构, 那些树是受过语言学训练的人在屏幕前一个问号一个问号粘好的; 机器学人怎样跟机器说话, 对面坐着的是一个扮成机器的人。
语言是数出来的。数的是人写下的, 译出的, 标好的, 说出口的东西。这个系列管这种算来算去总剩在外面的一份叫余项: 数字每往上走一截, 底下都垫着一批人的活, 而那些人的名字, 大多没有跟着数字一起传下来。
里斯本那一场的题目是: 我最好的朋友里有几个是语言学家。
机器还在造, 而界在哪里, 每一代人重说一遍。