凿构周期律 · AI系列 · 19

一个只想了五秒钟的题目: Attention Is All You Need

秦汉 · 约 8 分钟 · 发布

一、伙伴

1954年, 语言学家泽利格·哈里斯在一篇题为《分布结构》的文章里写: 「意义的差异, 与分布的差异相关。」分布, 说的是一个词在哪些词旁边出现。1957年, 英国语言学家弗斯说得更俏皮: 「你应当凭一个词所结交的伙伴来认识它!」后来中文里流传的是另一句: 一个词的意思由它的上下文决定。

这句话等了很多年才被机器拿去用。2003年, 本吉奥和三位同事发表《一种神经概率语言模型》, 让机器把每个词换成一串数, 叫分布式的特征向量, 这串数和预测下一个词的本事一起学出来。

2013年一月, 谷歌的托马什·米科洛夫等四个人放出一篇预印本, 题目是《在向量空间里高效估计词的表示》。他们写, 从十六亿个词的文字里学出质量很好的 word vector, 「用时不到一天」。同年十月的第二篇, 又加了几样省时的办法, 用来学的是谷歌新闻里的文字。这一路做法后来以一个程序的名字通行: word2vec。

一个词成了一串几百个数。两个词常和同一批词做伴, 它们的数就靠得近。猫和狗靠得近, 星期一和星期二靠得近。这一串数里记下的, 是猫和谁常在一起。哈里斯和弗斯说的那件事, 在这里成了一种算术。

二、国王

2013年六月, 米科洛夫和两位同事在一篇会议论文的摘要里写了一个例子: 国王的向量, 减去男人, 加上女人, 得到的向量和女王的向量「非常接近」。

后来流传的是一个等式: 国王减男人加女人等于女王。谷歌同年放出的程序里, 求这道题的那几行代码有一条规矩: 题面里出现过的三个词, 不许当答案。2019年, 三位荷兰和意大利的研究者发表一篇文章, 题目就是一道这样的题: 《男人之于医生, 如同女人之于医生》。他们指出, 有了那条规矩, 有些本来最合理的答案根本不可能出现; 把规矩拿掉, 离算出来的那个点最近的, 常常就是题面里原来的那个词。

2016年, 另一组研究者的论文题目也是一道题: 《男人之于程序员, 如同女人之于家庭主妇?》他们用的是谷歌新闻上训练出来的 word embedding, 摘要里写, 这些向量「呈现出令人不安程度的男女刻板印象」。他们给的办法, 是先找出 embedding 里代表男女的那个方向, 再把本该不分男女的词从这个方向上拉回来; 女王和女性之间那种该有的联系, 留着。

那些向量是从新闻里学来的。新闻是人写的。机器学到的伙伴关系, 是几百万篇文章里人和人的说法留下来的样子。

三、对齐

2014年, word vector 被拿去做翻译。

那年九月, 谷歌的苏茨克维和两位同事发表《用神经网络做 sequence to sequence 学习》。一个网络一个词一个词地把整句源文读完, 读成一串固定长度的数; 另一个网络从这串数出发, 一个词一个词地写出译文。他们还发现, 把源句倒过来读, 效果更好。同一年夏天, 蒙特利尔大学本吉奥组里的几个人也做了一个类似的两段式网络。

整句读成一串固定长度的数, 句子一长, 就像把一大段话塞进一个小盒子。

同在蒙特利尔, 年轻的德米特里·巴赫达瑙和组里的另一位研究者, 加上本吉奥, 2014年九月一日贴出一篇论文初稿, 题为《联合学习对齐与翻译的神经机器翻译》。对齐, 说的是译文里的哪个词对着源文里的哪个词。他们的办法是: 写译文的那个网络, 每写一个词, 就回头把源文所有的词都看一遍, 给每个词一个分量, 分量加起来是一; 照这些分量把源文各处的信息合起来, 用来写这一个词。

正文里讲到这一步, 有一句: 「直观地说, 这在 decoder 中实现了一种 attention 机制。」这里的 decoder, 就是那个写译文的网络。

四、名字

题目里没有 attention 这个词, 写的是对齐和翻译。巴赫达瑙多年以后在一封信里讲过名字的来历。他说, 他原先把这个架构叫 RNNsearch, 意思是用 RNN 做搜索; 信里说: 「更好的名字, attention, 是在最后几轮修改之一中, 才由约书亚加进去的。」约书亚是本吉奥。这封信后来由第十六篇里那位卡帕西, 经他同意公开出来。这个词原是心理学里的: 1890年, 美国心理学家威廉·詹姆斯在《心理学原理》专讲 attention 的那一章, 开头写: 「人人都知道注意力是什么。」

巴赫达瑙之前一年, 2013年八月, 亚历克斯·格雷夫斯做过一个用网络写手写体的程序。程序一笔一笔写字的时候, 有一扇会往前挪的软窗口, 决定此刻该照着要写的那句话里的哪几个字母。他把它叫作软窗口。巴赫达瑙他们在论文里提到了这一篇, 说做法相近。再往前, 施密德胡伯说过, 他1991年的快速权重, 和后来一类简化的 attention 在形式上相当。

同一个装置, 前后有过几个名字: 软窗口, 对齐, 搜索, attention。留下来的, 是最后加上去的那一个, 也是原来那句话里带着直观地说的那一个。

五、蓝线

2016年九月二十六日, 谷歌放出一份长篇技术文件, 讲它的神经机器翻译系统。题目的后半是: 弥合人工翻译与机器翻译之间的差距。第二天, 公司博客写, 手机上和网页上从中文译成英文的机器翻译, 已经全部换成了这个系统, 每天大约一千八百万次。头一个换上的语言对, 是中译英。

系统里写译文的那一半, 每写一个词, 也回头去看源文。博客上有一张图: 一边是一串中文词, 一边是一串英文词, 中间连着蓝色的线, 线的深浅, 表示写这个英文词的时候, 机器在那个中文词上放了多少 attention。这样, attention 被画成了普通人看得见的东西。

那份文件里有一次人评。同一句英文, 四种法文译文给评分的人看: 旧的短语式系统, 两种新系统, 还有一份人译的参考译文。满分六分, 平均分依次是三点八七, 四点四六, 四点四四, 四点八二。文件的摘要说, 评的是「一组彼此孤立的简单句」。博客的最后一段写, 机器仍会漏词, 会把人名和少见的词译错, 也不看上下文, 还有一句: 「机器翻译绝没有因此解决。」

六、八个人

2017年六月十二日, 八个人放出一篇论文, 题目是《Attention Is All You Need》。

署名依次是: 阿希什·瓦斯瓦尼, 诺姆·沙泽尔, 尼基·帕马尔, 雅各布·乌斯科赖特, 利昂·琼斯, 艾丹·戈麦斯, 武卡什·凯泽, 伊利亚·波洛苏欣。首页的脚注写: 「贡献相等; 署名次序为随机排列。」脚注接着一个一个写了谁做了什么: 乌斯科赖特提议用 self-attention 替换 RNN; 瓦斯瓦尼和波洛苏欣设计并实现了头一个模型; 沙泽尔提出了其中几样关键的算法; 帕马尔调了大量的变体; 琼斯管最初的代码和可视化; 凯泽和戈麦斯写了跑实验用的那套工具。

他们给新架构起的名字叫 Transformer。摘要说, 它「只基于 attention 机制」, 不用 recurrence, 也不用 convolution。上一节那种网络要一个词一个词地往下读; Transformer 在读源文时, 让每个位置同时去看句子的各处, 各自定下分量; 写译文时, 却看不到还没写出的词。网络里仍有别的处理层, 不用的是前面那两种传递信息的办法。

两个月后, 谷歌的博客给普通读者举了一个例子。「那只动物没有过马路, 因为它太累了。」「那只动物没有过马路, 因为它太宽了。」前一句的它是动物, 后一句的它是马路。译成法文, 动物和马路的性别不同, 它的译法也跟着变。博客说, 新模型两句都译对了。它展示的编码器图里, 读到源文的「它」时, 前一句的分量更偏向动物, 后一句更偏向马路。

训练用了八块英伟达 P100 显卡, 三天半。论文做了英译德, 英译法, 还做了英文的句法分析。结论里写: 「我们对基于 attention 的模型的未来感到兴奋」, 接着说要把它用到文字以外, 图像, 声音, 视频。

题目的来历, 琼斯2024年对《连线》的记者说, 是从披头士的《你所需要的就是爱》化来的, 截稿前几天晚上想到: 「真的只想了五秒钟。」那年十二月六日, 论文在加州长滩的 NIPS 大会上排在晚上的海报区。几位作者后来回忆, 那一场挤了四个钟头, 到晚上十点半还有人围着不走, 最后是保安来请人离场。到2024年, 那八个人都已经不在谷歌了, 有的开了公司, 有的去了别处。

七、短名字

2018年, 这一路东西接连出来, 名字都很短。

二月, 艾伦人工智能研究所和华盛顿大学的一组人发表 ELMo。六月, OpenAI 发表《用 generative pre-training 改进语言理解》, 先让一个十二层的 Transformer 在大量没有标注的文字上学着往下写, 再拿去做各种具体的题。这个模型后来被叫作 GPT; 那时, 这三个字母还分散在题目里三个词的开头。十月, 谷歌发表 BERT, 小的那个用四个云端 TPU, 大的用十六个, 各练了四天。ELMo 和 BERT, 这两个名字恰好都是《芝麻街》里的角色。

GPT 学的文字, 论文里叫图书语料, 说里面有七千多本「从未出版的书」, 冒险, 奇幻, 爱情, 各种类型都有。那份语料出自2015年的另一篇论文, 那篇论文里叫 BookCorpus, 说收了一万一千零三十八本「由尚未出版的作者所写的免费书籍」, 来自网上。

2021年, 两位研究者回头给那份语料补写了一份说明。他们查出, 这些书是用程序从一个叫 Smashwords 的自出版网站上批量抓下来的: 先抓免费电子书的链接, 再下载, 再转成纯文字。他们的结论里有一句: 「作者没有明确同意。」

2018年四月, 纽约大学等几家的研究者做了一张考卷, 叫 GLUE, 九道语言理解的题。考卷上有一个人的分数, 是每道题分别找人来做, 再按考卷的规矩合起来的, 约八十七分。十月, BERT 考了八十点五。到2019年年中, 已经有机器报出高于那条线的分数。

八、注意力

1890年, 詹姆斯说, attention 是什么, 人人都知道。2014年, 这个词被加进一篇翻译论文, 前面带着直观地说。2016年, 它被画成蓝线。2017年, 它进了一个题目: Attention Is All You Need。后来流传的说法是, 机器也有了注意力。直观地说, 那四个字, 在路上掉了。

在这些论文里, attention 是一组分量, 加起来是一。写一个词的时候, 这组分量决定回头看源文的哪几个词。分量是从文字里学来的: 十六亿个词的文字, 谷歌新闻, 人译好的双语句子, 七千多本没有出版的书。每一份都是人写的, 人译的。

考卷上的那条线也是人。四点八二分的参考译文是人译的; GLUE 上那八十七分, 是找来的人一道题一道题做出来的。机器的分数, 是对着这些人量的。

那只动物太累了, 那条马路太宽了: 这两句话, 是谷歌的一位研究者为了讲清楚这件事写下的例子。累的是动物, 宽的是马路, 写的人知道, 所以才能出这道题。

人的注意力, 是一个人把有限的时间放在哪里。这一篇里那些不知名的人, 写书的人, 译议会记录的人, 坐下来给译文打分的人, 他们把各自的注意力放在了自己的书上, 自己的译文上, 自己面前的那一句话上。机器学去的, 是这些注意力留下来的痕迹。这个系列管这种学来学去总剩在外面的一份叫余项。

机器还在造, 而界在哪里, 每一代人重说一遍。