凿构周期律 · AI系列 · 17

「深度学习」的深, 到底是什么

秦汉 · 约 8 分钟 · 发布

一、四个名字

2006年七月, 有两篇文章几乎同时印出来。一篇在《神经计算》第十八卷第七期, 作者是杰弗里·辛顿, 西蒙·奥辛德罗和郑宇怀, 题目是《深度信念网的一种快速学习算法》。摘要里说的是: 一种快速的, 贪心的算法, 可以一层一层地学出深层的有向信念网络。紧跟着有一个条件: 「条件是最上面的两层构成一个无向的联想记忆。」

另一篇在七月二十八日的《科学》上, 辛顿和鲁斯兰·萨拉赫丁诺夫合写, 题目是《用神经网络降低数据的维数》。办法是先一层一层地把一个多层的网络预先训练好, 再用第十四篇里那个往回传误差的办法去细调。题目里, 明明白白写着神经网络。

同一年冬天, 在叫作 NIPS 的神经信息处理系统大会上, 蒙特利尔大学本吉奥一组交了一篇《深度网络的贪心逐层训练》。摘要开头说的是深的多层神经网络, 讲到难处, 原话是: 从随机的起点开始做基于 gradient 的优化, 「看来常常会」卡在不好的解上。看来, 常常, 两个词都在。纽约大学杨立昆一组同一届的文章, 题目是《用一个基于能量的模型高效地学习稀疏表示》, 题目里没有深这个字。

四篇文章, 四个说法: 深度信念网, 神经网络, 深度网络, 稀疏表示。那一年, 还没有一个大家共用的名字。

深度学习这四个字, 在机器学习的文献里也不是这一年才有。1986年八月, 美国人工智能学会的年会上, 里娜·德克特发表了一篇讲约束满足问题的文章, 题目是《边搜索边学习》, 里面就用了深度学习, 还跟浅度学习对举。她说的深, 是在搜索的过程中把冲突记录得多深, 跟多层的网络没有关系。

一个形容词先在别处用过, 后来被拿来叫另一样东西, 这在这个系列里不是头一回。

二、那几年

2004年, 辛顿和几位合作者在加拿大高等研究院申请到一个新项目, 名字叫神经计算与适应性感知, 本吉奥, 杨立昆也在里面, 辛顿当主任, 一直当到2013年。2006年八月, 这个项目在多伦多办了一期暑期学校。

2007年十二月, 温哥华有一个研讨会, 当时的名称是 NIPS 2007 深度学习研讨会。辛顿在会上讲的题目, 后来的论文引用时记作《怎样在脑子里做 backpropagation》。第十四篇里, 1986年那篇文章的最后一段说, 那个办法目前的形式不是脑子里的学习; 二十一年后, 同一个人站在一个叫深度学习的研讨会上, 讲的是怎样在脑子里做它。

名字是一点一点长出来的。2009年, 斯坦福吴恩达一组的论文题目里出现了深度无监督学习。2011年, 大会有一个研讨会就叫深度学习与无监督特征学习, 自己写明是要把对这两样东西有兴趣的人聚到一起。到2012年, 谷歌的一篇论文在正文里把这一行叫作无监督特征学习与深度学习; 同一年一篇讲语音识别的论文, 题目里写的是深度神经网络。

杨立昆后来半开玩笑地说, 他们几个人是所谓的深度学习阴谋集团。他也说过, 有一篇论文2011年被 CVPR 拒了, 第二年被 ICML 收了; 那之前, 用 CNN 的论文被拒过一长串。

三、显卡

显卡本来是画画面的。2007年二月, 英伟达公司放出一套编程工具, 叫 CUDA, 让算别的东西的程序也能直接用上显卡, 不必再借着画图的接口绕一圈。

2009年六月, 吴恩达和他的两个学生拉贾特·莱纳, 阿南德·马达万发表了《用图形处理器做大规模深度无监督学习》。他们会上的幻灯片列着用的显卡: 一块英伟达 GTX 280, 1GB 显存, 二百四十个核, 那时候两百五十美元上下。跟一台普通的双核电脑比, 训练一种网络快了七十二倍, 另一种快了十五倍左右; 一个多层的网络, 每一层大约一天就能学完。

瑞士卢加诺附近, 有一个叫 IDSIA 的人工智能研究所。2010年, 那里的丹·奇雷尚, 于尔根·施密德胡伯他们用显卡跑最普通的往回传误差, 在手写数字上错了万分之三十五。2011年七月, 他们在 IJCAI 上发表的论文里写, 用显卡, 大的 CNN 可以在几天里, 而不是几个月里训练好。

同一年, 有一个以德国交通标志为题的识别比赛, 五万多张图。他们赢了, 错了百分之零点五六; 拿来对照的人, 平均错百分之一点一六。2012年, 他们又赢了一个从电子显微镜图像里分出神经结构的比赛, 和一个在乳腺癌组织切片里找正在分裂的细胞的比赛。

四、两块显卡

2012年九月三十日格林尼治时间二十三点, 是第十六篇里那个大规模视觉识别挑战赛那一年的截止时间。多伦多大学的三个人交了卷, 队名叫 SuperVision: 亚历克斯·克里日夫斯基, 伊利亚·苏茨克维, 杰弗里·辛顿。他们的网络有六千万个参数, 六十五万个神经元, 五个 convolutional 层加三个全连接层。这个网络, 后来被人照第一作者的名字叫作 AlexNet。

训练用的是两块英伟达 GTX 580 显卡, 每块显存 3GB。网络太大, 一块显卡的显存放不下, 他们就把网络劈成两半, 一块显卡放一半, 某几层之间让两块显卡互相传话。训练一次, 要五六天。

显卡放在哪里, 辛顿2023年对《纽约客》的一位记者回忆: 「他那两块显卡就在卧室里嗡嗡地转。」同一段回忆里还提到, 电费不少, 是克里日夫斯基的父母付的。

SuperVision 把七个网络的预测合在一起, 参赛成绩是前五错误率百分之十五点三; 别的队伍里最好的一家, 百分之二十六点二。十月十二日, 意大利佛罗伦萨的研讨会上, 下午五点零五分到五点半, 是 SuperVision 的讲演。后来的故事里, 那个下午有很多种讲法。

十二月, 那篇论文登在大会的文集里, 题目是《用深度 convolutional 神经网络做 ImageNet 分类》。题目里, 神经网络四个字还在。

讨论那一节里, 作者做了一个实验: 把中间任何一个 convolutional 层拿掉, 按它最有把握的那个答案来计分, 准确率会掉两个百分点左右。接着写: 「所以, 深度对于取得我们的结果确实很重要。」同一节里还写明, 这次没有用逐层的无监督 pretraining, 就是2006年那两篇文章里的那一步。

五、天津

2012年十月, 天津, 微软亚洲研究院办的二十一世纪的计算大会上, 微软研究院的负责人里克·拉希德做了一次演示。他站在台上说英语。他头顶的大屏幕上, 先出来他说的英文字; 接着, 英文变成了中文字; 再接着, 一个合成的声音把中文念了出来。那个声音, 是照着拉希德自己的声音合成的; 拉希德本人不会说中文。台下响起了掌声。

十一月八日, 他在公司的博客上写, 过去这类系统大约四五个词错一个, 现在大约七八个词错一个, 错误少了三成以上; 同一段里他加了一句: 「仍远非完美。」

同一个月, 一篇十一个人署名的文章发表在一份信号处理的刊物上, 题目叫《用于语音识别声学建模的深度神经网络: 四个研究组的共同看法》。四个组是多伦多大学, 微软研究院, 谷歌, IBM。其中微软一组的一项结果, 是把词的错误率从百分之二十七点四降到了百分之十八点五。拉希德演示用的, 就是这一路的东西。

六、猫

2011年十二月底, Quoc V. Le, 杰夫·迪恩, 吴恩达等八个人把一篇文章放到网上, 第二年在 ICML 上发表, 题目是《用大规模无监督学习建立高层特征》。网络有九层, 大约十亿个连接。喂给它的是一千万张两百乘两百个点的小图, 从网上的视频里截下来, 没有人给这些图标过是什么。机器是一千台, 一万六千个处理器核, 训练了大约三天。

他们开头要问的是: 只用没有标过的图, 能不能学出一个认人脸的部件。结果网络里有一个单元, 对人脸反应特别强; 他们又做了几组对照, 把脸挪一挪, 放大缩小, 侧过去转一转, 看它还认不认。摘要里关于猫的那一句是: 同一个网络, 「对猫脸等其他高层概念也有敏感的反应」。

后来流传的说法是, 谷歌的网络自己学会了认猫。论文的原话里, 是敏感, 是猫脸, 是等其他高层概念。

七、拍卖

2012年, 辛顿和他的两个学生开了一家公司, 名字叫 DNNresearch。公司就是他们三个人。

那年十二月的 NIPS 大会, 开在太浩湖边的一家赌场酒店里。记者凯德·梅茨2021年根据采访重建了那几天的事: 在这家酒店的七三一号房间里, 这家三个人的公司被拿出来竞拍, 出价的有谷歌, 微软, 百度和伦敦那家叫 DeepMind 的公司。价钱到两千两百万美元左右时, 辛顿叫停了一次; 再开始以后, 微软退出, 剩下谷歌和百度。到两千四百万美元时, 百度这边从余凯手里换成了北京的一位高管来出价。到四千四百万美元, 辛顿不再往上叫, 公司归了谷歌。2013年起, 辛顿一边在谷歌, 一边还在多伦多大学。

2014年一月, 谷歌又买下了 DeepMind, 那家2010年在伦敦成立的公司。当时报道的价钱, 一说四亿美元, 一说四亿英镑。

一家公司三个人, 竞拍的是这三个人。在那间房里, 价钱停在哪里, 是其中一个人说了算。

八、深

2012年十一月, 《纽约时报》的约翰·马尔科夫写了一篇长报道, 后来流传的标题是《科学家看好深度学习程序》。他写了天津那场演示, 屏幕上的英文, 中文字, 拉希德的声音; 也采访了辛顿。辛顿对他说, 他们很早就决定不拿这个办法去赚钱, 而是尽量把它传开。

同一年, 杨立昆和本吉奥张罗了一个新会, 第二年在亚利桑那州的斯科茨代尔开了第一届, 名字叫 ICLR, 国际学习表示会议。第一届收到六十七篇稿子, 录用二十三篇。会议的名字里, 既没有深度学习, 也没有神经网络。

后来流传最广的一个说法是: 神经网络的名声坏了, 所以改叫深度学习。可那几年他们印出来的论文, 2006年《科学》上那篇, 2012年 ImageNet 那篇, 题目上都写着神经网络。第十三篇里, 人工智能这个名字据说被收起来过。名字改了的故事, 跟名字收起来的故事一样, 讲的人很多, 留下字据的很少。

这一篇里也有删掉的东西。2006年那句「看来常常会」; 2012年那句「对于取得我们的结果」; 谷歌那篇里的「敏感」和「猫脸」; 拉希德的「仍远非完美」。删掉以后, 剩下的是几句干净的话: 深的网络才行, 机器学会了认猫, 机器能把你的话翻成中文。

深这个字, 1986年说的是搜索里记了多深, 2006年说的是网络叠了几层, 2012年说的是拿掉中间一层, 只按第一选择计分, 准确率就掉两个百分点左右。后来它成了一个名字。一个形容词成了名字以后, 它原先形容的那一层一层的具体东西, 就退到了名字后面。

还有那个天津的下午。机器把一个人的英文变成了中文, 用的是他自己的声音; 台上的人, 一句中文也不会说。声音可以照着做出来; 那几句话是谁要说的, 说给谁听, 还是站在台上的那个人。这个系列管这种做不进机器里去的一份叫余项。

机器还在造, 而界在哪里, 每一代人重说一遍。