凿构周期律 · AI系列 · 14

Backpropagation 到底是谁发明的

秦汉 · 约 11 分钟 · 发布

一、四页

1986年十月九日, 英国的《自然》周刊登了一篇四页的文章, 题目是《通过 back-propagating errors 来学习表示》。署名三个人, 顺序是大卫·鲁梅尔哈特, 杰弗里·辛顿, 罗纳德·威廉斯。

摘要的第一句是: 「我们描述一种新的学习程序, back-propagation, 用于由类似神经元的单元组成的网络。」新的, 是作者自己写下的字。

正文往下讲办法, 讲到一半, 有一句交代: 这个办法的一个变体, 帕克也独立地发现了; 另一个变体, 杨立昆也独立地发现了。所以这四页纸上同时有两样东西: 一个新字, 和一句也独立地发现了。

文末的参考文献一共四条: 罗森布拉特的书, 明斯基与帕佩特的书, 杨立昆前一年在巴黎发表的一篇法文文章, 还有同一年刚出的一套两卷本里的第八章。这一篇后面要出场的几个名字, 凯利, 布赖森, 德雷福斯, 林纳因马, 韦伯斯, 都不在这四条里。

它写了几个小实验。一个叫对称: 六个开关, 每个或开或关, 一共六十四种排法, 网络要说出一种排法是不是左右对称。进和出之间只放了两个单元。六十四种排法全过一遍算一轮, 这个例子过了一千四百二十五轮。另一个是家谱。两个编出来的家族, 谁是谁的父亲, 谁是谁的姑妈, 拆成一条一条的关系, 一共一百零四条; 拿一百条去训练, 留下四条不给它看, 再看它能不能把留下的也说出来。网要学的, 是人与人之间的关系。四页里也写明了, 这个办法不保证找到最好的那一组数。

二、往回传

同一时期还有一张网, 是特伦斯·谢诺夫斯基和查尔斯·罗森堡做的, 学的是朗读英文。它叫 NETtalk, 意思是网络说话。它一次看七个字母, 像一扇只开七格的小窗; 窗口正中那个字母该怎么念, 是它要给出的答案。念完一个, 窗往后挪一格。进来的一头有二百零三个单元, 中间八十个, 出去的一头二十六个; 单元之间的连接, 一共一万八千多个可调的数。网给出来的不是声音, 是一串代表音素和重音的代码。这串代码交给 DEC 出的一台语音合成器, 才变成耳朵听得见的声音。

他们在技术说明里写怎样调: 「每个词之后, 都按照算出来的读音与正确读音有多接近来调整权重。」权重, 就是那一万八千多个可调的数。一个单元对下一个单元影响多大, 看的是它们之间那个数。

《自然》那四页写的次序是这样的。先从输入那一头起, 一层一层往上算, 算出每个单元的状态。算到最上面, 拿出来的结果和该有的答案比, 差多少, 就是误差。然后从最上面那一层起, 一层一层往回算: 里头各个数如果变一点, 最后的误差会朝哪边变, 变多少。算完, 再照定好的步子去调。往回走的不是同一个差数。

这一套里有一样东西不在网里: 正确的读音。它是事先给好的。网每改一次, 都是朝着那个事先给好的答案改。家谱实验里, 该有的答案是编家谱的人给的; 对称实验里, 什么叫对称, 是出题的人定的。

三、飞行轨迹

1960年五月, 美国火箭学会在洛杉矶开半年会。格鲁曼飞机工程公司的亨利·凯利在会上宣读了一篇文章, 题目是《最优飞行轨迹的 gradient 理论》。

他算的是一架飞行器怎样飞最好: 怎样把飞行性能用到头, 怎样从一条轨道转到另一条, 怎样用最短的时间飞到。一路上处处有约束, 飞行器得守着自己的动力学。他管自己的办法叫 gradient method, 也叫 steepest descent, 字面上说的就是朝下降得最快的方向走。文章里没有网, 也没有学习两个字。

1961年四月, 哈佛开了一次数字计算机及其应用的讨论会。阿瑟·布赖森在会上的题目是《一种优化多阶段分配过程的 gradient 方法》。多阶段分配, 说的是一件事分几步做, 每一步怎么分派, 合起来最好。八年后, 他和何毓琦合写了一本《应用最优控制》。后来写这段前史的人, 把这本书和凯利那一篇排在一起。

1962年, 一份数学杂志登了斯图尔特·德雷福斯的《变分问题的数值解法》。变分问题, 也是在一大片可能的路里找最好的那一条。后来整理这段前史的人说, 这一篇只用了链式法则, 就把 gradient 从后往前组织了起来。链式法则是微积分里的一条: 一个量隔着好几道关卡影响另一个量, 总的影响, 等于每一道关卡上的影响乘起来。

他在第十一篇里出场过。1965年兰德那份备忘录的致谢页上, 他的名字和另外几个人列在一起; 他是休伯特·德雷福斯的弟弟。二十几年后, 兄弟俩一起写书, 一起写文章。那位写机器做不到什么的哲学家, 他的弟弟1962年写下的一篇数学文章, 后来被人排进了这一条线里。

飞行, 分配, 变分, 三件事都是在一大片可能里找一条最好的路。那几年里, 这个办法的名字是 gradient, 找的是轨迹, 没有人管它叫学习。

四、舍入误差

1967年六月, 日本的甘利俊一在一份电子计算机汇刊上发表《适应性模式分类器的理论》。他管其中一类调整叫概率下降法, 文中也讲最速下降。他的行当是模式分类和统计, 要解决的是机器怎样把送进来的东西分成类。

1970年, 赫尔辛基大学, 一个叫塞波·林纳因马的学生交了硕士论文。论文用芬兰文写, 题目译过来是: 算法的累积舍入误差, 表示为各个局部舍入误差的泰勒展开。

计算机做算术, 位数有限, 有些步要把末尾的零头舍去或进上去。一长串算下来, 这些零碎怎样累到最后的结果上, 他要的是一个算得动的办法。他的对象是随便哪一个计算程序, 不是网; 论文里没有神经网络, 也没有 backpropagation 这个名字。再往后, 做自动求导的人把这一类办法叫作反向累积; 这个名字, 他写论文的时候还没有。

五、学习两个字

1974年, 哈佛, 保罗·韦伯斯交了博士论文, 题目是《超越回归: 行为科学中预测与分析的新工具》。他的行当是行为科学, 他要的是预测。论文里, 他把那个高效求导的程序叫作动态反馈。

第二章第二十二页上有一句, 说到「与模型神经元相对应的函数」; 紧接着一句是: 「计算这些导数最容易的办法, 是简单地使用动态反馈。」论文往后还谈到脑, 谈到把导数往回递的设想。

1981年, 韦伯斯在纽约一个系统建模与优化的会上宣读了《非线性敏感度分析进展的应用》。后来写这段前史的人说, 这一回他把这个办法明确用到了神经网络上。

1982年, 斯坦福大学管技术许可的办公室收到一份发明申报, 题目是《学习逻辑》, 申报人叫戴维·帕克。一个求导的办法, 在这间屋子里是一项等着授权的发明。1985年, 他在麻省理工学院一个经济与管理科学的计算研究中心出了一份技术文件, 题目更长: 《学习逻辑: 把人脑的皮层铸进硅里》。

1985年, 巴黎开了一个认知科学的会, 叫认知八五。杨立昆在会上发表的法文文章, 题目译过来是《一种用于非对称阈值网络的学习程序》。

1985年九月前后, 圣迭戈, 鲁梅尔哈特, 辛顿, 威廉斯出了一份编了号的技术文件, 题目是《通过误差传播学习内部表示》。第二年, 这个题目原样成了那套两卷本的第八章, 他们给那条调整的规则起的名字叫广义德尔塔规则。到了《自然》上, 题目里的误差传播, 换成了 back-propagating errors。

排一排当时用过的名字: gradient method, steepest descent, 概率下降法, 动态反馈, 学习逻辑, 学习程序, 误差传播, 广义德尔塔规则, backpropagation。哪几个算是同一样东西, 说法不一。

名字里有一处分界看得清楚。在飞机公司那里, 它求的是轨迹; 在赫尔辛基, 它求的是误差; 在哈佛的行为科学里, 它求的是预测。学习两个字, 要等它被放进一张由类似神经元的单元连成的网以后才出现: 1982年的学习逻辑, 1985年的学习程序和学习内部表示, 1986年的新的学习程序。相近的算术, 放在轨迹上叫优化, 放在误差上叫分析, 放进网里, 叫学习。

机器会不会学, 从第七篇塞缪尔那台下跳棋的机器起, 就是一条界。这一回, 界落在了一套往回求导的算术上, 而把它挪过界去的, 是一个名字。

六、两卷书

1986年七月, 麻省理工学院出版社出了一套两卷本, 总题是《平行分布处理: 认知微结构的探索》。第一卷的副题是《基础》, 第二卷是《心理与生物模型》。第一卷的署名是鲁梅尔哈特, 麦克莱兰, 以及平行分布处理研究组; 第二卷换成麦克莱兰在前。

这套书卖得快。首印六千册, 书还没正式出来就卖完了; 两年以后, 在印的估计有三万册上下。记下这两个数的, 是德雷福斯兄弟1988年那篇《造一个心智, 还是模拟一个脑》, 就是第十一篇里那篇。斯图尔特·德雷福斯在这一篇里出现了两次。一次在1962年, 他写的数学文章后来被排进了这个办法的前史; 一次在1988年, 他和兄长一起, 替这套书数了印数。

1987年一月四日, 《纽约时报》登了这套书的书评, 题目是《认知的联结》。同一年, 《科学》上有评, 《自然》上的书评题目叫《只要联结!》, 六月十二日英国的《泰晤士报文学增刊》也评了它。一套讲一张网怎样自己调出内部表示的书, 上了报纸的书评版。

这一路在当时也不止一个名字。书自己叫平行分布处理; 同一时期还有人叫联结主义, 神经计算, 神经网络研究, 后来用得最广的是联结主义。

1988年, 麦克莱兰和鲁梅尔哈特又出了一本手册, 题目里有模型, 程序和练习几个词, 书后夹着两张软盘, 装着那些网的程序。买书的人把软盘插进自己的个人计算机, 就能让一张网在自己桌上跑起来, 往回传误差, 一轮一轮地调。

七、目前的形式

《自然》那四页的最后一段, 第一句是: 「这种学习程序, 以它目前的形式, 并不是一个可信的脑内学习模型。」

那一段接着说, 把它用到各种任务上, 能看到顺着 gradient 往下走, 可以造出有意思的内部表示; 所以值得去找一找, 在神经网络里做 gradient descent, 有没有在生物学上更可信的办法。一篇宣布新的学习程序的文章, 在全文最后划了一条界: 这个办法叫学习, 可它目前的形式, 不是脑子里的学习。划界的是作者自己。

1989年一月十二日, 《自然》登了弗朗西斯·克里克的一篇评论, 题目是《最近关于神经网络的兴奋》。克里克是和人一起找出遗传物质双螺旋结构的那一位。摘要的最后一句是: 「遗憾的是, 这些神经网络中的多数在若干重要方面并不现实。」

同一时期还有另一条线上的争论。1988年, 《认知》杂志第二十八卷登了两篇长文。一篇是福多与派利夏恩的, 问的是这种网能不能说明思想的组合性: 能想约翰爱那个女孩的人, 也就能想那个女孩爱约翰。另一篇是平克与普林斯的, 一百二十多页, 盯住的是那套两卷本里一个学英语动词过去式的模型, 问它的表示, 它用的训练材料, 它怎样推广, 能不能解释语言里的规则。也是这一年, 第八篇里明斯基与帕佩特那本书出了增订本, 后记里评的也是这一套新的调整规则。

这几处划的是不同的界。作者自己划的是: 这个办法目前不是脑里的学习。克里克划的是: 这些网在重要方面不像真的脑。福多他们问的是: 这种网能不能说明思想的结构。三条界画在三个地方, 问的是三个问题。

同一个1989年, 这个办法已经被拿去干活了。贝尔实验室的杨立昆和六位同事, 在新创刊的《神经计算》第一卷第四期上发表《Backpropagation 用于手写邮政编码识别》。数据是一张一张的数字, 每张十六乘十六个灰度点, 一共九千二百九十八张, 七千二百九十一张拿来训练, 两千零七张留着考。论文说, 这些数字「出现在经过纽约州布法罗邮局的美国邮件上」。写这些数字的手, 论文没有记下是谁的。

卡内基梅隆大学, 迪恩·波默洛做了一张会顺着路开车的网, 装在学校那辆自主导航的试验车上。车上摄像机的画面进到网里, 是三十乘三十二个点, 取的是蓝色那一道的明暗, 中间二十九个单元, 出去的一头是四十五个方向, 从向左急转, 到直行, 到向右急转。它主要是在模拟出来的路面图像上训练的, 再拿到真路上试。论文说, 在某些野外条件下, 它能跟着路走。

念英文, 认信封上的数字, 顺着路开车。考它的是念得对不对, 认得准不准, 车还在不在路上。没有哪一张卷子考它像不像脑。

八、独立

谁先发现的这个办法, 到今天还有人在争。说得最多的是于尔根·施密德胡伯。他从2014年起在自己的网页上一版一版地列这一条线, 2020年又以半个世纪纪念的样子重发了一篇, 题目就叫《谁发明了 backpropagation》。他的说法是: 这个办法的现代形式, 由芬兰的硕士生林纳因马在1970年首次发表; 凯利1960年那一篇是先驱; 此后是布赖森, 斯图尔特·德雷福斯, 韦伯斯, 帕克, 杨立昆, 鲁梅尔哈特他们, 一个一个排下来。他还在网页上公开要求后来得了图灵奖的三位, 对他列的每一条逐项回答。

另一边, 2020年四月一篇报道转述了辛顿在一个网上论坛里的回答: 「我从未声称是我发明了 backpropagation。大卫·鲁梅尔哈特是在其他领域的人早已发明它之后, 独立把它发明出来的。」他说, 他们那一方的贡献, 是清楚地演示了这个办法能学出有意思的内部表示, 让它被很多人注意到。

2024年十月八日, 诺贝尔物理学奖给了约翰·霍普菲尔德和辛顿, 授奖理由是: 表彰使人工神经网络的机器学习成为可能的基础性发现和发明。这几段话各有各的位置, 并排放着。

独立这个词, 前后挂过两次。1986年, 它在《自然》那四页里, 挂在帕克和杨立昆身上: 办法是新的, 另外两个人也独立地发现了它的变体。那时候, 新是正文, 独立是旁注。2020年, 它在辛顿那段回答里, 挂在鲁梅尔哈特身上: 别的领域的人早就发明了它, 他是后来独立发明的。这时候, 别处在先, 独立说的是自己这一边。同一个词, 三十四年里换了一次位置; 换它的, 是当年署名的一方。

后来流传最广的, 是另一句: 1986年, 三个人发明了 backpropagation, 让机器像脑一样学习。

这一句要删掉两样东西才说得出来。一样是四页纸中间那一句也独立地发现了, 连同它背后那些不在参考文献里的屋子: 飞机公司, 哈佛的讨论会, 数学杂志, 赫尔辛基的硕士论文, 斯坦福管技术许可的办公室。另一样是最后一段里的以它目前的形式, 连同那一整句不是脑内学习的模型。两样都是限定, 两样都不承担故事。删完以后, 剩下一个发明, 三个发明人, 一台像脑的机器。

还有一样东西, 删不删, 它都不在故事里。

在这一篇的几个实验里, 误差量的是机器给出来的和正确答案差多远。正确的读音, 正确的数字, 该转的方向, 家谱上谁是谁的姑妈, 都是事先放好的。往回算的办法本身不管什么叫正确。别的学习办法可以不让人逐题报答案, 可还是得有个准则, 告诉网往哪里调。这个系列管这种总剩在外面的东西叫余项。

布法罗邮局那九千多张数字, 每一张都出自一只手。那些手的主人没有被记下来。他们写下那几个数字的时候, 只是想让一封信寄到。

机器还在造, 而界在哪里, 每一代人重说一遍。