鑿構週期律 · AI系列 · 14

Backpropagation 到底是誰發明的

秦漢 · 約 11 分鐘 · 發布

一、四頁

1986年十月九日, 英國的《自然》週刊登了一篇四頁的文章, 題目是《通過 back-propagating errors 來學習表示》。署名三個人, 順序是大衛·魯梅爾哈特, 傑弗里·辛頓, 羅納德·威廉斯。

摘要的第一句是: 「我們描述一種新的學習程序, back-propagation, 用於由類似神經元的單元組成的網絡。」新的, 是作者自己寫下的字。

正文往下講辦法, 講到一半, 有一句交代: 這個辦法的一個變體, 帕克也獨立地發現了; 另一個變體, 楊立昆也獨立地發現了。所以這四頁紙上同時有兩樣東西: 一個新字, 和一句也獨立地發現了。

文末的參考文獻一共四條: 羅森布拉特的書, 明斯基與帕佩特的書, 楊立昆前一年在巴黎發表的一篇法文文章, 還有同一年剛出的一套兩卷本裡的第八章。這一篇後面要出場的幾個名字, 凱利, 布賴森, 德雷福斯, 林納因馬, 韋伯斯, 都不在這四條裡。

它寫了幾個小實驗。一個叫對稱: 六個開關, 每個或開或關, 一共六十四種排法, 網絡要說出一種排法是不是左右對稱。進和出之間只放了兩個單元。六十四種排法全過一遍算一輪, 這個例子過了一千四百二十五輪。另一個是家譜。兩個編出來的家族, 誰是誰的父親, 誰是誰的姑媽, 拆成一條一條的關係, 一共一百零四條; 拿一百條去訓練, 留下四條不給它看, 再看它能不能把留下的也說出來。網要學的, 是人與人之間的關係。四頁裡也寫明瞭, 這個辦法不保證找到最好的那一組數。

二、往回傳

同一時期還有一張網, 是特倫斯·謝諾夫斯基和查爾斯·羅森堡做的, 學的是朗讀英文。它叫 NETtalk, 意思是網絡說話。它一次看七個字母, 像一扇只開七格的小窗; 窗口正中那個字母該怎麼念, 是它要給出的答案。念完一個, 窗往後挪一格。進來的一頭有二百零三個單元, 中間八十個, 出去的一頭二十六個; 單元之間的連接, 一共一萬八千多個可調的數。網給出來的不是聲音, 是一串代表音素和重音的代碼。這串代碼交給 DEC 出的一臺語音合成器, 才變成耳朵聽得見的聲音。

他們在技術說明裡寫怎樣調: 「每個詞之後, 都按照算出來的讀音與正確讀音有多接近來調整權重。」權重, 就是那一萬八千多個可調的數。一個單元對下一個單元影響多大, 看的是它們之間那個數。

《自然》那四頁寫的次序是這樣的。先從輸入那一頭起, 一層一層往上算, 算出每個單元的狀態。算到最上面, 拿出來的結果和該有的答案比, 差多少, 就是誤差。然後從最上面那一層起, 一層一層往回算: 裡頭各個數如果變一點, 最後的誤差會朝哪邊變, 變多少。算完, 再照定好的步子去調。往回走的不是同一個差數。

這一套裡有一樣東西不在網裡: 正確的讀音。它是事先給好的。網每改一次, 都是朝著那個事先給好的答案改。家譜實驗裡, 該有的答案是編家譜的人給的; 對稱實驗裡, 什麼叫對稱, 是出題的人定的。

三、飛行軌跡

1960年五月, 美國火箭學會在洛杉磯開半年會。格魯曼飛機工程公司的亨利·凱利在會上宣讀了一篇文章, 題目是《最優飛行軌跡的 gradient 理論》。

他算的是一架飛行器怎樣飛最好: 怎樣把飛行性能用到頭, 怎樣從一條軌道轉到另一條, 怎樣用最短的時間飛到。一路上處處有約束, 飛行器得守著自己的動力學。他管自己的辦法叫 gradient method, 也叫 steepest descent, 字面上說的就是朝下降得最快的方向走。文章裡沒有網, 也沒有學習兩個字。

1961年四月, 哈佛開了一次數字計算機及其應用的討論會。阿瑟·布賴森在會上的題目是《一種優化多階段分配過程的 gradient 方法》。多階段分配, 說的是一件事分幾步做, 每一步怎麼分派, 合起來最好。八年後, 他和何毓琦合寫了一本《應用最優控制》。後來寫這段前史的人, 把這本書和凱利那一篇排在一起。

1962年, 一份數學雜誌登了斯圖爾特·德雷福斯的《變分問題的數值解法》。變分問題, 也是在一大片可能的路裡找最好的那一條。後來整理這段前史的人說, 這一篇只用了鏈式法則, 就把 gradient 從後往前組織了起來。鏈式法則是微積分裡的一條: 一個量隔著好幾道關卡影響另一個量, 總的影響, 等於每一道關卡上的影響乘起來。

他在第十一篇裡出場過。1965年蘭德那份備忘錄的致謝頁上, 他的名字和另外幾個人列在一起; 他是休伯特·德雷福斯的弟弟。二十幾年後, 兄弟倆一起寫書, 一起寫文章。那位寫機器做不到什麼的哲學家, 他的弟弟1962年寫下的一篇數學文章, 後來被人排進了這一條線裡。

飛行, 分配, 變分, 三件事都是在一大片可能裡找一條最好的路。那幾年裡, 這個辦法的名字是 gradient, 找的是軌跡, 沒有人管它叫學習。

四、捨入誤差

1967年六月, 日本的甘利俊一在一份電子計算機匯刊上發表《適應性模式分類器的理論》。他管其中一類調整叫概率下降法, 文中也講最速下降。他的行當是模式分類和統計, 要解決的是機器怎樣把送進來的東西分成類。

1970年, 赫爾辛基大學, 一個叫塞波·林納因馬的學生交了碩士論文。論文用芬蘭文寫, 題目譯過來是: 算法的累積捨入誤差, 表示為各個局部捨入誤差的泰勒展開。

計算機做算術, 位數有限, 有些步要把末尾的零頭捨去或進上去。一長串算下來, 這些零碎怎樣累到最後的結果上, 他要的是一個算得動的辦法。他的對象是隨便哪一個計算程序, 不是網; 論文裡沒有神經網絡, 也沒有 backpropagation 這個名字。再往後, 做自動求導的人把這一類辦法叫作反向累積; 這個名字, 他寫論文的時候還沒有。

五、學習兩個字

1974年, 哈佛, 保羅·韋伯斯交了博士論文, 題目是《超越回歸: 行為科學中預測與分析的新工具》。他的行當是行為科學, 他要的是預測。論文裡, 他把那個高效求導的程序叫作動態反饋。

第二章第二十二頁上有一句, 說到「與模型神經元相對應的函數」; 緊接著一句是: 「計算這些導數最容易的辦法, 是簡單地使用動態反饋。」論文往後還談到腦, 談到把導數往回遞的設想。

1981年, 韋伯斯在紐約一個系統建模與優化的會上宣讀了《非線性敏感度分析進展的應用》。後來寫這段前史的人說, 這一回他把這個辦法明確用到了神經網絡上。

1982年, 斯坦福大學管技術許可的辦公室收到一份發明申報, 題目是《學習邏輯》, 申報人叫戴維·帕克。一個求導的辦法, 在這間屋子裡是一項等著授權的發明。1985年, 他在麻省理工學院一個經濟與管理科學的計算研究中心出了一份技術文件, 題目更長: 《學習邏輯: 把人腦的皮層鑄進硅裡》。

1985年, 巴黎開了一個認知科學的會, 叫認知八五。楊立昆在會上發表的法文文章, 題目譯過來是《一種用於非對稱閾值網絡的學習程序》。

1985年九月前後, 聖迭戈, 魯梅爾哈特, 辛頓, 威廉斯出了一份編了號的技術文件, 題目是《通過誤差傳播學習內部表示》。第二年, 這個題目原樣成了那套兩卷本的第八章, 他們給那條調整的規則起的名字叫廣義德爾塔規則。到了《自然》上, 題目裡的誤差傳播, 換成了 back-propagating errors。

排一排當時用過的名字: gradient method, steepest descent, 概率下降法, 動態反饋, 學習邏輯, 學習程序, 誤差傳播, 廣義德爾塔規則, backpropagation。哪幾個算是同一樣東西, 說法不一。

名字裡有一處分界看得清楚。在飛機公司那裡, 它求的是軌跡; 在赫爾辛基, 它求的是誤差; 在哈佛的行為科學裡, 它求的是預測。學習兩個字, 要等它被放進一張由類似神經元的單元連成的網以後才出現: 1982年的學習邏輯, 1985年的學習程序和學習內部表示, 1986年的新的學習程序。相近的算術, 放在軌跡上叫優化, 放在誤差上叫分析, 放進網裡, 叫學習。

機器會不會學, 從第七篇塞繆爾那臺下跳棋的機器起, 就是一條界。這一回, 界落在了一套往回求導的算術上, 而把它挪過界去的, 是一個名字。

六、兩卷書

1986年七月, 麻省理工學院出版社出了一套兩卷本, 總題是《平行分布處理: 認知微結構的探索》。第一卷的副題是《基礎》, 第二卷是《心理與生物模型》。第一卷的署名是魯梅爾哈特, 麥克萊蘭, 以及平行分布處理研究組; 第二卷換成麥克萊蘭在前。

這套書賣得快。首印六千冊, 書還沒正式出來就賣完了; 兩年以後, 在印的估計有三萬冊上下。記下這兩個數的, 是德雷福斯兄弟1988年那篇《造一個心智, 還是模擬一個腦》, 就是第十一篇裡那篇。斯圖爾特·德雷福斯在這一篇裡出現了兩次。一次在1962年, 他寫的數學文章後來被排進了這個辦法的前史; 一次在1988年, 他和兄長一起, 替這套書數了印數。

1987年一月四日, 《紐約時報》登了這套書的書評, 題目是《認知的聯結》。同一年, 《科學》上有評, 《自然》上的書評題目叫《只要聯結!》, 六月十二日英國的《泰晤士報文學增刊》也評了它。一套講一張網怎樣自己調出內部表示的書, 上了報紙的書評版。

這一路在當時也不止一個名字。書自己叫平行分布處理; 同一時期還有人叫聯結主義, 神經計算, 神經網絡研究, 後來用得最廣的是聯結主義。

1988年, 麥克萊蘭和魯梅爾哈特又出了一本手冊, 題目裡有模型, 程序和練習幾個詞, 書後夾著兩張軟盤, 裝著那些網的程序。買書的人把軟盤插進自己的個人計算機, 就能讓一張網在自己桌上跑起來, 往回傳誤差, 一輪一輪地調。

七、目前的形式

《自然》那四頁的最後一段, 第一句是: 「這種學習程序, 以它目前的形式, 並不是一個可信的腦內學習模型。」

那一段接著說, 把它用到各種任務上, 能看到順著 gradient 往下走, 可以造出有意思的內部表示; 所以值得去找一找, 在神經網絡裡做 gradient descent, 有沒有在生物學上更可信的辦法。一篇宣佈新的學習程序的文章, 在全文最後劃了一條界: 這個辦法叫學習, 可它目前的形式, 不是腦子裡的學習。劃界的是作者自己。

1989年一月十二日, 《自然》登了弗朗西斯·克里克的一篇評論, 題目是《最近關於神經網絡的興奮》。克里克是和人一起找出遺傳物質雙螺旋結構的那一位。摘要的最後一句是: 「遺憾的是, 這些神經網絡中的多數在若干重要方面並不現實。」

同一時期還有另一條線上的爭論。1988年, 《認知》雜誌第二十八卷登了兩篇長文。一篇是福多與派利夏恩的, 問的是這種網能不能說明思想的組合性: 能想約翰愛那個女孩的人, 也就能想那個女孩愛約翰。另一篇是平克與普林斯的, 一百二十多頁, 盯住的是那套兩卷本裡一個學英語動詞過去式的模型, 問它的表示, 它用的訓練材料, 它怎樣推廣, 能不能解釋語言裡的規則。也是這一年, 第八篇裡明斯基與帕佩特那本書出了增訂本, 後記裡評的也是這一套新的調整規則。

這幾處劃的是不同的界。作者自己劃的是: 這個辦法目前不是腦裡的學習。克里克劃的是: 這些網在重要方面不像真的腦。福多他們問的是: 這種網能不能說明思想的結構。三條界畫在三個地方, 問的是三個問題。

同一個1989年, 這個辦法已經被拿去幹活了。貝爾實驗室的楊立昆和六位同事, 在新創刊的《神經計算》第一卷第四期上發表《Backpropagation 用於手寫郵政編碼識別》。數據是一張一張的數字, 每張十六乘十六個灰度點, 一共九千二百九十八張, 七千二百九十一張拿來訓練, 兩千零七張留著考。論文說, 這些數字「出現在經過紐約州布法羅郵局的美國郵件上」。寫這些數字的手, 論文沒有記下是誰的。

卡內基梅隆大學, 迪恩·波默洛做了一張會順著路開車的網, 裝在學校那輛自主導航的試驗車上。車上攝像機的畫面進到網裡, 是三十乘三十二個點, 取的是藍色那一道的明暗, 中間二十九個單元, 出去的一頭是四十五個方向, 從向左急轉, 到直行, 到向右急轉。它主要是在模擬出來的路面圖像上訓練的, 再拿到真路上試。論文說, 在某些野外條件下, 它能跟著路走。

念英文, 認信封上的數字, 順著路開車。考它的是念得對不對, 認得準不准, 車還在不在路上。沒有哪一張卷子考它像不像腦。

八、獨立

誰先發現的這個辦法, 到今天還有人在爭。說得最多的是於爾根·施密德胡伯。他從2014年起在自己的網頁上一版一版地列這一條線, 2020年又以半個世紀紀念的樣子重發了一篇, 題目就叫《誰發明瞭 backpropagation》。他的說法是: 這個辦法的現代形式, 由芬蘭的碩士生林納因馬在1970年首次發表; 凱利1960年那一篇是先驅; 此後是布賴森, 斯圖爾特·德雷福斯, 韋伯斯, 帕克, 楊立昆, 魯梅爾哈特他們, 一個一個排下來。他還在網頁上公開要求後來得了圖靈獎的三位, 對他列的每一條逐項回答。

另一邊, 2020年四月一篇報道轉述了辛頓在一個網上論壇裡的回答: 「我從未聲稱是我發明瞭 backpropagation。大衛·魯梅爾哈特是在其他領域的人早已發明它之後, 獨立把它發明出來的。」他說, 他們那一方的貢獻, 是清楚地演示了這個辦法能學出有意思的內部表示, 讓它被很多人注意到。

2024年十月八日, 諾貝爾物理學獎給了約翰·霍普菲爾德和辛頓, 授獎理由是: 表彰使人工神經網絡的機器學習成為可能的基礎性發現和發明。這幾段話各有各的位置, 並排放著。

獨立這個詞, 前後掛過兩次。1986年, 它在《自然》那四頁裡, 掛在帕克和楊立昆身上: 辦法是新的, 另外兩個人也獨立地發現了它的變體。那時候, 新是正文, 獨立是旁注。2020年, 它在辛頓那段回答裡, 掛在魯梅爾哈特身上: 別的領域的人早就發明瞭它, 他是後來獨立發明的。這時候, 別處在先, 獨立說的是自己這一邊。同一個詞, 三十四年裡換了一次位置; 換它的, 是當年署名的一方。

後來流傳最廣的, 是另一句: 1986年, 三個人發明瞭 backpropagation, 讓機器像腦一樣學習。

這一句要刪掉兩樣東西才說得出來。一樣是四頁紙中間那一句也獨立地發現了, 連同它背後那些不在參考文獻裡的屋子: 飛機公司, 哈佛的討論會, 數學雜誌, 赫爾辛基的碩士論文, 斯坦福管技術許可的辦公室。另一樣是最後一段裡的以它目前的形式, 連同那一整句不是腦內學習的模型。兩樣都是限定, 兩樣都不承擔故事。刪完以後, 剩下一個發明, 三個發明人, 一臺像腦的機器。

還有一樣東西, 刪不刪, 它都不在故事裡。

在這一篇的幾個實驗裡, 誤差量的是機器給出來的和正確答案差多遠。正確的讀音, 正確的數字, 該轉的方向, 家譜上誰是誰的姑媽, 都是事先放好的。往回算的辦法本身不管什麼叫正確。別的學習辦法可以不讓人逐題報答案, 可還是得有個准則, 告訴網往哪裡調。這個系列管這種總剩在外面的東西叫餘項。

布法羅郵局那九千多張數字, 每一張都出自一隻手。那些手的主人沒有被記下來。他們寫下那幾個數字的時候, 只是想讓一封信寄到。

機器還在造, 而界在哪裡, 每一代人重說一遍。