鑿構週期律 · AI系列 · 17

「深度學習」的深, 到底是什麼

秦漢 · 約 8 分鐘 · 發布

一、四個名字

2006年七月, 有兩篇文章幾乎同時印出來。一篇在《神經計算》第十八卷第七期, 作者是傑弗里·辛頓, 西蒙·奧辛德羅和鄭宇懷, 題目是《深度信念網的一種快速學習算法》。摘要裡說的是: 一種快速的, 貪心的算法, 可以一層一層地學出深層的有向信念網絡。緊跟著有一個條件: 「條件是最上面的兩層構成一個無向的聯想記憶。」

另一篇在七月二十八日的《科學》上, 辛頓和魯斯蘭·薩拉赫丁諾夫合寫, 題目是《用神經網絡降低數據的維數》。辦法是先一層一層地把一個多層的網絡預先訓練好, 再用第十四篇裡那個往回傳誤差的辦法去細調。題目裡, 明明白白寫著神經網絡。

同一年冬天, 在叫作 NIPS 的神經信息處理系統大會上, 蒙特利爾大學本吉奧一組交了一篇《深度網絡的貪心逐層訓練》。摘要開頭說的是深的多層神經網絡, 講到難處, 原話是: 從隨機的起點開始做基於 gradient 的優化, 「看來常常會」卡在不好的解上。看來, 常常, 兩個詞都在。紐約大學楊立昆一組同一屆的文章, 題目是《用一個基於能量的模型高效地學習稀疏表示》, 題目裡沒有深這個字。

四篇文章, 四個說法: 深度信念網, 神經網絡, 深度網絡, 稀疏表示。那一年, 還沒有一個大家共用的名字。

深度學習這四個字, 在機器學習的文獻裡也不是這一年才有。1986年八月, 美國人工智能學會的年會上, 里娜·德克特發表了一篇講約束滿足問題的文章, 題目是《邊搜索邊學習》, 裡面就用了深度學習, 還跟淺度學習對舉。她說的深, 是在搜索的過程中把衝突記錄得多深, 跟多層的網絡沒有關係。

一個形容詞先在別處用過, 後來被拿來叫另一樣東西, 這在這個系列裡不是頭一回。

二、那幾年

2004年, 辛頓和幾位合作者在加拿大高等研究院申請到一個新項目, 名字叫神經計算與適應性感知, 本吉奧, 楊立昆也在裡面, 辛頓當主任, 一直當到2013年。2006年八月, 這個項目在多倫多辦了一期暑期學校。

2007年十二月, 溫哥華有一個研討會, 當時的名稱是 NIPS 2007 深度學習研討會。辛頓在會上講的題目, 後來的論文引用時記作《怎樣在腦子裡做 backpropagation》。第十四篇裡, 1986年那篇文章的最後一段說, 那個辦法目前的形式不是腦子裡的學習; 二十一年後, 同一個人站在一個叫深度學習的研討會上, 講的是怎樣在腦子裡做它。

名字是一點一點長出來的。2009年, 斯坦福吳恩達一組的論文題目裡出現了深度無監督學習。2011年, 大會有一個研討會就叫深度學習與無監督特徵學習, 自己寫明是要把對這兩樣東西有興趣的人聚到一起。到2012年, 谷歌的一篇論文在正文裡把這一行叫作無監督特徵學習與深度學習; 同一年一篇講語音識別的論文, 題目裡寫的是深度神經網絡。

楊立昆後來半開玩笑地說, 他們幾個人是所謂的深度學習陰謀集團。他也說過, 有一篇論文2011年被 CVPR 拒了, 第二年被 ICML 收了; 那之前, 用 CNN 的論文被拒過一長串。

三、顯卡

顯卡本來是畫畫面的。2007年二月, 英偉達公司放出一套編程工具, 叫 CUDA, 讓算別的東西的程序也能直接用上顯卡, 不必再借著畫圖的接口繞一圈。

2009年六月, 吳恩達和他的兩個學生拉賈特·萊納, 阿南德·馬達萬發表了《用圖形處理器做大規模深度無監督學習》。他們會上的幻燈片列著用的顯卡: 一塊英偉達 GTX 280, 1GB 顯存, 二百四十個核, 那時候兩百五十美元上下。跟一臺普通的雙核電腦比, 訓練一種網絡快了七十二倍, 另一種快了十五倍左右; 一個多層的網絡, 每一層大約一天就能學完。

瑞士盧加諾附近, 有一個叫 IDSIA 的人工智能研究所。2010年, 那裡的丹·奇雷尚, 於爾根·施密德胡伯他們用顯卡跑最普通的往回傳誤差, 在手寫數字上錯了萬分之三十五。2011年七月, 他們在 IJCAI 上發表的論文裡寫, 用顯卡, 大的 CNN 可以在幾天裡, 而不是幾個月裡訓練好。

同一年, 有一個以德國交通標誌為題的識別比賽, 五萬多張圖。他們贏了, 錯了百分之零點五六; 拿來對照的人, 平均錯百分之一點一六。2012年, 他們又贏了一個從電子顯微鏡圖像裡分出神經結構的比賽, 和一個在乳腺癌組織切片裡找正在分裂的細胞的比賽。

四、兩塊顯卡

2012年九月三十日格林尼治時間二十三點, 是第十六篇裡那個大規模視覺識別挑戰賽那一年的截止時間。多倫多大學的三個人交了卷, 隊名叫 SuperVision: 亞歷克斯·克里日夫斯基, 伊利亞·蘇茨克維, 傑弗里·辛頓。他們的網絡有六千萬個參數, 六十五萬個神經元, 五個 convolutional 層加三個全連接層。這個網絡, 後來被人照第一作者的名字叫作 AlexNet。

訓練用的是兩塊英偉達 GTX 580 顯卡, 每塊顯存 3GB。網絡太大, 一塊顯卡的顯存放不下, 他們就把網絡劈成兩半, 一塊顯卡放一半, 某幾層之間讓兩塊顯卡互相傳話。訓練一次, 要五六天。

顯卡放在哪裡, 辛頓2023年對《紐約客》的一位記者回憶: 「他那兩塊顯卡就在臥室裡嗡嗡地轉。」同一段回憶裡還提到, 電費不少, 是克里日夫斯基的父母付的。

SuperVision 把七個網絡的預測合在一起, 參賽成績是前五錯誤率百分之十五點三; 別的隊伍裡最好的一家, 百分之二十六點二。十月十二日, 意大利佛羅倫薩的研討會上, 下午五點零五分到五點半, 是 SuperVision 的講演。後來的故事裡, 那個下午有很多種講法。

十二月, 那篇論文登在大會的文集裡, 題目是《用深度 convolutional 神經網絡做 ImageNet 分類》。題目裡, 神經網絡四個字還在。

討論那一節裡, 作者做了一個實驗: 把中間任何一個 convolutional 層拿掉, 按它最有把握的那個答案來計分, 準確率會掉兩個百分點左右。接著寫: 「所以, 深度對於取得我們的結果確實很重要。」同一節裡還寫明, 這次沒有用逐層的無監督 pretraining, 就是2006年那兩篇文章裡的那一步。

五、天津

2012年十月, 天津, 微軟亞洲研究院辦的二十一世紀的計算大會上, 微軟研究院的負責人里克·拉希德做了一次演示。他站在臺上說英語。他頭頂的大屏幕上, 先出來他說的英文字; 接著, 英文變成了中文字; 再接著, 一個合成的聲音把中文唸了出來。那個聲音, 是照著拉希德自己的聲音合成的; 拉希德本人不會說中文。臺下響起了掌聲。

十一月八日, 他在公司的博客上寫, 過去這類系統大約四五個詞錯一個, 現在大約七八個詞錯一個, 錯誤少了三成以上; 同一段裡他加了一句: 「仍遠非完美。」

同一個月, 一篇十一個人署名的文章發表在一份信號處理的刊物上, 題目叫《用於語音識別聲學建模的深度神經網絡: 四個研究組的共同看法》。四個組是多倫多大學, 微軟研究院, 谷歌, IBM。其中微軟一組的一項結果, 是把詞的錯誤率從百分之二十七點四降到了百分之十八點五。拉希德演示用的, 就是這一路的東西。

六、貓

2011年十二月底, Quoc V. Le, 傑夫·迪恩, 吳恩達等八個人把一篇文章放到網上, 第二年在 ICML 上發表, 題目是《用大規模無監督學習建立高層特徵》。網絡有九層, 大約十億個連接。餵給它的是一千萬張兩百乘兩百個點的小圖, 從網上的視頻裡截下來, 沒有人給這些圖標過是什麼。機器是一千臺, 一萬六千個處理器核, 訓練了大約三天。

他們開頭要問的是: 只用沒有標過的圖, 能不能學出一個認人臉的部件。結果網絡裡有一個單元, 對人臉反應特別強; 他們又做了幾組對照, 把臉挪一挪, 放大縮小, 側過去轉一轉, 看它還認不認。摘要裡關於貓的那一句是: 同一個網絡, 「對貓臉等其他高層概念也有敏感的反應」。

後來流傳的說法是, 谷歌的網絡自己學會了認貓。論文的原話裡, 是敏感, 是貓臉, 是等其他高層概念。

七、拍賣

2012年, 辛頓和他的兩個學生開了一家公司, 名字叫 DNNresearch。公司就是他們三個人。

那年十二月的 NIPS 大會, 開在太浩湖邊的一家賭場酒店裡。記者凱德·梅茨2021年根據採訪重建了那幾天的事: 在這家酒店的七三一號房間裡, 這家三個人的公司被拿出來競拍, 出價的有谷歌, 微軟, 百度和倫敦那家叫 DeepMind 的公司。價錢到兩千兩百萬美元左右時, 辛頓叫停了一次; 再開始以後, 微軟退出, 剩下谷歌和百度。到兩千四百萬美元時, 百度這邊從余凱手裡換成了北京的一位高管來出價。到四千四百萬美元, 辛頓不再往上叫, 公司歸了谷歌。2013年起, 辛頓一邊在谷歌, 一邊還在多倫多大學。

2014年一月, 谷歌又買下了 DeepMind, 那家2010年在倫敦成立的公司。當時報道的價錢, 一說四億美元, 一說四億英鎊。

一家公司三個人, 競拍的是這三個人。在那間房裡, 價錢停在哪裡, 是其中一個人說了算。

八、深

2012年十一月, 《紐約時報》的約翰·馬爾科夫寫了一篇長報道, 後來流傳的標題是《科學家看好深度學習程序》。他寫了天津那場演示, 屏幕上的英文, 中文字, 拉希德的聲音; 也採訪了辛頓。辛頓對他說, 他們很早就決定不拿這個辦法去賺錢, 而是盡量把它傳開。

同一年, 楊立昆和本吉奧張羅了一個新會, 第二年在亞利桑那州的斯科茨代爾開了第一屆, 名字叫 ICLR, 國際學習表示會議。第一屆收到六十七篇稿子, 錄用二十三篇。會議的名字裡, 既沒有深度學習, 也沒有神經網絡。

後來流傳最廣的一個說法是: 神經網絡的名聲壞了, 所以改叫深度學習。可那幾年他們印出來的論文, 2006年《科學》上那篇, 2012年 ImageNet 那篇, 題目上都寫著神經網絡。第十三篇裡, 人工智能這個名字據說被收起來過。名字改了的故事, 跟名字收起來的故事一樣, 講的人很多, 留下字據的很少。

這一篇裡也有刪掉的東西。2006年那句「看來常常會」; 2012年那句「對於取得我們的結果」; 谷歌那篇裡的「敏感」和「貓臉」; 拉希德的「仍遠非完美」。刪掉以後, 剩下的是幾句乾淨的話: 深的網絡才行, 機器學會了認貓, 機器能把你的話翻成中文。

深這個字, 1986年說的是搜索裡記了多深, 2006年說的是網絡疊了幾層, 2012年說的是拿掉中間一層, 只按第一選擇計分, 準確率就掉兩個百分點左右。後來它成了一個名字。一個形容詞成了名字以後, 它原先形容的那一層一層的具體東西, 就退到了名字後面。

還有那個天津的下午。機器把一個人的英文變成了中文, 用的是他自己的聲音; 臺上的人, 一句中文也不會說。聲音可以照著做出來; 那幾句話是誰要說的, 說給誰聽, 還是站在臺上的那個人。這個系列管這種做不進機器裡去的一份叫餘項。

機器還在造, 而界在哪裡, 每一代人重說一遍。