鑿構週期律 · AI系列 · 19

一個只想了五秒鐘的題目: Attention Is All You Need

秦漢 · 約 8 分鐘 · 發布

一、夥伴

1954年, 語言學家澤利格·哈里斯在一篇題為《分布結構》的文章裡寫: 「意義的差異, 與分布的差異相關。」分布, 說的是一個詞在哪些詞旁邊出現。1957年, 英國語言學家弗斯說得更俏皮: 「你應當憑一個詞所結交的夥伴來認識它!」後來中文裡流傳的是另一句: 一個詞的意思由它的上下文決定。

這句話等了很多年才被機器拿去用。2003年, 本吉奧和三位同事發表《一種神經概率語言模型》, 讓機器把每個詞換成一串數, 叫分布式的特徵向量, 這串數和預測下一個詞的本事一起學出來。

2013年一月, 谷歌的托馬什·米科洛夫等四個人放出一篇預印本, 題目是《在向量空間裡高效估計詞的表示》。他們寫, 從十六億個詞的文字裡學出質量很好的 word vector, 「用時不到一天」。同年十月的第二篇, 又加了幾樣省時的辦法, 用來學的是谷歌新聞裡的文字。這一路做法後來以一個程序的名字通行: word2vec。

一個詞成了一串幾百個數。兩個詞常和同一批詞做伴, 它們的數就靠得近。貓和狗靠得近, 星期一和星期二靠得近。這一串數裡記下的, 是貓和誰常在一起。哈里斯和弗斯說的那件事, 在這裡成了一種算術。

二、國王

2013年六月, 米科洛夫和兩位同事在一篇會議論文的摘要裡寫了一個例子: 國王的向量, 減去男人, 加上女人, 得到的向量和女王的向量「非常接近」。

後來流傳的是一個等式: 國王減男人加女人等於女王。谷歌同年放出的程序裡, 求這道題的那幾行代碼有一條規矩: 題面裡出現過的三個詞, 不許當答案。2019年, 三位荷蘭和意大利的研究者發表一篇文章, 題目就是一道這樣的題: 《男人之於醫生, 如同女人之於醫生》。他們指出, 有了那條規矩, 有些本來最合理的答案根本不可能出現; 把規矩拿掉, 離算出來的那個點最近的, 常常就是題面裡原來的那個詞。

2016年, 另一組研究者的論文題目也是一道題: 《男人之於程序員, 如同女人之於家庭主婦?》他們用的是谷歌新聞上訓練出來的 word embedding, 摘要裡寫, 這些向量「呈現出令人不安程度的男女刻板印象」。他們給的辦法, 是先找出 embedding 裡代表男女的那個方向, 再把本該不分男女的詞從這個方向上拉回來; 女王和女性之間那種該有的聯繫, 留著。

那些向量是從新聞裡學來的。新聞是人寫的。機器學到的夥伴關係, 是幾百萬篇文章裡人和人的說法留下來的樣子。

三、對齊

2014年, word vector 被拿去做翻譯。

那年九月, 谷歌的蘇茨克維和兩位同事發表《用神經網絡做 sequence to sequence 學習》。一個網絡一個詞一個詞地把整句源文讀完, 讀成一串固定長度的數; 另一個網絡從這串數出發, 一個詞一個詞地寫出譯文。他們還發現, 把源句倒過來讀, 效果更好。同一年夏天, 蒙特利爾大學本吉奧組裡的幾個人也做了一個類似的兩段式網絡。

整句讀成一串固定長度的數, 句子一長, 就像把一大段話塞進一個小盒子。

同在蒙特利爾, 年輕的德米特里·巴赫達瑙和組裡的另一位研究者, 加上本吉奧, 2014年九月一日貼出一篇論文初稿, 題為《聯合學習對齊與翻譯的神經機器翻譯》。對齊, 說的是譯文裡的哪個詞對著源文裡的哪個詞。他們的辦法是: 寫譯文的那個網絡, 每寫一個詞, 就回頭把源文所有的詞都看一遍, 給每個詞一個分量, 分量加起來是一; 照這些分量把源文各處的信息合起來, 用來寫這一個詞。

正文裡講到這一步, 有一句: 「直觀地說, 這在 decoder 中實現了一種 attention 機制。」這裡的 decoder, 就是那個寫譯文的網絡。

四、名字

題目裡沒有 attention 這個詞, 寫的是對齊和翻譯。巴赫達瑙多年以後在一封信裡講過名字的來歷。他說, 他原先把這個架構叫 RNNsearch, 意思是用 RNN 做搜索; 信裡說: 「更好的名字, attention, 是在最後幾輪修改之一中, 才由約書亞加進去的。」約書亞是本吉奧。這封信後來由第十六篇裡那位卡帕西, 經他同意公開出來。這個詞原是心理學裡的: 1890年, 美國心理學家威廉·詹姆斯在《心理學原理》專講 attention 的那一章, 開頭寫: 「人人都知道注意力是什麼。」

巴赫達瑙之前一年, 2013年八月, 亞歷克斯·格雷夫斯做過一個用網絡寫手寫體的程序。程序一筆一筆寫字的時候, 有一扇會往前挪的軟窗口, 決定此刻該照著要寫的那句話裡的哪幾個字母。他把它叫作軟窗口。巴赫達瑙他們在論文裡提到了這一篇, 說做法相近。再往前, 施密德胡伯說過, 他1991年的快速權重, 和後來一類簡化的 attention 在形式上相當。

同一個裝置, 前後有過幾個名字: 軟窗口, 對齊, 搜索, attention。留下來的, 是最後加上去的那一個, 也是原來那句話裡帶著直觀地說的那一個。

五、藍線

2016年九月二十六日, 谷歌放出一份長篇技術文件, 講它的神經機器翻譯系統。題目的後半是: 彌合人工翻譯與機器翻譯之間的差距。第二天, 公司博客寫, 手機上和網頁上從中文譯成英文的機器翻譯, 已經全部換成了這個系統, 每天大約一千八百萬次。頭一個換上的語言對, 是中譯英。

系統裡寫譯文的那一半, 每寫一個詞, 也回頭去看源文。博客上有一張圖: 一邊是一串中文詞, 一邊是一串英文詞, 中間連著藍色的線, 線的深淺, 表示寫這個英文詞的時候, 機器在那個中文詞上放了多少 attention。這樣, attention 被畫成了普通人看得見的東西。

那份文件裡有一次人評。同一句英文, 四種法文譯文給評分的人看: 舊的短語式系統, 兩種新系統, 還有一份人譯的參考譯文。滿分六分, 平均分依次是三點八七, 四點四六, 四點四四, 四點八二。文件的摘要說, 評的是「一組彼此孤立的簡單句」。博客的最後一段寫, 機器仍會漏詞, 會把人名和少見的詞譯錯, 也不看上下文, 還有一句: 「機器翻譯絕沒有因此解決。」

六、八個人

2017年六月十二日, 八個人放出一篇論文, 題目是《Attention Is All You Need》。

署名依次是: 阿希什·瓦斯瓦尼, 諾姆·沙澤爾, 尼基·帕馬爾, 雅各布·烏斯科賴特, 利昂·瓊斯, 艾丹·戈麥斯, 武卡什·凱澤, 伊利亞·波洛蘇欣。首頁的腳注寫: 「貢獻相等; 署名次序為隨機排列。」腳注接著一個一個寫了誰做了什麼: 烏斯科賴特提議用 self-attention 替換 RNN; 瓦斯瓦尼和波洛蘇欣設計並實現了頭一個模型; 沙澤爾提出了其中幾樣關鍵的算法; 帕馬爾調了大量的變體; 瓊斯管最初的代碼和可視化; 凱澤和戈麥斯寫了跑實驗用的那套工具。

他們給新架構起的名字叫 Transformer。摘要說, 它「只基於 attention 機制」, 不用 recurrence, 也不用 convolution。上一節那種網絡要一個詞一個詞地往下讀; Transformer 在讀源文時, 讓每個位置同時去看句子的各處, 各自定下分量; 寫譯文時, 卻看不到還沒寫出的詞。網絡裡仍有別的處理層, 不用的是前面那兩種傳遞信息的辦法。

兩個月後, 谷歌的博客給普通讀者舉了一個例子。「那只動物沒有過馬路, 因為它太累了。」「那只動物沒有過馬路, 因為它太寬了。」前一句的它是動物, 後一句的它是馬路。譯成法文, 動物和馬路的性別不同, 它的譯法也跟著變。博客說, 新模型兩句都譯對了。它展示的編碼器圖裡, 讀到源文的「它」時, 前一句的分量更偏向動物, 後一句更偏向馬路。

訓練用了八塊英偉達 P100 顯卡, 三天半。論文做了英譯德, 英譯法, 還做了英文的句法分析。結論裡寫: 「我們對基於 attention 的模型的未來感到興奮」, 接著說要把它用到文字以外, 圖像, 聲音, 視頻。

題目的來歷, 瓊斯2024年對《連線》的記者說, 是從披頭士的《你所需要的就是愛》化來的, 截稿前幾天晚上想到: 「真的只想了五秒鐘。」那年十二月六日, 論文在加州長灘的 NIPS 大會上排在晚上的海報區。幾位作者後來回憶, 那一場擠了四個鐘頭, 到晚上十點半還有人圍著不走, 最後是保安來請人離場。到2024年, 那八個人都已經不在谷歌了, 有的開了公司, 有的去了別處。

七、短名字

2018年, 這一路東西接連出來, 名字都很短。

二月, 艾倫人工智能研究所和華盛頓大學的一組人發表 ELMo。六月, OpenAI 發表《用 generative pre-training 改進語言理解》, 先讓一個十二層的 Transformer 在大量沒有標注的文字上學著往下寫, 再拿去做各種具體的題。這個模型後來被叫作 GPT; 那時, 這三個字母還分散在題目裡三個詞的開頭。十月, 谷歌發表 BERT, 小的那個用四個雲端 TPU, 大的用十六個, 各練了四天。ELMo 和 BERT, 這兩個名字恰好都是《芝麻街》裡的角色。

GPT 學的文字, 論文裡叫圖書語料, 說裡面有七千多本「從未出版的書」, 冒險, 奇幻, 愛情, 各種類型都有。那份語料出自2015年的另一篇論文, 那篇論文裡叫 BookCorpus, 說收了一萬一千零三十八本「由尚未出版的作者所寫的免費書籍」, 來自網上。

2021年, 兩位研究者回頭給那份語料補寫了一份說明。他們查出, 這些書是用程序從一個叫 Smashwords 的自出版網站上批量抓下來的: 先抓免費電子書的鏈接, 再下載, 再轉成純文字。他們的結論裡有一句: 「作者沒有明確同意。」

2018年四月, 紐約大學等幾家的研究者做了一張考卷, 叫 GLUE, 九道語言理解的題。考卷上有一個人的分數, 是每道題分別找人來做, 再按考卷的規矩合起來的, 約八十七分。十月, BERT 考了八十點五。到2019年年中, 已經有機器報出高於那條線的分數。

八、注意力

1890年, 詹姆斯說, attention 是什麼, 人人都知道。2014年, 這個詞被加進一篇翻譯論文, 前面帶著直觀地說。2016年, 它被畫成藍線。2017年, 它進了一個題目: Attention Is All You Need。後來流傳的說法是, 機器也有了注意力。直觀地說, 那四個字, 在路上掉了。

在這些論文裡, attention 是一組分量, 加起來是一。寫一個詞的時候, 這組分量決定回頭看源文的哪幾個詞。分量是從文字裡學來的: 十六億個詞的文字, 谷歌新聞, 人譯好的雙語句子, 七千多本沒有出版的書。每一份都是人寫的, 人譯的。

考卷上的那條線也是人。四點八二分的參考譯文是人譯的; GLUE 上那八十七分, 是找來的人一道題一道題做出來的。機器的分數, 是對著這些人量的。

那只動物太累了, 那條馬路太寬了: 這兩句話, 是谷歌的一位研究者為了講清楚這件事寫下的例子。累的是動物, 寬的是馬路, 寫的人知道, 所以才能出這道題。

人的注意力, 是一個人把有限的時間放在哪裡。這一篇裡那些不知名的人, 寫書的人, 譯議會記錄的人, 坐下來給譯文打分的人, 他們把各自的注意力放在了自己的書上, 自己的譯文上, 自己面前的那一句話上。機器學去的, 是這些注意力留下來的痕跡。這個系列管這種學來學去總剩在外面的一份叫餘項。

機器還在造, 而界在哪裡, 每一代人重說一遍。