一、獨角獸
2019年二月十四日, OpenAI 在博客上貼出一段文字。開頭兩句是人寫的: 科學家在安第斯山一處從沒有人去過的山谷裡, 發現了一群獨角獸, 它們說一口流利的英語。後面一大段, 是一個程序接著往下寫的。它給這種獨角獸起了名字, 寫了它們長什麼樣, 編出一位帶隊的教授和他的考察經過, 一段一段, 像一篇新聞稿。
這個程序叫 GPT-2, 是第十九篇裡那個 GPT 的下一版, 有十五億個參數, 學的是八百萬個網頁裡的文字。它學的只有一件事: 看了前面的字, 猜下一個詞。
樣文旁邊, 博客寫: 「通常要試幾次, 才能得到一個好的樣本。」話題熟悉的, 大約一半能寫得像樣。博客也列了它常出的錯: 一段話來回重複, 話題忽然轉到別處, 有一回寫到火在水下燃燒。那段獨角獸, 是有人從幾次裡挑出來的。
同一篇博客說: 「由於擔憂這項技術被惡意應用, 我們不發佈訓練好的模型。」只放出一個小一些的版本。博客把這個決定, 連同圍繞它的討論, 叫作一次實驗, 還寫, 他們並不確定今天這樣做是不是對的。
當天, 英國《衛報》的標題是: 新的 AI 假文本生成器可能太危險, 不能發佈, 創造者說。第二天, 世界經濟論壇網站轉載的一篇, 標題是: 科學家做出了一個他們認為太危險, 不能發佈的 AI。再往後傳, 就成了 OpenAI 說 GPT-2 太危險。實驗, 不確定, 可能, 認為, 一路傳下來, 一個一個掉了。
二、四次
那年二月放出來的, 是最小的一個版本。五月, 放出中號的。八月二十日, 放出七億七千四百萬個參數的那個; OpenAI 那天寫, 已經有五個以上的組復現了 GPT-2。同一個月, 兩個剛畢業的學生, 亞倫·戈卡斯蘭和萬尼亞·科恩, 自己做了一個相近的模型放到網上, 用的是大約五萬美元的谷歌雲計算額度。《連線》雜誌的標題是: OpenAI 說它的代碼有風險, 兩個畢業生還是把它做了出來。
十一月五日, 最大的十五億參數的版本, 連同代碼和權重, 全部放出。權重, 就是訓練出來的那一大串數, 模型的本事都在裡面。公司把這一次叫作分階段發佈的最後一步, 說明裡寫: 「到目前為止, 我們沒有看到濫用的有力證據。」從二月到十一月, 九個月, 分了四次。
三、苦澀
再往前一年, 2018年五月十六日, OpenAI 的達里奧·阿莫迪和丹尼·埃爾南德斯貼出一篇《AI 與算力》。他們挑出這些年最大的一批 AI 訓練, 一次一次估算每次用掉了多少計算, 畫在一張圖上。從2012年到2018年, 漲了大約三十萬倍, 平均三點四個月翻一番。這三十萬倍, 是從第十七篇裡的 AlexNet, 量到第十八篇裡只和自己下棋的 AlphaGo Zero。
2019年三月十三日, 阿爾伯塔大學的理查德·薩頓在自己的網頁上貼了一篇短文, 題目叫《苦澀的教訓》。頭一句是: 「從七十年的 AI 研究裡能讀出的最大教訓是, 能夠利用計算的一般方法, 最終最有效, 而且優勢很大。」他舉的例子是國際象棋, 圍棋, 語音, 視覺。每一回, 研究者先把人自己懂的東西寫進機器, 短期裡管用, 寫的人也滿意; 過些年, 贏的是不靠這些, 只靠搜索和學習, 隨著計算一路放大的辦法。苦, 苦在那些把自己的知識寫進去的人。第十一篇和第十八篇裡的棋, 第十五篇裡那句關於開除語言學家的話, 都可以放到他這條線上去看。
計算要機器, 機器要錢。2019年三月十一日, OpenAI 宣佈成立 OpenAI LP, 一家營利和非營利的混合體, 回報有上限: 第一輪投資人最多拿回投資額的一百倍, 超出的部分歸原來那個非營利組織。公告寫, 這樣做是為了更好地募集資本, 購買算力, 吸引人才。七月二十二日, 微軟投資十億美元, 成了它獨家的雲計算提供方。
四、定律
2020年一月, OpenAI 的賈里德·卡普蘭等人發表《神經語言模型的 scaling law》。他們訓練了一大批大小不同的語言模型, 量每一個猜下一個詞猜得有多差。這個差, 有一個數, 叫 loss。他們發現, 模型的參數, 學的文字, 用掉的計算, 三樣裡只要別的兩樣不卡住, 這一樣每放大十倍, loss 就按一個大致固定的比例往下降。從最小的模型到最大的, 跨了六七個數量級, 一路都很平滑。
題目裡, 這叫 law, 定律。附錄裡有一節專寫保留意見, 裡面說: 「對我們提出的任何一條 scaling law, 我們都還沒有扎實的理論理解。」模型大小和計算量那兩條, 他們說「尤其神秘」。正文的討論裡還有一句: loss 的平滑改善, 「可能掩蓋了看上去像是質變的能力變化」, 後面引了一位物理學家的文章題目: 多者異也。
兩年後, 2022年三月, DeepMind 的喬丹·霍夫曼等人訓練了四百多個模型, 從七千萬個參數到一百六十億, 學的 token 從五十億到五千億。token 是模型讀文字時切出的小塊, 一個英文詞常常是一兩個 token。他們得出另一個配法: 「模型規模每翻一倍, 訓練用的 token 數也應該翻一倍。」照這個配法, 他們訓練了一個七百億參數的 Chinchilla, 和兩千八百億參數的 Gopher 用一樣多的計算, 多餵了約四倍的文字, 在一組考題上比 Gopher 和 GPT-3 都高。卡普蘭那一版的配法偏向把模型做大, 文字少些; 霍夫曼這一版, 兩樣一起長。
五、一千七百五十億
2020年五月二十八日, 一篇署了三十一個人名字的論文貼出來, 第一作者是湯姆·布朗, 題目是《語言模型是 few-shot 學習者》。裡面最大的模型叫 GPT-3, 一千七百五十億個參數, 訓練時讀了三千億個 token。
few-shot, 說的是它的用法。先寫一句要它做什麼, 再給幾個做好的例子, 最後留一個空, 讓它接著往下寫; 模型本身一個數也不改。遞給它的這一段文字, 叫 prompt。只給說明不給例子, 叫 zero-shot; 給一個, 叫 one-shot。
論文裡做了一個試驗。找來美國的受試者, 是從第十六篇裡那個 Mechanical Turk 上表現好的工人裡挑的, 報酬按每小時十二美元左右來定。給他們看兩百來字的新聞, 有的是記者寫的, 有的是模型寫的, 讓他們分。一千七百五十億參數的那個寫的, 人分對的大約百分之五十二, 跟拋硬幣差不多。
論文的局限一節寫了它的毛病: 長一點的文字會重複, 會前後矛盾, 會接不上; 常識裡的物理它常錯, 比如問它把奶酪放進冰箱會不會化。作者還寫, 光是把這種猜下一個詞的學法繼續做大, 「很可能會碰到極限」。
六月十一日, OpenAI 開了一個接口, 叫 OpenAI API, 一句話的說明是: 文字進, 文字出。要先申請, 用途要審, 上線前還要再審。模型不放出來, 理由列了幾條: 模型太大, 跑起來貴, 接口能掙錢, 集中在一處也好管住濫用。訓練要多少錢, 一家叫 Lambda 的顯卡雲公司按當時的租價折算過: 一塊顯卡要算三百五十五年, 租金大約四百六十萬美元。
六、八份
2020年九月八日, 《衛報》登了一篇評論, 標題是: 這整篇文章是一個機器人寫的。人類, 你害怕了嗎? 文章裡, 機器用第一人稱說, 它要說服人類不必怕它; 它知道的一切, 都是自己讀互聯網學來的。
文末的編者按寫了這篇是怎麼來的。提示語是編輯部寫好的: 一篇五百字左右的短評, 語言簡潔, 講清人類為什麼不必怕 AI; 開頭幾句也替它寫好了, 由伯克利一位讀計算機的本科生利亞姆·波爾輸進去。GPT-3 交回來八篇不一樣的。編輯沒有登其中任何一篇, 而是從每一篇裡挑最好的部分, 刪掉一些句子和段落, 有的地方調了先後, 拼成這一篇。
它說它讀了互聯網。GPT-3 讀的, 論文裡列了五樣。最大的一樣, 是一個叫 Common Crawl 的項目抓下來的網頁。這個項目2007年由吉爾·埃爾巴茲辦起來, 不營利, 只抓不用登錄就能看到的公開網頁, 抓下來的東西可以公開下載; 能下載, 和有沒有許可拿去訓練, 是兩回事。GPT-3 取了其中2016年到2019年的四十一個月, 壓縮後約四十五 TB 的純文字, 篩完剩約五百七十 GB。另外四樣是 WebText2, 兩套只給了代號的圖書 Books1 和 Books2, 還有維基百科。訓練時按比例從五樣裡抽, 網頁佔六成, 維基百科佔三分。把抽到的量折算成遍數, 那一大堆網頁不到半遍; 維基百科, 三遍上下。
WebText2 是 GPT-2 那套 WebText 的擴充。WebText 的辦法是: 到 Reddit 上去找人貼出來的外部鏈接, 那一帖只要得了至少三個 karma, 就把鏈接那頭的網頁正文抓下來。GPT-2 的論文說, 這是借 Reddit 上的人的判斷, 篩出別人覺得有意思或者有用的網頁。截至2017年十二月, 篩出八百多萬篇; 維基百科的條目特意刪掉了, 免得和常用的考題重疊。
七、湧現
2021年, 數字一個比一個大。一月, 谷歌的 Switch Transformer 報一萬六千億個參數, 它把模型拆成許多個專家, 每個詞只送給其中一個去算。四月, 華為的盤古, 兩千億。六月, 北京智源人工智能研究院的悟道第二版, 一萬七千五百億。十月, 微軟和英偉達, 五千三百億。十二月, DeepMind 的 Gopher, 兩千八百億; 百度, 兩千六百億。2022年四月, 谷歌的 PaLM, 五千四百億。
1972年八月, 物理學家菲利普·安德森在《科學》上發表《多者異也》。他寫: 「能夠把一切還原為簡單的基本定律, 並不意味著能夠從這些定律出發, 把宇宙重新構造出來。」每往上一個更複雜的層次, 會冒出新的性質, 得用新的辦法去研究。他講的是物理, 化學, 生物這些學問之間的層次。五十年後, 卡普蘭他們把這個題目借進了語言模型。
2022年二月九日, OpenAI 的蘇茨克維在網上寫了一句: 「也許今天的大型神經網絡有一點點意識。」三天後, 第十四篇裡的楊立昆回了一個詞: 「不。」接著說, 就算把一點點取得很小, 把大型取得很大, 他也不同意。
那年六月, 谷歌的傑森·魏等人發表《大語言模型的湧現能力》, 下了一個定義: 「一種能力, 如果在較小的模型裡沒有, 在較大的模型裡有, 就叫作湧現。」他們把許多模型在許多道題上的分數擺在一起: 有些題, 模型小的時候一直在瞎猜的水平上, 過了某個大小, 分數一下子上去了。
2023年四月, 斯坦福的賴蘭·謝弗, 布蘭多·米蘭達, 桑米·科耶喬發表一篇, 題目是一個問句: 《大語言模型的湧現能力是海市蜃樓嗎?》他們說, 突然, 有時出在打分的辦法上。比如一道多位數的加法, 要每一位全對才算對, 小模型就一直是零分, 到某個大小忽然有了分; 改成看它離正確答案差了幾位, 分數就是一路慢慢往上走的。
八、大
2019年二月那篇獨角獸博客裡, 已經好幾次寫到 large language models, 大語言模型。中文裡, 2021年先是超大規模預訓練模型, 超大規模智能模型, 一年裡越說越短, 成了大模型。
同一年八月, 斯坦福的一組研究者發表長文《論基礎模型的機遇與風險》, 給這一類模型另起了一個總稱: foundation model, 基礎模型。他們解釋為什麼挑這個詞: 要強調這些模型「處在關鍵的中心位置, 卻又並不完整」。foundation 既是別的系統蓋在上面的地基, 也是一個還沒蓋完的東西。傳開以後, 留下來的是地基。
2023年三月十四日, OpenAI 發佈 GPT-4。技術文件裡寫, 考慮到競爭的局面和這類大模型的安全影響, 不再提供架構, 包括模型大小, 硬件, 訓練算力, 數據集構成等方面的細節。從十五億到一千七百五十億, 前幾年一路公開的數, 到這裡不寫了。
字從哪裡來, 那一年有人去查。2020年底, 一個叫 EleutherAI 的開源團體整理了一套語料, 叫 The Pile, 其中一份叫 Books3, 取自一個叫 Bibliotik 的網站上的圖書合集。2023年九月二十五日, 《大西洋月刊》的亞歷克斯·賴斯納把這套書裡的十八萬三千本做成了一個可以查的工具: 輸一個作者的名字, 就看得到他的哪些書在裡面。兩天後, 美國作家協會給作者寫了一篇說明, 題目是: 你剛發現你的書被拿去訓練 AI, 現在怎麼辦?
那一年, 寫書的人一批一批去了法院。六月二十八日, 小說家保羅·特倫布萊和莫娜·阿瓦德起訴 OpenAI, 主張他們的書未經許可被複製去訓練模型。七月七日, 莎拉·西爾弗曼等三位作者分別起訴 OpenAI 和 Meta。九月十九日, 美國作家協會和喬治·馬丁, 約翰·格里沙姆, 朱迪·皮考特, 喬納森·弗蘭岑等一批作者在紐約起訴 OpenAI。十二月二十七日, 《紐約時報》起訴微軟和 OpenAI。
貼鏈接, 投票的那一邊也有了動作。四月, Reddit 宣佈大批量調用它數據的接口要收費, 首席執行官史蒂夫·霍夫曼對《紐約時報》說, Reddit 的語料「真的很有價值」, 沒有必要把這些價值免費送給世界上一些最大的公司。同一個月, Stack Overflow 的首席執行官普拉尚特·錢德拉塞卡說, 社區裡大家寫下的問答是大語言模型的原料, 平臺應該得到補償。八月, OpenAI 公佈了它的網頁抓取程序 GPTBot, 和網站在 robots.txt 裡拒絕它的寫法; robots.txt 是網站用來告訴抓取程序哪裡別來的那個小文件。此後, 一批出版網站把它擋在了門外。
GPT-3 那篇論文的末尾有一段致謝, 最後謝的是數百萬人: 創作了被用來訓練模型的內容的人, 以及給這些內容編索引, 投票的人。作者欄裡是三十一個名字。寫網頁的人, 編維基百科條目的人, 在 Reddit 上點了一下贊的人, 寫那些書的人, 一個也不在上面。
參數從十五億漲到一千七百五十億, 再往後, 數不寫了。這些人的字進去了, 人留在外面。這個系列管這種做得再大也裝不進去的一份叫餘項。
機器還在造, 而界在哪裡, 每一代人重說一遍。