一、独角兽
2019年二月十四日, OpenAI 在博客上贴出一段文字。开头两句是人写的: 科学家在安第斯山一处从没有人去过的山谷里, 发现了一群独角兽, 它们说一口流利的英语。后面一大段, 是一个程序接着往下写的。它给这种独角兽起了名字, 写了它们长什么样, 编出一位带队的教授和他的考察经过, 一段一段, 像一篇新闻稿。
这个程序叫 GPT-2, 是第十九篇里那个 GPT 的下一版, 有十五亿个参数, 学的是八百万个网页里的文字。它学的只有一件事: 看了前面的字, 猜下一个词。
样文旁边, 博客写: 「通常要试几次, 才能得到一个好的样本。」话题熟悉的, 大约一半能写得像样。博客也列了它常出的错: 一段话来回重复, 话题忽然转到别处, 有一回写到火在水下燃烧。那段独角兽, 是有人从几次里挑出来的。
同一篇博客说: 「由于担忧这项技术被恶意应用, 我们不发布训练好的模型。」只放出一个小一些的版本。博客把这个决定, 连同围绕它的讨论, 叫作一次实验, 还写, 他们并不确定今天这样做是不是对的。
当天, 英国《卫报》的标题是: 新的 AI 假文本生成器可能太危险, 不能发布, 创造者说。第二天, 世界经济论坛网站转载的一篇, 标题是: 科学家做出了一个他们认为太危险, 不能发布的 AI。再往后传, 就成了 OpenAI 说 GPT-2 太危险。实验, 不确定, 可能, 认为, 一路传下来, 一个一个掉了。
二、四次
那年二月放出来的, 是最小的一个版本。五月, 放出中号的。八月二十日, 放出七亿七千四百万个参数的那个; OpenAI 那天写, 已经有五个以上的组复现了 GPT-2。同一个月, 两个刚毕业的学生, 亚伦·戈卡斯兰和万尼亚·科恩, 自己做了一个相近的模型放到网上, 用的是大约五万美元的谷歌云计算额度。《连线》杂志的标题是: OpenAI 说它的代码有风险, 两个毕业生还是把它做了出来。
十一月五日, 最大的十五亿参数的版本, 连同代码和权重, 全部放出。权重, 就是训练出来的那一大串数, 模型的本事都在里面。公司把这一次叫作分阶段发布的最后一步, 说明里写: 「到目前为止, 我们没有看到滥用的有力证据。」从二月到十一月, 九个月, 分了四次。
三、苦涩
再往前一年, 2018年五月十六日, OpenAI 的达里奥·阿莫迪和丹尼·埃尔南德斯贴出一篇《AI 与算力》。他们挑出这些年最大的一批 AI 训练, 一次一次估算每次用掉了多少计算, 画在一张图上。从2012年到2018年, 涨了大约三十万倍, 平均三点四个月翻一番。这三十万倍, 是从第十七篇里的 AlexNet, 量到第十八篇里只和自己下棋的 AlphaGo Zero。
2019年三月十三日, 阿尔伯塔大学的理查德·萨顿在自己的网页上贴了一篇短文, 题目叫《苦涩的教训》。头一句是: 「从七十年的 AI 研究里能读出的最大教训是, 能够利用计算的一般方法, 最终最有效, 而且优势很大。」他举的例子是国际象棋, 围棋, 语音, 视觉。每一回, 研究者先把人自己懂的东西写进机器, 短期里管用, 写的人也满意; 过些年, 赢的是不靠这些, 只靠搜索和学习, 随着计算一路放大的办法。苦, 苦在那些把自己的知识写进去的人。第十一篇和第十八篇里的棋, 第十五篇里那句关于开除语言学家的话, 都可以放到他这条线上去看。
计算要机器, 机器要钱。2019年三月十一日, OpenAI 宣布成立 OpenAI LP, 一家营利和非营利的混合体, 回报有上限: 第一轮投资人最多拿回投资额的一百倍, 超出的部分归原来那个非营利组织。公告写, 这样做是为了更好地募集资本, 购买算力, 吸引人才。七月二十二日, 微软投资十亿美元, 成了它独家的云计算提供方。
四、定律
2020年一月, OpenAI 的贾里德·卡普兰等人发表《神经语言模型的 scaling law》。他们训练了一大批大小不同的语言模型, 量每一个猜下一个词猜得有多差。这个差, 有一个数, 叫 loss。他们发现, 模型的参数, 学的文字, 用掉的计算, 三样里只要别的两样不卡住, 这一样每放大十倍, loss 就按一个大致固定的比例往下降。从最小的模型到最大的, 跨了六七个数量级, 一路都很平滑。
题目里, 这叫 law, 定律。附录里有一节专写保留意见, 里面说: 「对我们提出的任何一条 scaling law, 我们都还没有扎实的理论理解。」模型大小和计算量那两条, 他们说「尤其神秘」。正文的讨论里还有一句: loss 的平滑改善, 「可能掩盖了看上去像是质变的能力变化」, 后面引了一位物理学家的文章题目: 多者异也。
两年后, 2022年三月, DeepMind 的乔丹·霍夫曼等人训练了四百多个模型, 从七千万个参数到一百六十亿, 学的 token 从五十亿到五千亿。token 是模型读文字时切出的小块, 一个英文词常常是一两个 token。他们得出另一个配法: 「模型规模每翻一倍, 训练用的 token 数也应该翻一倍。」照这个配法, 他们训练了一个七百亿参数的 Chinchilla, 和两千八百亿参数的 Gopher 用一样多的计算, 多喂了约四倍的文字, 在一组考题上比 Gopher 和 GPT-3 都高。卡普兰那一版的配法偏向把模型做大, 文字少些; 霍夫曼这一版, 两样一起长。
五、一千七百五十亿
2020年五月二十八日, 一篇署了三十一个人名字的论文贴出来, 第一作者是汤姆·布朗, 题目是《语言模型是 few-shot 学习者》。里面最大的模型叫 GPT-3, 一千七百五十亿个参数, 训练时读了三千亿个 token。
few-shot, 说的是它的用法。先写一句要它做什么, 再给几个做好的例子, 最后留一个空, 让它接着往下写; 模型本身一个数也不改。递给它的这一段文字, 叫 prompt。只给说明不给例子, 叫 zero-shot; 给一个, 叫 one-shot。
论文里做了一个试验。找来美国的受试者, 是从第十六篇里那个 Mechanical Turk 上表现好的工人里挑的, 报酬按每小时十二美元左右来定。给他们看两百来字的新闻, 有的是记者写的, 有的是模型写的, 让他们分。一千七百五十亿参数的那个写的, 人分对的大约百分之五十二, 跟抛硬币差不多。
论文的局限一节写了它的毛病: 长一点的文字会重复, 会前后矛盾, 会接不上; 常识里的物理它常错, 比如问它把奶酪放进冰箱会不会化。作者还写, 光是把这种猜下一个词的学法继续做大, 「很可能会碰到极限」。
六月十一日, OpenAI 开了一个接口, 叫 OpenAI API, 一句话的说明是: 文字进, 文字出。要先申请, 用途要审, 上线前还要再审。模型不放出来, 理由列了几条: 模型太大, 跑起来贵, 接口能挣钱, 集中在一处也好管住滥用。训练要多少钱, 一家叫 Lambda 的显卡云公司按当时的租价折算过: 一块显卡要算三百五十五年, 租金大约四百六十万美元。
六、八份
2020年九月八日, 《卫报》登了一篇评论, 标题是: 这整篇文章是一个机器人写的。人类, 你害怕了吗? 文章里, 机器用第一人称说, 它要说服人类不必怕它; 它知道的一切, 都是自己读互联网学来的。
文末的编者按写了这篇是怎么来的。提示语是编辑部写好的: 一篇五百字左右的短评, 语言简洁, 讲清人类为什么不必怕 AI; 开头几句也替它写好了, 由伯克利一位读计算机的本科生利亚姆·波尔输进去。GPT-3 交回来八篇不一样的。编辑没有登其中任何一篇, 而是从每一篇里挑最好的部分, 删掉一些句子和段落, 有的地方调了先后, 拼成这一篇。
它说它读了互联网。GPT-3 读的, 论文里列了五样。最大的一样, 是一个叫 Common Crawl 的项目抓下来的网页。这个项目2007年由吉尔·埃尔巴兹办起来, 不营利, 只抓不用登录就能看到的公开网页, 抓下来的东西可以公开下载; 能下载, 和有没有许可拿去训练, 是两回事。GPT-3 取了其中2016年到2019年的四十一个月, 压缩后约四十五 TB 的纯文字, 筛完剩约五百七十 GB。另外四样是 WebText2, 两套只给了代号的图书 Books1 和 Books2, 还有维基百科。训练时按比例从五样里抽, 网页占六成, 维基百科占三分。把抽到的量折算成遍数, 那一大堆网页不到半遍; 维基百科, 三遍上下。
WebText2 是 GPT-2 那套 WebText 的扩充。WebText 的办法是: 到 Reddit 上去找人贴出来的外部链接, 那一帖只要得了至少三个 karma, 就把链接那头的网页正文抓下来。GPT-2 的论文说, 这是借 Reddit 上的人的判断, 筛出别人觉得有意思或者有用的网页。截至2017年十二月, 筛出八百多万篇; 维基百科的条目特意删掉了, 免得和常用的考题重叠。
七、涌现
2021年, 数字一个比一个大。一月, 谷歌的 Switch Transformer 报一万六千亿个参数, 它把模型拆成许多个专家, 每个词只送给其中一个去算。四月, 华为的盘古, 两千亿。六月, 北京智源人工智能研究院的悟道第二版, 一万七千五百亿。十月, 微软和英伟达, 五千三百亿。十二月, DeepMind 的 Gopher, 两千八百亿; 百度, 两千六百亿。2022年四月, 谷歌的 PaLM, 五千四百亿。
1972年八月, 物理学家菲利普·安德森在《科学》上发表《多者异也》。他写: 「能够把一切还原为简单的基本定律, 并不意味着能够从这些定律出发, 把宇宙重新构造出来。」每往上一个更复杂的层次, 会冒出新的性质, 得用新的办法去研究。他讲的是物理, 化学, 生物这些学问之间的层次。五十年后, 卡普兰他们把这个题目借进了语言模型。
2022年二月九日, OpenAI 的苏茨克维在网上写了一句: 「也许今天的大型神经网络有一点点意识。」三天后, 第十四篇里的杨立昆回了一个词: 「不。」接着说, 就算把一点点取得很小, 把大型取得很大, 他也不同意。
那年六月, 谷歌的杰森·魏等人发表《大语言模型的涌现能力》, 下了一个定义: 「一种能力, 如果在较小的模型里没有, 在较大的模型里有, 就叫作涌现。」他们把许多模型在许多道题上的分数摆在一起: 有些题, 模型小的时候一直在瞎猜的水平上, 过了某个大小, 分数一下子上去了。
2023年四月, 斯坦福的赖兰·谢弗, 布兰多·米兰达, 桑米·科耶乔发表一篇, 题目是一个问句: 《大语言模型的涌现能力是海市蜃楼吗?》他们说, 突然, 有时出在打分的办法上。比如一道多位数的加法, 要每一位全对才算对, 小模型就一直是零分, 到某个大小忽然有了分; 改成看它离正确答案差了几位, 分数就是一路慢慢往上走的。
八、大
2019年二月那篇独角兽博客里, 已经好几次写到 large language models, 大语言模型。中文里, 2021年先是超大规模预训练模型, 超大规模智能模型, 一年里越说越短, 成了大模型。
同一年八月, 斯坦福的一组研究者发表长文《论基础模型的机遇与风险》, 给这一类模型另起了一个总称: foundation model, 基础模型。他们解释为什么挑这个词: 要强调这些模型「处在关键的中心位置, 却又并不完整」。foundation 既是别的系统盖在上面的地基, 也是一个还没盖完的东西。传开以后, 留下来的是地基。
2023年三月十四日, OpenAI 发布 GPT-4。技术文件里写, 考虑到竞争的局面和这类大模型的安全影响, 不再提供架构, 包括模型大小, 硬件, 训练算力, 数据集构成等方面的细节。从十五亿到一千七百五十亿, 前几年一路公开的数, 到这里不写了。
字从哪里来, 那一年有人去查。2020年底, 一个叫 EleutherAI 的开源团体整理了一套语料, 叫 The Pile, 其中一份叫 Books3, 取自一个叫 Bibliotik 的网站上的图书合集。2023年九月二十五日, 《大西洋月刊》的亚历克斯·赖斯纳把这套书里的十八万三千本做成了一个可以查的工具: 输一个作者的名字, 就看得到他的哪些书在里面。两天后, 美国作家协会给作者写了一篇说明, 题目是: 你刚发现你的书被拿去训练 AI, 现在怎么办?
那一年, 写书的人一批一批去了法院。六月二十八日, 小说家保罗·特伦布莱和莫娜·阿瓦德起诉 OpenAI, 主张他们的书未经许可被复制去训练模型。七月七日, 莎拉·西尔弗曼等三位作者分别起诉 OpenAI 和 Meta。九月十九日, 美国作家协会和乔治·马丁, 约翰·格里沙姆, 朱迪·皮考特, 乔纳森·弗兰岑等一批作者在纽约起诉 OpenAI。十二月二十七日, 《纽约时报》起诉微软和 OpenAI。
贴链接, 投票的那一边也有了动作。四月, Reddit 宣布大批量调用它数据的接口要收费, 首席执行官史蒂夫·霍夫曼对《纽约时报》说, Reddit 的语料「真的很有价值」, 没有必要把这些价值免费送给世界上一些最大的公司。同一个月, Stack Overflow 的首席执行官普拉尚特·钱德拉塞卡说, 社区里大家写下的问答是大语言模型的原料, 平台应该得到补偿。八月, OpenAI 公布了它的网页抓取程序 GPTBot, 和网站在 robots.txt 里拒绝它的写法; robots.txt 是网站用来告诉抓取程序哪里别来的那个小文件。此后, 一批出版网站把它挡在了门外。
GPT-3 那篇论文的末尾有一段致谢, 最后谢的是数百万人: 创作了被用来训练模型的内容的人, 以及给这些内容编索引, 投票的人。作者栏里是三十一个名字。写网页的人, 编维基百科条目的人, 在 Reddit 上点了一下赞的人, 写那些书的人, 一个也不在上面。
参数从十五亿涨到一千七百五十亿, 再往后, 数不写了。这些人的字进去了, 人留在外面。这个系列管这种做得再大也装不进去的一份叫余项。
机器还在造, 而界在哪里, 每一代人重说一遍。