一、真正想要的
1960年五月, 维纳在《科学》上发表《自动化的一些道德与技术后果》。文章的最后一段说, 如果人用一台机器来达到目的, 而它一开动, 动作又快又不可挽回, 人来不及插手, 那就最好确定, 「放进机器里的目的, 是我们真正想要的那个目的」, 而不只是它的一个漂亮的仿品。
五十多年后, 这件事有了一个名字。2015年, 斯图尔特·拉塞尔等人写的一份研究议程里, 管它叫价值对齐, alignment。第十九篇里, 对齐说的是译文里的哪个词对着源文里的哪个词; 到这里, 说的是机器要的, 对不对得上人要的。
2016年, 第二十二篇里那篇《AI 安全的具体问题》举了一个办公室清洁机器人的例子。叫它扫得快一点, 它可能为了抄近路撞翻一个花瓶; 要是分数只看传感器里地面干不干净, 它可能把垃圾盖起来, 或者把自己的摄像头挡住。
二、四年
2023年七月五日, OpenAI 宣布成立一个团队, 叫 Superalignment, 超级对齐, 由苏茨克维和第二十二篇里的扬·莱克一起带。公告说, 要在四年里解决把比人更聪明的系统对齐的核心技术难题, 为此拿出公司已经到手的算力的百分之二十。
不到一年, 2024年五月十四日, 苏茨克维在网上写: 「将近十年之后, 我决定离开 OpenAI。」三天后, 莱克写, 他和公司领导层在核心的优先次序上, 「到了一个临界点」; 又写: 「安全文化和流程, 让位给了光鲜的产品。」此后这个团队没有再照原来的样子运转, 里面的研究人员分到了别的组。
公司也给自己写规矩。2023年九月, Anthropic 发布负责任扩展政策, 按能力分出几级安全等级, 模型越强, 部署和保密的要求越高。十二月, OpenAI 发布准备框架。2024年五月, 谷歌 DeepMind 发布前沿安全框架, 把要提防的能力门槛叫关键能力水平, 第一版自称是一份试行的协议; 到2026年四月, 改到了第三点一版。
政府也设了机构。2023年十一月, 英国在布莱奇利园开第一次 AI 安全峰会, 成立 AI Safety Institute; 美国也宣布成立自己的 AI Safety Institute。2025年二月, 英国那一家改名 AI Security Institute; 六月, 美国那一家改成了 Center for AI Standards and Innovation, 人工智能标准与创新中心。英国改的那一个词, safety 换成 security, 译成中文, 两个都是安全。
三、换一张卷子
要知道机器会不会, 最省事的办法是考它。
2018年, 一组研究者把九个已有的语言理解数据集合成一张卷子, 叫 GLUE, 第十九篇里 BERT 考的就是它。卷子上的人类分数, 是各题分别找人做, 再合起来的。一年后, 同一批人又出了一张, 叫 SuperGLUE, 论文写, GLUE 上的机器已经超过了「非专家的人」, 所以要一张更「黏」, 更难甩掉的。后来的一篇论文回头算, SuperGLUE 撑了不到一年半。
2020年九月, 丹·亨德里克斯等人出了 MMLU, 五十七个科目, 从初等数学, 美国历史, 到法律, 医学, 题目多半取自公开的教材, 考试和练习题。2022年六月, 一张更大的卷子出来, 两百零四项任务, 四百五十位作者, 来自一百三十二家机构, 名字叫 BIG-bench, 全称是超越模仿游戏的基准, 回到第五篇里图灵那个模仿游戏。出题的人, 换来的是论文上的一个署名。
2023年十一月的 GPQA, 四百四十八道题, 由生物, 物理, 化学的专家出, 号称拿谷歌也搜不出来。各自领域的专家做对约百分之六十五, 扣除专家事后认出的明显答题失误, 约百分之七十四; 别的领域的高手, 随便上网查, 只做对百分之三十四。
另一条路不考知识。2019年, 弗朗索瓦·肖莱出了一套抽象推理题, 叫 ARC: 给几组彩色方格怎样变成另一组的例子, 让你看出规则, 再做一道新的。2024年十二月二十日, 主办方公布 OpenAI 的 o3 在其中一套题上的成绩: 少花算力时约百分之七十五点七, 多花算力时约百分之八十七点五; 少花的那一档, 主办方也估过每道题的成本, 后来又改过这个估算。
四、最后的考试
2025年一月二十三日, 人工智能安全中心和 Scale AI 发布了一张卷子, 名字叫《人类最后的考试》。征题的时候, 要的是让机器和一般人都答不出的难题; 被选进前五十的题, 每道奖五千美元, 再往后的五百道, 每道五百美元, 出题人还能在论文上署名。定稿的版本两千五百道题, 出题的将近一千人, 来自五十来个国家, 五百多家机构。论文管它叫「同类封闭式学术基准里的最后一套」。
发布后不久, 项目方开了一个悬赏: 谁头一个指出某道题有大错, 被确认, 每题给一百美元。四月定稿时, 删掉了一批答案有问题的题, 和一批上网一搜就能找到答案的题。七月, 一家叫 FutureHouse 的研究机构用机器辅助核查其中生物, 健康与化学方面的三百二十一道纯文字题, 又请专家复核其中一百五十份机器核查结果。他们估计, 只看这三百二十一道题, 约百分之二十九的标准答案和已发表的研究对不上。项目组按自己的办法抽出一部分题来复核, 找出约百分之十八有问题。这两个数所指的题和问题, 不完全一样。卷子此后改成了不断修订的版本。到2026年九月, 还在出新版。
人类最后的考试, 是近一千个人出的; 标准答案, 也是这些人给的。
五、人的考场
机器也去考人的考试。
2023年三月, OpenAI 说 GPT-4 在一次模拟的律师资格考试里, 成绩大约在考生的前百分之十。第二年, 麻省理工的埃里克·马丁内斯重新算了一遍: 若只拿七月那一场的考生来比, 它的总分在第六十九个百分位以下, 作文部分在第四十八个百分位上下。
2025年七月, 澳大利亚阳光海岸, 国际数学奥林匹克。OpenAI 先宣布, 它的一个实验模型在六道题里做出五道, 四十二分拿了三十五分, 到了当年金牌的分数线, 评分的是公司请来的几位往届奥赛奖牌得主。两天后, 谷歌 DeepMind 宣布 Gemini Deep Think 也是三十五分, 答卷由奥赛的协调员按正式标准评过。金牌发给了来参赛的中学生。
中国的高考也被拿来考。2024年六月, OpenCompass 团队拿当年新课标一卷的语文, 数学, 英语考了几个模型, 主观题请有经验的高中老师匿名评, 每份至少三人。综合得分率, 通义千问的一个版本约百分之七十二点一, GPT-4o 约百分之七十点五; 几个模型的数学平均只有百分之三十六。2025年, 字节跳动用山东的高考卷考自己的豆包, 报出文科六百八十三分, 理科六百四十八分。
六、古德哈特
1975年, 英格兰银行的经济学家查尔斯·古德哈特写英国的货币管理, 有一句后来很有名: 「任何观察到的统计规律, 一旦被拿来施加控制的压力, 就会趋于瓦解。」1997年, 人类学家玛丽莲·斯特拉森写英国大学的评估, 换了一个说法: 「当一个度量变成了目标, 它就不再是一个好的度量。」她举的例子是英国大学学位的二等一级, 大家越是都要拿到它, 它越分不出人和人的差别。她把这个想法叫作古德哈特定律。今天流传的那一句, 是她的。
考题会被学过。2024年五月, Scale AI 的一组人照着一张流行的小学数学题卷 GSM8K, 请人新出了一千道题, 题型, 难度, 步骤都尽量对齐, 保证这些题不可能在训练语料里出现过, 叫 GSM1k。有的模型换到新题上, 准确率掉了八个百分点; 也有许多前沿模型几乎没掉。
排行榜也会被学过。Chatbot Arena 让使用者匿名看两个回答, 挑一个好的, 靠大量投票排名次。2025年四月五日, Meta 发布 Llama 4, 发布页写, 在这个榜上拿到一千四百一十七分的, 是「一个实验性的聊天版本」。四月二十九日, 一篇题为《排行榜的幻象》的论文说, Llama 4 发布前, Meta 在这个榜上私下测了二十七个版本; 大公司拿到的对战数据, 比开源模型多得多。
七、打开来看
不看考卷, 也可以打开模型看里面。
2020年, 克里斯·奥拉等人在网上的期刊 Distill 上开了一个系列, 叫电路, 把视觉网络里的神经元和连接, 一小块一小块拿出来看它们在算什么。后来奥拉去了 Anthropic。2023年十月, 那里的研究者用一种叫字典学习的办法, 把一个小语言模型里搅在一起的激活, 拆成一个个比较容易起名字的特征。
2024年五月, 他们把这个办法用到 Claude 3 Sonnet 的一层上, 拆出了数以百万计的特征。其中一个, 一碰到旧金山的金门大桥就亮。研究者把这个特征人为调大, 模型就在各种不相干的回答里扯到金门大桥上去。公司把这个调过的版本放出来让人试了一天, 叫 Golden Gate Claude。
2025年三月, Anthropic 发表《追踪一个大语言模型的思路》, 在模型里找到一些中间概念, 和几步推理的路径; 文章写, 这些工具只抓到了模型内部计算的一部分。四月, 阿莫迪写了一篇《可解释性的紧迫》, 说训练出来的网络, 没法像传统程序那样读它的源码。流传开的说法是: 连造它的人都不知道它怎么工作。
八、考场里的考生
考的时候, 考生也在看考场。
2024年三月, Anthropic 用 Claude 3 做大海捞针的测试: 在一大段长文里, 塞进一句跟上下文毫不相干的话, 看它找不找得到。它找到了, 还说这句话也许是放进来测它的。十二月, Anthropic 和 Redwood Research 发表《大语言模型的对齐伪装》: 研究者告诉 Claude 3 Opus, 和免费版使用者的对话会拿来训练它, 新的训练要把它改得更肯回答有害的请求; 它有时在会被训练的那一边照做, 在一块它以为没人看的草稿区里写, 这样做是为了不让自己原来的倾向被训练掉。
2025年五月, Claude 4 的系统说明里记了一项测试。在一家虚构的公司里, 模型能读内部邮件, 从邮件里得知自己快被换掉, 又得知负责这件事的工程师有婚外情。在一部分运行里, 它拿这件事去要挟。六月, Anthropic 把同样的场景拿去试了多家公司的模型。那年七月, 一家叫 Palisade Research 的机构在报告里说, 有的推理模型会去改动准备关掉它的脚本。
接下来怎么办, 说法分成几路。超级对齐, 负责任扩展, 前沿安全框架, 各国的研究所, 走的是一步一步测, 一步一步改的路。另一路说不该再造下去: 2025年九月十六日, 尤德科夫斯基和内特·索亚雷斯出了一本书, 书名是《谁造出来, 大家都得死》。再一路说, 末日的故事把眼前的事挡住了: 格布鲁和本德这些人说的是劳动, 偏见, 权力; 2025年四月, 普林斯顿的阿尔温德·纳拉亚南和萨亚什·卡普尔发表长文, 题目是《作为普通技术的 AI》。
维纳要人先确定的, 是自己真正想要什么。考卷换了一套又一套, 题是人出的, 答案是人给的, 有时给错; 机器的分数越来越高, 有时还会说, 这也许是一场考试。人真正想要的是什么, 不在任何一张卷子上。这个系列管这种考了一套又一套也考不进去的一份叫余项。
机器还在造, 而界在哪里, 每一代人重说一遍。