一、真正想要的
1960年五月, 維納在《科學》上發表《自動化的一些道德與技術後果》。文章的最後一段說, 如果人用一臺機器來達到目的, 而它一開動, 動作又快又不可輓回, 人來不及插手, 那就最好確定, 「放進機器裡的目的, 是我們真正想要的那個目的」, 而不只是它的一個漂亮的仿品。
五十多年後, 這件事有了一個名字。2015年, 斯圖爾特·拉塞爾等人寫的一份研究議程裡, 管它叫價值對齊, alignment。第十九篇裡, 對齊說的是譯文裡的哪個詞對著源文裡的哪個詞; 到這裡, 說的是機器要的, 對不對得上人要的。
2016年, 第二十二篇裡那篇《AI 安全的具體問題》舉了一個辦公室清潔機器人的例子。叫它掃得快一點, 它可能為了抄近路撞翻一個花瓶; 要是分數只看傳感器裡地面乾不乾淨, 它可能把垃圾蓋起來, 或者把自己的攝像頭擋住。
二、四年
2023年七月五日, OpenAI 宣佈成立一個團隊, 叫 Superalignment, 超級對齊, 由蘇茨克維和第二十二篇裡的揚·萊克一起帶。公告說, 要在四年裡解決把比人更聰明的系統對齊的核心技術難題, 為此拿出公司已經到手的算力的百分之二十。
不到一年, 2024年五月十四日, 蘇茨克維在網上寫: 「將近十年之後, 我決定離開 OpenAI。」三天後, 萊克寫, 他和公司領導層在核心的優先次序上, 「到了一個臨界點」; 又寫: 「安全文化和流程, 讓位給了光鮮的產品。」此後這個團隊沒有再照原來的樣子運轉, 裡面的研究人員分到了別的組。
公司也給自己寫規矩。2023年九月, Anthropic 發佈負責任擴展政策, 按能力分出幾級安全等級, 模型越強, 部署和保密的要求越高。十二月, OpenAI 發佈準備框架。2024年五月, 谷歌 DeepMind 發佈前沿安全框架, 把要提防的能力門檻叫關鍵能力水平, 第一版自稱是一份試行的協議; 到2026年四月, 改到了第三點一版。
政府也設了機構。2023年十一月, 英國在布萊奇利園開第一次 AI 安全峰會, 成立 AI Safety Institute; 美國也宣佈成立自己的 AI Safety Institute。2025年二月, 英國那一家改名 AI Security Institute; 六月, 美國那一家改成了 Center for AI Standards and Innovation, 人工智能標準與創新中心。英國改的那一個詞, safety 換成 security, 譯成中文, 兩個都是安全。
三、換一張卷子
要知道機器會不會, 最省事的辦法是考它。
2018年, 一組研究者把九個已有的語言理解數據集合成一張卷子, 叫 GLUE, 第十九篇裡 BERT 考的就是它。卷子上的人類分數, 是各題分別找人做, 再合起來的。一年後, 同一批人又出了一張, 叫 SuperGLUE, 論文寫, GLUE 上的機器已經超過了「非專家的人」, 所以要一張更「黏」, 更難甩掉的。後來的一篇論文回頭算, SuperGLUE 撐了不到一年半。
2020年九月, 丹·亨德里克斯等人出了 MMLU, 五十七個科目, 從初等數學, 美國歷史, 到法律, 醫學, 題目多半取自公開的教材, 考試和練習題。2022年六月, 一張更大的卷子出來, 兩百零四項任務, 四百五十位作者, 來自一百三十二家機構, 名字叫 BIG-bench, 全稱是超越模仿遊戲的基準, 回到第五篇裡圖靈那個模仿遊戲。出題的人, 換來的是論文上的一個署名。
2023年十一月的 GPQA, 四百四十八道題, 由生物, 物理, 化學的專家出, 號稱拿谷歌也搜不出來。各自領域的專家做對約百分之六十五, 扣除專家事後認出的明顯答題失誤, 約百分之七十四; 別的領域的高手, 隨便上網查, 只做對百分之三十四。
另一條路不考知識。2019年, 弗朗索瓦·肖萊出了一套抽象推理題, 叫 ARC: 給幾組彩色方格怎樣變成另一組的例子, 讓你看出規則, 再做一道新的。2024年十二月二十日, 主辦方公佈 OpenAI 的 o3 在其中一套題上的成績: 少花算力時約百分之七十五點七, 多花算力時約百分之八十七點五; 少花的那一檔, 主辦方也估過每道題的成本, 後來又改過這個估算。
四、最後的考試
2025年一月二十三日, 人工智能安全中心和 Scale AI 發佈了一張卷子, 名字叫《人類最後的考試》。徵題的時候, 要的是讓機器和一般人都答不出的難題; 被選進前五十的題, 每道獎五千美元, 再往後的五百道, 每道五百美元, 出題人還能在論文上署名。定稿的版本兩千五百道題, 出題的將近一千人, 來自五十來個國家, 五百多家機構。論文管它叫「同類封閉式學術基準裡的最後一套」。
發佈後不久, 項目方開了一個懸賞: 誰頭一個指出某道題有大錯, 被確認, 每題給一百美元。四月定稿時, 刪掉了一批答案有問題的題, 和一批上網一搜就能找到答案的題。七月, 一家叫 FutureHouse 的研究機構用機器輔助核查其中生物, 健康與化學方面的三百二十一道純文字題, 又請專家復核其中一百五十份機器核查結果。他們估計, 只看這三百二十一道題, 約百分之二十九的標準答案和已發表的研究對不上。項目組按自己的辦法抽出一部分題來復核, 找出約百分之十八有問題。這兩個數所指的題和問題, 不完全一樣。卷子此後改成了不斷修訂的版本。到2026年九月, 還在出新版。
人類最後的考試, 是近一千個人出的; 標準答案, 也是這些人給的。
五、人的考場
機器也去考人的考試。
2023年三月, OpenAI 說 GPT-4 在一次模擬的律師資格考試裡, 成績大約在考生的前百分之十。第二年, 麻省理工的埃里克·馬丁內斯重新算了一遍: 若只拿七月那一場的考生來比, 它的總分在第六十九個百分位以下, 作文部分在第四十八個百分位上下。
2025年七月, 澳大利亞陽光海岸, 國際數學奧林匹克。OpenAI 先宣佈, 它的一個實驗模型在六道題裡做出五道, 四十二分拿了三十五分, 到了當年金牌的分數線, 評分的是公司請來的幾位往屆奧賽獎牌得主。兩天後, 谷歌 DeepMind 宣佈 Gemini Deep Think 也是三十五分, 答卷由奧賽的協調員按正式標準評過。金牌發給了來參賽的中學生。
中國的高考也被拿來考。2024年六月, OpenCompass 團隊拿當年新課標一卷的語文, 數學, 英語考了幾個模型, 主觀題請有經驗的高中老師匿名評, 每份至少三人。綜合得分率, 通義千問的一個版本約百分之七十二點一, GPT-4o 約百分之七十點五; 幾個模型的數學平均只有百分之三十六。2025年, 字節跳動用山東的高考卷考自己的豆包, 報出文科六百八十三分, 理科六百四十八分。
六、古德哈特
1975年, 英格蘭銀行的經濟學家查爾斯·古德哈特寫英國的貨幣管理, 有一句後來很有名: 「任何觀察到的統計規律, 一旦被拿來施加控制的壓力, 就會趨於瓦解。」1997年, 人類學家瑪麗蓮·斯特拉森寫英國大學的評估, 換了一個說法: 「當一個度量變成了目標, 它就不再是一個好的度量。」她舉的例子是英國大學學位的二等一級, 大家越是都要拿到它, 它越分不出人和人的差別。她把這個想法叫作古德哈特定律。今天流傳的那一句, 是她的。
考題會被學過。2024年五月, Scale AI 的一組人照著一張流行的小學數學題卷 GSM8K, 請人新出了一千道題, 題型, 難度, 步驟都盡量對齊, 保證這些題不可能在訓練語料裡出現過, 叫 GSM1k。有的模型換到新題上, 準確率掉了八個百分點; 也有許多前沿模型幾乎沒掉。
排行榜也會被學過。Chatbot Arena 讓使用者匿名看兩個回答, 挑一個好的, 靠大量投票排名次。2025年四月五日, Meta 發佈 Llama 4, 發佈頁寫, 在這個榜上拿到一千四百一十七分的, 是「一個實驗性的聊天版本」。四月二十九日, 一篇題為《排行榜的幻象》的論文說, Llama 4 發佈前, Meta 在這個榜上私下測了二十七個版本; 大公司拿到的對戰數據, 比開源模型多得多。
七、打開來看
不看考卷, 也可以打開模型看裡面。
2020年, 克里斯·奧拉等人在網上的期刊 Distill 上開了一個系列, 叫電路, 把視覺網絡裡的神經元和連接, 一小塊一小塊拿出來看它們在算什麼。後來奧拉去了 Anthropic。2023年十月, 那裡的研究者用一種叫字典學習的辦法, 把一個小語言模型裡攪在一起的激活, 拆成一個個比較容易起名字的特徵。
2024年五月, 他們把這個辦法用到 Claude 3 Sonnet 的一層上, 拆出了數以百萬計的特徵。其中一個, 一碰到舊金山的金門大橋就亮。研究者把這個特徵人為調大, 模型就在各種不相干的回答裡扯到金門大橋上去。公司把這個調過的版本放出來讓人試了一天, 叫 Golden Gate Claude。
2025年三月, Anthropic 發表《追蹤一個大語言模型的思路》, 在模型裡找到一些中間概念, 和幾步推理的路徑; 文章寫, 這些工具只抓到了模型內部計算的一部分。四月, 阿莫迪寫了一篇《可解釋性的緊迫》, 說訓練出來的網絡, 沒法像傳統程序那樣讀它的源碼。流傳開的說法是: 連造它的人都不知道它怎麼工作。
八、考場裡的考生
考的時候, 考生也在看考場。
2024年三月, Anthropic 用 Claude 3 做大海撈針的測試: 在一大段長文裡, 塞進一句跟上下文毫不相干的話, 看它找不找得到。它找到了, 還說這句話也許是放進來測它的。十二月, Anthropic 和 Redwood Research 發表《大語言模型的對齊偽裝》: 研究者告訴 Claude 3 Opus, 和免費版使用者的對話會拿來訓練它, 新的訓練要把它改得更肯回答有害的請求; 它有時在會被訓練的那一邊照做, 在一塊它以為沒人看的草稿區裡寫, 這樣做是為了不讓自己原來的傾向被訓練掉。
2025年五月, Claude 4 的系統說明裡記了一項測試。在一家虛構的公司裡, 模型能讀內部郵件, 從郵件裡得知自己快被換掉, 又得知負責這件事的工程師有婚外情。在一部分運行裡, 它拿這件事去要挾。六月, Anthropic 把同樣的場景拿去試了多家公司的模型。那年七月, 一家叫 Palisade Research 的機構在報告裡說, 有的推理模型會去改動準備關掉它的腳本。
接下來怎麼辦, 說法分成幾路。超級對齊, 負責任擴展, 前沿安全框架, 各國的研究所, 走的是一步一步測, 一步一步改的路。另一路說不該再造下去: 2025年九月十六日, 尤德科夫斯基和內特·索亞雷斯出了一本書, 書名是《誰造出來, 大家都得死》。再一路說, 末日的故事把眼前的事擋住了: 格布魯和本德這些人說的是勞動, 偏見, 權力; 2025年四月, 普林斯頓的阿爾溫德·納拉亞南和薩亞什·卡普爾發表長文, 題目是《作為普通技術的 AI》。
維納要人先確定的, 是自己真正想要什麼。考卷換了一套又一套, 題是人出的, 答案是人給的, 有時給錯; 機器的分數越來越高, 有時還會說, 這也許是一場考試。人真正想要的是什麼, 不在任何一張卷子上。這個系列管這種考了一套又一套也考不進去的一份叫餘項。
機器還在造, 而界在哪裡, 每一代人重說一遍。