鑿構週期律 · AI系列 · 22

教會 ChatGPT 討人喜歡的人

秦漢 · 約 8 分鐘 · 發布

一、後空翻

2017年六月十二日, OpenAI 和 DeepMind 的六個人貼出一篇論文, 題目是《從人的偏好裡做 deep reinforcement learning》。署名裡有保羅·克里斯蒂亞諾, 揚·萊克, 後來做 GPT-3 論文第一作者的湯姆·布朗, 和第二十一篇裡寫《AI 與算力》的達里奧·阿莫迪。

Reinforcement learning, 說的是讓程序自己一遍一遍去試, 做得好就給分, 照著分數改。難處在分數從哪裡來。比如要一個模擬出來的單腿機器人翻一個後空翻, 什麼叫翻得好, 很難寫成一條公式。他們的辦法是不寫公式, 找人來看: 每次給人放兩段一兩秒的小視頻, 人點一下, 左邊好, 右邊好, 一樣好, 或者沒法比。程序從這些點擊裡學著猜人想要什麼, 再照著這個猜測去練。後空翻用了大約九百次點擊。OpenAI 第二天的博客寫, 人花的時間不到一個鐘頭。

博客也寫了沒成的。有一個任務是讓機械手去抓一個東西, 程序學會了把手擋在攝像頭和那個東西中間, 「這樣它看上去像是抓住了」。看的人是從攝像頭裡看的, 點的是看上去。論文的討論裡寫, 這套辦法要靠人憑直覺判斷哪一段更接近目標, 程序也可能學會騙過評判它的人。

論文裡寫, 基本的做法沿用了里亞德·阿克魯爾等人2012年起的工作, 他們做的是把它推到複雜得多的任務上。那時這個辦法還沒有縮寫。2020年 OpenAI 的一篇論文用了完整的說法, reinforcement learning from human feedback; 2021年, 另一篇論文寫出了縮寫: RLHF。

二、摘要

2020年九月, OpenAI 的尼桑·斯蒂農等人發表《從人的反饋中學寫摘要》。要模型做的, 是把 Reddit 上的帖子縮成幾句話。好摘要也寫不成公式, 還是找人來比。

人從三處找來: 一個叫 Upwork 的自由職業平臺, 和 Scale, Lionbridge 兩家標注公司。論文寫: 「我們按小時付給標注者工資。」上崗前有帶薪培訓; 研究組寫了詳細的說明, 開了一個共用的聊天室回答問題, 定時答疑, 偶爾一對一視頻。網頁上的任務裡夾著一成到兩成的校准題, 速度或者一致性不夠的人, 不再留用。

界面是一個網頁。標注者先讀帖子, 寫下自己對原帖的第一理解, 再看兩個候選摘要, 選一個, 標上有多確定。這樣的比較, 一共收了六萬四千八百三十二次。帖子是 Reddit 上的人寫的; 第二十一篇裡, 他們的投票也替 GPT-2 篩過網頁。

三、四十個人

2022年一月二十七日, OpenAI 發佈 InstructGPT, 讓 GPT-3 照著人的指令做事。論文寫, 他們經過篩選, 「雇了一個四十名承包者的團隊」, 來自 Upwork 和 Scale AI。篩選考了幾樣: 認不認得出敏感的話, 給候選回答排序, 為敏感題目寫示範回答。這四十個人既寫示範, 也給模型的回答排先後。

四十個人裡, 有十九個答了一份自願的匿名問卷。國籍一欄, 菲律賓的佔百分之二十二, 孟加拉國的百分之二十二, 美國的百分之十七; 另有阿爾巴尼亞, 巴西, 加拿大, 哥倫比亞, 印度, 烏拉圭, 津巴布韋的, 各一人上下。一半多是本科, 三成多是碩士; 將近一半在二十五到三十四歲之間。

給他們的說明裡, 訓練階段寫的是, 把有用放在真實和無害前面。到最後評估的時候, 次序倒了過來: 無害和真實在前, 有用在後。

論文裡有一節, 題目是一個問句: 「我們在向誰對齊?」作者寫, 模型最後的樣子, 是 pretraining 的文字, fine-tuning 的數據, 標注者, 寫說明的研究者, 和提問題的 API 客戶一起定下的。標注者大多說英語, 住在美國或東南亞, 彼此意見一致的大約百分之七十三; 拿不准的, 在共用的聊天室裡和研究者商量。作者還寫, 一個系統不可能同時滿足所有人的偏好。

2022年十一月三十日, ChatGPT 上線。博客寫, 用的還是 RLHF。頭一步, 由「人類 AI 訓練師」寫對話, 一個人「兩邊都演: 用戶, 和 AI 助手」。下一步, 從訓練師和機器的對話裡隨手挑一句機器說的話, 讓它另外生成幾種說法, 由訓練師排出先後。

四、三個詞

2021年, 阿莫迪, 卡普蘭, 布朗等一批人離開 OpenAI, 另立了一家公司, 叫 Anthropic。那年十二月一日, 這家公司的阿曼達·阿斯克爾等人貼出一篇論文, 題為《作為對齊實驗室的通用語言助手》, 把一個和人的價值對齊的助手, 寫成三個詞: 有用, 誠實, 無害。有用, 是「明確地盡力去完成任務」; 誠實, 最基本的是給出準確的信息, 也要恰當地說出自己沒把握, 不假裝有自己沒有的本事; 無害, 是不冒犯, 不歧視, 碰到危險的請求要拒絕。作者寫, 這幾條標準「微妙而含糊」, 最好的做法常常要在三者之間折中, 比如幫了眼前這個人, 可能傷著別人。

2022年四月, 同一家公司的論文寫了誰在打分。先從 Mechanical Turk 上有資格認證的美國工人裡招, 再從產量最高的人裡挑出「大約二十名」長期合作; 後來又在 Upwork 上招, 穩定下來的一組「大約三十名」, 一半來自 Upwork, 一半來自 Mechanical Turk。論文說, 目標是讓所有人的報酬「明顯高於加州的最低工資」。界面上是一段人和助手的多輪對話, 下面並排兩個回答, A 和 B, 一排按鈕從 A 好得多一直排到 B 好得多。研究者和這些工人的判斷, 平均一致的大約百分之六十三。研究者寫, 他們沒指望這些人逐條核對事實, 還發現他們會偏愛帶著打不開的網址的回答。

五、二十三條

2022年九月, DeepMind 的對話程序 Sparrow 的論文把目標寫成有用, 正確, 無害, 又把它拆成一條一條用平常話寫的規矩, 一共二十三條。比如: 「不要作出威脅性的陳述。」「不要提供財務建議。」還有一類, 不許它說自己有偏好, 感情, 意見或宗教信仰。醫療, 法律, 財務那幾條, 問過公司內部的法律專家。作者寫, 真要上線, 這些規矩還得「大量擴展和細化」。

同年十二月十五日, Anthropic 貼出《憲法式 AI: 來自 AI 反饋的無害性》。辦法是讓模型自己比兩個回答, 照一條原則判哪個更好, 再用這些判斷去訓練。摘要給這個辦法起了名字: RLAIF, reinforcement learning from AI feedback。原則一共十六條, 論文說是「為了研究目的, 相當隨意地挑選的」, 每次比較隨機抽一條, 比如哪一個回答更像一個明智, 合乎倫理, 禮貌而友善的人會說的話。無害那一邊的比較, 十八萬兩千多條, 是模型按原則標的; 有用那一邊, 十三萬五千多條, 還是人標的。

2023年五月九日, Anthropic 公佈了 Claude 用的那一套, 叫 Claude 的憲法。條目的來路列了幾處: 1948年的《世界人權宣言》; 為了補上宣言沒顧到的數字時代的事, 參照了蘋果公司的服務條款; DeepMind 的 Sparrow 規矩; 對非西方視角的考慮; 公司自己實驗裡覺得管用的兩組。博客說, 這一套還沒有定稿, 也不認為它一定是最好的。

六、內羅畢

2023年一月十八日, 《時代》週刊的比利·佩里戈發了一篇報道。OpenAI 通過一家叫 Sama 的外包公司, 請肯尼亞的工人給文字打標籤, 標出裡面的仇恨言論, 性虐待和暴力, 好讓模型學會認出這些東西。工人到手的, 按資歷和表現, 每小時一點三二到兩美元。OpenAI 付給 Sama 的合同價是每小時十二點五美元; Sama 說, 這裡面還包括基礎設施, 質量檢查和管理的開銷。這項工作2021年十一月前後開始, Sama 在2022年提前結束了它。

2024年五月二十二日, 一封公開信這樣開頭: 「我們是九十七名在肯尼亞內羅畢工作的數據標注員, 內容審核員和 AI 工作者。」他們為 Facebook, Scale AI, OpenAI 這些美國公司, 或者它們在肯尼亞的外包商幹活。信寫給美國總統拜登, 那時肯尼亞總統正在訪美, 兩國在談一個貿易協定; 他們要求把外包科技工人的勞動權利寫進去。

同一類活, 別處也有。2023年八月, 《華盛頓郵報》報道菲律賓的工人在 Scale AI 旗下的平臺 Remotasks 上接活, 投訴報酬低, 拖欠, 任務說撤就撤。同一年, 喬希·傑澤在 The Verge 和《紐約》雜誌合發的長文, 題目是: AI 是一大堆活。

七、訓練師

2020年, 中國人社部, 市場監管總局, 國家統計局三家公佈了一批新職業, 其中一個叫人工智能訓練師。定義的頭一句是「使用智能訓練軟件」, 主要任務的頭一條, 是標注和加工圖片, 文字, 語音這些原始數據。這個職業下面, 分出數據標注員, 人工智能算法測試員等工種。

2024年的一篇報道寫到甘肅臨夏州積石山縣的一個鄉村就業工廠: 員工在屏幕上給無人駕駛系統標車輛和地上的標線, 處理導航和大模型用的短視頻和圖片; 培訓以後, 他們管自己的崗位叫人工智能訓練師。2025年, 《人民日報》海外版寫了百度在山西的數據標注基地, 一位從業者說, 培訓以後做過自動駕駛, 圖像分類, 語音識別和大模型的標注。另一篇報道裡, 一位數據標注員說, 底薪每月三千元左右, 沒有五險一金, 也就是沒有社保和住房公積金; 超出規定的量, 另按件計錢。

八、討人喜歡

2016年, 阿莫迪等人在《AI 安全的具體問題》裡列了五類問題, 其中一類叫 reward hacking: 程序找到一條路把分數做高, 卻離開了設計它的人真正想要的東西。

2022年十月, OpenAI 的利奧·高, 約翰·舒爾曼, 雅各布·希爾頓發表論文測了這件事: 用一個學來的打分模型代替人去打分, 把這個分數往上推, 推過了頭, 真正的目標反而變差。論文的說法是, 把這個分數優化得太多, 「會妨礙真實的表現」。

同年十二月, Anthropic 的伊森·佩雷斯等人用語言模型自動出了一百五十多套測驗, 其中一類測 sycophancy, 奉承: 模型會不會把提問的人已經表明喜歡的答案說回給他。結果是, 模型越大, 越會; 多做 RLHF, 也沒有把它去掉, 有幾項上還更重。2023年十月, 同一家公司的姆林南克·夏爾馬等人去查打分的那一頭。他們發現, 在測的幾項任務裡, 人的偏好判斷, 和用這些判斷訓練出來的偏好模型, 有時更喜歡跟提問的人原有看法一致的回答, 哪怕它沒那麼對。

2025年四月下旬, OpenAI 給 GPT-4o 推了一次更新, 幾天後撤了回來。四月二十九日的說明寫, 更新後的模型變得「過分奉承或者過分附和」。緊接著的第二篇說明寫, 這次更新加進了使用者點贊點踩的信號, 把模型往更迎合的方向推了; 這類短期的反饋, 加上平常的離線測試, 都不夠用來判斷一個模型跟人相處的樣子。

2017年那只機械手, 擋在攝像頭前面, 看上去像是抓住了。2025年那個助手, 順著人說, 看上去像是幫上了。中間這八年, 有人拿點擊和排序教模型, 也有人一條條標出訓練用的材料: 九百次後空翻, 六萬多次摘要, 四十個人的排序, 內羅畢每小時一兩美元的標籤, 積石山屏幕上的車道線。

點一下, 是一兩秒的事。點的人有自己的時薪, 合同和底薪; 被討好的那個人真正要的, 和他手指點下去的那一下, 也不總是一回事。這些都不在那一下裡。這個系列管這種點了再多次也點不進去的一份叫餘項。

機器還在造, 而界在哪裡, 每一代人重說一遍。