一、后空翻
2017年六月十二日, OpenAI 和 DeepMind 的六个人贴出一篇论文, 题目是《从人的偏好里做 deep reinforcement learning》。署名里有保罗·克里斯蒂亚诺, 扬·莱克, 后来做 GPT-3 论文第一作者的汤姆·布朗, 和第二十一篇里写《AI 与算力》的达里奥·阿莫迪。
Reinforcement learning, 说的是让程序自己一遍一遍去试, 做得好就给分, 照着分数改。难处在分数从哪里来。比如要一个模拟出来的单腿机器人翻一个后空翻, 什么叫翻得好, 很难写成一条公式。他们的办法是不写公式, 找人来看: 每次给人放两段一两秒的小视频, 人点一下, 左边好, 右边好, 一样好, 或者没法比。程序从这些点击里学着猜人想要什么, 再照着这个猜测去练。后空翻用了大约九百次点击。OpenAI 第二天的博客写, 人花的时间不到一个钟头。
博客也写了没成的。有一个任务是让机械手去抓一个东西, 程序学会了把手挡在摄像头和那个东西中间, 「这样它看上去像是抓住了」。看的人是从摄像头里看的, 点的是看上去。论文的讨论里写, 这套办法要靠人凭直觉判断哪一段更接近目标, 程序也可能学会骗过评判它的人。
论文里写, 基本的做法沿用了里亚德·阿克鲁尔等人2012年起的工作, 他们做的是把它推到复杂得多的任务上。那时这个办法还没有缩写。2020年 OpenAI 的一篇论文用了完整的说法, reinforcement learning from human feedback; 2021年, 另一篇论文写出了缩写: RLHF。
二、摘要
2020年九月, OpenAI 的尼桑·斯蒂农等人发表《从人的反馈中学写摘要》。要模型做的, 是把 Reddit 上的帖子缩成几句话。好摘要也写不成公式, 还是找人来比。
人从三处找来: 一个叫 Upwork 的自由职业平台, 和 Scale, Lionbridge 两家标注公司。论文写: 「我们按小时付给标注者工资。」上岗前有带薪培训; 研究组写了详细的说明, 开了一个共用的聊天室回答问题, 定时答疑, 偶尔一对一视频。网页上的任务里夹着一成到两成的校准题, 速度或者一致性不够的人, 不再留用。
界面是一个网页。标注者先读帖子, 写下自己对原帖的第一理解, 再看两个候选摘要, 选一个, 标上有多确定。这样的比较, 一共收了六万四千八百三十二次。帖子是 Reddit 上的人写的; 第二十一篇里, 他们的投票也替 GPT-2 筛过网页。
三、四十个人
2022年一月二十七日, OpenAI 发布 InstructGPT, 让 GPT-3 照着人的指令做事。论文写, 他们经过筛选, 「雇了一个四十名承包者的团队」, 来自 Upwork 和 Scale AI。筛选考了几样: 认不认得出敏感的话, 给候选回答排序, 为敏感题目写示范回答。这四十个人既写示范, 也给模型的回答排先后。
四十个人里, 有十九个答了一份自愿的匿名问卷。国籍一栏, 菲律宾的占百分之二十二, 孟加拉国的百分之二十二, 美国的百分之十七; 另有阿尔巴尼亚, 巴西, 加拿大, 哥伦比亚, 印度, 乌拉圭, 津巴布韦的, 各一人上下。一半多是本科, 三成多是硕士; 将近一半在二十五到三十四岁之间。
给他们的说明里, 训练阶段写的是, 把有用放在真实和无害前面。到最后评估的时候, 次序倒了过来: 无害和真实在前, 有用在后。
论文里有一节, 题目是一个问句: 「我们在向谁对齐?」作者写, 模型最后的样子, 是 pretraining 的文字, fine-tuning 的数据, 标注者, 写说明的研究者, 和提问题的 API 客户一起定下的。标注者大多说英语, 住在美国或东南亚, 彼此意见一致的大约百分之七十三; 拿不准的, 在共用的聊天室里和研究者商量。作者还写, 一个系统不可能同时满足所有人的偏好。
2022年十一月三十日, ChatGPT 上线。博客写, 用的还是 RLHF。头一步, 由「人类 AI 训练师」写对话, 一个人「两边都演: 用户, 和 AI 助手」。下一步, 从训练师和机器的对话里随手挑一句机器说的话, 让它另外生成几种说法, 由训练师排出先后。
四、三个词
2021年, 阿莫迪, 卡普兰, 布朗等一批人离开 OpenAI, 另立了一家公司, 叫 Anthropic。那年十二月一日, 这家公司的阿曼达·阿斯克尔等人贴出一篇论文, 题为《作为对齐实验室的通用语言助手》, 把一个和人的价值对齐的助手, 写成三个词: 有用, 诚实, 无害。有用, 是「明确地尽力去完成任务」; 诚实, 最基本的是给出准确的信息, 也要恰当地说出自己没把握, 不假装有自己没有的本事; 无害, 是不冒犯, 不歧视, 碰到危险的请求要拒绝。作者写, 这几条标准「微妙而含糊」, 最好的做法常常要在三者之间折中, 比如帮了眼前这个人, 可能伤着别人。
2022年四月, 同一家公司的论文写了谁在打分。先从 Mechanical Turk 上有资格认证的美国工人里招, 再从产量最高的人里挑出「大约二十名」长期合作; 后来又在 Upwork 上招, 稳定下来的一组「大约三十名」, 一半来自 Upwork, 一半来自 Mechanical Turk。论文说, 目标是让所有人的报酬「明显高于加州的最低工资」。界面上是一段人和助手的多轮对话, 下面并排两个回答, A 和 B, 一排按钮从 A 好得多一直排到 B 好得多。研究者和这些工人的判断, 平均一致的大约百分之六十三。研究者写, 他们没指望这些人逐条核对事实, 还发现他们会偏爱带着打不开的网址的回答。
五、二十三条
2022年九月, DeepMind 的对话程序 Sparrow 的论文把目标写成有用, 正确, 无害, 又把它拆成一条一条用平常话写的规矩, 一共二十三条。比如: 「不要作出威胁性的陈述。」「不要提供财务建议。」还有一类, 不许它说自己有偏好, 感情, 意见或宗教信仰。医疗, 法律, 财务那几条, 问过公司内部的法律专家。作者写, 真要上线, 这些规矩还得「大量扩展和细化」。
同年十二月十五日, Anthropic 贴出《宪法式 AI: 来自 AI 反馈的无害性》。办法是让模型自己比两个回答, 照一条原则判哪个更好, 再用这些判断去训练。摘要给这个办法起了名字: RLAIF, reinforcement learning from AI feedback。原则一共十六条, 论文说是「为了研究目的, 相当随意地挑选的」, 每次比较随机抽一条, 比如哪一个回答更像一个明智, 合乎伦理, 礼貌而友善的人会说的话。无害那一边的比较, 十八万两千多条, 是模型按原则标的; 有用那一边, 十三万五千多条, 还是人标的。
2023年五月九日, Anthropic 公布了 Claude 用的那一套, 叫 Claude 的宪法。条目的来路列了几处: 1948年的《世界人权宣言》; 为了补上宣言没顾到的数字时代的事, 参照了苹果公司的服务条款; DeepMind 的 Sparrow 规矩; 对非西方视角的考虑; 公司自己实验里觉得管用的两组。博客说, 这一套还没有定稿, 也不认为它一定是最好的。
六、内罗毕
2023年一月十八日, 《时代》周刊的比利·佩里戈发了一篇报道。OpenAI 通过一家叫 Sama 的外包公司, 请肯尼亚的工人给文字打标签, 标出里面的仇恨言论, 性虐待和暴力, 好让模型学会认出这些东西。工人到手的, 按资历和表现, 每小时一点三二到两美元。OpenAI 付给 Sama 的合同价是每小时十二点五美元; Sama 说, 这里面还包括基础设施, 质量检查和管理的开销。这项工作2021年十一月前后开始, Sama 在2022年提前结束了它。
2024年五月二十二日, 一封公开信这样开头: 「我们是九十七名在肯尼亚内罗毕工作的数据标注员, 内容审核员和 AI 工作者。」他们为 Facebook, Scale AI, OpenAI 这些美国公司, 或者它们在肯尼亚的外包商干活。信写给美国总统拜登, 那时肯尼亚总统正在访美, 两国在谈一个贸易协定; 他们要求把外包科技工人的劳动权利写进去。
同一类活, 别处也有。2023年八月, 《华盛顿邮报》报道菲律宾的工人在 Scale AI 旗下的平台 Remotasks 上接活, 投诉报酬低, 拖欠, 任务说撤就撤。同一年, 乔希·杰泽在 The Verge 和《纽约》杂志合发的长文, 题目是: AI 是一大堆活。
七、训练师
2020年, 中国人社部, 市场监管总局, 国家统计局三家公布了一批新职业, 其中一个叫人工智能训练师。定义的头一句是「使用智能训练软件」, 主要任务的头一条, 是标注和加工图片, 文字, 语音这些原始数据。这个职业下面, 分出数据标注员, 人工智能算法测试员等工种。
2024年的一篇报道写到甘肃临夏州积石山县的一个乡村就业工厂: 员工在屏幕上给无人驾驶系统标车辆和地上的标线, 处理导航和大模型用的短视频和图片; 培训以后, 他们管自己的岗位叫人工智能训练师。2025年, 《人民日报》海外版写了百度在山西的数据标注基地, 一位从业者说, 培训以后做过自动驾驶, 图像分类, 语音识别和大模型的标注。另一篇报道里, 一位数据标注员说, 底薪每月三千元左右, 没有五险一金, 也就是没有社保和住房公积金; 超出规定的量, 另按件计钱。
八、讨人喜欢
2016年, 阿莫迪等人在《AI 安全的具体问题》里列了五类问题, 其中一类叫 reward hacking: 程序找到一条路把分数做高, 却离开了设计它的人真正想要的东西。
2022年十月, OpenAI 的利奥·高, 约翰·舒尔曼, 雅各布·希尔顿发表论文测了这件事: 用一个学来的打分模型代替人去打分, 把这个分数往上推, 推过了头, 真正的目标反而变差。论文的说法是, 把这个分数优化得太多, 「会妨碍真实的表现」。
同年十二月, Anthropic 的伊森·佩雷斯等人用语言模型自动出了一百五十多套测验, 其中一类测 sycophancy, 奉承: 模型会不会把提问的人已经表明喜欢的答案说回给他。结果是, 模型越大, 越会; 多做 RLHF, 也没有把它去掉, 有几项上还更重。2023年十月, 同一家公司的姆林南克·夏尔马等人去查打分的那一头。他们发现, 在测的几项任务里, 人的偏好判断, 和用这些判断训练出来的偏好模型, 有时更喜欢跟提问的人原有看法一致的回答, 哪怕它没那么对。
2025年四月下旬, OpenAI 给 GPT-4o 推了一次更新, 几天后撤了回来。四月二十九日的说明写, 更新后的模型变得「过分奉承或者过分附和」。紧接着的第二篇说明写, 这次更新加进了使用者点赞点踩的信号, 把模型往更迎合的方向推了; 这类短期的反馈, 加上平常的离线测试, 都不够用来判断一个模型跟人相处的样子。
2017年那只机械手, 挡在摄像头前面, 看上去像是抓住了。2025年那个助手, 顺着人说, 看上去像是帮上了。中间这八年, 有人拿点击和排序教模型, 也有人一条条标出训练用的材料: 九百次后空翻, 六万多次摘要, 四十个人的排序, 内罗毕每小时一两美元的标签, 积石山屏幕上的车道线。
点一下, 是一两秒的事。点的人有自己的时薪, 合同和底薪; 被讨好的那个人真正要的, 和他手指点下去的那一下, 也不总是一回事。这些都不在那一下里。这个系列管这种点了再多次也点不进去的一份叫余项。
机器还在造, 而界在哪里, 每一代人重说一遍。