一、花
1936年, 统计学家罗纳德·费希尔在《优生学年鉴》第七卷第二期上发表了一篇文章, 题目是《多重测量在分类学问题中的应用》。文章里有一张表, 三种鸢尾花, 每种五十朵, 一共一百五十朵。每一朵量四个数: 萼片的长和宽, 花瓣的长和宽。
量花的人, 费希尔在文章里写了名字: 植物学家埃德加·安德森。其中两种, 是安德森在同一片野地里采的, 五十朵一组。他前一年发过一篇短文, 叫《加斯佩半岛的鸢尾》; 加斯佩半岛在加拿大东边, 伸进圣劳伦斯湾。
五十一年后, 1987年, 加州大学欧文分校一个叫戴维·阿哈的博士生, 在学校的机器上开了一个文件传输的存档, 把同校几个博士生手里已经收集好的数据, 连同说明文字, 放进去供外面的人来取。他2019年回忆说, 一开始只有「少量数据集」。这个存档后来叫机器学习数据仓库。安德森那一百五十朵花, 后来也进了这个仓库。
一个植物学家, 在一个半岛上, 蹲在一片野花里, 一朵一朵地量。量出来的六百个数, 后来成了一代又一代的机器学分类时做的头一道题。
二、格子
1990年前后, 美国国家标准与技术研究院为了人口普查的一件事, 要让机器认手写的字。他们先要一批手写的字。表格发给了三千四百名人口普查局的常设外勤人员, 交回来的有两千一百份。表格上印着一个一个的小格子, 写字的人在格子里一格填一个字; 收回来以后, 由程序把格子切开, 一个字切成一张小图。
另一批表格发到一所高中, 五百个上数学课和理科课的学生, 在课堂上当场填完交回。1992年的会议记录特意记下了两批人的不同: 普查局的人是自愿交回的, 有工作上的动力, 字相对整齐; 学生是在课堂练习里被要求当场写完的。
这一年, 研究院办了第一次人口普查光学字符识别系统会议。普查局那一批给参赛的机器做训练用; 学生那一批留作考题, 答案事先不给参赛的人。比的是认错了多少。数字这一项, 最好的一家错了百分之一点五六, 错得最多的一家, 错了两成。
三、人的表现
同一份会议记录里还有一个实验。研究院另请了一个人, 去认学生写的那批考题里最前面的一万个数字。他事先不知道答案, 一秒钟认两个字左右, 每次干一到两个小时, 两次之间隔开好几个小时。他错了百分之一点五七。最好的那台机器, 百分之一点五六。
会议的结论写的是: 机器认手写分开的数字, 「正在接近人的表现」。同一段里紧跟着两条限定: 普查局那批字不是一个足够杂的样本; 字母这一项, 没有做同样条件下的人工实验。人的表现, 在这里是一个人的表现。
六年后, 1998年, 杨立昆和三位同事发表了一篇长文, 里面讲到他们怎样重新做了一份手写数字集。他们说, 研究院原先把普查局那批定为训练用, 把学生那批定为考题, 可是「普查局那一批干净得多, 也容易认得多」。原因他们也写了: 前一批是普查局的雇员写的, 后一批是高中生写的。考题比练习题难, 不是因为题目换了, 是因为写字的人换了。
他们于是把两批混在一起重分。学生那五百个人先按人分成两半, 一半进训练, 一半留作考题的候选; 训练的部分再用普查局的字补到六万张。正式的考题取一万张, 一半来自学生, 一半来自普查局。他们给它起的名字叫 MNIST, 意思是改过的标准局数据库。此后二十几年, 它是这一行最常用的一张考卷。
四、土耳其人
2005年十一月, 亚马逊上线了一个平台。平台上的一件活, 叫人类智能任务; 发活的一方叫请求者, 干活的一方叫工人。
2006年, 亚马逊网络服务部门的费利佩·卡布雷拉对《连线》杂志解释它: 有些事计算机做起来难, 人做起来容易; 这个平台把请人来做这些小事, 包装成一项软件可以直接调用的服务。亚马逊一方和同期的报道用过一个说法, 叫人工的人工智能。
平台的名字叫 Mechanical Turk, 机械土耳其人。这个名字借自十八世纪一台巡回表演的下棋机器: 一个穿着土耳其服饰的人偶坐在一只柜子上, 跟人下国际象棋, 看上去是一台自己会下棋的机器, 棋步其实是藏在柜子里的一个人走的。它1770年前后在维也纳亮相, 此后几十年里一直有人写文章拆它的门道, 1836年爱伦·坡也写过一篇。亚马逊借这个名字, 借的就是这一层: 外面看是机器, 里面干活的是人。
在这个平台上干活的是些什么人, 有人去问过。2010年二月, 纽约大学的帕诺斯·伊佩罗蒂斯做了一轮调查, 答卷的人里美国占百分之四十六点八, 印度占百分之三十四, 其余的来自六十六个国家。后来他和两位同事做了一个持续二十八个月的调查, 收回八万五千多份答卷, 约四万个不同的人; 他们的结论之一是, 这里的人一直在进进出出, 某一次调查拍下的只是某一刻。
2017年底, 一组研究者放出一份分析。材料是2014年9月到2017年1月间浏览器插件记下的匿名日志, 里头有两千六百七十六个工人做的约三百八十万件活。研究者把做这些活的时间, 连同找活, 读说明, 做完了却被拒付的时间一并算进去。算下来, 时薪的中位数大约两美元; 只有约百分之四的人, 挣得比当时美国联邦最低工资每小时七点二五美元多。
五、ImageNet
2009年六月, CVPR 上, 普林斯顿的邓嘉, 李飞飞等六个人发表了《ImageNet: 一个大规模分层的图像数据库》。它的骨架是现成的。1985年起, 普林斯顿的一群心理学家和语言学家在编一个英文的词汇库, 叫 WordNet, 词网, 最基本的单位是同义词集: 几个意思相同的词算一组, 组与组之间再按上位, 下位这些关系连起来。ImageNet 把 WordNet 里的名词同义词集拿来, 约八万组, 打算给每一组配上五百到一千张清理过的原图。文章发表的时候, 已经做完了十二棵子树, 五千二百四十七组, 约三百二十万张图。
图从哪里来: 拿 WordNet 里的词去图片搜索引擎上搜, 搜回来一大堆, 再交给人一张一张地看, 问的是一件很小的事: 这张图里, 有没有这个东西。交给的人, 就在亚马逊那个平台上。
到2014年, ImageNet 里有图的同义词集是两万一千八百四十一组, 标过的图一千四百一十九万七千一百二十二张。2016年斯坦福的一篇项目回顾说, 前后参与的工人将近五万, 来自一百六十七个国家, 干了大约两年半。
李飞飞后来多次讲过这个项目怎样起头, 讲的都是先把数据做大, 而不是先去多写几条看图的规则。那篇2009年的文章, 在会上排在海报区, 没有上台讲。
六、考场
2010年起, ImageNet 每年办一次大规模视觉识别挑战赛。一千个类别, 训练图和答案公开, 考题图也公开, 考题的答案不公开; 从2011年起, 各队把答案交到主办方的评分服务器上, 主办方拿藏着的标准答案去对。主办方写明了为什么藏: 不让人拿考题反复调自己的程序。赛后长期开放的评分服务器, 同一支队伍每周最多交两次。
成绩用的是前五错误率: 机器可以猜五个, 五个里有一个对就算对。2010年冠军是 NEC, 错了百分之二十八点二; 2011年施乐欧洲研究中心, 百分之二十五点八上下; 2012年多伦多大学三个人的那支队, 百分之十五点三; 2013年一家叫 Clarifai 的公司, 百分之十一点七; 2014年谷歌的队, 百分之六点六六; 2015年微软研究院, 百分之三点五七; 2016年公安部第三研究所的一支队伍, 队名叫搜神, 百分之二点九九上下; 2017年, 百分之二点二五上下。
2015年六月二日, 主办方发了一份声明: 从2014年十一月底到2015年五月中, 百度的一支队伍用至少三十个账号向评分服务器交了至少两百次, 其中三月中旬的五天里超过四十次。主办方的措辞是, 这些结果「不能与其他队伍的结果直接比较」, 并请百度十二个月内不要再交。百度那支队伍的声明说: 「我们为这个错误道歉。」过了几天, 百度公布了内部调查的结论, 说是一名组长让几位年轻工程师超过了每周两次的限制, 公司已经与这名组长解除雇佣。
考场里还有一个数: 人错多少。2014年九月二日, 斯坦福的研究生安德烈·卡帕西在自己的博客上写了一次实验。他先拿五百张验证图把自己练熟那一千个类别, 然后亲手去认一千五百张考题图, 大约一分钟一张。他的前五错误率是百分之五点一。同一批图上, 谷歌那个网络错了百分之六点八左右。他写下的限定是: 「根据我实际处理的这一批图像。」主办方后来的论文里还记了第二个人: 只练了一百张, 认了两百五十八张, 错了百分之十二。
2015年二月六日, 微软研究院的何恺明等四人发表了一篇文章, 标题里有一句「超越人类水平」。他们的成绩是百分之四点九四。文中拿来比的人类水平, 就是卡帕西那个百分之五点一; 比的时候, 他们前面加了「据我们所知」。
七、名单上的人
2006年十月, Netflix 办了一次推荐算法的大奖, 谁能把它自己那套推荐办法预测星级的误差降低一成, 奖一百万美元。公开的训练数据有约一亿零四十八万条评分, 来自四十八万零一百八十九个订户, 涉及一万七千七百七十部影片, 每条带一个一到五的星级和日期。订户的名字换成了一串数字编号。
同一年, 得克萨斯大学的阿尔温德·纳拉亚南和维塔利·什马蒂科夫写出一篇预印本, 两年后正式发表。他们的办法不是从文件里解出名字, 而是拿一个人在别的公开网站上留下的几部电影的评分和大概日期, 去跟那份匿名数据里的评分轨迹对。他们要说明的是: 这种稀疏的记录, 只要旁边有别的信息, 就能重新连回到人身上。
2009年九月二十一日, 一百万美元发给了一支由几支队伍合并成的队伍。同年十二月, 有人就这批数据和计划中的第二届比赛起诉 Netflix, 指控匿名的评分仍能被重新认出, 暴露个人看过什么电影。2010年三月, Netflix 宣布不再办第二届。2012年, Netflix 的工程师在公司博客上写, 比赛后期那些新办法在离线测试里确实更准, 但多出来的那点准头, 「看来不足以证明把它们工程化上线所需投入是值得的」。
ImageNet 里有一大类叫人。这一类不是项目组从零列出来的, 是从 WordNet 的词义层级里整棵继承来的。2019年九月, 凯特·克劳福德和特雷弗·帕格伦上线了一个项目, 叫《挖掘人工智能》, 人这一类下面有两千八百多个子类。配套的一个网站叫 ImageNet Roulette: 谁都可以传一张自己的照片上去, 网站用人这一类里的标签, 给照片回一个名字。
2020年一月, ImageNet 团队自己发表文章, 说人这一类的子类里, 建议拿掉一千五百九十三个带贬损、冒犯或涉及敏感身份的标签, 连同相关的六十万零四十张图像。同年六月, 麻省理工学院的研究者宣布「决定正式撤回」另一份更早的数据集, 八千万张小图, 请用过的人删掉手里的副本。就在前后, 维奈·普拉布和阿贝巴·比尔哈内发表文章, 逐项清点了这类大图库里的贬损类别和未经同意的人像。
还有一张考卷, 考的是机器怎样看人。2018年二月, 乔伊·布奥兰维尼和蒂姆尼特·格布鲁发表《性别色调》。她们自己做了一份考卷: 三个非洲国家, 三个欧洲国家的国会议员, 约一千二百七十个公开的人像, 按性别和皮肤科用的一种六级肤色分类分组。拿去考的是三家公司对外开放的性别判断服务。肤色较深的女性这一组, 错误率分别约为百分之三十四点七, 三十四点五, 二十点八; 肤色较浅的男性, 三家都不到百分之一。其中两家公司随后发布了改进, 说深肤色人群上的错误降了下来。
八、一个人
这一篇里有两次人类水平。1992年那一次, 是一个人, 一万个数字, 一秒两个, 一次一两个小时。2014年那一次, 也是一个人, 一千五百张图, 一分钟一张, 先拿五百张练熟。两个人都认真做了, 也都写下了自己是怎样做的。后来传下来的, 是两句话: 机器接近了人; 机器超过了人。
从一个人到人, 删掉的是卡帕西写在博客里的那一句限定, 是何恺明他们加的那四个字, 是1992年那段结论后面的两条限定。删掉以后, 一个人在一套题上做出的分数, 成了人类的一条线。
考卷后面也都站着人。加斯佩半岛上量花的植物学家; 两千一百个交回表格的普查员, 五百个在课堂上填格子的高中生; 那个一秒认两个字的人; 将近五万个在平台上看图答有没有的工人; 四十八万个换成了编号的看电影的人; 被收进人这一类、后来团队拟撤下的约六十万张图像; 六个国家议会里那一千多位议员。
考卷一张一张地换, 分数一年一年地降。考到最后, 各队比的是那个藏起来的标准答案还能对上几个; 有一支队伍为了多对上几次, 五天里交了四十多回。分数是量机器的一把尺, 当尺本身成了要去够的东西, 主办方就得把答案藏起来, 规定一周只准交两次。
这个系列管那些量来量去总剩在外面的叫余项。在这里它不难找: 每一张考卷里的字, 花, 图和评分, 都出自一只手, 一双眼睛, 一个人的一次选择。机器的分数写在排行榜上; 那些人, 有的留下了名字, 大多数留下的是一个编号, 一个格子, 一个时薪。
机器还在造, 而界在哪里, 每一代人重说一遍。