鑿構週期律 · AI系列 · 16

每一張圖, 都有人先認過

秦漢 · 約 10 分鐘 · 發布

一、花

1936年, 統計學家羅納德·費希爾在《優生學年鑒》第七卷第二期上發表了一篇文章, 題目是《多重測量在分類學問題中的應用》。文章裡有一張表, 三種鳶尾花, 每種五十朵, 一共一百五十朵。每一朵量四個數: 萼片的長和寬, 花瓣的長和寬。

量花的人, 費希爾在文章裡寫了名字: 植物學家埃德加·安德森。其中兩種, 是安德森在同一片野地裡採的, 五十朵一組。他前一年發過一篇短文, 叫《加斯佩半島的鳶尾》; 加斯佩半島在加拿大東邊, 伸進聖勞倫斯灣。

五十一年後, 1987年, 加州大學歐文分校一個叫戴維·阿哈的博士生, 在學校的機器上開了一個文件傳輸的存檔, 把同校幾個博士生手裡已經收集好的數據, 連同說明文字, 放進去供外面的人來取。他2019年回憶說, 一開始只有「少量數據集」。這個存檔後來叫機器學習數據倉庫。安德森那一百五十朵花, 後來也進了這個倉庫。

一個植物學家, 在一個半島上, 蹲在一片野花裡, 一朵一朵地量。量出來的六百個數, 後來成了一代又一代的機器學分類時做的頭一道題。

二、格子

1990年前後, 美國國家標準與技術研究院為了人口普查的一件事, 要讓機器認手寫的字。他們先要一批手寫的字。表格發給了三千四百名人口普查局的常設外勤人員, 交回來的有兩千一百份。表格上印著一個一個的小格子, 寫字的人在格子裡一格填一個字; 收回來以後, 由程序把格子切開, 一個字切成一張小圖。

另一批表格發到一所高中, 五百個上數學課和理科課的學生, 在課堂上當場填完交回。1992年的會議記錄特意記下了兩批人的不同: 普查局的人是自願交回的, 有工作上的動力, 字相對整齊; 學生是在課堂練習裡被要求當場寫完的。

這一年, 研究院辦了第一次人口普查光學字符識別系統會議。普查局那一批給參賽的機器做訓練用; 學生那一批留作考題, 答案事先不給參賽的人。比的是認錯了多少。數字這一項, 最好的一家錯了百分之一點五六, 錯得最多的一家, 錯了兩成。

三、人的表現

同一份會議記錄裡還有一個實驗。研究院另請了一個人, 去認學生寫的那批考題裡最前面的一萬個數字。他事先不知道答案, 一秒鐘認兩個字左右, 每次幹一到兩個小時, 兩次之間隔開好幾個小時。他錯了百分之一點五七。最好的那臺機器, 百分之一點五六。

會議的結論寫的是: 機器認手寫分開的數字, 「正在接近人的表現」。同一段裡緊跟著兩條限定: 普查局那批字不是一個足夠雜的樣本; 字母這一項, 沒有做同樣條件下的人工實驗。人的表現, 在這裡是一個人的表現。

六年後, 1998年, 楊立昆和三位同事發表了一篇長文, 裡面講到他們怎樣重新做了一份手寫數字集。他們說, 研究院原先把普查局那批定為訓練用, 把學生那批定為考題, 可是「普查局那一批乾淨得多, 也容易認得多」。原因他們也寫了: 前一批是普查局的僱員寫的, 後一批是高中生寫的。考題比練習題難, 不是因為題目換了, 是因為寫字的人換了。

他們於是把兩批混在一起重分。學生那五百個人先按人分成兩半, 一半進訓練, 一半留作考題的候選; 訓練的部分再用普查局的字補到六萬張。正式的考題取一萬張, 一半來自學生, 一半來自普查局。他們給它起的名字叫 MNIST, 意思是改過的標準局數據庫。此後二十幾年, 它是這一行最常用的一張考卷。

四、土耳其人

2005年十一月, 亞馬遜上線了一個平臺。平臺上的一件活, 叫人類智能任務; 發活的一方叫請求者, 幹活的一方叫工人。

2006年, 亞馬遜網絡服務部門的費利佩·卡布雷拉對《連線》雜誌解釋它: 有些事計算機做起來難, 人做起來容易; 這個平臺把請人來做這些小事, 包裝成一項軟件可以直接調用的服務。亞馬遜一方和同期的報道用過一個說法, 叫人工的人工智能。

平臺的名字叫 Mechanical Turk, 機械土耳其人。這個名字借自十八世紀一臺巡迴表演的下棋機器: 一個穿著土耳其服飾的人偶坐在一隻櫃子上, 跟人下國際象棋, 看上去是一臺自己會下棋的機器, 棋步其實是藏在櫃子裡的一個人走的。它1770年前後在維也納亮相, 此後幾十年裡一直有人寫文章拆它的門道, 1836年愛倫·坡也寫過一篇。亞馬遜借這個名字, 借的就是這一層: 外面看是機器, 裡面幹活的是人。

在這個平臺上幹活的是些什麼人, 有人去問過。2010年二月, 紐約大學的帕諾斯·伊佩羅蒂斯做了一輪調查, 答卷的人裡美國佔百分之四十六點八, 印度佔百分之三十四, 其餘的來自六十六個國家。後來他和兩位同事做了一個持續二十八個月的調查, 收回八萬五千多份答卷, 約四萬個不同的人; 他們的結論之一是, 這裡的人一直在進進出出, 某一次調查拍下的只是某一刻。

2017年底, 一組研究者放出一份分析。材料是2014年9月到2017年1月間瀏覽器插件記下的匿名日誌, 裡頭有兩千六百七十六個工人做的約三百八十萬件活。研究者把做這些活的時間, 連同找活, 讀說明, 做完了卻被拒付的時間一並算進去。算下來, 時薪的中位數大約兩美元; 只有約百分之四的人, 掙得比當時美國聯邦最低工資每小時七點二五美元多。

五、ImageNet

2009年六月, CVPR 上, 普林斯頓的鄧嘉, 李飛飛等六個人發表了《ImageNet: 一個大規模分層的圖像數據庫》。它的骨架是現成的。1985年起, 普林斯頓的一群心理學家和語言學家在編一個英文的詞彙庫, 叫 WordNet, 詞網, 最基本的單位是同義詞集: 幾個意思相同的詞算一組, 組與組之間再按上位, 下位這些關係連起來。ImageNet 把 WordNet 裡的名詞同義詞集拿來, 約八萬組, 打算給每一組配上五百到一千張清理過的原圖。文章發表的時候, 已經做完了十二棵子樹, 五千二百四十七組, 約三百二十萬張圖。

圖從哪裡來: 拿 WordNet 裡的詞去圖片搜索引擎上搜, 搜回來一大堆, 再交給人一張一張地看, 問的是一件很小的事: 這張圖裡, 有沒有這個東西。交給的人, 就在亞馬遜那個平臺上。

到2014年, ImageNet 裡有圖的同義詞集是兩萬一千八百四十一組, 標過的圖一千四百一十九萬七千一百二十二張。2016年斯坦福的一篇項目回顧說, 前後參與的工人將近五萬, 來自一百六十七個國家, 幹了大約兩年半。

李飛飛後來多次講過這個項目怎樣起頭, 講的都是先把數據做大, 而不是先去多寫幾條看圖的規則。那篇2009年的文章, 在會上排在海報區, 沒有上臺講。

六、考場

2010年起, ImageNet 每年辦一次大規模視覺識別挑戰賽。一千個類別, 訓練圖和答案公開, 考題圖也公開, 考題的答案不公開; 從2011年起, 各隊把答案交到主辦方的評分服務器上, 主辦方拿藏著的標準答案去對。主辦方寫明瞭為什麼藏: 不讓人拿考題反覆調自己的程序。賽後長期開放的評分服務器, 同一支隊伍每週最多交兩次。

成績用的是前五錯誤率: 機器可以猜五個, 五個裡有一個對就算對。2010年冠軍是 NEC, 錯了百分之二十八點二; 2011年施樂歐洲研究中心, 百分之二十五點八上下; 2012年多倫多大學三個人的那支隊, 百分之十五點三; 2013年一家叫 Clarifai 的公司, 百分之十一點七; 2014年谷歌的隊, 百分之六點六六; 2015年微軟研究院, 百分之三點五七; 2016年公安部第三研究所的一支隊伍, 隊名叫搜神, 百分之二點九九上下; 2017年, 百分之二點二五上下。

2015年六月二日, 主辦方發了一份聲明: 從2014年十一月底到2015年五月中, 百度的一支隊伍用至少三十個帳號向評分服務器交了至少兩百次, 其中三月中旬的五天裡超過四十次。主辦方的措辭是, 這些結果「不能與其他隊伍的結果直接比較」, 並請百度十二個月內不要再交。百度那支隊伍的聲明說: 「我們為這個錯誤道歉。」過了幾天, 百度公佈了內部調查的結論, 說是一名組長讓幾位年輕工程師超過了每週兩次的限制, 公司已經與這名組長解除雇傭。

考場裡還有一個數: 人錯多少。2014年九月二日, 斯坦福的研究生安德烈·卡帕西在自己的博客上寫了一次實驗。他先拿五百張驗證圖把自己練熟那一千個類別, 然後親手去認一千五百張考題圖, 大約一分鐘一張。他的前五錯誤率是百分之五點一。同一批圖上, 谷歌那個網絡錯了百分之六點八左右。他寫下的限定是: 「根據我實際處理的這一批圖像。」主辦方後來的論文裡還記了第二個人: 只練了一百張, 認了兩百五十八張, 錯了百分之十二。

2015年二月六日, 微軟研究院的何愷明等四人發表了一篇文章, 標題裡有一句「超越人類水平」。他們的成績是百分之四點九四。文中拿來比的人類水平, 就是卡帕西那個百分之五點一; 比的時候, 他們前面加了「據我們所知」。

七、名單上的人

2006年十月, Netflix 辦了一次推薦算法的大獎, 誰能把它自己那套推薦辦法預測星級的誤差降低一成, 獎一百萬美元。公開的訓練數據有約一億零四十八萬條評分, 來自四十八萬零一百八十九個訂戶, 涉及一萬七千七百七十部影片, 每條帶一個一到五的星級和日期。訂戶的名字換成了一串數字編號。

同一年, 得克薩斯大學的阿爾溫德·納拉亞南和維塔利·什馬蒂科夫寫出一篇預印本, 兩年後正式發表。他們的辦法不是從文件裡解出名字, 而是拿一個人在別的公開網站上留下的幾部電影的評分和大概日期, 去跟那份匿名數據裡的評分軌跡對。他們要說明的是: 這種稀疏的記錄, 只要旁邊有別的信息, 就能重新連回到人身上。

2009年九月二十一日, 一百萬美元發給了一支由幾支隊伍合併成的隊伍。同年十二月, 有人就這批數據和計劃中的第二屆比賽起訴 Netflix, 指控匿名的評分仍能被重新認出, 暴露個人看過什麼電影。2010年三月, Netflix 宣佈不再辦第二屆。2012年, Netflix 的工程師在公司博客上寫, 比賽後期那些新辦法在離線測試裡確實更準, 但多出來的那點準頭, 「看來不足以證明把它們工程化上線所需投入是值得的」。

ImageNet 裡有一大類叫人。這一類不是項目組從零列出來的, 是從 WordNet 的詞義層級裡整棵繼承來的。2019年九月, 凱特·克勞福德和特雷弗·帕格倫上線了一個項目, 叫《挖掘人工智能》, 人這一類下面有兩千八百多個子類。配套的一個網站叫 ImageNet Roulette: 誰都可以傳一張自己的照片上去, 網站用人這一類裡的標籤, 給照片回一個名字。

2020年一月, ImageNet 團隊自己發表文章, 說人這一類的子類裡, 建議拿掉一千五百九十三個帶貶損、冒犯或涉及敏感身分的標籤, 連同相關的六十萬零四十張圖像。同年六月, 麻省理工學院的研究者宣佈「決定正式撤回」另一份更早的數據集, 八千萬張小圖, 請用過的人刪掉手裡的副本。就在前後, 維奈·普拉布和阿貝巴·比爾哈內發表文章, 逐項清點了這類大圖庫裡的貶損類別和未經同意的人像。

還有一張考卷, 考的是機器怎樣看人。2018年二月, 喬伊·布奧蘭維尼和蒂姆尼特·格布魯發表《性別色調》。她們自己做了一份考卷: 三個非洲國家, 三個歐洲國家的國會議員, 約一千二百七十個公開的人像, 按性別和皮膚科用的一種六級膚色分類分組。拿去考的是三家公司對外開放的性別判斷服務。膚色較深的女性這一組, 錯誤率分別約為百分之三十四點七, 三十四點五, 二十點八; 膚色較淺的男性, 三家都不到百分之一。其中兩家公司隨後發佈了改進, 說深膚色人群上的錯誤降了下來。

八、一個人

這一篇裡有兩次人類水平。1992年那一次, 是一個人, 一萬個數字, 一秒兩個, 一次一兩個小時。2014年那一次, 也是一個人, 一千五百張圖, 一分鐘一張, 先拿五百張練熟。兩個人都認真做了, 也都寫下了自己是怎樣做的。後來傳下來的, 是兩句話: 機器接近了人; 機器超過了人。

從一個人到人, 刪掉的是卡帕西寫在博客裡的那一句限定, 是何愷明他們加的那四個字, 是1992年那段結論後面的兩條限定。刪掉以後, 一個人在一套題上做出的分數, 成了人類的一條線。

考卷後面也都站著人。加斯佩半島上量花的植物學家; 兩千一百個交回表格的普查員, 五百個在課堂上填格子的高中生; 那個一秒認兩個字的人; 將近五萬個在平臺上看圖答有沒有的工人; 四十八萬個換成了編號的看電影的人; 被收進人這一類、後來團隊擬撤下的約六十萬張圖像; 六個國家議會裡那一千多位議員。

考卷一張一張地換, 分數一年一年地降。考到最後, 各隊比的是那個藏起來的標準答案還能對上幾個; 有一支隊伍為了多對上幾次, 五天裡交了四十多回。分數是量機器的一把尺, 當尺本身成了要去夠的東西, 主辦方就得把答案藏起來, 規定一週只准交兩次。

這個系列管那些量來量去總剩在外面的叫餘項。在這裡它不難找: 每一張考卷裡的字, 花, 圖和評分, 都出自一隻手, 一雙眼睛, 一個人的一次選擇。機器的分數寫在排行榜上; 那些人, 有的留下了名字, 大多數留下的是一個編號, 一個格子, 一個時薪。

機器還在造, 而界在哪裡, 每一代人重說一遍。