一、花
1936年、統計学者のロナルド・フィッシャーは『優生学年報』第7巻第2号に「分類学上の問題への多変量測定の応用」という論文を発表した。論文には表が一つある。アヤメが三種、各50本で、計150本。一つの花につき測るのは四つの値、がく片と花弁の、それぞれの長さと幅だ。
花を測った人の名を、フィッシャーは論文に書いている。植物学者のエドガー・アンダーソンだ。三種のうち二種は、同じ野原でアンダーソンが50本ずつ採ったものだった。その前年に彼は「ガスペ半島のアヤメ」という短文を発表していた。ガスペ半島はカナダの東にあり、セントローレンス湾に突き出ている。
51年後の1987年、カリフォルニア大学アーバイン校の博士課程にいたデイヴィッド・アハは、大学のコンピューターにファイル転送用の書庫を作った。同じ大学の博士課程の学生がすでに集めていたデータを説明書きとともに置き、外部の人が取り出せるようにした。2019年に振り返ったところでは、初めは「わずかな数のデータセット」しかなかった。その書庫はのちに機械学習データリポジトリと呼ばれるようになった。アンダーソンの150本の花も、やがてそこに入った。
ある半島で、野の花のなかに一人の植物学者がしゃがみ込み、一つずつ測っていく。そうして得られた600の数字が、何世代もの機械が分類を学ぶときに解く最初の問題になった。
二、マス目
1990年前後、米国国立標準技術研究所は国勢調査のために、手書きの文字を機械に読ませようとした。まず手書きの文字を集める必要があった。国勢調査局の常勤の現場職員3,400人に用紙を配り、2,100枚が返ってきた。用紙には小さなマス目が印刷してあり、一マスに一字ずつ書く。回収したら、プログラムでマス目を切り分け、一字ずつ小さな画像にした。
別の用紙はある高校に配った。数学や理科の授業を受けていた500人が、教室でその場で書いて提出した。1992年の会議録には、二つの集団の違いがわざわざ記してある。調査局の職員は自発的に返送しており、仕事上の動機もあって字が比較的整っていた。生徒のほうは授業の課題として、その場で書き終えるよう求められた。
その年、研究所は国勢調査用の光学文字認識システムについて、第1回の会議を開いた。調査局の分は参加する機械の訓練に使い、生徒の分は試験問題に取っておいた。参加者に答えは教えない。どれだけ読み違えたかを比べる。数字では、最も成績のよかったシステムの誤りは1.56%、最も悪いものでは2割だった。
三、人間の成績
同じ会議録にはもう一つ実験がある。研究所では別に一人に頼み、生徒が書いた試験問題の先頭1万字の数字を読んでもらった。答えは知らされていない。1秒に約2字ずつ、一度に1、2時間続け、次まで数時間空けた。誤りは1.57%。一番よかった機械は1.56%だった。
会議の結論には、一字ずつ分かれた手書き数字を読む機械は「人間の成績に近づきつつある」とある。同じ段落には、すぐ二つの但し書きが続く。調査局の文字は十分に多様な標本ではない。アルファベットでは、同じ条件で人に読ませる実験をしていない。ここでいう人間の成績は、一人の人間の成績だ。
6年後の1998年、ヤン・ルカンと三人の共同研究者は長い論文を発表し、手書き数字のデータセットを作り直した経緯を書いた。研究所は調査局の分を訓練用、生徒の分を試験用にしていたが、「調査局の分ははるかにきれいで、ずっと読みやすかった」。理由も書いている。前者を書いたのは調査局の職員、後者を書いたのは高校生だ。練習より試験が難しかったのは、問題が変わったからではない。字を書いた人が変わったからだ。
そこで二つを混ぜて分け直した。まず生徒500人を人ごとに半分に分け、一方を訓練用に入れ、もう一方を試験問題の候補に残す。訓練用には調査局の文字を足し、6万枚にした。正式な試験問題には1万枚を採り、半分を生徒から、半分を調査局から取った。標準局のデータベースを改変したという意味で、MNISTと名づけた。その後20年以上、この分野で最もよく使われる試験問題になった。
四、トルコ人
2005年11月、アマゾンがあるプラットフォームを立ち上げた。そこでの仕事一件を「人間知能タスク」と呼び、仕事を出す側を依頼者、引き受ける側をワーカーと呼んだ。
2006年、アマゾンのウェブサービス部門のフェリペ・カブレラは『ワイアード』誌にこう説明した。コンピューターには難しく、人には簡単なことがある。その小さな仕事を人に頼むという行為を、このプラットフォームではソフトウェアが直接呼び出せるサービスにまとめた。アマゾン側も当時の報道も「人工の人工知能」という言い方をしている。
名はMechanical Turk、機械仕掛けのトルコ人。18世紀に各地を巡って見世物になったチェス機械から取った。トルコ風の服を着た人形が箱の上に座って人とチェスを指す。機械が自分で指しているように見えるが、実際に手を指すのは箱の中に隠れた人間だった。1770年前後にウィーンに登場し、その後何十年も仕掛けを暴こうとする記事が書かれた。1836年にはエドガー・アラン・ポーも書いた。アマゾンがこの名から借りたのは、外から見ると機械だが、中で働くのは人、というところだ。
ここで働くのはどんな人か、調べた人がいる。2010年2月、ニューヨーク大学のパノス・イペイロティスが調査したところ、回答者の46.8%が米国、34%がインドで、残りは66カ国からだった。その後、彼は二人の共同研究者と28カ月にわたり調べ、約4万人から8万5千件を超える回答を得た。結論の一つは、働く人々は絶えず入れ替わっており、一度の調査が写すのは一時点にすぎない、ということだった。
2017年末、ある研究チームが分析を公表した。2014年9月から2017年1月まで、ブラウザーの拡張機能で、2,676人のワーカーがこなした約380万件の仕事を匿名で記録した。仕事を探す時間も、説明を読む時間も、終えたのに支払いを断られた仕事の時間も数えた。時給の中央値は約2ドル。当時の米国連邦最低賃金の時給7.25ドルを超えた人は、約4%だけだった。
五、ImageNet
2009年6月、CVPRで、プリンストンのジア・デン、フェイフェイ・リーら6人が「ImageNet:大規模な階層型画像データベース」を発表した。骨組みはすでにあった。1985年からプリンストンの心理学者と言語学者がWordNet、つまり語の網という英語の語彙データベースを編んでいた。基本単位は同義語集合だ。同じ意味の数語を一組にして、組どうしを上位、下位などの関係でつなぐ。ImageNetはWordNetの名詞の同義語集合、約8万組を取り、各組に選別済みの元画像を500枚から1,000枚ずつ付けるつもりだった。発表した時点では、すでに12の部分木、5,247組、約320万枚ができていた。
画像はどこから来るのか。WordNetの語を画像検索にかけ、大量に集め、人に一枚ずつ見てもらう。尋ねるのはごく小さなことだ。この画像に、これが写っていますか。見てもらう相手は、あのアマゾンのプラットフォームにいた。
2014年までに、画像の付いた同義語集合は21,841組、ラベルを付けた画像は14,197,122枚になった。2016年のスタンフォードのプロジェクト回顧によれば、参加したワーカーは通算で167カ国から5万人近く、作業は約2年半に及んだ。
リーはのちに何度も、このプロジェクトの始まりを語った。画像を見る規則をいくつか書き足すより、まずデータを大きくするという話だ。2009年の論文は、会議ではポスター会場に置かれた。壇上では発表されなかった。
六、試験会場
2010年からImageNetは毎年、大規模な画像認識の競技会を開いた。分類は1,000種類。訓練画像と答えは公開する。試験画像も公開するが、答えは伏せる。2011年からは各チームが主催者の採点サーバーに答えを送り、主催者が伏せてある正解と照合した。主催者は、試験問題を使って何度もプログラムを調整させないためだと明記している。大会後も開かれている採点サーバーには、一チーム週2回まで提出できる。
成績は上位5候補の誤り率で測る。機械は五つまで答えを出せて、一つでも合っていれば正解だ。2010年の首位はNECで28.2%、2011年はゼロックス欧州研究所で約25.8%、2012年はトロント大学の三人のチームで15.3%、2013年はClarifaiという会社で11.7%、2014年はグーグルで6.66%、2015年はマイクロソフト・リサーチで3.57%、2016年は中国公安部第三研究所の「捜神」で約2.99%、2017年は約2.25%だった。
2015年6月2日、主催者は声明を出した。2014年11月末から2015年5月半ばまで、百度のあるチームが少なくとも30のアカウントを使って採点サーバーに少なくとも200回提出し、3月半ばの5日間だけで40回を超えた。主催者の言い方では、この成績は「他チームの成績と直接比較できない」。百度には12カ月間、提出しないよう求めた。百度のチームは声明で「この誤りをおわびします」と述べた。数日後、百度は内部調査結果を公表した。チームの責任者一人が若手エンジニア数人に週2回の上限を超えさせ、同社は責任者との雇用関係を解消したという。
試験会場にはもう一つ数がある。人はどれだけ間違えるか。2014年9月2日、スタンフォードの大学院生アンドレイ・カルパシーが自身のブログに実験を書いた。最初に検証用画像500枚で1,000種類に慣れ、それから試験画像1,500枚を自分で判別した。約1分に1枚。上位5候補の誤り率は5.1%だった。同じ画像でグーグルのネットワークは約6.8%。彼は「私が実際に扱ったこの一群の画像に基づけば」と断っている。主催者の後の論文にはもう一人が登場する。練習は100枚だけで、258枚を判別し、誤り率は12%だった。
2015年2月6日、マイクロソフト・リサーチのカイミン・ホーら4人が、題に「人間の水準を超える」と入れた論文を発表した。成績は4.94%。比べた人間の水準とは、カルパシーの5.1%だった。彼らは比較するにあたり「私たちの知るかぎり」と添えた。
七、名簿に載った人
2006年10月、Netflixは推薦アルゴリズムの賞を設けた。同社の推薦方法による星評価の予測誤差を1割減らした人に100万ドル。公開された訓練データは、480,189人の加入者が17,770本の映画につけた約1億48万件の評価で、一件ずつ、星一つから五つまでの評価と日付が付いていた。加入者の名前は数字の識別番号に置き換えた。
同じ年、テキサス大学のアルヴィンド・ナラヤナンとヴィタリー・シュマチコフがプレプリントを書き、2年後に正式発表した。ファイルから名前を解読したわけではない。ある人が別の公開サイトに残した数本の映画の評価とおおよその日付を、匿名データに残る評価の履歴と照らし合わせた。示そうとしたのは、まばらな記録でも別の情報がそばにあれば、もう一度その人に結びつけられるということだった。
2009年9月21日、賞金100万ドルは複数のチームが合流した一チームに渡った。同年12月、このデータと計画中の第2回大会をめぐり、Netflixを訴えた人がいた。匿名でも評価を照合して個人を特定でき、どの映画を見たかが露出するという訴えだった。2010年3月、Netflixは第2回を開かないと発表した。2012年、同社のエンジニアは会社のブログに書いた。大会後半の手法はオフライン試験では確かに精度が高かったが、余分に得られた精度は「実装して稼働させるのに必要な投資に見合うとは思えなかった」。
ImageNetには「人」という大きな分類がある。プロジェクトが一から並べたのではなく、WordNetの語義の階層から木ごと引き継いだ。2019年9月、ケイト・クロフォードとトレヴァー・パグレンは「AIを掘る」と題するプロジェクトを公開した。「人」の下には2,800を超える下位分類がある。付随するImageNet Rouletteというサイトには誰でも自分の写真を送ることができ、「人」の分類にあるラベルが名前となって返ってきた。
2020年1月、ImageNetのチーム自らが論文を公表し、「人」の下位分類のうち、蔑視的、侮辱的、あるいは慎重に扱うべき属性にかかわる1,593のラベルを、関連する600,040枚の画像とともに取り除くよう提案した。同年6月には、マサチューセッツ工科大学の研究者が別の、もっと古いデータセット「8,000万枚の小画像」を正式に撤回すると発表し、使った人に手元の複製を削除するよう求めた。その前後にヴィナイ・プラブとアベバ・ビルハネは論文を発表し、こうした大規模画像集にある蔑視的な分類と同意なしに収められた人物写真を、一項目ずつ数え上げた。
機械が人をどう見るかを調べた試験もある。2018年2月、ジョイ・ブオラムウィニとティムニット・ゲブルが「Gender Shades」を発表した。二人で作った試験問題には、アフリカ3カ国とヨーロッパ3カ国の国会議員の公開写真、約1,270人分が入っていた。性別と、皮膚科で使う6段階の肌の色の分類とで分けた。試験したのは3社が公開していた性別判定サービスだ。肌の色が濃い女性の誤り率はそれぞれ約34.7%、34.5%、20.8%。色が薄い男性では3社とも1%未満。うち2社はその後、改良を発表し、肌の色が濃い人々での誤りを減らしたと述べた。
八、一人
この一篇には、人間の水準が二度出てくる。1992年は、一人、数字1万字、1秒に2字、一度に1、2時間。2014年も一人、画像1,500枚、1分に1枚、先に500枚で練習した。二人とも丁寧に取り組み、どうやったのかも書き残した。後に伝わったのは二つの文だ。機械は人に近づいた。機械は人を超えた。
一人から人へ移るとき、カルパシーがブログに書いた但し書きが消え、ホーたちが添えた一言が消え、1992年の結論に続いた二条件が消えた。消えたあと、一人が一組の問題で出した得点は、人類の境界線になった。
試験問題の後ろにも人が立っている。ガスペ半島で花を測った植物学者。用紙を返した2,100人の調査員、教室でマス目を埋めた500人の高校生。1秒に2字読んだあの人。プラットフォームで画像を見て写っているかどうか答えた5万人近く。番号に置き換えられた映画の観客48万人。「人」の分類に取り込まれ、後にチームが取り下げを提案した約60万枚の画像。6カ国の議会にいた千人あまりの議員。
試験問題は次々と変わり、誤り率は年々下がる。最後に各チームが競ったのは、伏せてある正解にあと何問合わせられるかだった。もっと合わせようと、5日で40回以上提出したチームもあった。得点は機械を測る物差しだ。物差し自体が手を伸ばして届くべきものになると、主催者は答えを隠し、一週2回までと決めなくてはならなくなる。
このシリーズでは、いくら測っても外に残るものを余項と呼ぶ。ここでは見つけにくくはない。どの試験問題の文字も、花も、画像も、評価も、一つの手と一対の目と、一人の一度の選択から来た。機械の得点は順位表に出る。人々のなかには名を残した人もいる。たいてい残ったのは、番号か、マス目か、時給だった。
機械は今も造られつづける。境界線がどこにあるかは、世代ごとに語り直される。