一、四つの名前
2006年7月、二本の論文がほぼ同時に出た。一本は『Neural Computation』第18巻第7号。ジェフリー・ヒントン、サイモン・オシンデロ、イーウェイ・テーの「深層信念ネットワークの高速学習アルゴリズム」だ。要旨によれば、よいと見えた手をそのつど選ぶ高速な「貪欲」アルゴリズムで、深い有向信念ネットワークを一層ずつ学習できる。すぐ次に条件が付く。「ただし、最上部の二層が無向の連想記憶を構成すること。」
もう一本は7月28日付の『サイエンス』に出たヒントンとルスラン・サラフディノフの共著で、「ニューラルネットワークによるデータの次元削減」。多層のネットワークを一層ずつ事前に訓練しておき、第十四篇の誤差を後ろへ伝える方法で細かく調整する。題にははっきり、ニューラルネットワークとある。
同じ年の冬、NIPSと呼ばれる神経情報処理システム会議に、モントリオール大学のヨシュア・ベンジオのチームが「深層ネットワークの貪欲な層別訓練」を出した。要旨は深い多層ニューラルネットワークの話から始まり、困難をこう書いている。無作為な初期値から勾配に基づく最適化を始めると、よくない解に「しばしば行き詰まるように見える」。ように見える、しばしば。どちらも書いてある。同じ会議でニューヨーク大学のヤン・ルカンのチームが出したのは「エネルギーに基づくモデルによるスパース表現の効率的な学習」。題に深いという語はない。
四本の論文に四通りの言い方。深層信念ネットワーク、ニューラルネットワーク、深層ネットワーク、スパース表現。その年はまだ、みなが使う名はなかった。
そもそも「深層学習」は、その年初めて機械学習の文献に現れた言葉ではない。1986年8月、米国人工知能学会の年次大会で、リナ・デクターは制約充足問題について「探索しながら学習する」という論文を発表した。すでに深い学習と浅い学習を対にして使っている。彼女が深いと言ったのは、探索中に衝突をどこまで深く記録するかで、多層ネットワークとは関係がなかった。
前に別のところで使われた形容詞が、後で違うものの呼び名になる。このシリーズで初めてではない。
二、その数年
2004年、ヒントンと数人の共同研究者はカナダ高等研究所で「神経計算と適応知覚」という新しいプロジェクトを立ち上げた。ベンジオもルカンも加わり、ヒントンが2013年まで責任者を務めた。2006年8月、このプロジェクトはトロントでサマースクールを開いた。
2007年12月、バンクーバーでNIPS 2007深層学習ワークショップと題する会があった。ヒントンの講演は、後の論文に「脳の中でどう誤差逆伝播を行うか」と題して引用されている。第十四篇で読んだ1986年の論文は、最後の段落で、今の形のこの方法は脳内の学習ではないと書いていた。21年後、同じ人が深層学習と名の付く会に立ち、脳内でどうやるかを話していた。
名は少しずつ育った。2009年、スタンフォードのアンドリュー・ンのチームの論文題に深層教師なし学習が現れる。2011年、大会には深層学習と教師なし特徴学習という会があり、二つに関心のある人を集めるためだと明記した。2012年にはグーグルの論文が本文でこの分野を教師なし特徴学習と深層学習と呼ぶ。同年の音声認識を扱った論文の題には、深層ニューラルネットワークとあった。
ルカンは後に、彼ら数人は深層学習の陰謀団とでもいうものだったと冗談めかして語った。2011年にCVPRに落ちた論文が翌年ICMLに通ったこと、それ以前にはCNNを使った論文が次々に落とされたことも語っている。
三、グラフィックスカード
グラフィックスカードはもともと画面を描くためのものだ。2007年2月、エヌビディアはCUDAという開発ツール一式を出した。画像以外を計算するプログラムでも、描画用の入り口を回り道せず、直接カードを使えるようになった。
2009年6月、ンと学生二人、ラジャット・ライナとアナンド・マダヴァンは「グラフィックスプロセッサーによる大規模な深層教師なし学習」を発表した。会場のスライドには使ったカードが載っている。エヌビディアGTX 280が一枚、メモリー1GB、240コア、当時約250ドル。普通のデュアルコア機に比べ、あるネットワークの訓練は72倍、別のものは約15倍速い。多層ネットワークなら一層につき約一日で学習できた。
スイスのルガーノ近郊にIDSIAという人工知能研究所がある。2010年、ダン・チレシャン、ユルゲン・シュミットフーバーらはグラフィックスカードでごく普通の誤差逆伝播を走らせ、手書き数字の誤りを1万分の35にした。2011年7月にIJCAIで発表した論文には、カードを使うと大きなCNNを数カ月ではなく数日で訓練できるとある。
同じ年、ドイツの道路標識を5万枚以上の画像から見分ける大会があった。彼らは誤り率0.56%で勝った。比較のために人が答えたときの平均は1.16%だった。2012年には電子顕微鏡の画像から神経組織の構造を分ける大会と、乳がん組織の切片から分裂中の細胞を探す大会でも勝った。
四、二枚のグラフィックスカード
2012年9月30日、グリニッジ標準時23時。第十六篇に出てきた大規模画像認識競技会の、その年の締め切りだった。トロント大学の三人、アレックス・クリジェフスキー、イリヤ・サツケヴァー、ジェフリー・ヒントンがSuperVisionという名で提出した。ネットワークのパラメーターは6,000万、ニューロンは65万、畳み込み層が五つと全結合層が三つ。後に筆頭著者の名を取ってAlexNetと呼ばれた。
訓練にはメモリー3GBのエヌビディアGTX 580を二枚使った。一枚には大きすぎて収まらないからネットワークを半分に割り、一枚に半分ずつ置いた。いくつかの層の間では二枚が情報をやり取りする。一度訓練するのに5、6日かかった。
そのカードはどこにあったか。ヒントンは2023年、『ニューヨーカー』誌の記者に「あの二枚のカードは彼の寝室でうなっていた」と振り返った。同じ回想には、かなりかかった電気代をクリジェフスキーの両親が払っていたともある。
SuperVisionは七つのネットワークの予測を合わせ、競技会で上位5候補の誤り率15.3%を出した。他のチームで最もよかったのは26.2%。10月12日、イタリアのフィレンツェで開かれたワークショップでは、午後5時5分から5時半までがSuperVisionの講演だった。その午後はのちに、いろいろな語り方をされた。
12月、論文が大会の論文集に載った。題は「深層畳み込みニューラルネットワークによるImageNet分類」。ニューラルネットワークの名はまだ題にある。
考察の節で、著者は中間の畳み込み層をどれか一つ外す実験をした。最も確信のある一つの答えだけで採点すると、正答率が約2ポイント落ちる。続けて「したがって、私たちの結果を得るうえで深さは確かに重要である」とある。同じ節には、今回は層ごとの教師なし事前訓練、つまり2006年の二本の論文で使ったあの手順を用いなかったことも明記されている。
五、天津
2012年10月、天津。マイクロソフト・リサーチ・アジアが開いた「21世紀のコンピューティング」会議で、マイクロソフト・リサーチの責任者リック・ラシードが実演した。壇上で英語を話す。頭上の大スクリーンにはまず、話した英語が文字で出る。次に英語が中国語の文字に変わる。それから合成音声が中国語を読み上げる。声はラシード自身の声をもとに合成した。本人は中国語を話さない。客席から拍手が起こった。
11月8日、彼は会社のブログに書いた。この種のシステムはこれまで4、5語に一つ間違え、今は7、8語に一つ、誤りは3割以上減った。同じ段落に「まだ完璧にはほど遠い」と付け加えている。
その月、信号処理の専門誌に11人の連名で「音声認識の音響モデリングに用いる深層ニューラルネットワーク:四つの研究グループの共通見解」が発表された。四つとはトロント大学、マイクロソフト・リサーチ、グーグル、IBM。マイクロソフトのチームのある結果では、単語誤り率は27.4%から18.5%に下がった。ラシードが実演で使ったのは、この流れの技術だった。
六、猫
2011年12月末、クオック・V・レ、ジェフ・ディーン、ンら8人が「大規模な教師なし学習による高水準の特徴の構築」をネットに出し、翌年のICMLで発表した。ネットワークは九層、つながりは約10億。与えたのは、ネットの動画から切り出した200×200画素の小さな画像1,000万枚で、何が写っているかの印は誰も付けなかった。コンピューター1,000台、プロセッサー1万6千コアで、約3日間訓練した。
最初に問うたのは、印のない画像だけで人の顔を見分ける部品を学べるか、だった。ネットワークの一つのユニットが人の顔にとりわけ強く反応した。彼らはいくつか比較を加え、顔をずらしたり大きく小さくしたり、傾けたりして、なお見分けるかを調べた。要旨の猫の箇所には、同じネットワークが「猫の顔など、ほかの高水準の概念にも敏感な反応を示す」とある。
後に広まった話では、グーグルのネットワークは自力で猫を見分けるようになった。論文で使ったのは、敏感、猫の顔、などほかの高水準の概念、という言葉だ。
七、競売
2012年、ヒントンと学生二人はDNNresearchという会社を設立した。会社にはその三人しかいなかった。
その年12月のNIPSはタホ湖畔のカジノホテルで開かれた。記者のケイド・メッツは2021年、取材をもとにその数日間を再構成した。ホテルの731号室で三人の会社が競売にかけられた。入札したのはグーグル、マイクロソフト、百度、ロンドンのDeepMind。2,200万ドルほどでヒントンは一度止めた。再開後にマイクロソフトが降り、グーグルと百度が残った。2,400万ドルでは、百度の入札者が余凱から北京の幹部に替わった。4,400万ドルでヒントンはそれ以上競らせず、会社はグーグルのものになった。2013年から、ヒントンはグーグルに籍を置きながらトロント大学にも残った。
2014年1月、グーグルは2010年にロンドンで設立されたDeepMindも買った。報じられた額は4億ドルとも4億ポンドともいわれた。
一社に三人。競りにかけられたのはその三人だった。あの部屋で、どこで値を止めるかは、そのうちの一人が決めた。
八、深い
2012年11月、『ニューヨーク・タイムズ』のジョン・マルコフが長い記事を書いた。後に広く知られた題は「科学者が深層学習プログラムに期待をかける」。天津の実演を書いた。画面の英語と中国語、ラシードの声。ヒントンにも取材した。彼らは早くから、この方法で金をもうけるより、できるかぎり広めようと決めていた、とヒントンは語った。
同じ年、ルカンとベンジオは新しい会を準備し、翌年アリゾナ州スコッツデールで第1回を開いた。国際学習表現会議、ICLR。第1回に投稿された67本のうち23本が採択された。会議の名には深層学習もニューラルネットワークも入っていない。
後に最も広く流布したのは、ニューラルネットワークの評判が悪くなったので深層学習と改名した、という話だ。だがその数年に出た論文を読むと、2006年の『サイエンス』と2012年のImageNetの論文には、どちらも題にニューラルネットワークとある。第十三篇では人工知能という名がしまわれたという話があった。名を替えた話も、名をしまった話も、語る人は多く、書いた証拠を残した人は少ない。
ここでも省かれた言葉がある。2006年の「しばしば……ように見える」。2012年の「私たちの結果を得るうえで」。グーグルの「敏感」と「猫の顔」。ラシードの「まだ完璧にはほど遠い」。それを取ると、きれいな文がいくつか残る。深いネットワークでなくてはだめだ。機械が猫を見分けるようになった。機械はあなたの言葉を中国語にできる。
深いとは、1986年には探索でどこまで深く記録したか、2006年にはネットワークを何層積んだかだった。2012年には中間の一層を外し、最有力の答えだけを採点すれば、正答率が約2ポイント落ちることだった。後にそれが一つの名前となり、もともと形容していた一層一層の具体的なものは名前の後ろへ退いた。
そして天津のあの午後がある。機械はある人の英語を、その人自身の声で中国語にした。壇上の人は中国語を一言も話せない。声は似せて作れる。その数言を言おうとしたのは誰か、誰に向けて言うのか。それはやはり、壇上のその人に属する。このシリーズでは、こうして機械の中に作り込めない分を余項と呼ぶ。
機械は今も造られつづける。境界線がどこにあるかは、世代ごとに語り直される。