鑿構周期律・AIシリーズ · 14

誤差逆伝播を発明したのは、いったい誰か

秦漢 · 読了の目安:約14分 · 公開日

一、四ページ

1986年10月9日、イギリスの週刊誌『ネイチャー』に四ページの論文が載った。「誤差を逆伝播させて表現を学ぶ」。署名はデイヴィッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズの順に三人だ。

要旨の最初はこうだ。「ニューロンに似たユニットでできたネットワークに用いる新しい学習手続き、誤差逆伝播を記述する。」新しい、とは著者自身が書いた。

本文で方法を説明する途中に、一文ある。この方法の変形の一つをパーカーも独立に見いだし、別の変形をルカンも独立に見いだしたという。だから四ページには二つある。「新しい」と「独立にも見いだされた」だ。

末尾の参考文献は四つ。ローゼンブラットの本、ミンスキーとパパートの本、前年にルカンがパリで発表したフランス語の論文、同じ年に出たばかりの二巻本の第八章だ。これから出るケリー、ブライソン、ドレイファス、リンナインマー、ワーボスの名は、四つの中にない。

小さな実験もいくつか載る。一つは対称性。六つのスイッチはそれぞれオンかオフで、全部で六十四通りある。網はある並びが左右対称かを答える。入力と出力の間には二ユニットだけ置いた。六十四通りすべてで一周とし、1425周した。もう一つは家系図だ。架空の家族を二組作り、誰が誰の父か、誰が誰のおばかを一つずつに分けた関係が104。百を訓練に使い、四つを見せずにおき、それも答えられるかを見た。網が学ぶのは人と人の関係だ。この方法でいちばんよい数の組が見つかる保証はないことも、四ページに明記した。

二、後ろへ伝える

同じころ、テレンス・セジュノフスキーとチャールズ・ローゼンバーグは英語の音読を学ぶ網を作った。ネットワークが話すという意味でNETtalkと呼んだ。一度に七文字を見る。七マスだけ開く窓のようなものだ。真ん中の文字をどう読むかが答えになる。一字読むと窓を一マス進める。入力に203、中に80、出力に26のユニットがあり、ユニット間の接続には調整できる数が1万8000以上あった。網が出すのは声ではなく、音素と強勢を示すコードの列だ。それをDECの音声合成器に渡して初めて、耳に聞こえる声になる。

技術文書には調整の仕方がある。「一語ごとに、計算した発音が正しい発音にどれほど近いかに応じて、重みを調整する。」重みが、あの1万8000以上の数である。一つのユニットが次のユニットにどれほど影響するかは、その間の数で決まる。

『ネイチャー』の四ページでの順はこうだ。まず入力側から一層ずつ計算し、各ユニットの状態を出す。一番上で出力と正解を比べ、どれほどずれているかを測る。それが誤差だ。次に上の層から一層ずつ逆向きに計算し、中の数をそれぞれ少し変えたら最終的な誤差がどちらにどれほど動くかを求める。それから決めた歩幅で重みを動かす。同じ誤差の値がそのまま逆向きに流れるのではない。

この仕組みのうち、網の中にないものが一つある。正しい発音だ。前もって与えられている。網が変わるたび、先に与えられた答えの方向に変わる。家系図では、答えは家系を作った人が与えた。対称性では、何が対称かを決めたのは出題者だ。

三、飛行の軌道

1960年5月、アメリカ・ロケット協会がロサンゼルスで半年ごとの会議を開いた。グラマン航空機のヘンリー・ケリーが「最適飛行軌道の勾配理論」を読み上げた。

飛行体をどう飛ばすのがいちばんよいかを計算した。飛行性能をどう使い切り、軌道から軌道へどう移り、いちばん短い時間でどう着くか。途中には制約がいくつもあり、飛行体自身の運動の法則に従わなければならない。方法を勾配法、あるいは最急降下法と呼んだ。字のとおり、いちばん急に下る方へ行く。論文には網も、学習の語もない。

1961年4月、ハーバードでデジタル計算機とその応用の会議があった。アーサー・ブライソンの題は「多段階配分過程を最適化する勾配法」。仕事をいくつかの段に分け、各段でどう配れば全体がいちばんよいかを問う。八年後、彼はユー・チー・ホーと『応用最適制御』を書いた。後に前史を書く人は、その本をケリーの論文の隣に置いた。

1962年、数学の雑誌にスチュアート・ドレイファスの「変分問題の数値解法」が載った。変分問題も、ありうる道の中から最もよい一つを見つける。後に前史を整理した人によれば、この論文は連鎖律だけを使い、勾配を後ろから前へたどる形にまとめた。連鎖律は微積分の規則だ。ある量がいくつかの段を経て別の量に影響するとき、その経路全体での影響は各段の影響の積になる。

第十一篇に出た人だ。1965年のランドの覚え書きで、謝辞にほかの数人と名が並んだ。ヒューバート・ドレイファスの弟で、二十数年後には兄弟で本や論文を書く。機械にできないことを書いた哲学者の弟が1962年に書いた数学論文は、後からこの線の中に並んだ。

飛行、配分、変分。三つとも広い可能性の中からよい道を探す。そのころの名は勾配だった。探したのは軌道で、学習と呼ぶ人はいなかった。

四、丸め誤差

1967年6月、日本の甘利俊一が電子計算機の論文誌に「適応的パターン分類器の理論」を出した。調整法の一種を確率的降下法と呼び、最急降下も論じた。専門はパターンの分類と統計で、機械が入ってきたものをどう分類するかが問題だった。

1970年、ヘルシンキ大学のセッポ・リンナインマーが修士論文を出した。フィンランド語で、題を訳せば「各段の局所的な丸め誤差のテイラー展開で表した、アルゴリズムの累積丸め誤差」となる。

計算機で算術をすると桁数に限りがあり、ある段では末尾を切り捨てるか、切り上げる。長い計算で小さな端数が最後の結果にどう積もるか。欲しかったのは、それを計算しきれる方法だ。対象は任意の計算プログラムで、網ではない。論文に神経網も、逆伝播という名もない。後に自動微分の研究者は、この種の方法を逆モードの累積と呼んだ。論文を書いたときには、その名はまだない。

五、「学習」という言葉

1974年、ハーバードでポール・ワーボスが「回帰を超えて――行動科学における予測と分析の新しい道具」という博士論文を出した。専門は行動科学で、欲しかったのは予測だった。効率よく微分する手続きを動的フィードバックと呼んだ。

第二章の二十二ページには「モデルのニューロンに対応する関数」とあり、すぐ次に「これらの導関数を計算するいちばん簡単な方法は、動的フィードバックを使うことだ」と続く。その先では脳や、導関数を後ろ向きに渡す構想にも触れた。

1981年、ワーボスはニューヨークのシステムモデリングと最適化の会議で「非線形感度分析の進展の応用」を読み上げた。後に前史を書いた人によれば、このときはっきり神経網にこの方法を使った。

1982年、スタンフォードの技術ライセンス担当部署に「学習論理」という発明の届け出があった。出したのはデイヴィッド・パーカー。微分の方法がここではライセンスを待つ発明になる。1985年、MITの経済・経営科学を扱う計算研究センターで、さらに長い題の技術報告「学習論理――大脳皮質をシリコンに鋳込む」を出した。

1985年、パリで認知85という認知科学の会議があった。ヤン・ルカンがフランス語で発表した題を訳せば「非対称閾値ネットワークのための学習手続き」となる。

1985年9月前後、サンディエゴでラメルハート、ヒントン、ウィリアムズが番号を振った技術報告「誤差伝播による内部表現の学習」を出した。翌年、題を変えず二巻本の第八章になった。調整に使う規則の名は一般化デルタ則。『ネイチャー』の題では、誤差伝播が「誤差を逆伝播させて」に替わった。

当時の名を並べる。勾配法、最急降下法、確率的降下法、動的フィードバック、学習論理、学習手続き、誤差伝播、一般化デルタ則、誤差逆伝播。どれとどれが同じものかには、いくつもの言い方がある。

名にある一つの分かれ目ははっきり見える。航空機会社では軌道を求めた。ヘルシンキでは誤差を求めた。ハーバードの行動科学では予測を求めた。学習の語は、それがニューロンに似たユニットの網に入ってから現れる。1982年の学習論理、1985年の学習手続きと内部表現の学習、1986年の新しい学習手続き。似た計算は、軌道に置けば最適化、誤差に置けば分析、網に入れれば学習と呼ばれた。

機械は学べるか。第七篇のサミュエルのチェッカーから、これは境界線だった。今度、線は逆向きに微分する計算に落ち、それを線の向こうへ動かしたのは、名だった。

六、二巻の本

1986年7月、MIT出版局が『並列分散処理――認知の微細構造の探究』を二巻で出した。第一巻の副題は「基礎」、第二巻は「心理学的・生物学的モデル」。第一巻に名を連ねたのはラメルハート、マクレランド、並列分散処理研究グループで、第二巻ではマクレランドが先に来る。

よく売れた。初刷の六千部は正式に出る前に売り切れ、二年後には三万部ほどが出回っていると見積もられた。数を残したのは、第十一篇のドレイファス兄弟が1988年に書いた「心を造るか、脳を模倣するか」だ。この篇でスチュアート・ドレイファスは二回出る。1962年には数学の論文が方法の前史に並び、1988年には兄と一緒に本の部数を数えた。

1987年1月4日、『ニューヨーク・タイムズ』の書評は「認知の結びつき」と題した。同じ年、『サイエンス』にも評が出て、『ネイチャー』は「結びつけさえすれば!」と題し、6月12日にはイギリスの『タイムズ文芸付録』も取り上げた。網がどう調整を重ねて内部表現を得るかについての本が、新聞の書評欄に出た。

この方向にも名前は一つではなかった。本は自らを並列分散処理と呼び、同じころコネクショニズム、神経計算、ニューラルネットワーク研究と呼ぶ人もいた。後に最も広く使われるのはコネクショニズムだった。

1988年、マクレランドとラメルハートは、題にモデル、プログラム、練習を掲げた手引きも出した。巻末にフロッピーディスクが二枚ついていて、網のプログラムが入っている。読者は自分のパソコンに入れれば、机の上で網を動かし、誤差に関わる量を後ろへ伝えて、何周も調整できた。

七、現在の形では

『ネイチャー』の四ページの最終段落はこう始まる。「この学習手続きは現在の形では、脳内の学習のもっともらしいモデルではない。」

続けて、いくつもの課題に使えば、勾配を下って意味のある内部表現が作れるとわかる。そこで、神経網で勾配降下を行うには、生物学的にもっともっともらしい方法がないか探す価値があるという。新しい学習手続きを告げた論文は、最後に線を引く。これは学習と呼ぶが、現在の形では脳の学習ではない。線を引いたのは著者自身だ。

1989年1月12日、『ネイチャー』にフランシス・クリックの「ニューラルネットワークをめぐる最近の熱気」という論評が出た。遺伝物質の二重らせん構造を共同で見つけた人だ。要旨の最後は、「残念ながら、これらのニューラルネットワークの大半は、重要な点のいくつかで現実的ではない」だった。

同じころ、別の線でも論争があった。1988年、『コグニション』第二十八巻に長い論文が二本出た。一つはフォーダーとピリシンで、網は思考の合成性を説明できるかと問う。ジョンはあの娘を愛していると思える人は、あの娘はジョンを愛している、とも思える。もう一つはピンカーとプリンスの百二十ページ余りで、二巻本の英語の動詞の過去形を学ぶモデルを取り上げ、表現、訓練材料、一般化の仕方で、言葉の規則を説明できるかを問う。同じ年、第八篇のミンスキーとパパートの本に増補版が出た。後書きで評したのもこの調整則だった。

引いた線は別々だ。著者は、今の形では脳の学習ではないとした。クリックは、重要な点で網は本物の脳に似ていないとした。フォーダーたちは、網は思考の構造を説明できるかと問う。三つの場所に三つの線があり、問いも三つある。

同じ1989年、方法はもう仕事に使われた。ベル研究所のルカンと六人の同僚は、創刊されたばかりの『ニューラル・コンピュテーション』第一巻第四号に「誤差逆伝播を用いた手書き郵便番号の認識」を出した。データは数字の画像で、一枚が十六掛ける十六の明暗の点からなる。全部で9298枚、7291枚を訓練に使い、2007枚を試験に残した。数字は「ニューヨーク州バッファローの郵便局を通ったアメリカの郵便物にあった」と論文はいう。書いた手が誰のものかは記していない。

カーネギーメロン大学のディーン・ポメルローは道路に沿って車を走らせる網を作り、大学の自律走行の試験車に載せた。カメラの画像は三十掛ける三十二の点で、青の成分の明暗を取る。中に二十九ユニット、出力に四十五の向きがあり、左へ急旋回するところから直進を経て右へ急旋回するところまである。主に模擬道路の画像で訓練し、実際の道で試した。論文では、ある種の屋外条件では道に沿って走れたという。

英語を読む。封筒の数字を見分ける。道路に沿って車を走らせる。試したのは、正しく読むか、正確に見分けるか、車が道を外れないかだ。どの試験も、脳に似ているかは問わなかった。

八、独立に

誰が最初に見いだしたかは、今も争われる。最もよく発言するのはユルゲン・シュミットフーバーだ。2014年から自分のウェブページで何度もこの系譜を並べ直し、2020年には半世紀の記念として「誤差逆伝播を発明したのは誰か」を再発表した。現代の形を最初に発表したのはフィンランドの修士学生リンナインマーで1970年、1960年のケリーが先駆者。その後にブライソン、スチュアート・ドレイファス、ワーボス、パーカー、ルカン、ラメルハートらが順に来るという。後にチューリング賞を受けた三人には、列挙した項目それぞれに答えてほしいと、ウェブサイトで公に求めた。

一方2020年4月の記事は、あるオンラインフォーラムでのヒントンの答えを伝えた。「誤差逆伝播を発明したと、私は一度も主張していない。ほかの分野でとうに発明されていたものを、デイヴィッド・ラメルハートは独立に発明した。」自分たちの貢献は、意味のある内部表現を学べるとはっきり実演し、多くの人が注目するようにしたことだと述べた。

2024年10月8日、ノーベル物理学賞はジョン・ホップフィールドとヒントンに贈られた。授賞理由は、人工ニューラルネットワークによる機械学習を可能にした基礎的な発見と発明である。これらの発言は、それぞれの位置で並ぶ。

「独立に」は二度、別の人についた。1986年には『ネイチャー』の四ページでパーカーとルカンを指した。方法は新しく、二人もその変形を独立に見つけたという。そのとき「新しい」は本文で、「独立に」は脇だった。2020年、ヒントンの答えではラメルハートを指した。別の分野でとうに発明され、その後で独立に発明したという。「別の分野」が先で、「独立に」は自分たちの側だ。三十四年で語の位置を替えたのは、当時署名した側だった。

後にいちばん広まったのは、別の文だ。1986年、三人が誤差逆伝播を発明し、機械を脳のように学ばせた。

この文を言うには二つ取る必要がある。一つは四ページの途中の「独立にも見いだされた」で、その背後には参考文献にないいくつもの部屋がある。航空機会社、ハーバードの会議、数学の雑誌、ヘルシンキの修士論文、スタンフォードの技術ライセンスの部署。もう一つは最後の「現在の形では」で、脳内の学習のモデルではないという文も一緒に落ちる。どちらも限定で、話を担わない。取ると一つの発明、三人の発明者、脳に似た機械が残る。

もう一つ、削るかどうかにかかわらず、話に入っていないものがある。

この篇の実験で誤差が測るのは、機械の答えが正解からどれほど離れているかだ。正しい発音、正しい数字、進むべき向き、誰が誰のおばかは、先に用意してある。後ろ向きに計算する仕組み自体は、何が正しいかを扱わない。他の学び方なら一問ずつ人に答えを渡させずに済むが、網をどちらへ動かすかを示す基準はやはり要る。いつも外に残るこの種のものを、このシリーズでは余項と呼ぶ。

バッファローの郵便局の九千枚余りの数字は、一枚ずつ誰かの手から出た。その手の持ち主は記録されていない。数字を書いたときには、ただ手紙を届けたかっただけだ。

機械は今も造られつづける。境界線がどこにあるかは、世代ごとに語り直される。