一、仲間
1954年、言語学者ゼリグ・ハリスは「分布構造」という論文に「意味の違いは分布の違いと関係がある」と書いた。分布とは、ある語がどんな語のそばに現れるかだ。1957年、英国の言語学者ファースはもっと気の利いた言い方をした。「言葉は付き合う仲間を見ればわかる!」後に中国語圏で広まったのは、ある語の意味は文脈で決まる、という別の言葉だった。
機械がこの言葉を使うまで、長い時間がかかった。2003年、ベンジオと三人の共同研究者は「ニューラル確率言語モデル」を発表した。機械は一語ずつを分散特徴ベクトルという数字の列に置き換える。その列と、次の語を予測する力とを、一緒に学習する。
2013年1月、グーグルのトマーシュ・ミコロフら4人が「ベクトル空間における単語表現の効率的な推定」というプレプリントを出した。16億語の文章から質の高い単語ベクトルを学ぶのに「一日もかからない」と書いた。同年10月の二本目には時間を節約する工夫がいくつか加わった。学習に使ったのはグーグル・ニュースの文章だ。このやり方は、のちにword2vecというプログラムの名で通るようになった。
一語が数百個の数字の列になった。よく同じ仲間と並ぶ二語は、数字で表したときも互いに近い。猫と犬は近い。月曜日と火曜日も近い。この数字の列が記録したのは、猫がよく誰と一緒にいるかだ。ハリスとファースの言ったことは、ここで一つの算術になった。
二、王
2013年6月、ミコロフと二人の共同研究者が会議論文の要旨に例を書いた。王のベクトルから男を引いて女を足すと、女王のベクトルに「非常に近い」ものが得られる。
後に広まったのは等式だ。王から男を引いて女を足すと女王。グーグルが同年公開したプログラムでは、この問題を解く数行のコードに一つ規則がある。問題に出た三つの語を答えにしてはいけない。2019年、オランダとイタリアの研究者三人が、こうした問題を題にした論文を発表した。「男と医師の関係は、女と医師の関係に等しい」。この規則があると、いちばん妥当な答えがそもそも出せない場合がある。規則を外すと、計算で出た点にいちばん近いのは、しばしば問題に出たままの語だった。
2016年には別の研究者たちが同様の問題を論文の題にした。「男とプログラマーの関係は、女と主婦の関係に等しいか?」グーグル・ニュースで訓練した単語埋め込みを使い、要旨で、これらのベクトルには「男女についてのステレオタイプが憂慮すべきほど現れる」と書いた。まず埋め込みの中に男女を表す方向を見いだし、本来、男女を分けない語をその方向の偏りから引き戻す。女王と女性のようにあるべきつながりは残す、という方法を示した。
ベクトルはニュースから学んだ。ニュースは人が書いた。機械が学んだ仲間づきあいは、何百万もの記事に人が残した、互いについての語り方の跡だ。
三、対応づけ
2014年、単語ベクトルは翻訳に使われた。
その年の9月、グーグルのサツケヴァーと二人の共同研究者が「ニューラルネットワークによる系列から系列への学習」を発表した。一つのネットワークが原文を一語ずつ読み、文全体を長さの決まった数字の列にする。もう一つのネットワークがその列から、一語ずつ訳文を書く。原文の語順を逆にして読むと成績がよくなることも見つけた。同じ年の夏、モントリオール大学のベンジオのグループの数人も、同じような二段構えのネットワークを作っていた。
文全体を長さの決まった数字の列にする。文が長くなると、長い話を小さな箱に押し込むようなものだ。
同じモントリオールで、若いドミトリー・バフダナウと同じグループの研究者一人、それにベンジオが、2014年9月1日に「対応づけと翻訳を同時に学習するニューラル機械翻訳」という初稿を公開した。対応づけとは、訳文のどの語が原文のどの語に当たるかだ。訳を書くネットワークは、一語を書くたびに原文の全語を見返して、各語に重みを付ける。重みの合計は一。その割合で原文の各所から情報を取り合わせ、一語を書くのに使う。
この段階について、本文にはこうある。「直観的に言えば、デコーダーに一種のアテンション機構を実装している。」ここでデコーダーとは、訳を書くほうのネットワークだ。
四、名前
題にアテンションという語はなく、対応づけと翻訳と書いてある。バフダナウは何年も後に、ある手紙で名前の由来を語った。もとはRNNで探索するという意味でRNNsearchと呼んでいたという。「もっとよい名前、アテンションをヨシュアが加えたのは、最後の数回の改稿のうちの一回でした。」ヨシュアとはベンジオのことだ。この手紙はのちに、第十六篇に出たカルパシーが本人の同意を得て公開した。この語はもともと心理学の語だ。1890年、米国の心理学者ウィリアム・ジェームズは『心理学原理』で注意を扱う章の冒頭に「注意が何かは誰でも知っている」と書いた。
バフダナウの前年、2013年8月、アレックス・グレーヴスはネットワークで手書き文字を書くプログラムを作った。プログラムが一筆ずつ書くとき、前へずれていく柔らかな窓が、書くべき文のどの文字をいま参照するかを決める。彼はそれを「ソフトウィンドウ」と呼んだ。バフダナウたちは論文でこの研究に触れ、やり方が似ていると書いた。さらにさかのぼると、シュミットフーバーは自分が1991年に示した高速重みが、後のある種の簡略化されたアテンションと形式上等しいと述べたことがある。
同じ仕掛けに幾つかの名があった。ソフトウィンドウ、対応づけ、探索、アテンション。残ったのは最後に加えた名であり、もとの文で「直観的に言えば」と添えた名だ。
五、青い線
2016年9月26日、グーグルがニューラル機械翻訳システムを解説する長い技術文書を出した。題の後半は「人間の翻訳と機械翻訳の隔たりを埋める」。翌日の会社ブログでは、携帯とウェブで中国語を英語に訳す機械翻訳は、すでにすべてこのシステムになったと書いた。一日に約1,800万回。最初に替わった言語の組は中国語から英語だった。
システムのうち訳を書く側は、一語ずつ書くたび原文を見返す。ブログに図が一枚ある。一方に中国語の語が、もう一方に英語の語が並び、青い線で結ばれている。線の濃淡は、その英語を書くとき、機械がその中国語にどれだけアテンションを割いたかを示す。こうしてアテンションは誰にでも見える形になった。
技術文書には人による評価が一つある。同じ英語に対して四つのフランス語訳を採点者に見せた。従来の句に基づくシステム、新しい二つのシステム、それに人が訳した参照訳。満点は6点で、平均は順に3.87、4.46、4.44、4.82だった。要旨では「互いに独立した単純な文の一組」を評価したと書いた。ブログの最後の段落には、機械はまだ語を落とし、人名や珍しい語を誤訳し、前後の文脈も見ない、とある。さらにこう書いた。「これで機械翻訳が解決したわけでは決してない。」
六、八人
2017年6月12日、八人がAttention Is All You Needと題する論文を公開した。
著者は順に、アシシュ・ヴァスワニ、ノーム・シャジール、ニキ・パーマー、ヤコブ・ウシュコライト、ライオン・ジョーンズ、エイダン・ゴメス、ウカシュ・カイザー、イリヤ・ポロスキン。1ページ目の脚注には「貢献は同等。著者順は無作為」とある。続いて誰が何をしたかを一人ずつ書いている。ウシュコライトはRNNを自己アテンションで置き換えることを提案。ヴァスワニとポロスキンは最初のモデルを設計し実装。シャジールはいくつかの主要なアルゴリズムを提案。パーマーは多くの変種を調整。ジョーンズは初期のコードと可視化を担当。カイザーとゴメスは実験を走らせるツールを整えた。
新しい構成をTransformerと名づけた。要旨には「アテンション機構のみに基づく」とあり、再帰も畳み込みも使わない。前節のネットワークは一語ずつ先へ読む。Transformerが原文を読むときには、各位置が同時に文の各所を参照して、それぞれに重みを付けられる。一方、訳を書くときには、まだ書いていない語は見えない。ネットワークにはほかの処理層も残っている。使わないのは、先に挙げた二つの情報の伝え方だ。
2カ月後、グーグルのブログは一般の読者に例を挙げた。「その動物は道路を渡らなかった。疲れすぎていたからだ。」「その動物は道路を渡らなかった。幅が広すぎたからだ。」英語ではそれぞれに「それ」があり、一つ目は動物、二つ目は道路を指す。フランス語では動物と道路の文法上の性が異なるから、「それ」の訳も変わる。ブログによれば、新しいモデルはどちらも正しく訳した。それとは別に、ブログのエンコーダーの図では、原文の「それ」を読むとき、一つ目では動物に、二つ目では道路に、より大きな重みが置かれたことがわかる。
訓練にはエヌビディアP100を8枚使い、3日半かかった。論文では英語からドイツ語、英語からフランス語への翻訳を行い、英語の構文解析もした。結論には「アテンションに基づくモデルの将来に胸を躍らせている」と書き、文字以外にも、画像、音、動画に使いたいと続けた。
題の由来をジョーンズは2024年に『ワイアード』の記者に語った。ビートルズの「愛こそはすべて」をもじったもので、締め切り数日前の夜に浮かんだ。「本当に五秒しか考えていない。」2017年12月6日、カリフォルニア州ロングビーチのNIPSで、論文は夜のポスター会場に出た。著者の何人かによれば、四時間ずっと混み、夜10時半になっても立ち去らない人がいて、最後は警備員が退場を促した。2024年までに八人ともグーグルを去った。会社を作った人も、別の場所に移った人もいた。
七、短い名前
2018年、この系統のものが続々と現れた。名はどれも短い。
2月、アレン人工知能研究所とワシントン大学のグループがELMoを発表した。6月、OpenAIは「生成的事前学習による言語理解の改善」を発表した。12層のTransformerにラベルのない大量の文章で続きを書くことを先に学ばせ、それからいろいろな具体的な問題に使う。後にGPTと呼ばれたモデルだ。この時点でその三文字は、題の三つの語の頭にまだばらばらにあった。10月、グーグルがBERTを発表した。小型にはクラウドのTPUを4基、大型には16基使い、どちらも4日間訓練した。ELMoとBERTは、偶然どちらも『セサミストリート』の登場人物の名だ。
GPTが学んだ文章を論文では書籍コーパスと呼び、そこには7千冊を超える「出版されたことのない本」があり、冒険、ファンタジー、恋愛、さまざまなジャンルを含むとした。そのコーパスは2015年の別の論文に由来する。そこではBookCorpusと呼ばれ、ネットから集めた「まだ出版実績のない著者による無料の本」11,038冊と説明している。
2021年、二人の研究者がさかのぼって、このコーパスの説明書を書き足した。本はSmashwordsという自費出版サイトから、プログラムで一括取得されていた。まず無料の電子書籍のリンクを集め、ダウンロードし、プレーンテキストに変換した。結論の一つに「著者は明示的に同意していなかった」とある。
2018年4月、ニューヨーク大学などの研究者が言語理解の問題九つからなるGLUEという試験を作った。試験には人の得点がある。問題ごとに人を募って解いてもらい、試験の規則でまとめると約87点だった。10月にBERTは80.5点を取った。2019年半ばには、その境界線より上の得点を報告した機械が出ていた。
八、注意
1890年、ジェームズは注意が何かは誰でも知っていると言った。2014年、この語が「直観的に言えば」という言葉とともに翻訳の論文に加わった。2016年、青い線で描かれた。2017年、Attention Is All You Needという題に入った。後に広まった話では、機械にも注意力が備わった。「直観的に言えば」は途中で落ちた。
これらの論文でいうアテンションは、合計が一になる重みの組だ。一語を書くとき、この重みが原文のどの語を見返すかを決める。重みは文章から学んだ。16億語の文章、グーグル・ニュース、人が訳した二つの言語の文、出版されていない7千冊あまりの本。どれも人が書き、あるいは人が訳した。
試験の境界線にも人がいる。4.82点の参照訳は人の手で訳された。GLUEの87点も、集められた人たちが一問ずつ解いて出した。機械の得点は、そうした人を物差しにして測った。
あの動物は疲れすぎていた。あの道路は幅が広すぎた。その二つは、グーグルのある研究者が説明のために書いた例だ。疲れるのは動物、幅が広いのは道路。書く人はそれを知っているから、この問題を出せる。
人の注意とは、一人が限られた時間をどこに置くかだ。この一篇の名もない人々、本を書く人、議会の記録を訳す人、腰を落ち着けて訳に点を付ける人は、それぞれの注意を自分の本に、自分の訳文に、目の前の一文に置いた。機械が学んだのは、その注意が残した跡だ。このシリーズでは、いくら学んでも外に残るこの分を余項と呼ぶ。
機械は今も造られつづける。境界線がどこにあるかは、世代ごとに語り直される。