一、ユニコーン
2019年2月14日、OpenAIがブログに文章を載せた。初めの二文は人が書いた。科学者はアンデス山脈の人跡未踏の谷でユニコーンの一群を見つけた。みな流暢な英語を話す。その先のまとまった文章は、プログラムが続きを書いた。ユニコーンの種に名をつけ、見た目を描き、調査を率いた教授とその調査の経緯をでっち上げる。段落が続き、ニュース原稿のようだった。
プログラムはGPT-2。第十九篇のGPTの次の版で、パラメーターは15億。800万のウェブページの文章から学んだ。学んだことは一つだけだ。前の文字を見て、次の語を当てる。
見本の脇にブログは「ふつう、よい例を得るまでに何回か試す必要がある」と書いた。なじみのある話題で、まともに書けるのはおよそ半分。よくある誤りも挙げた。同じ話を繰り返す、いきなり話題が変わる、一度は水の中で火が燃えると書いた。あのユニコーンの文章も、何回か試して人が選んだものだ。
同じブログに「この技術が悪用される懸念から、訓練済みモデルは公開しない」とある。小さめの版だけを出した。この判断と、それをめぐる議論を一つの実験と呼び、今日こうするのが正しいかは自分たちにもわからない、と書いた。
当日の英国『ガーディアン』紙の見出しは、新たなAI偽文生成器、公開するには危険すぎるかもしれないと開発者。翌日、世界経済フォーラムのサイトが転載した記事の見出しは、科学者が、公開するには危険すぎると自ら考えるAIを開発。その先で、OpenAIはGPT-2が危険すぎると言った、となった。実験、わからない、かもしれない、考える。伝わる途中で一つずつ落ちた。
二、四回
その年の2月に出したのは最小の版。5月には中くらいのもの。8月20日にはパラメーター7億7,400万の版を出し、GPT-2をすでに五つ以上のチームが再現したとOpenAIは書いた。同月、卒業したばかりのアーロン・ゴカスランとヴァーニャ・コーエンが似たモデルを自作し、ネットに出した。グーグルのクラウド計算に使える約5万ドル分のクレジットを使った。『ワイアード』誌の見出しは、OpenAIは自社のコードにリスクがあると言う、それでも卒業生二人は作った。
11月5日、最大の15億パラメーターの版を、コードも重みも含めて公開した。重みとは訓練でできた長い数字の列で、モデルにできることはそこに入っている。同社はこれを段階的公開の最後の一歩と呼び、「これまでのところ、悪用の有力な証拠は見ていない」と書いた。2月から11月まで9カ月、4回に分けた。
三、苦さ
さらに前年の2018年5月16日、OpenAIのダリオ・アモデイとダニー・ヘルナンデスは「AIと計算資源」を公開した。数年のうち特に大規模だったAIの訓練を選び、一回ずつどれほど計算したかを見積もって図にした。2012年から2018年に約30万倍、平均3.4カ月で倍になった。約30万倍とは、第十七篇のAlexNetから、第十八篇の自分とだけ囲碁を打ったAlphaGo Zeroまでを測った数だ。
2019年3月13日、アルバータ大学のリチャード・サットンが自分のサイトに「苦い教訓」という短文を載せた。最初の文はこうだ。「70年のAI研究に見える最大の教訓は、計算を活用できる一般的な方法が、最終的には大きな差をつけて最も有効になることだ。」例はチェス、囲碁、音声、視覚。毎回、研究者はまず自分たちがわかっていることを機械に書き込む。それは短期では役立ち、書いた人も満足する。数年たって勝つのは、そうした知識によらず、探索と学習を計算の増加に合わせて拡大できる方法だ。苦いのは、自分の知識を書き込んだ人だ。第十一篇と第十八篇の対局や、第十五篇の言語学者を解雇するという言葉も、この線に置いて見られる。
計算には機械が、機械には金が要る。2019年3月11日、OpenAIは営利と非営利を組み合わせたOpenAI LPの設立を発表した。リターンには上限があり、最初の投資家が受け取れるのは投資額の100倍まで。超過分は従来の非営利組織に帰属する。資金を集め、計算資源を買い、人材を引きつけやすくするためだと発表にはある。7月22日、マイクロソフトが10億ドルを投資し、独占的なクラウド提供元になった。
四、法則
2020年1月、OpenAIのジャレッド・カプランらは「ニューラル言語モデルのスケーリング則」を発表した。大きさの異なる多数の言語モデルを訓練し、それぞれが次の語をどれほど外すかを測った。外し方を表す数を損失という。パラメーター数、学ぶ文章量、使う計算量。三つのうち残り二つに妨げられないかぎり、一つが10倍になるたび、おおよそ決まった割合で損失が下がった。最小から最大まで、6桁か7桁の差をまたいでも滑らかだった。
題ではこれを法則と呼ぶ。付録には留保の節があり、「私たちの挙げたどのスケーリング則にも、確かな理論的理解はまだない」と書いた。モデル規模と計算量の二つは「特に謎が深い」という。本文の考察には、損失の滑らかな改善が「質的な変化に見える能力の変化を覆い隠しているかもしれない」とあり、物理学者の論文題「多くなると別物になる」を引いた。
2年後の2022年3月、DeepMindのジョーダン・ホフマンらは、7,000万から160億パラメーター、50億から5,000億トークンの範囲で400を超えるモデルを訓練した。トークンとはモデルが文章を読むときに切り分けた小さな単位で、英単語一語は一つか二つであることが多い。彼らは別の配分を得た。「モデル規模を倍にするごとに、訓練用トークン数も倍にするべきだ。」こうして700億パラメーターのChinchillaを訓練した。2,800億のGopherと計算量は同じで、およそ4倍の文章を読ませ、一組の試験でGopherにもGPT-3にも勝った。カプランらの配分はモデルを大きくして文章を少なめにする。ホフマンらの配分は両方を大きくする。
五、1,750億
2020年5月28日、トム・ブラウンを筆頭に31人が名を連ねた「言語モデルは少数例から学習する」が公開された。最大のモデルはGPT-3で、パラメーター1,750億、訓練で読んだのは3,000億トークン。
少数例、つまりfew-shotとは使い方のことだ。してほしいことを一文書き、できあがった例をいくつか示し、最後を空けて続きを書かせる。モデルの数字は一つも変えない。渡す文章をプロンプトと呼ぶ。指示だけで例を渡さないのがzero-shot、一つだけ渡すのがone-shot。
論文では一つ実験をした。米国の参加者を、第十六篇のMechanical Turkで成績のよいワーカーから選び、報酬は時給約12ドルになるように決めた。約200語の記事を見せ、記者が書いたかモデルが書いたかを当ててもらう。1,750億の版が書いた記事について、人が正しく見分けたのは約52%。コイン投げに近かった。
論文の限界の節には弱点がある。少し長い文では反復し、矛盾し、前後がつながらなくなる。身近な物理もよく間違う。チーズを冷蔵庫に入れたら溶けるか、といった問いだ。著者は、次の語を当てる学び方だけを拡大しても「限界に達する可能性が高い」とも書いた。
6月11日、OpenAIはOpenAI APIという窓口を開いた。一文でいうと、文章を入れ、文章が出る。先に申し込み、利用目的の審査を受け、公開前にもう一度審査される。モデルを出さない理由も挙げた。大きすぎて動かすのに金がかかる。窓口から収益が上がる。一カ所にまとめれば悪用も防ぎやすい。訓練にいくらかかるか、グラフィックスカードのクラウド会社Lambdaが当時の貸し出し価格で換算した。一枚で計算して355年、レンタル料は約460万ドル。
六、八本
2020年9月8日、『ガーディアン』紙に「この記事は全部ロボットが書いた。人類よ、怖いか?」という論説が載った。機械は一人称で、人類に自分を恐れる必要はないと納得させたい、自分の知っていることはすべてインターネットを読んで学んだ、と語った。
末尾の編集部注にはできあがるまでが書いてある。約500語の短い論説を、簡潔に、なぜ人類はAIを恐れなくてよいのかが伝わるように。指示を書いたのは編集部だ。冒頭の数文も用意し、バークレーでコンピューター科学を学ぶ学部生のリアム・ポールが入力した。GPT-3は異なる八本を返した。編集部はどれもそのまま載せず、一本ずつ最もよいところを取り出し、文や段落を削って、ところどころ順を入れ替え、一つにした。
機械はインターネットを読んだと言った。GPT-3が読んだものを論文は五つ挙げる。最大はCommon Crawlという事業が集めたウェブページ。2007年にギル・エルバズが始めた非営利の事業で、ログインなしで見られる公開ページだけを集め、収集物を誰でもダウンロードできるようにした。ダウンロードできることと、訓練に使う許可があることは別だ。GPT-3は2016年から2019年の41カ月分を取り、圧縮したプレーンテキストで約45TB、選別後は約570GBだった。残りの四つはWebText2、Books1とBooks2という符号だけの二組の本、それにウィキペディア。訓練では五つから割合を決めて抽出した。ウェブページは6割、ウィキペディアは3%。抽出量を全体を何周したかに直すと、膨大なウェブページは半周未満、ウィキペディアは約3周だ。
WebText2はGPT-2のWebTextを拡張したものだ。WebTextでは、Redditに人が貼った外部リンクを探し、投稿にカルマが三つ以上ついていれば、リンク先の本文を集めた。GPT-2の論文によれば、Redditにいる人の判断を借りて、面白い、役に立つと思われたページを選んだ。2017年12月までに800万本超。ウィキペディアの記事は、よく使う試験問題との重複を避けるため、わざわざ除いた。
七、創発
2021年、数字は次々に大きくなった。1月、グーグルのSwitch Transformerは1兆6,000億パラメーターを報告した。モデルはいくつもの専門家に分かれ、各語はそのうち一つだけに送って計算する。4月、ファーウェイの盤古が2,000億。6月、北京智源人工知能研究院の悟道の第2版が1兆7,500億。10月、マイクロソフトとエヌビディアが5,300億。12月、DeepMindのGopherが2,800億、百度が2,600億。2022年4月、グーグルのPaLMが5,400億。
1972年8月、物理学者フィリップ・アンダーソンが『サイエンス』に「多くなると別物になる」を発表した。「すべてを単純な基本法則に還元できるからといって、その法則から宇宙を組み立て直せるわけではない。」より複雑な層に上がるごとに新しい性質が現れ、調べるには新しい方法が要る。彼が語ったのは物理、化学、生物といった学問の間の層だった。50年後、カプランらはその題を言語モデルに借りた。
2022年2月9日、OpenAIのサツケヴァーはネットに一文を書いた。「今日の大規模なニューラルネットワークには、ごくわずかに意識があるかもしれない。」3日後、第十四篇のヤン・ルカンが一言返した。「ない。」ごくわずかをどれほど小さく、大規模をどれほど大きく取っても、同意しないと続けた。
その年の6月、グーグルのジェイソン・ウェイらは「大規模言語モデルの創発的能力」を発表し、定義した。「小さなモデルにはなく、大きなモデルにはある能力を、創発的と呼ぶ。」多数のモデルがさまざまな問題で取った点を並べた。問題によっては、小さなモデルはずっと当てずっぽうと同じ水準にあり、ある大きさを超えると得点が跳ね上がった。
2023年4月、スタンフォードのライランド・シェーファー、ブランド・ミランダ、サンミ・コイェジョは「大規模言語モデルの創発的能力は蜃気楼か?」という論文を出した。急に見えるのは、採点の仕方のせいであることがある。何桁かの足し算で全部の桁が合わないと正解にしなければ、小さなモデルはずっと零点で、ある大きさで突然得点する。正解と何桁違うかを数えれば、点は徐々に上がる。
八、大きい
2019年2月のユニコーンのブログに、すでにlarge language models、大規模言語モデルと何度も書いてある。中国語では2021年、超大規模事前学習モデル、超大規模知能モデルといった呼び方が、一年のうちに短くなって大モデルになった。
同年8月、スタンフォードの研究者たちが「基盤モデルの機会とリスクについて」という長い論文を発表し、この種のモデルにfoundation model、基盤モデルという別の総称を与えた。「重要な中心的位置にありながら、不完全でもある」ことを強調するためだという。foundationは上に別のシステムを建てる土台であり、まだ建ちきっていないものでもある。広まって残ったのは土台だ。
2023年3月14日、OpenAIはGPT-4を発表した。技術文書によると、競争状況と大規模モデルが安全に及ぼす影響を考慮し、モデルの大きさを含む構成、ハードウェア、訓練の計算量、データセットの内訳などの詳しい情報はもう提供しない。15億から1,750億まで、数年にわたり公開してきた数字は、ここで書かれなくなった。
文章がどこから来たのか、その年に調べた人がいる。2020年末、EleutherAIというオープンソースの団体がThe Pileというコーパスをまとめた。一部はBooks3といい、Bibliotikというサイトの書籍集から取った。2023年9月25日、『アトランティック』誌のアレックス・ライスナーがそのうち18万3,000冊を調べられるツールを作った。著者の名前を入れると、どの本が含まれているかわかる。2日後、米国作家協会は、あなたの本がAIの訓練に使われたと知ったら、どうするか、と題する案内を出した。
その年、作家たちは相次いで法廷へ行った。6月28日、小説家のポール・トレンブレイとモナ・アワドがOpenAIを訴え、自分の本が無断で複製され、訓練に使われたと主張した。7月7日、サラ・シルバーマンら三人の著者はOpenAIとMetaをそれぞれ訴えた。9月19日、米国作家協会とジョージ・マーティン、ジョン・グリシャム、ジョディ・ピコー、ジョナサン・フランゼンらの作家は、ニューヨークでOpenAIを訴えた。12月27日、『ニューヨーク・タイムズ』がマイクロソフトとOpenAIを訴えた。
リンクを貼り、票を入れる側にも動きがあった。4月、Redditはデータを大量に呼び出す窓口を有料にすると発表した。スティーヴ・ハフマン最高経営責任者は『ニューヨーク・タイムズ』に、Redditのコーパスは「本当に価値がある」。その価値を世界有数の大企業にただで渡す必要はないと語った。同月、Stack Overflowのプラシャント・チャンドラセカー最高経営責任者は、コミュニティーの人が書いた質問と答えは大規模言語モデルの原料で、プラットフォームは対価を受け取るべきだと述べた。8月、OpenAIはウェブ収集プログラムGPTBotと、robots.txtでそれを拒む方法を公開した。robots.txtは、収集プログラムに来てほしくない場所を伝える小さなファイルだ。その後、いくつもの出版社のサイトが入り口を閉じた。
GPT-3の論文末尾には謝辞がある。最後に礼を言ったのは、訓練に使った内容を作った人、それに索引を付け、票を入れた何百万人もの人だ。著者欄には31人の名前がある。ウェブページを書いた人、ウィキペディアの記事を編んだ人、Redditで賛成票を入れた人、あの本を書いた人は、一人もそこにはいない。
パラメーターは15億から1,750億へ増え、その先では数字を書かなくなった。この人たちの文字は中に入り、人は外に残る。このシリーズでは、どれほど大きくしても入らないこの分を余項と呼ぶ。
機械は今も造られつづける。境界線がどこにあるかは、世代ごとに語り直される。