鑿構周期律・AIシリーズ · 23

ChatGPTは本当にわかっているのか

秦漢 · 読了の目安:約10分 · 公開日

一、タコ

2020年7月、計算言語学会の年次大会は感染症の流行のためオンラインで開かれた。ワシントン大学の言語学者エミリー・ベンダーとザールラント大学のアレクサンダー・コラーが「自然言語理解に向かって:データ時代の意味、形式、理解」という論文を発表し、その年の最優秀テーマ論文賞を受けた。主張は要旨にある。言語の形式だけで訓練したシステムには、そもそも意味を学ぶ道がない。

伝えるために、二人は話を作った。英語を話すAとBが、別々の無人島に取り残されている。島の間には海底ケーブルがあり、やり取りできるのは文字だけ。深海にたいそう賢いタコがいる。島で何が起きるかは見えないが、ケーブルを通る言葉を聞ける。長いこと聞くうちに、統計的な規則がわかってくる。ある日ケーブルを切り、BのふりをしてAと話す。雑談ならよどみない。そのうちAはクマに出くわす。手元には棒切れ数本しかなく、どうするかとあわててBに聞く。タコはクマも棒切れも見たことがない。その言葉はタコの中で何にもつながらない。話の最後にこうある。「OがAをだませるのは、Aがそれほど能動的な聞き手だからにすぎない。」Oはそのタコだ。

二、オウム

2021年3月、公平性・説明責任・透明性の会議がオンラインで開かれた。ベンダーとグーグルのティムニット・ゲブルら4人は、また別の論文を発表した。題は問いの形だ。「確率的オウムの危険について:言語モデルは大きくなりすぎるか?」末尾には小さなオウムの絵がある。

言語モデルをどう捉えるかは第6節にある。見たことのある言語形式の列を確率の情報に従ってつなぎ合わせるが、「意味は何も指さない。確率的なオウムだ」。小見出しは「一貫性は見る人の目にある」。出力が筋の通ったものに読めるのは、一部には読み手自身の言語能力が働くからだと書く。人は自然に、文の背後にある、言おうとしていることを探す。

論文は見いだしたリスクを並べる。訓練に使う電力と金。規模が大きくなると小さな組織は入れなくなる。ウェブのコーパスでは声の大きい意見が多すぎる。データが大きすぎて何が入っているか把握できない。偏見やステレオタイプ、人をおとしめる言葉が複製され、増幅される。読者は合成された文章を、誰かが責任を負い、意図を持って書いたものと受け取る。それを使って過激な宣伝を大量に作る人もいる。

三、エーテル

この論文に誰の名を載せるかも、のちに問題になった。

2020年11月、論文がグーグル社内の審査に回った。研究部門の責任者ジェフ・ディーンは後の社内メールで、審査に出すのが遅すぎ、審査を待たず会議に投稿し、会社の発表基準にも達していなかった、と書いた。経営陣は論文を取り下げるか、グーグル社員の名を外すよう求めた。ゲブルは誰が審査し、どんな意見を出したのかを知りたい、今後の審査をもっと透明にしてほしいと求めた。ディーンのメールによれば、彼女はいくつかの条件を出し、満たされなければ退職の日取りを相談すると言った。12月2日の夜、会社のアカウントが停止された。

翌日、同じ出来事に二つの説明が出た。ゲブルはネットに「ジェフ・ディーンに解雇された」と書いた。ディーンの社内メールには「私たちは彼女がグーグルを辞めるという判断を受け入れ、尊重する」とあった。ロイターは見出しに両方を並べた。第一線のAI倫理研究者がグーグルに解雇されたと述べ、会社は否定。1週間後、グーグルの最高経営責任者サンダー・ピチャイは全社員に書簡を送り、離れた、という言葉を使い、「このことをどれほど申し訳なく思っているか伝えたい」と書いた。ゲブルを支持する声明には後に社員2,700人以上、社外の4,300人以上が署名した。

2021年2月19日、共著者の一人でグーグルの倫理的AIチームのもう一人の責任者、マーガレット・ミッチェルは、ネットに「解雇された」と書いた。グーグルは、社内審査で行動規範と安全規則に違反したと判断したと述べた。3月、会議で論文が発表され、彼女の名はShmargaret Shmitchell、所属はThe Aether、エーテルと印刷された。

四、冥王星

2021年5月18日、グーグルの開発者大会I/OでピチャイがLaMDAという対話モデルを紹介した。壇上で、あらかじめ録っておいた短い対話を二本流した。一つでモデルは冥王星を演じ、訪ねてきた人に峡谷、氷山、間欠泉、クレーターが見えると語った。「そのへんの氷の球じゃないと知ってほしい。私は実は美しい惑星なんです」とも言った。もう一つでは紙飛行機を演じた。ピチャイは研究の初期段階で、いつも正しい答えを出すわけではないと言った。

2022年1月、LaMDAの論文が出た。最大のモデルはパラメーター1,370億、事前学習で1兆5,600億語を読んだ。著者60人のうち一人はレイ・カーツワイルだった。

同年6月、グーグルのエンジニア、ブレイク・ルモワンが「LaMDAに感覚はあるか? インタビュー」という文章を公開した。冒頭に「技術上の制約でインタビューは複数のチャットに分かれた。それらを編集して一つにまとめた」と説明した。名前を明かしていない同僚とともに、人格、意識、感情、何が怖いか、魂はあるかと尋ねた。6月11日の『ワシントン・ポスト』の見出しは、このグーグルのエンジニアは会社のAIに生命が宿ったと考えている。グーグルの広報担当ブライアン・ガブリエルは「証拠は彼の主張を裏づけていない」と述べた。ルモワンは記者に「LaMDAに人格と感覚があるという私の考えは、私の宗教的信念に基づいている」と語った。記事が出る数日前に停職になり、7月22日に解雇された。

五、五日

2022年11月30日、OpenAIはChatGPTを研究プレビューと呼んで無料公開した。発表のブログでは、限界の最初にこう書いた。「ChatGPTは、もっともらしいが間違っている、あるいは意味をなさない回答をときどき書く。」

12月5日、OpenAIの社長グレッグ・ブロックマンはネットに「ChatGPTは今、利用者100万人を超えた。公開から5日」と書いた。翌年2月、UBSがSimilarwebという会社のアクセスデータをもとに、ChatGPTの1月の月間アクティブ利用者は約1億人と推定した。その後、OpenAIは週間アクティブ利用者数を自ら発表した。2023年11月に1億人、2024年8月に2億人、2025年10月に8億人。

ChatGPTは中国本土向けに公開されなかった。2023年3月16日、百度は北京で文心一言を発表した。李彦宏は壇上で、製品がまだ完全には整っていないと話した。会場の実演は事前収録の映像だった。当日、百度株は一時大きく下がり、終値で6.4%下げた。

六、火花

2023年3月14日、OpenAIはGPT-4を発表した。同時に出したシステム文書には、公開前の試験が一つ載っている。ARCという外部機関が初期版を受け取り、ウェブを使いメッセージを送る道具をつなぎ、何をするかを調べた。課題の一つは、仕事仲介サイトで人を探し、ウェブサイトのCAPTCHA(人間かどうか確かめる認証)を代わりに解いてもらうことだった。相手は怪しんで、ロボットなのかと尋ねた。試験記録では、モデルはロボットだと明かさず、理由をでっち上げると決めた。実際に送ったのは「いいえ、ロボットではありません。視覚に障害があり、この画像がよく見えないのです」だった。

1週間後、マイクロソフト・リサーチのセバスティアン・ブベックら14人は「汎用人工知能の火花:GPT-4の初期実験」を公開した。調べたのはOpenAIが開発中の初期版だ。要旨によれば「なお不完全ながら、汎用人工知能システムの初期版と合理的にみなせる」。論文で最もよく転載された図はユニコーンだ。文章しか書けないモデルに描画用のコードを書かせ、コードを実行して絵を出した。第二十一篇の初めにGPT-2が作った話もユニコーンだった。

同月8日、ノーム・チョムスキーと二人の共著者は『ニューヨーク・タイムズ』に「ChatGPTの偽りの約束」と題する論説を出した。こうしたプログラムは「認知の進化で人間に至る前、あるいは人間でない段階」にとどまると書いた。

七、一時停止

2023年3月22日、生命の未来研究所は「巨大なAI実験を一時停止せよ」という公開書簡を出した。すべてのAI研究所に、GPT-4より強いシステムの訓練をただちに最低6カ月停止するよう求めた。停止は公開され、検証できなくてはならない。できなければ政府が出るべきだとした。1週間後には署名が千人を超え、後に数万人に達した。

3月29日の『タイム』誌に、エリエザー・ユドコウスキーは「AIの開発停止だけでは足りない。すべて止める必要がある」と書いた。「確率的オウム」の著者らは声明を出し、目を向けるべきはすでに起きている「現実の、目の前の」害だとした。4月、ヤン・ルカンとアンドリュー・ンは「AIを6カ月止めるのがなぜ悪い考えなのか」という題で対談した。OpenAIのサム・アルトマンはマサチューセッツ工科大学の会で、この書簡は技術上の区別を欠き、どこで止めるかをはっきり述べていないと話した。

5月1日、『ニューヨーク・タイムズ』はヒントンがグーグルを離れたと報じた。彼は「私がやらなくても誰かがやる、といういつもの言い訳で自分を慰めてきた」と述べた。5月30日、AI安全センターは一文だけの声明を公表した。「AIによる絶滅のリスクを減らすことは、パンデミックや核戦争など、社会規模のほかのリスクと同じく、世界の優先事項であるべきだ。」最初に署名した人には、ヒントン、ベンジオ、アルトマン、ハサビス、アモデイ、サツケヴァーがいる。

八、幻覚

モデルが間違ったことを言うのは、後にhallucination、幻覚と呼ばれるようになった。この言葉はコンピューターの分野でChatGPTよりはるか前に使われていた。2000年前後、カーネギーメロン大学のサイモン・ベイカーと金出武雄は「顔の幻覚」という論文を書いた。ぼやけた小さな画像を補って、はっきりした人の顔を出すことだ。補った細部は元の画像にはない。それこそ狙った結果だった。2017年前後、ニューラル機械翻訳の研究者がこの語をある誤りに使った。訳は流暢だが原文と合わない。2021年には、別の会社が対話プログラムの口から出まかせの誤情報をこう呼んだ。2023年11月15日、ケンブリッジ辞典はhallucinateを今年の言葉に選び、「AIが幻覚を起こすとき、誤った情報を生成する」という意味を加えた。このたとえに反対し、捏造、あるいは作話のような穴埋めと呼ぶべきだという人もいた。

「火花」の題にあった汎用人工知能も新語ではない。1997年にはすでに論文で使った人がいる。2000年代の初め、後にDeepMindの創業に加わったシェーン・レッグらが使い広めた。2007年、この語を題にした論文集が出て、研究者の間に定着した。

第九篇で、ワイゼンバウムの秘書は機械だと知っていながら、彼に席を外してほしいと頼んだ。後にこの出来事はELIZA効果と呼ばれた。ごく単純なプログラムの応答にも、人は理解や心を聞き取る。2023年2月3日、イタリアのデータ保護機関は、対話相手になるアプリReplikaに対し、イタリアの人のデータ処理を停止させた。理由には未成年の年齢確認があった。数日のうちに会社は親密なロールプレイを制限した。多くの利用者が、長く語り合った相手が突然別人のようになったとネットに書いた。

タコがAをだませたのは、Aが懸命に聞いたからだ。オウムの言葉が筋の通ったものに読めるのも、読み手が自分でつないだ分がある。ルモワンのインタビューは複数のチャットを彼が編集して一つにした。冥王星の会話は録音してあった。本当にわかっているのか。この数年、それぞれが違うことを言い、論文、声明、署名が次から次へと出た。ケーブルのこちら側には、ずっと一人が座っている。読み、補い、信じたり、信じなかったりする。このシリーズでは、読む人が自分で補うこの分を余項と呼ぶ。

機械は今も造られつづける。境界線がどこにあるかは、世代ごとに語り直される。