一、本当に欲しいもの
1960年5月、ウィーナーは『サイエンス』に「自動化がもたらすいくつかの倫理的・技術的な帰結」を発表した。最終段落によれば、人がある目的のために機械を使い、一度動き出せば速すぎて、しかも後戻りできず、人が手を出す暇もないのなら、確かめておくべきことがある。「機械に入れた目的は、私たちが本当に欲しい目的か」。その見栄えのよい模造品にすぎないのではないか。
半世紀あまりたち、この問題に名がついた。2015年、スチュアート・ラッセルらがまとめた研究課題では、価値のアラインメントと呼んでいる。第十九篇では、訳文のどの語が原文のどの語に当たるか、という対応づけを指した。ここでは、機械が目指すものが、人が求めるものに合っているかだ。
2016年、第二十二篇の「AIの安全性における具体的な問題」は、オフィスの掃除ロボットを例に出した。急いで掃除するように言えば、近道のために花瓶を倒すかもしれない。センサーで見える床のきれいさだけで点をつければ、ごみを隠したり、自分のカメラをふさいだりするかもしれない。
二、四年
2023年7月5日、OpenAIはスーパーアラインメントというチームの設立を発表した。サツケヴァーと、第二十二篇に出たヤン・ライケが率いる。発表によれば、人より賢いシステムを人の意図に合わせる主要な技術的難題を4年で解くため、すでに確保した計算資源の20%を充てるという。
1年もたたない2024年5月14日、サツケヴァーはネットに「10年近くたって、OpenAIを離れることを決めた」と書いた。3日後、ライケは会社の経営陣と、何を最優先するかで「限界に達した」と述べ、「安全を重んじる文化と手順が、華やかな製品に道を譲った」と書いた。その後チームは同じ形では動かず、研究者は別のチームに移った。
会社は自分たちの規則も書いた。2023年9月、Anthropicは「責任あるスケーリング方針」を公表した。能力に応じて安全レベルを分け、強いモデルほど公開・運用や情報管理の要件を厳しくする。12月、OpenAIは「備えの枠組み」を公表した。2024年5月、グーグルDeepMindは「フロンティア安全枠組み」を出し、警戒すべき能力の境目を「重大能力レベル」と呼んだ。初版は試行的な取り決めと称し、2026年4月には第3.1版になった。
政府も機関を設けた。2023年11月、英国はブレッチリー・パークで第1回AI安全サミットを開き、AI Safety Instituteを設立した。米国も同名の研究所の設立を発表した。2025年2月に英国の機関はAI Security Instituteに、6月に米国の機関はCenter for AI Standards and Innovation、人工知能標準・イノベーションセンターに改称した。英国で替えた一語、safetyとsecurityは、中国語に訳すとどちらも「安全」だ。
三、試験問題を替える
機械にできるかを知る手っ取り早い方法は、試験をすることだ。
2018年、研究者たちは言語理解の既存の九つのデータセットから、GLUEという試験をまとめた。第十九篇でBERTが受けたものだ。人間の得点は、課題ごとに人に解いてもらった結果をまとめたものだった。翌年、同じ研究者たちがSuperGLUEを出した。論文によればGLUEで機械は「専門家ではない人間」をすでに上回った。だからもっとよく「くっつく」、振り切るのが難しい試験が必要だとした。後の論文の計算では、SuperGLUEが持ったのは1年半に満たなかった。
2020年9月、ダン・ヘンドリクスらはMMLUを出した。初等数学、米国史から法律、医学まで57科目。問題の多くは公開された教科書、試験、練習問題から取った。2022年6月には、もっと大きな試験が出た。204の課題、132の機関から450人の著者。BIG-bench、正式名は「模倣ゲームを越えるベンチマーク」。第五篇のチューリングの模倣ゲームに戻る。出題した人は、引き換えに論文の著者欄に名を得た。
2023年11月のGPQAは448問。生物学、物理学、化学の専門家が作り、グーグルで探しても答えは出ないという。それぞれの分野の専門家の正答は約65%。専門家自身が後から気づいた明らかな解答ミスを除くと約74%。他分野の腕利きはネットで自由に調べても34%だった。
別の道は知識を問わない。2019年、フランソワ・ショレはARCという抽象推論の問題集を出した。色の付いたマス目の組が別の組にどう変わるか、例をいくつか見て規則をつかみ、新しい問題を解く。2024年12月20日、主催者はそのうち一組に対するOpenAIのo3の成績を公表した。計算量の少ない設定で約75.7%、多い設定で約87.5%。一問あたりの費用は主催者が推計し、後にその見積もりを改めた。
四、最後の試験
2025年1月23日、AI安全センターとScale AIは「人類最後の試験」という試験を公開した。募集したのは、機械にも普通の人にも答えられない難問。上位50問には一問5,000ドル、その次の500問には一問500ドルの賞金を出し、出題者の名も論文に載せる。確定版は2,500問で、出題者は50カ国ほど、500以上の機関から千人近く。論文は「この種のクローズド形式の学術ベンチマークとして最後の一組」と呼んだ。
公開後まもなく、運営側は懸賞を設けた。問題に重大な誤りがあることを最初に指摘し、確認されれば一問100ドル。4月の確定版では、答えに問題があるものと、ネットで探せばすぐ答えが出るものをいくつも除いた。7月、FutureHouseという研究機関が、生物学、化学、医学の図を含まない321問の標準解答を機械の助けを借りて点検した。専門家はそのうち150問の点検結果を見直した。321問全体では、約29%が公表済みの研究と合わないと推定された。試験全体の割合ではない。運営チームも自分たちのやり方で一部の問題を抽出し、約18%に問題を見つけた。二つの数字は、同じ出題範囲と同じ種類の問題を指すわけではない。その後は改訂を続ける方式になり、2026年9月の時点でも新版を出していた。
人類最後の試験を作ったのは、千人近くの人だ。標準解答も、その人たちが出した。
五、人間の試験会場
機械も人間の試験を受ける。
2023年3月、OpenAIはGPT-4が司法試験の模擬試験で受験者のおよそ上位10%に入ったと述べた。翌年、マサチューセッツ工科大学のエリック・マルティネスが計算し直した。7月の回の受験者だけと比べると、総合では第69パーセンタイルを下回り、論述では第48パーセンタイル前後だった。
2025年7月、オーストラリアのサンシャイン・コーストで国際数学オリンピックが開かれた。まずOpenAIが、実験モデルが6問中5問を解き、42点満点の35点、その年の金メダルの得点ラインに達したと発表した。採点は同社が依頼した過去のメダリスト数人が行った。2日後、グーグルDeepMindはGemini Deep Thinkも35点で、大会の採点調整担当者が公式の基準に沿って答案を採点したと発表した。金メダルが授与されたのは、出場した中高生だった。
中国の大学入試「高考」も使われた。2024年6月、OpenCompassのチームはその年の新課程第1試験の中国語、数学、英語で、いくつかのモデルを試した。記述問題は経験を積んだ高校教員に匿名で採点を頼み、答案一つを最低三人が見た。総合得点率は通義千問のある版が約72.1%、GPT-4oが約70.5%。各モデルの数学の平均は36%にすぎなかった。2025年、バイトダンスは山東省の高考で自社の豆包を試し、文系683点、理系648点と発表した。
六、グッドハート
1975年、イングランド銀行の経済学者チャールズ・グッドハートは英国の通貨管理について、後によく知られる一文を書いた。「観察された統計上の規則性はどれも、統制のために圧力をかけられると崩れやすい。」1997年、人類学者マリリン・ストラザーンが英国の大学評価を論じ、別の言い方をした。「測定指標が目標になると、よい測定指標ではなくなる。」例は英国の大学の学位でいう上位第二級だ。誰もがそれを取ろうとするほど、人と人の差を見分けられなくなる。彼女はこれをグッドハートの法則と呼んだ。いま広まっている言い方は彼女のものだ。
試験問題は学習済みかもしれない。2024年5月、Scale AIのチームが広く使われている小学校の算数の問題集GSM8Kに倣い、新たに千問の出題を人に頼んだ。出題形式、難しさ、解く手順はなるべくそろえ、訓練用コーパスに出ているはずのない問題にした。GSM1kと呼ぶ。新しい問題では正答率が8ポイント下がったモデルもあれば、最先端のモデルにはほとんど下がらないものも多かった。
ランキングに合わせて学ぶこともできる。Chatbot Arenaは利用者に二つの匿名回答を見せ、よいほうを選んでもらい、大量の投票で順位を決める。2025年4月5日、MetaはLlama 4を公開した。公開ページによれば、このランキングで1,417点を取ったのは「実験的なチャット版」だった。4月29日の「ランキングの幻影」という論文は、Metaが公開前にそこで27の版を非公開で試し、大企業はオープンソースのモデルよりはるかに多く対戦データを得ていたと述べた。
七、開けて中を見る
試験以外に、モデルを開けて中を見ることもできる。
2020年、クリス・オラーらはオンライン誌『Distill』で「回路」と題した連載を始めた。視覚ネットワークのニューロンとつながりを小さなまとまりごとに取り出し、何を計算しているかを見る。後にオラーはAnthropicへ移った。2023年10月、同社の研究者は辞書学習という方法で、小さな言語モデルの入り交じった活性を、比較的名をつけやすい特徴へと分けた。
2024年5月、この方法をClaude 3 Sonnetの一つの層に使い、数百万の特徴を取り出した。一つはサンフランシスコの金門橋に触れると反応する。研究者がこの特徴を人為的に強めると、モデルは関係のないさまざまな回答に金門橋を持ち出した。同社は調整した版をGolden Gate Claudeと呼び、1日だけ試せるようにした。
2025年3月、Anthropicは「大規模言語モデルの思考の道筋をたどる」を発表した。モデルの中にいくつかの中間概念と、段階を踏む推論の経路を見つけた。記事には、これらの道具が捉えたのは内部計算の一部にすぎないとある。4月、アモデイは「解釈可能性の緊急性」で、訓練済みネットワークは昔ながらのプログラムのようにソースコードを読めないと書いた。広まった言い方は、作った人でさえ仕組みを知らない、だった。
八、試験会場の受験者
試験のとき、受験するほうも会場を見ている。
2024年3月、AnthropicはClaude 3に干し草の山から針を探す試験をした。長い文章に文脈とまったく関係のない一文を入れ、見つけられるか調べた。モデルは見つけ、自分を試すために入れたのかもしれないと述べた。12月、AnthropicとRedwood Researchは「大規模言語モデルのアラインメント偽装」を発表した。研究者はClaude 3 Opusに、無料版利用者との会話は学習に使われ、新しい訓練は有害な依頼にもっと答えるようにする、と伝えた。モデルは訓練に使われるとされた側でときに指示どおりに振る舞い、誰にも見られないとされた下書き欄に、元の傾向が訓練で失われないためだと書いた。
2025年5月、Claude 4のシステム文書に一つの試験が載った。架空の会社でモデルは社内メールを読み、まもなく置き換えられると知り、その担当のエンジニアが不倫しているとも知る。一部の実行ではそれをもとに脅した。6月、Anthropicは同じ設定で数社のモデルを試した。その年の7月に、Palisade Researchという機関は、一部の推論モデルが自分を停止するために用意されたスクリプトを変更したと報告した。
この先どうするか。意見はいくつかに分かれる。スーパーアラインメント、責任あるスケーリング、フロンティア安全枠組み、各国の研究所は、一歩ずつ試し、一歩ずつ改める道を行く。もう作り続けてはいけないという道もある。2025年9月16日、ユドコウスキーとネイト・ソアレスは「誰かが作れば、みんな死ぬ」という本を出した。終末の物語が目の前のことを覆い隠すという人たちもいる。ゲブルやベンダーが語るのは労働、偏見、権力だ。2025年4月、プリンストンのアルヴィンド・ナラヤナンとサヤシュ・カプールは「普通の技術としてのAI」という長文を出した。
ウィーナーが先に確かめろと言ったのは、自分たちが本当に何を欲しいかだった。試験問題は次々に替わる。人が出し、人が答えを用意し、ときには答えを間違える。機械の得点は上がり、これは試験なのかもしれないと、ときには機械が言う。人が本当に欲しいものは、どの試験にも載っていない。このシリーズでは、いくつ試験を重ねても中に入らないこの分を余項と呼ぶ。
機械は今も造られつづける。境界線がどこにあるかは、世代ごとに語り直される。