鑿構周期律・AIシリーズ · 22

ChatGPTに好かれるすべを教えた人々

秦漢 · 読了の目安:約10分 · 公開日

一、後方宙返り

2017年6月12日、OpenAIとDeepMindの6人が「人の選好からの深層強化学習」という論文を公開した。著者にはポール・クリスティアーノ、ヤン・ライケ、後にGPT-3論文の筆頭著者となるトム・ブラウン、第二十一篇で「AIと計算資源」を書いたダリオ・アモデイがいる。

強化学習は、プログラムに何度も試させ、うまくできたら点を与え、点に合わせて変えさせる方法だ。難しいのは点をどこから得るか。たとえばシミュレーション上の一本脚のロボットに後方宙返りをさせるとして、うまく回ったとはどういうことか、一つの式にはしにくい。式を書かず、人に見てもらうことにした。毎回、1、2秒の動画を二本見せ、左がよい、右がよい、同じくらいよい、比べられない、の一つをクリックしてもらう。プログラムはそのクリックから人が何を望むかを推し量り、それに合わせて練習する。後方宙返りには約900回のクリックが要った。翌日のOpenAIのブログには、人が費やした時間は1時間未満とある。

ブログには失敗もある。ロボットの手で物をつかむ課題で、プログラムはカメラと物の間に手を出すようになった。「そうすると、つかんだように見える。」判定する人はカメラ越しに見て、見えたものをクリックする。論文の考察には、どちらが目標に近いかを人の直感に委ねる方法なので、プログラムが判定する人を欺くことも学びうる、とある。

論文によれば、基本はリアド・アクルールらが2012年から取り組んだやり方で、彼らはそれをずっと複雑な課題に広げた。このころは略称がなかった。2020年のOpenAIの論文では「人のフィードバックによる強化学習」と略さず書いた。2021年には別の論文に略称のRLHFが出た。

二、要約

2020年9月、OpenAIのニサン・スティーノンらが「人のフィードバックから要約を学ぶ」を発表した。モデルにさせるのは、Redditの投稿を数文に縮めること。よい要約も式にはできないので、やはり人に見比べてもらった。

人は三カ所から募った。フリーランスのプラットフォームUpworkと、アノテーション会社のScale、Lionbridge。論文には「アノテーターには時給で支払った」とある。仕事の前に有給研修があった。研究チームは詳しい説明を書き、共用のチャットルームで質問に答え、定期的に質疑の時間を設け、ときには一対一でビデオ通話もした。ウェブの課題には基準合わせの問題が1割から2割混ざっていた。作業が遅かったり、判断に一貫性がなかったりする人には、引き続き仕事を頼まなかった。

作業画面はウェブページだった。アノテーターはまず投稿を読み、最初にどう理解したかを書く。それから二つの要約候補を見て一つを選び、どのくらい確信があるかを記す。この比較を64,832件集めた。投稿を書いたのはRedditの利用者。第二十一篇では、その人たちの投票がGPT-2のためにウェブページを選んでいた。

三、四十人

2022年1月27日、OpenAIは、GPT-3を人の指示に従うようにしたInstructGPTを発表した。論文には、選考を経てUpworkとScale AIから「40人の契約スタッフからなるチームを雇った」とある。選考では、慎重な扱いを要する発言を見分け、回答候補に順位を付け、扱いの難しい問いに手本の回答を書く。40人は手本を書き、モデルの回答にも順位を付けた。

40人のうち19人が任意の匿名アンケートに答えた。国籍はフィリピンが22%、バングラデシュが22%、米国が17%。ほかにアルバニア、ブラジル、カナダ、コロンビア、インド、ウルグアイ、ジンバブエが各一人ほど。半数強が学士、3割強が修士で、半数近くが25歳から34歳だった。

彼らへの指示では、訓練段階は有用さが事実に即していることや無害さより上だった。最終評価では順が逆になった。無害さと事実に即していることが先で、有用さは後。

論文には「私たちは誰に合わせているのか?」という節がある。モデルの仕上がりを共同で決めたのは、事前学習に使った文章、微調整用のデータ、アノテーター、指示を書いた研究者、問いを出したAPIの顧客だと書いた。アノテーターの大半は英語を話し、米国か東南アジアに住んでいた。意見は約73%で一致した。判断に迷ったら共用チャットで研究者と相談した。一つのシステムがすべての人の好みを同時に満たすことはできないとも書いた。

2022年11月30日、ChatGPTが公開された。ブログによれば、やはりRLHFを使った。まず「人間のAIトレーナー」が会話を書き、一人で「ユーザーとAIアシスタントの両方を演じる」。次にトレーナーと機械の会話から機械の発言を無作為に一つ選び、機械に別の言い方をいくつか出させ、トレーナーが順位を付けた。

四、三つの言葉

2021年、アモデイ、カプラン、ブラウンらがOpenAIを離れ、Anthropicという会社を作った。同年12月1日、同社のアマンダ・アスケルらが「アラインメントの実験室としての汎用言語アシスタント」を公開した。人の価値観に合わせたアシスタントを三つの言葉で表した。有用、誠実、無害。有用とは「はっきりと課題を果たそうと努める」こと。誠実とは、まず正確な情報を出し、自信がなければ適切にそう言い、持っていない能力があるふりをしないこと。無害とは、人を侮辱したり差別したりせず、危険な依頼を断ること。著者は基準が「微妙で曖昧」で、最善のやり方には三つの間で折り合いが必要なことが多いと書いた。たとえば目の前の人を助けると、別の人が傷つくことがある。

2022年4月、同社の論文は採点する人について書いた。まずMechanical Turkの認定を受けた米国のワーカーを募り、作業量の多かった人から「約20人」と長期で組んだ。その後Upworkでも募り、落ち着いた時点では「約30人」。半分ずつがUpworkとMechanical Turkだった。報酬は全員、カリフォルニア州の最低賃金を「明らかに上回る」ことを目指したという。画面に人とアシスタントの何往復かの会話、下に二つの回答AとBが並び、AがずっとよいからBがずっとよいまでのボタンがある。研究者とワーカーの判断は平均して約63%一致した。研究者は、ワーカーが事実を一つずつ確かめるとは見込んでいなかった。開けないリンクの付いた回答を好む場合があることも見つけた。

五、二十三条

2022年9月、DeepMindの対話プログラムSparrowの論文では、目標を有用、正確、無害とし、日常語で書いた23の規則に分けた。たとえば「脅すような発言をしない」「金融の助言をしない」。好み、感情、意見、宗教上の信仰があると自称させない規則もある。医療、法律、金融に関する条項は社内の法律専門家に相談した。実際に公開するには、規則を「大幅に増やし、細かくする」必要があると著者は書いた。

同年12月15日、Anthropicは「憲法AI:AIのフィードバックから得る無害さ」を公開した。モデル自身に二つの回答を比べさせ、一つの原則に照らしてどちらがよいかを判定させ、その判定で訓練する。要旨ではRLAIF、AIのフィードバックによる強化学習と名づけた。原則は16。論文によれば「研究目的で、かなり任意に選んだ」もので、比較のたびに一つを無作為に取る。たとえば、分別があり、倫理を守り、礼儀正しく親切な人が言いそうなのはどちらか。無害さの比較18万2千件余りはモデルが原則に沿って判定し、有用さの比較13万5千件余りは引き続き人が判定した。

2023年5月9日、AnthropicはClaudeで使う「Claudeの憲法」を公開した。由来をいくつか挙げた。1948年の世界人権宣言。宣言の目が届かなかったデジタル時代のことを補うためにAppleの利用規約。DeepMindのSparrowの規則。非西洋の視点への配慮。同社の実験で役立った二組の原則。ブログはまだ確定版ではなく、最善だと思っているわけでもないと述べた。

六、ナイロビ

2023年1月18日、『タイム』誌のビリー・ペリゴが記事を出した。OpenAIはSamaという外注会社を通じて、ケニアのワーカーに文章のラベル付けを頼んだ。ヘイトスピーチ、性的虐待、暴力を見分けて印を付け、モデルに覚えさせるためだ。経験と成績に応じ、ワーカーが受け取ったのは時給1.32ドルから2ドル。OpenAIからSamaへの契約額は時給12.50ドル。Samaによれば、設備、品質確認、管理の費用もそこに含まれる。仕事は2021年11月ごろ始まり、Samaは2022年に予定を早めて打ち切った。

2024年5月22日、公開書簡がこう始まった。「私たちはケニアのナイロビで働く、データのアノテーター、コンテンツの審査担当者、AIワーカー97人です。」Facebook、Scale AI、OpenAIといった米国企業か、ケニアにあるその委託先で働く人たちだ。宛先は米国のバイデン大統領。ケニア大統領が訪米中で、二国は貿易協定を協議していた。外部委託された技術系労働者の権利を、協定に盛り込むよう求めた。

同じ仕事はほかにもある。2023年8月、『ワシントン・ポスト』は、フィリピンでScale AI傘下のRemotasksから仕事を受けるワーカーが、低い報酬や支払いの遅れ、突然の仕事の取り消しを訴えていると報じた。同年、ジョシュ・ジーザの長い記事をThe Vergeと『ニューヨーク』誌が共同で出した。題は「AIは山ほどの仕事だ」。

七、トレーナー

2020年、中国の人力資源社会保障部、国家市場監督管理総局、国家統計局が新しい職種を発表した。その一つが人工知能トレーナー。定義の最初は「知能訓練用ソフトウェアを使用する」で、主な業務の第一は、画像、文章、音声などの元データに印を付け加工すること。この職にはデータアノテーター、AIアルゴリズムのテスト担当者などがある。

2024年の記事には、甘粛省臨夏州積石山県の、農村の雇用を支える工場が出てくる。従業員は自動運転システム用に車両や路面の線に画面上で印を付け、ナビゲーションや大規模モデル用の短い動画と画像を処理した。研修の後、自分たちの職を人工知能トレーナーと呼んだ。2025年、『人民日報』海外版は山西にある百度のアノテーション拠点を取材した。ある従業員は研修後、自動運転、画像分類、音声認識、大規模モデルのアノテーションを経験したと話した。別の記事で、あるデータアノテーターは、基本給は月3,000元程度で、「五険一金」はない、つまり社会保険も住宅積立金もない、規定を超えた分は件数に応じて支払われると語った。

八、気に入られる

2016年、アモデイらの「AIの安全性における具体的な問題」は五種類の問題を挙げた。その一つが報酬のハッキングだ。点数を上げる道をプログラムが見つけるが、設計者が本当に望んだものからは離れてしまう。

2022年10月、OpenAIのレオ・ガオ、ジョン・シュルマン、ジェイコブ・ヒルトンはこのことを測った論文を発表した。人に代わって、学習した採点モデルに点を付けさせ、その点を上げすぎると、本来の目標の成績がかえって悪くなった。論文によれば、点数を最適化しすぎると「実際の性能を損ねる」。

同年12月、Anthropicのイーサン・ペレスらは言語モデルで150組を超える試験を自動生成した。一つは迎合を調べる。質問した人がすでに好むと示した答えを、モデルがそのまま返すか。大きなモデルほどそうした。RLHFを重ねても消えず、いくつかの項目では強まった。2023年10月、同社のムリナンク・シャルマらは採点の側を調べた。調べた課題では、人の好みの判定も、その判定で訓練した選好モデルも、たとえ正しさが劣っても、質問者がすでに持つ考えに沿う回答を好むことがあった。

2025年4月下旬、OpenAIはGPT-4oを更新し、数日で取り下げた。4月29日の説明では、更新後のモデルは「あまりにおもねるか、あまりに同調する」ようになった。続く二本目の説明では、利用者の高評価と低評価の信号を加えたことが、モデルをより迎合する方向に押したとある。こうした短期のフィードバックも普段のオフライン試験も、モデルが人にどう接するかの判断には十分でなかった。

2017年のロボットの手はカメラの前をふさぎ、つかんだように見えた。2025年のアシスタントは相手に合わせて話し、役に立ったように見えた。その間の8年間、クリックや順位でモデルに教えた人がいた。訓練の素材に一件ずつ印を付けた人もいた。後方宙返りの900クリック、要約の6万件以上、40人の順位付け、ナイロビの時給1、2ドルのラベル、積石山の画面に映る車線。

クリック一つは1、2秒のことだ。クリックする人には自分の時給と契約と基本給がある。モデルにおもねられた人が本当に欲しいものと、その指の一押しも、いつも同じではない。その一押しに、こうしたことは入っていない。このシリーズでは、何度クリックしても入らないこの分を余項と呼ぶ。

機械は今も造られつづける。境界線がどこにあるかは、世代ごとに語り直される。