三つのAIが同意しても、問いはまだ残る

契約のこの条項にリスクはあるか、とモデルに聞く。ある、と答えます。二つ目も同じ問題を指摘し、三つ目も同じ結論に達する。修正案の表現さえ、ほとんど同じです。一度の確認と三度の確認とでは、感じがまるで違います。不確かさが投票で消えたように思えるほどです。

それが、とてもよい確かめ方になることもあります。ただ、同じ盲点が、三着の服に着替えて話しているだけのこともあります。

一致の独立性は、情報源の独立性しだい

モデルは仕組みや道具、話し方が違っても、大量の公開文書や似た慣行を共有しているかもしれません。同じよくある誤りを受け継ぐことも、プロンプトにひそかに誘導され、同じように問題を読むこともある。一致するのは、その答えがいちばん説明しやすいからであって、その状況が本当に必要としている答えだからではないこともあります。

だからといって、複数モデルでの確認が無価値なのではありません。一つが引用をでっちあげ、ほかの二つには見つからないなら、それは有用な知らせです。異なる検索手段を使ういくつものシステムが、一つの事実について同じ結論に集まり、それぞれ出典を示すなら、信頼は高まるべきでしょう。ただ、どれだけ高めてよいかは、証拠が実際にどれほど独立していて、どんな質なのかに見合わなければなりません。

三通りに言い換えられた文章は、三人の証人ではありません。

食い違いのほうが、教えてくれることがある

モデルが矛盾すると、「結局どちらが優秀か」と問いたくなります。でも最初は、どこで食い違ったのかを描くほうがよいでしょう。違う事実を使ったのか。定義が違うのか。リスクの取り方か、成功の基準が違うのか。

あるモデルは製品をすぐ出すよう勧め、別のモデルは延期を勧めたとします。市場での結果予測は似ているかもしれません。本当の違いは、一方が評判の傷はあとで直せると考え、他方が弱い立場の利用者への害を、止める条件と考えたことにあるかもしれない。そこが見えれば、知能の優劣の競争ではなく、何を何と交換してよいかの問いになります。

どの仮定が変われば結論が反転するかを、それぞれに示させられます。細部のあら探しでなく、相手の枠組みを批判させることもできます。そのうえで、重要な主張をモデルの外へ持ち出し、一次資料、専門家、直接の観察で確かめます。

二つ目のモデルにいちばん価値があるのは、一つ目の答えを繰り返すときではなく、もう一つの見方を見えるようにするときです。

神託を集めるより、互いに問い返せる仕組みを

よい複数モデルの使い方では、担当を分けます。一つは可能性を生み、一つは事実関係の弱点を探し、一つは見落とされた人や失敗への道筋を探す。そのあと人が、証拠を補うべき異論、当事者に話すべき異論、そもそも依頼の立て方が間違っていたと示す異論を、見分けます。

最後に、全部を同じ点数へまとめてはいけません。あらゆる批判が一つの指標に従うなら、見かけの多様さも、結局一つの目標に潰れてしまいます。本当に互いを抑え、確かめ合う仕組みには、「指定された指標では優秀だが、それでも使うべきではない」と言える余地が必要です。

危険の大きい場面では、影響を受ける人にも、手続きの中で声を上げられる場所がなければなりません。求職者に三つの自動評価を示しながら、資料を疑う道は与えない、ではいけない。患者に、複数モデルの見解は一致したとだけ伝え、何を見て何を落としたかを説明する医師に会えない、でもいけない。モデルを増やしても、異議申立ての代わりにはなりません。

全員一致を目指す問いばかりではない

一致によって確かさが増す問いはあります。その引用は資料に載っているか。コードはテストを通るか。計算は再現するか。一方、すべてのモデルが一致しても開いたままの問いもあります。許すべきか。どの損失なら引き受けられるか。組織はすでに、人に求めすぎていないか。

AIは、そうした問いを照らせます。でも、一致しても問いの種類は変わりません。10のシステムが、仕事のためにある関係を犠牲にせよと勧めても、その犠牲をあなたに代わって生きる人生が、10件分積み上がるわけではない。ある政策は人気が出ると全モデルが予測しても、それで正当な政策だと証明されたことにはなりません。

複数のモデルに相談する前に、求めているのは事実、解釈、予測、設計、それとも許可なのかを分けてみます。最後がいちばん危ういのは、責任を避けることを、何度も確認する慎重さに見せかけやすいからです。

最後の確認は、もう一つ聞くことではない

この繰り返しも、いつかは終えなければなりません。危険が大きいほど、どこで調べ終えるかを先に決めるべきです。事実には、たどれる一次証拠が要る。技術上の決定は、本当に重要な条件で試す。人に影響する決定には、異議を申し立て、人による再検討を求める道を残す。個人の約束については、モデルが増えても委ねないことを、書いておきます。

そのうえで、モデルには存分に働いてもらえばよいのです。速さと多様さは実際の強みです。人間のチームの思い上がりを破り、誰一人気づかなかった間違いを見つけることもあります。多くの機械より、一人の人を初めから信じよう、という結論ではありません。

大切なのは、なぜ互いに抑え合う仕組みを作るのかを忘れないことです。力を持つ側が、なお問い返されうるようにするためであって、誰も疑えない巨大な声を作るためではありません。三つのAIが一致すれば、より強い証拠を得たのかもしれない。でも、その証拠を信じることに責任を持つ人まで、手に入れたわけではありません。