鑿構周期律・AIシリーズ · 09

機械だと知っていた。それでも彼に席を外してほしいと頼んだ

秦漢 · 読了の目安:約19分 · 公開日

一、疑問符が打てない

1960年代半ば、MITの一室にタイプライターが置いてあった。

何にもつながっていない。というより、つながっているコンピューターはこの部屋ではなく、建物の別の場所にあり、ほかにも同時に使う人がいた。当時、大型機は一人で占有するには高すぎた。何人かで分けて使い、それぞれの部屋にタイプライターを一台ずつ置いた。

英文を一文打ち、改行キーを二度押す。一度では受けつけず、続けて二度押して、ようやく自分の番が終わる。するとタイプライターが勝手に動き、答えを同じ紙に打つ。

疑問符は打てない。この仕組みでは疑問符を制御文字と見なし、打ったばかりの行を全部消す。だから疑問符をつけて質問できない。返事までどれだけかかるかは、建物の中で同じ機械を何人が使っているかにかかる。混んでいると、少し長く待つ。

1965年3月22日の打ち出しが今も残る。紙にはやりとりが並び、一方は人が入れた文、もう一方は機械が打ち返した文だ。同じ紙に、同じ活字で、同じ書体とインクで打たれている。読むには、人が打ったのか、機械の返事なのか、一行ずつ見分けなければならない。

後に論文に載った例では、機械の語は大文字で、人の語はそうではない。それでもやりとりは続けて読める。

プログラムを書いたのはジョゼフ・ワイゼンバウム。ELIZAという。バーナード・ショーの戯曲の花売り娘から、本人が取った。娘は少しずつ、違う話し方を教えられる。名が指すのはプログラムの形だ。このプログラムは自分では何も話さない。話す内容は別のものが決め、それは取り替えられ、少しずつ教えることもできる。後にはこの二つが一緒に語られがちだった。

ELIZAは二層になっている。下にあるプログラムは、入ってきた文をばらして規則どおりに組み直すことだけを受け持つ。上に一覧があり、スクリプトと呼ぶ。注意を向ける語、語ごとの文の切り方、切り分けたものの並べ方が書いてある。プログラムの一部ではなく、プログラムに食べさせる材料だ。別の一覧に替えると、プログラムは別のものになる。

文を打つと、まず一覧の語を文の中から探す。いくつか見つかれば、一覧で決めた順位からいちばん大事な一つを選ぶ。その語にある型を文に当て、いくつかに切る。それから型についている組み直しの規則で切れ端を並べ直し、ときには決まった言葉も足す。

一語も見つからなければ、逃げ道が二つある。内容とは関係のないことを一言いうか、前に相手が言った文を記憶から取り、形を替えて返す。言われた意味を知る必要は、仕組みのどこにもない。

二、なぜ医者を選んだか

一覧はいくつかあった。覚えられたのは、ドクターと呼ぶ一枚だった。プログラムに心理療法家を演じさせる。

後の六十年、ELIZAの話はほとんどここから始まる。診察のためのプログラム、治療するプログラムだと。1966年の論文が書いたのは、別のことだった。

四十二ページに、この役を選んだ理由がある。この手の会話では治療する側は、現実の世界をほとんど知らないように振る舞っても、かなりのところまで話を続けられる。それが理由だった。機械が治療に向くからではない。ほとんど何も知らないものが、見破られずに机の向こうにいられる役だった。

地理の教師を演じれば、エジプトはどこですかと聞かれて答えなければならない。株の仲買人なら、今日の値を聞かれれば値が要る。だが、相談者の言葉を一つずつ返す療法家なら、現実について一つも事実を出さずに済む。仕事を怠ったことにならないばかりか、それがやり方そのものだ。だからこの役を選んだ。プログラムにわからない広い場所を隠せる。

論文の最初の二ページには、十五往復の見本がある。最初はこうだ。人が、男はみんな同じ、と言う。機械が、どんなところが同じですか、と返す。

あとの十四往復はおよそこう進む。男はいつも困らせると言うと、機械は一つ例を求める。恋人に無理やり来させられたと言うと、それを繰り返す。恋人が、よく落ち込むと言う、と聞けば、落ち込むことを気の毒がる。本当に楽しくないと言えば、ここへ来ると楽しくない状態から抜け出せると思うか、と聞く。助けが要ると言えば、助けてもらうことにはどんな意味があるか、と聞く。母とうまくつきあえるようになるかも、と言うと、家族のことをもっと話してと促す。母が世話をしてくれると言うと、ほかに誰が世話をするかと聞く。父と答えると、父という語を返す。あなたには父に似たところがあると言えば、どこが似ているかと聞く。あなたはあまり攻撃的ではないが、それに気づかれたくなさそうだと言うと、なぜそう思うかと聞く。反論しないからだと言うと、なぜ反論しないと思うのかと聞く。あなたは私が怖いと言うと、そう信じるのは満足かと聞く。父は誰のことも怖がったと言うと、父を思うとほかに何を思うかと聞く。いじめっ子、と答える。機械はその語を、恋人に無理やり来させられたという前の文につなぐ。

途中の一往復を見れば、やり方は全部そこにある。本当に楽しくない、と彼女が言う。機械は、ここへ来ると楽しくない状態から抜け出せると思うか、と答える。論文は「私は……です」のような文で分け方を説明する。はじめの語は型の一部で、あとに何が来るかは替えられる。返す文にも出来合いの枠がある。この往復では、「楽しくない」が機械の返す文にまた出る。

「ここへ来る」「助けになる」は足したが、彼女のおかれた状況について新しい事実は一つも伝えない。一文が機械をひと回りして戻ると、形が変わった。発言が問いになり、彼女の側から言ったことが、彼女に向ける言葉になった。人の側では、向こうが受け止めたように感じられた。

十五往復に、二つのことがある。一つは、機械が世界の事実を一つも語らなかったことだ。もう一つは、最後の往復が最もわかって聞くように見えること。十数往復離れた発言をつないだ。記憶という逃げ道だ。前に取っておいた文をひと手間かけて返し、返す時がちょうどよかった。

三、見えないようにする

同じ論文の四十三ページを開く。このページでまず、ELIZAはわずかな仕掛けで、理解しているという幻を保ったと書く。

その理解らしさには上限がある。それはどの一覧かではなく、主プログラムそのものが決めると続ける。別の一覧にしても上限は替えられない。

次に、本当の理解を別の物差しに置く。告げられた事柄から正しい結論が導けるかを見る。そのためには少なくとも、聞いたものを選んで保存しなければならない。論文の版のELIZAは、あの記憶の箇所を除けば、一往復聞くごとに捨てる。

そのあとに、あの一文が来る。それまでの設計目標の一つは、理解していないことを使う人に見えないようにすることだった、と書いた。

造った本人が書いた。批評家の言葉でも、後の人のまとめでもない。自作を紹介する技術論文に自分で入れた。

続いて反対を向く一文がある。将来この種のものを実用の自然言語インターフェースにするなら、目標を逆にして、誤解を見えるようにすべきだという。

機械に届かないところがあるのは、どの機械でもふつうのことだ。前の篇では届かない部分を余項と呼んだ。ここでは作り手がそこを指し、自分が以前どうしたかまで言う。隠したのである。

1966年に書いた一文だ。作ったばかりのプログラムが人から人へ見せられていた年、著者は正式の紹介に、自分の作品の設計上の難点を挙げた。直し方は、わからないところを埋めるのではなく、見せることだ。埋めるなら中に足す。いくら足しても外には残る。見せるなら、残った部分が見える。答えられないときにそう言う機械は、今も研究されている。

同じページに逆向きの限定もあり、これも後にはよく削られた。一覧に現実の情報がまったくないというのも、完全には正しくない。組み直しの規則に世界についての仮定がいくつか組み込まれ、一覧全体を世界のある面の緩い模型と見られるからだ。どちらも言い切らなかった。理解するとも、何一つわからないとも言わない。

最終段落では、主プログラムは技術的には翻訳処理系の一種だとした。さらに、このようなものを心理学の場に置くと、見る人が仕掛けの小ささをはるかに超える印象を持ちやすい、と念を押した。魔法のように見える。

四、あの秘書

後にいちばん語られたのは秘書の話だ。初めて印刷されたのは1967年8月の論文「コンピューターによる文脈理解」だった。そこにはこうある。

ある日、秘書が機械と話してみたいと言った。ワイゼンバウムによれば、彼女はプログラムを作るところを長いあいだ見ていた。いくつか文を打つと振り返り、少し席を外してもらえませんか、と尋ねた。

原文には一文添えてある。もちろん、彼女は機械と話していると知っていた。「もちろん」は原文の語だ。

広まった話には、ワイゼンバウムの秘書はELIZAにだまされ、向こうに本物の人がいると思ったので、二人きりにしてほしいと頼んだ、というものもある。1967年8月の紙では、知っていた。この話では、知らなかった。

二つの版では、その後が違う。だまされたのなら解決できる。表示をつけるか注意を出し、口を開く前に機械だと皆に知らせればいい。だます問題は、本当のことを言って解く。

だが彼女は知っていた。知っていても、席を外してほしいと頼んだ。なぜ頼んだかについては、そのページに彼女自身の説明はない。

外へ出てほしかったのは機械ではなく、その部屋にいた人だ。そのあと何を話したかも、そこにはない。

すぐあとにワイゼンバウム自身の説明がある。プログラムが誤解を隠したから、理解されている感じを保てたのかもしれない。また逆に書いて、誤解を見せることもできたという。これは彼の説明で、彼女の言葉ではない。彼女が口にしたのは、部屋の人に外へ出てほしいという頼みだった。

五、驚いた

では彼が驚いたのはいつか。広まった話では、その衝撃が真ん中にある。どの年の文かは、一篇ずつ開いて見る必要がある。

1966年の論文には、そのような一人称はない。1967年にもない。その論文では人がこの仕組みに感情を注ぎ込む例をすでに挙げたが、著者本人がどう感じたかは書いていない。

一人称の文は1976年の本の六ページにある。「私は驚いた」と書いた。そのあとは、あのスクリプトと話した人はすぐに、しかも深く感情を巻き込まれ、はっきりと計算機を人として扱った、と続く。

つまりその文は、本人が十年後、一冊の本の主張のために当時の自分の反応を振り返ったものだ。今は「衝撃を受けた」とするほうがよく見られる。驚いた、より重い言葉だ。

同じ時期に、別の人は逆へ進んでいた。1966年2月、神経と精神の病気を扱う医学誌に、ケネス・コルビーら三人の「心理療法へのコンピューターによる接近――予備報告」が載った。ELIZAの論文とは一か月余りの差だった。

コルビーの側は、コンピューターでの心理療法は発展させ、臨床で試す値打ちがあると書いた。

二篇は掲載先も違う。ELIZAは計算機学会の会報に載った。読者がプログラムを見て問うのは、どう書いてあり、どんな仕掛けを用い、同じものを作れるかどうかだ。

コルビーは医学誌に出した。そこの読者が治療法を見て問うのは、誰に使い、どんな効果があり、どんな危険があるかだ。

同じものでも二つの分野の前に置けば、問われることが違う。一つ目の問いの下ではただのプログラムだが、二つ目では人に使うものになる。

同じ形のものを、二人が数週間違いで二本の論文にし、結論は逆になった。一人は、わからないことを隠すためにこの役を選んだと言う。もう一人は、実際に人を治療するのに使えると言う。

十年後、ワイゼンバウムの本の二百七十ページにコルビーの名が出る。

六、積み木

一方、同じ大学で、まったく違う方向への仕事が進んでいた。1968年から1970年、大学院生のテリー・ウィノグラードが人工知能研究所でプログラムを作っていた。

名前は意味のない文字の列、SHRDLUだ。研究所のDECの機械で動く。画面の線で描いたのは机の面、四角い積み木がいくつか、ピラミッド、口の開いた箱、その上につかむためのアーム一つだった。

アームは絵だ。本物の机を見るカメラはなく、本物の木片に触るロボットの手もない。プログラムが変えるのは自分の中にある世界だ。人はテレタイプで打ち、画面の線が動くのを見る。

正式な記述は1971年初めの技術報告で、翌年『自然言語を理解する』という本になった。要旨の最初の文は、コンピューターに英語を理解させるシステムと呼ぶ。すぐ次が、その世界を限る。簡単なロボットといくつかの玩具の模型だ。二文は隣り合う。最初は大きく、次は狭い。後に伝わるのは先の文だった。

狭い世界を使うのは、研究所が当時公にしていた方法だ。1971年12月11日、ミンスキーとパパートは研究所の進捗を伝える文書で、この種の環境をマイクロワールドと呼んだ。研究所では、こうした閉じた小さな環境を仕事場にし、意味、推論、視覚、言語を研究すると説明した。世界を机の積み木にまで縮めたのは意図したことで、その年の文書にそうある。

前の篇の本が出たころの文書で、書いたのも同じ二人だ。別の種類の機械の線を測る一方、自分の研究所の方法に名をつけた。「マイクロ」という限定が名に入っていた。

公にした見本の会話は四十二往復だった。冒頭で人が、大きな赤い積み木を一つ持ち上げて、と言う。機械は、わかりました、と答える。

四十二往復で次のようなことをした。持ち上げる、置く、といった命令を実行する。節のついた長い文や比較級を解きほぐす。「それ」がさっきのどれかを見分ける。箱の中に何があり、何が何の上にあり、全部でいくつかを答える。何の上に何を載せられるかと尋ねられて答える。いくつかの積み木を順に重ねる。新しい組み合わせに人が名をつけると受け入れ、次からその名を使う。前に何をしたかを覚えている。なぜ、どうやって、と問われると、自分の目標の列をたどって理由を話す。

何度か、できないと言う。あのピラミッドを持ち上げてと言われ、机にピラミッドが二つ以上あれば、決めつけずにどれかと聞き返す。その世界の決まりではできないことを頼まれても、無理にはしない。

ELIZAの設計目標の一つはわからないところを隠すことだった。こちらは発表した見本で、できないところをそのつど表に出した。タイプライターを挟んで機械と人が話すことは同じでも、二つは同じ箇所で逆の道を取った。

どれほど大きい世界か、いまコードを整理した人が数えた。世界にかかわる語は五十ほどだ。

ウィノグラードはこれを終えると行き止まりだと宣言した、と後によく聞く。ところが1973年から1976年まで、彼は自然言語理解の論文を出し続けた。

七、四つの書き替え

この篇で起きた書き替えを並べられる。一つ目は1967年のページ。「もちろん」で始まる文を持ち出さなかった言い換えがある。残るのは、秘書がプログラムにだまされた、という話だ。

二つ目は1966年の四十二ページ。役を選んだ理由がなくなる。残るのは、心理療法のプログラムだということ。

三つ目は1971年の要旨。世界の範囲を限る後ろの文がついて来ない。残るのは、英語を理解するプログラム。四つ目は次の節にある。

最初の三つで落ちるのは、どれも限定だ。落ちれば機械は大きくなる。秘書をだませば人に似ている。治療のプログラムなら役に立つ。英語を理解するなら意味がわかる。どの文も元より響きが強く、覚えやすい。

だが三つを並べると、互いにぶつかる。最初の二つはほとんどわからないプログラムが人を煙に巻いた話で、三つ目は本当に英語がわかるプログラムの話だ。同じ十年の同じ大学に、機械はなんとだますのがうまいか、機械はなんとよくわかるかという、相反する話が残った。

元の文は矛盾していない。こちらはわからないので、わからなさを隠した。あちらは少しわかり、わかる範囲は机の積み木数個だ。どちらも寸法がある。寸法の違うものは一緒にあってよいので、こういう文はけんかしない。寸法を取ると形容の言葉だけが残り、それならけんかする。

前の数篇に何度も出たことに、新しい面が見える。限定を取って一つの文を大きくするだけではない。両立したいくつかの文を、互いに許さない文に変える。後の人はどちら側かを選ぶよう求められる。元の文にその選択はなかった。

選び始めると、二つの文は交代で舞台に上がる。機械はだますのがうまいという文が上がると、人はこの分野は目くらましをしているという。本当にわかるという文が上がると、分野はもうすぐ成功するという。舞台に出るたび、新しい証拠は要らない。証拠から育った文ではなく、削られた二つの文から育ったからだ。

限定を取る人にはたいてい理由がある。寸法のある文を、寸法の要らない人に伝えれば、寸法は自然と落ちる。記者は読んでもらえる段落を書き、教師は学生が覚えられる例を出し、教科書は一ページに十年を入れる。どこでも、その半文を取るもっともな理由がある。

一度削られると、次に伝える人が手にするのは削った版だ。さらに削るにしても、その版から削る。元の文はまだ紙にある。

八、すべきか

1976年、ワイゼンバウムは『コンピューターの力と人間の理性――判断から計算へ』を出した。書名では判断と計算の二語が向き合う。

二百二十七ページの段落は、本でことに多く引かれ、ことに多く削られた。流れはこうだ。まず、ここでの問いは技術でも数学でもなく、倫理の問いだという。そして「できるか」で始めても解けないという。次に、コンピューターをどこまで使うかという最終的な限度は、「すべき」という言葉でしか表せないと述べる。最後に時間の限定を足し、それから結論を述べる。現時点では、コンピューターに知恵を持たせる方法はまだない。したがって今は、知恵の要る仕事を任せるべきではない。

現時点では。今は。二つとも原文にある。消せば、コンピューターは永久に知恵を持てないから、重要な仕事を永久に任せるべきではない、になる。今広まっているのは後の文だ。

四つ目の書き替えだ。前の三つとは向きが逆になる。三つは機械を大きく語り、ここでは人の断言を大きく語る。手つきはまったく同じで、限定を取る。

二百七十ページは別の段落だ。サイモンとコルビー、二人の名を挙げ、正反対の方向を表すという。それから、人に属することの中には、コンピューターに代わらせるべきでないものがあると書いた。

次の一段と続けて読む必要がある。すぐに、実際にその仕事を機械が成し遂げられるかは別の問題だと分けた。できないというのではない。すべきではない、という。

挙げたのは職業やソフトウェアの種類ごとの禁止一覧ではない。関係の中にあるものを指した。尊重、理解、愛だ。だからこのページを「重要な決定は一切コンピューターに任せてはいけない」に縮めると、まさに彼の線の引き方が落ちる。

本が出た年、もう公の論争になった。1976年6月、人工知能の専門部会の会報に、まずベンジャミン・カイパーズの「ワイゼンバウムの本への反応」、次にマッカーシーの「理不尽な本」、次にワイゼンバウム本人の返事が載った。同じ号に三篇、ページは続いている。

カイパーズは、本の問いに値打ちがないと言ったのではない。書き方がきつすぎて、肝心の問いを遮っていると考えた。また、当時コンピューターはまだ人の手の道具で、間にコンピューターを置いても、機械の振る舞いの後ろで人が負う責任は消えないと強調した。

マッカーシーの題は「理不尽」と言い切る。主に反対したのは、計算機技術の事実から、人工知能、人の判断、研究者の道徳についてのもっと強い結論を導くことだ。はっきり説明できない人の判断や人の特別さを使って、原理的な技術の線を先回りして引くことを受け入れなかった。分野にいる人全体を道徳の言葉で描くことにも反対した。

またマッカーシーの名が出た。1956年の夏に金を求めた書類にもいた。今度は引かれた線の外に立つ側だ。

彼の言い分は、機械にさせるべきでない仕事があるという理由が、うまく説明できない人間の判断力だとしたら、検証できず、議論にもならないということだ。彼の側では、線は計算で出せ、覆し、引き直せる必要がある。

ワイゼンバウムの側では、二百二十七ページの初めに倫理の問題であり技術の問題ではないと書く。初めから技術の線を引くつもりはなかった。だから争っているときも、二人は違う土地に立つ。一人は計算できる線を求め、もう一人は自分が出すのは計算できる線ではないと明言する。二種類の線が同じ会報の隣り合うページに並んだ。

同年10月、技術と文化を扱う別の雑誌にアガシの書評が出た。道徳についての主張の核には常識に近い箇所があり、ウィーナーの世代に比べ何が新しいかわかりにくいとする一方、専門外の人への技術説明を褒め、読むことを勧めた。

論争の形はこうだ。一冊出て、同じ年に署名のある評や応答がいくつも出た。そのうち二篇と本人の答えは、同じ会報の続きのページに詰まった。前の篇のパーセプトロンの本とは違う。あちらは書評二本が十六か月離れて出た。こちらは初めから面と向かって争った。

争った中身は、後には伝わらなかった。伝わったのは、すっかり削った一文だ。

この篇の四つの書き替えで消えたのは、秘書が知っていたという一文、なぜドクターのスクリプトをそう書いたか、積み木の範囲、二か所の「今」だ。別に後の語りが二つある。彼は衝撃を受けた。積み木のプログラムの著者が自分で行き止まりと宣言した。いつそういう形になったかを突き止められるとは限らない。文が形を変える瞬間には、たいてい跡が残らない。削る人には、少し滑らかに書いたつもりであることが多い。

最後にあの部屋へ戻る。秘書はタイプライターの前に座っていくつか打ち、振り返ってプログラムを書いた人に席を外してほしいと頼んだ。答える相手が機械だと知っていた。

書いた人は十年後に驚いたと述べた。人がすばやく、深く感情を巻き込まれた、と書いた。そして1967年に本人が書いた一文では、あの秘書は機械だと知っていた。

後の人はこれをだまされた話に書き替えた。だまされた話なら解ける。はっきり言えばいい。元の出来事は、はっきり言っても残る。

本の二百二十七ページでは問い方を替えた。機械にできるかではなく、すべきかを問う。この問いにはあのドアを閉めることも開けることもできない。ドアをそこに残し、開けることと閉めることを、人の側に残した。

機械は今も造られつづける。境界線がどこにあるかは、世代ごとに語り直される。