鑿構周期律・AIシリーズ · 15

「言語学者を一人解雇するたび、認識率が上がる」

秦漢 · 読了の目安:約13分 · 公開日

一、友人

2004年5月、リスボン。言語資源と評価を扱う大会がフレデリック・イェリネックを講演に招いた。本人は「私の親友には言語学者が何人かいる」と題をつけた。

英語の古い言い回しを踏まえた題だ。偏見はないと弁明するとき、私の親友には誰それの仲間が何人かいる、と言う。そういうことを言う人には、たいてい別の言葉がついて回っている。

イェリネックについて回った言葉は、後にこう伝わった。言語学者を一人解雇するたび、認識率が一段上がる。

2011年、同業者が追悼文に書き留めた版はこうだ。「言語学者が一人このチームを去ると、認識率が上がる。」1988年のこの冗談で人をからかうのが好きだったという。

リスボンの客席にいた一人は2012年に講演を振り返り、広く伝わったほうの言葉を書いた。私が言語学者を一人解雇するたびに、だ。

二つでは動詞が一つ違い、主語も違う。一方では言語学者がチームを去り、他方では私が言語学者を解雇する。前は誰かがチームを去ったと言うだけで、誰が決めたかはない。後では動いた人がいる。

二、一本の電話

チームの始まりを、イェリネックは2009年の回顧に書いた。1971年、ニューヨーク州ヨークタウン・ハイツのIBMワトソン研究所で、内部の作業班ができた。ジョン・コックやハーマン・ゴールドスタインが加わっていた。研究部門に連続音声認識のチームを設けるよう提案し、1972年の初めにジョー・ラヴィヴのもとで始まった。

その夏もイェリネックはコーネル大学にいた。1962年秋からそこで教え、情報理論と通信理論を研究していた。ラヴィヴに電話すると、会社は音声認識を始めるところだと言われた。大学を休んで移り、数週間後にこのチームの研究の方向を受け持つことになった。

人は何か所かから集まり、もともと音声に詳しかったのは本人によれば四人だけだった。ジムとジャネットのベイカー夫妻も後から加わった。1972年9月にはロバート・マーサーが来た。「卒業したばかりの物理学者」と彼は書いた。

会社は言語学の側から三人を一時的に移した。フレッド・ダメラウ、スタン・ペトリック、ジェーン・ロビンソンだ。ベイカー夫妻が来た前後に、この三人はもとのチームに戻った、とイェリネックは後に書いた。使った語は「戻った」だ。このチームを去った三人の言語学者は、もとの部署へ戻ったのだ。

つけた名は連続音声認識だった。「連続」は、人がふだん話すように、語が次の語につながり、間で止まらないことだ。1972年のチーム名にその語が入っていた。

三、間を置く

十三年後、このチームはリアルタイムで口述を書き取れる機械を造った。1985年の社内論文の題は「パーソナルコンピューターによる大語彙孤立発声音声認識装置」。自社のパソコンに、自社製の信号処理装置を二枚差した。語彙は五千語で、事務のメモや商用の手紙でよく使う語を基本語彙にした。初めての人は、自分の声を覚えさせるため、二十分ほどまず話しかける。同じ年、イェリネックは別の論文に話し方を明記した。「語と語の間には短い間を置かなければならない。」

1986年、語彙は二万になった。処理装置を二枚増やし、筐体の外の拡張箱に入れた。また、声で書類を書くとき人がどうするかを研究するため、音声用のワークステーションをつけた。その年の論文ではTangoraという名がついた。

由来は2009年にこう書いた。「アルバート・タンゴラにちなんでTangoraと呼んだ。」タンゴラは1923年にニューヨークで開かれた商業展示会でタイプライターの記録を持った人で、一時間に8840語を綴りを間違えずに打った。一分あたり147語。口で文書を書かせる機械が、いちばん速く手で打った人の名前を取った。

1972年のチーム名には「連続」とあり、1985年の機械は一語ごとに待つことを求め、題には「孤立発声」とあった。チーム名の語はさらに十二年待つ。1997年10月、音声技術の業界誌が一般向けの口述入力ソフトを二つ試した。一つはドラゴン・システムズのNaturallySpeaking初版、もう一つはIBMで試用段階にあった製品で、雑誌は連続音声と呼んだ。ドラゴン・システムズは後にベイカー夫妻が自分で作った会社だ。

1985年の論文で、イェリネックは自分の道を「エキスパートシステムによる定式化ではなく、情報理論による定式化」とした。パラメーターをデータから直接推定する。比べた相手はエキスパートシステムだ。第十二篇で見たように、1985年はまさにエキスパートシステムが最も熱いころだった。

四、暗号

1947年3月、ロックフェラー財団のウォーレン・ウィーバーは第四篇のウィーナーに手紙を書き、翻訳を暗号の解読にたとえた。「実は英語で書いてあって、奇妙な記号に符号化されているにすぎない」とある。見ていた文はロシア語だった。

1949年7月、ウィーバーはこの考えを「翻訳」と題した覚え書きにした。ニューメキシコ州で書き終え、知り合い三十人ほどに送った。第十篇で見たように、その後十数年、アメリカは機械翻訳に資金を出し、1966年に評価が出た。近い将来の実用化は見えず、計算言語学や機械支援翻訳などを研究するよう勧めた。報告に何が書いてあるかと、その後資金をどう配ったかは別の勘定だ。

ヨークタウン・ハイツのチームが翻訳に取りかかったのは1987年前後だ。イェリネックによれば、中心の数人にフランス語の専門家は一人もいなかった。バール、ピーター・ブラウン、マーサーと本人を挙げ、後でフランス語漬けの講座に通ったと書いた。

1988年6月12日から14日、ピッツバーグの機械翻訳の理論と方法をめぐる会議に、「仏英翻訳の統計的手法」を出した。同年のブダペストの国際計算言語学会議の論文集には「言語翻訳の統計的手法」がある。1990年6月に『計算言語学』に載った版では「機械翻訳の統計的手法」、1993年6月の長い論文は「統計的機械翻訳の数学――パラメーター推定」。五年で、題は仏英翻訳から言語翻訳へ、機械翻訳へ、最後は統計的機械翻訳になった。

1990年の論文は翻訳を確率の問題にした。フランス語の一文を見たら、そこに訳された可能性が最も高い英語の一文を探す。それを二つに分ける。一方は英語の文がどれほど英語らしいかで、言語モデル。もう一方は、その英語がこのフランス語になる可能性で、翻訳モデルだ。1947年の手紙では、もとは英語で、記号を替えただけだと言った。四十三年後の文と並べると、一方はたとえで、もう一方はアルゴリズムだ。

イェリネックは2009年の回顧に査読意見も転載した。最初の結果を1988年の国際計算言語学会議に送り、匿名の査読は1988年3月1日付だったという。「コンピューターの力任せは科学ではない」とある。同年の会議論文集には、その論文が載った。

五、翻訳者

これらの論文で翻訳を学ぶのに使ったのは、カナダ議会の議事録だ。議事録は英語版とフランス語版をともに保存する。議員がどちらかの言葉で発言すると、もう一方に訳されると、イェリネックは後にわざわざ説明した。

機械が学んだ文の一組ごとに、一方は議員が言ったこと、もう一方は翻訳者が訳したことだ。そのころ何人の翻訳者がいて、どの段落を誰が訳したかは、論文にない。

二十数年早く、ブラウン大学がコーパスを一つ作った。ブラウン・コーパスと呼ばれる。1961年にアメリカで出版された英語の散文から五百の見本を取り、それぞれ約二千語、合わせて約百万語。1963年から1964年にまとめた。

当時作った人の名は、今も大学のコーパス資料室に残る。責任者はネルソン・フランシスとヘンリー・クチェラ。作ったのはアン・ロブ・テイラー、ロレッタ・フェリス、メアリー・ロイス・マークワース、ヘンリー・ホール・ペイトン・ジュニア、ロバート・シュタウト・ジュニア。プログラムはアンドリュー・マッケイが書いた。百万語を一つずつ誰かが本の頁から選び、機械に打ち込んだ。

1992年、ジョン・ゴッドフリー、エドワード・ホリマン、ジェーン・マクダニエルが、電話音声のコーパスを発表した。電話交換台を意味するSwitchboardだ。通話約2400件、話し手543人。話す二人はふつう互いを知らず、何を話すかは先に決めた題目の一覧で指定した。見知らぬ二人が一覧の題を電話で話す。録音し、人がどう話すかを機械に学ばせる。

六、木

1989年から1992年、ペンシルベニア大学が注釈つきの英語のコーパスを作った。ペン・ツリーバンクという。1993年6月の論文ではすでに450万語を超え、一語ごとに品詞がつき、半分以上で文の骨組みまで描かれていた。

先に機械がやり、後から人が来る。品詞はベル研究所のケネス・チャーチが作った、確率でタグをつけるプログラムでまず処理し、人が一つずつ直した。文の構造を描くときは、構文解析プログラムがまず木を出し、人が修正した。

初期には一度比較した。四人の注釈者は全員、大学院で言語学の訓練を受けていた。それぞれ十五時間、機械のタグの修正を練習し、六時間、初めから自分でつける練習をした。千語あたり、初めから人がつけると平均四十四分、機械のものを直すと平均二十分。木を描くのはずっと遅く、数週間練習しても一時間に数百語だった。簡略な骨組みに変えると、熟練した人は一時間に750語から千語以上になった。

注釈者の画面にあったのは何も書き込まれていない文ではない。解析プログラムの出した木では、つながらないかけらの横に疑問符がつく。注釈者は疑問符のそばを押し、つなぐべき上の節点までマウスを引いて離し、かけらをつける。誤ったものは消す。画面では字下げが自動で揃い直す。品詞はプログラマーがよく使うテキストエディターでつける。誤った語のところへカーソルを動かし、正しいタグを打ち、ソフトウェアはタグが規則に合うか確かめる。何をどうつけるかには二冊の手引きがある。ビアトリス・サントリーニが1990年に書いた品詞の手引きと、彼女とメアリー・アン・マーシンキエヴィッチが1991年に書いた文構造の手引きだ。

論文は、この計画は統計的な方向を向くと説明した。画面の前に座り、疑問符一つずつについて文をつなぎ直したのは、言語学を学んだ人々だった。

1993年6月までに、木は言語データ・コンソーシアムという組織の会員が使えるようになった。

1972年にチームを去ったのは言語学者三人だった。二十年後、言語学者はもう一方の端に座る。統計の機械が学ぶ木を一つずつ描いた。

七、試験用紙

1991年2月、チャールズ・ウェインが音声と自然言語の研究会で、担当する二つの事業を紹介した。話し言葉の事業を、大語彙音声認識と話し言葉の理解の二つに分け、事業は「客観的な性能評価を重視する」と書いた。

第十篇の1971年から1976年の計画の名は、音声理解だった。1991年になると、認識と理解は同じ書類の別々の二部分として並ぶ。

試したのは共通の問題集いくつかだ。リソース・マネジメントは読み上げた問い合わせや命令。航空旅行情報システムは自然に口から出た問い合わせだ。後者は、実験に加わる人に便を調べるシステムと話してもらって録音した。システムは模擬で、当時はウィザード方式と呼んだ。裏で機械の代わりに答えるのは人だ。人が機械にどう話しかけるかを知るため、まず人に、機械のふりをする人と話してもらった。

資金を受け取って加わった十機関には会社、大学、国立研究所があり、ベイカー夫妻のドラゴン・システムズも入った。出題と採点はアメリカ国立標準技術研究所がした。

書き言葉でも試験があった。1989年の第二回メッセージ理解会議は海軍の作戦電文を使った。1991年の第三回は外国放送情報を翻訳・編集する機関のニュース原稿を使った。機械が文章から出来事を取り出し、データベースの表に入れられるかを見る。機械翻訳にも試験が要る。ウェインは「あらかじめ見ていない、自然に生じたテキスト」で試すと明記した。

2001年7月、トゥールーズで計算言語学会の年次大会があり、マイクロソフトのミシェル・バンコとエリック・ブリルが「きわめて大規模なコーパスを用いた自然言語の曖昧性解消」を出した。問うのは小さなことだ。同じ音で綴りの違う英語のto、two、tooがあり、意味はそれぞれ「~へ」「二」「~も」。機械は文に合うものを選ぶ。四つの学習法を使い、一つは第八篇のパーセプトロンだった。訓練は百万語から十億語まで増やし、試験は『ウォール・ストリート・ジャーナル』の百万語だった。

曲線は上がり続け、十億語でも横ばいにはならなかった。すぐ著者は「訓練データを増やす費用はゼロではない」と限定した。分野として注釈の揃ったコーパスを作ることにもっと力を使い、小さなコーパスでアルゴリズムの優劣を比べることにはあまり力をかけないよう勧めた。データが多いほうが、よいアルゴリズムに勝る。後のこの言葉は論文に帰されがちだが、本文にはない。

八、去る

もう一方の言葉にも、それぞれ年がある。

1957年、チョムスキーの『文法の構造』第二章に語の列が二つある。一つは、色のない緑の考えが猛烈に眠る、という列。もう一つは、それを逆にした列だ。どちらも意味をなさないが、前は文法に合い、後は合わない。文法に合うかと、単純な統計モデルで近似できるかは同じかを、二つで論じた。

2000年、フェルナンド・ペレイラは「形式文法と情報理論――再び一緒になるか?」を発表した。新聞で訓練した単純な統計モデルで二つの列を計算し直す。文法に合うほうは、逆の列の約二十万倍の確率になった。要旨が語るのは、過去四十年、両立しないと見られがちだった二つ、チョムスキーの形式言語学とシャノンの情報理論をつなぎ直すべきだということだった。題の最後には疑問符がある。

2011年、MIT創立百五十周年の討論で、ピンカーはチョムスキーに確率モデルをどう見るか尋ねた。答えの初めは「いくらか成功したが、失敗も多い」だった。続けて、分析していないデータによく近づくことを成功と見なす基準を批判した。同年、ノーヴィグが「チョムスキーと統計的学習の二つの文化について」と題して答え、同年10月、チャーチは「振り子は振れすぎた」と題して書いた。三つの話は並んでいて、別々のことを言う。

あの一文へ帰る。伝わった版は、言語学者がチームを去った、を私が言語学者を解雇した、に替えた。動詞と主語が一つずつ替わる。冗談の中に、手を下した人が一人増えた。1972年についてイェリネックが書いたのは、三人はもとのチームに戻った、だった。

替わったのは動詞だけではない。人が去り、数字が上がるという一文は、数字がどこから来るかを語らない。機械が議事録で翻訳を学んだとき、フランス語の行は翻訳者が訳した。新聞や本から英語を数えたとき、百万語をブラウン大学の人が一つずつ選んで打った。文の構造をツリーバンクから学んだとき、言語学を学んだ人が画面で疑問符一つずつをつないだ。人が機械にどう話すかを機械が学んだとき、向こうに座ったのは機械を演じる人だった。

言葉は数えられた。数えたのは、人が書き、訳し、印を入れ、口にしたものだ。何度数えても外に残るものを、このシリーズでは余項と呼ぶ。数字が一段上がるたび、その下に人々の仕事が敷かれている。その人々の名の多くは、数字と一緒には伝わらない。

リスボンでの題は「私の親友には言語学者が何人かいる」だった。

機械は今も造られつづける。境界線がどこにあるかは、世代ごとに語り直される。