エミリー・ベンダー、「確率的オウム」について改めて説明する
Emily Bender Sets the Record Straight on "Stochastic Parrots" (spectrum.ieee.org)
要約
計算言語学者のエミリー・ベンダー氏は、影響力のある論文「確率的オウムの危険性について」の共著者として、大規模言語モデル(LLM)が単語の統計的な予測によってテキストを生成する仕組みについて、5年後の現在、ChatGPTなどの普及を背景に、その誤解を解くためのインタビューに応じました。ベンダー氏は、「確率的オウム」という比喩はLLMに特化したものであり、AI全般を指すものではないこと、またこの言葉は侮辱ではなく、システムの仕組みを説明するためのものであると強調しています。
全文翻訳
エミリー・ベンダー氏、「確率的オウム」について誤解を解く
2021年3月、4人の研究者(言語学者と計算機科学者の共同研究)が、今や伝説となった論文「確率的オウムの危険性について:言語モデルは大きすぎることがあるか? 🦜」を発表しました。
この論文は当時大きな注目を集めました(その一部は、Google が著者であるティムニット・ゲブル氏とマーガレット・ミッチェル氏の2名を論文発表直前に解雇したためです)。論文では、大規模言語モデル(LLM)は、発話内容を理解するのではなく、統計的に可能性の高い単語の連なりを予測することでテキストを生成していると主張しました。このプロセスを著者は「確率的オウム」という比喩で捉えました。これは、理解を伴わずにパターンを繰り返すシステムを指します。そして、過去5年間で、この比喩は元々生まれた学術分野を超えて広がり、議論を巻き起こし、「確率的オウム」と名付けられた肩載せロボットのようなプロジェクトのインスピレーションとなっています。
しかし、その広範な使用は、この言葉が元々何を意味していたのかについての誤解も生んでいます。ワシントン大学の計算言語学教授で、筆頭著者のエミリー・M・ベンダー氏は、論文発表から5周年を機に、この論文に関する一般的な誤解を debunk するためのブログ記事を最近執筆しました。
ベンダー氏は、これらの誤解、計算言語学の分野、そして現在の人工知能を巡る議論について、IEEE Spectrum に語りました。
「人工知能」という言葉の何が問題なのか
計算言語学者としてのあなたの仕事は、どのように説明できますか?
エミリー・M・ベンダー: 一般的に、言語学は言語がどのように機能し、私たちが言語とどのように関わるかを研究する学問です。私はそれに貢献するとともに、計算言語学の分野で、言語技術を構築していく学生を育成しています。
言語技術は、誰かがそれを人工知能プロジェクトに使用したいかどうかに関わらず、それ自体で価値があり、興味深いものです。言語技術には、自動文字起こし、機械翻訳、スペルチェックなどが含まれます。そして、私が個人的に物事を構築する際に、多くの仕事は、人間が読めるだけでなく、コンピューターが読み取れる文法を構築することに関わっています。これは、異なる言語における言語現象をモデル化するものです。それは、言語仮説の検証のためにコンピューターを使用することについてです。
あなたは、「人工知能」という言葉は、明確にするよりも曖昧にすることが多いと主張しています。なぜですか?
ベンダー: 理由はたくさんあります。テクノロジーについて良い議論をしたり、それについて賢明な決定を下したりすることが困難になると考えています。なぜなら、私たちがテクノロジーについて話す方法が、そのテクノロジーが何であるかを明確にしないからです。「人工知能」という言葉は、互いに異なる技術をグループ化し、それぞれの技術ができることを過大評価しています。したがって、何かを使用するかどうか、どのように規制するかを決定しようとする場合、より明確な説明がある方がはるかに良いです。
一般的な会話では、AIは「チャットボット」や「LLM」とほぼ同義になっています。それは問題ですか?
ベンダー: 多くの人は、「私はそれを blah blah blah のために使っています」と言います。その「それ」とは何を意味するのですか?そして彼らは「ああ、Claude」とかChatGPTとかGeminiのことです、とチャットボットについて話します。しかし、他の人は「AIがすべて悪いとは言えない、なぜならAlphaFoldはどうなんだ?」と言います。
ですから、多くの人にとって、彼らは大規模言語モデルの上に構築されたチャットボットについて話していますが、それらがAlphaFoldのようなものとは異なるものであることを本当に明確にしていません。そして、「科学者がAIを使って新薬を発見した」という報道があった場合、彼らは何を使ったのでしょうか?もし彼らが話しているのが、もっと狭い範囲のもので、例えばタンパク質構造予測や、気象モデリングのような他の種類の統計モデリングであれば、それはChatGPTとは非常に異なる種類のテクノロジーです。
「人工知能」のような包括的な用語には価値があると思いますか?
ベンダー: そうですね、これを売ろうとしている人々、つまり評価額を上げようとしているテクノロジー企業にとっては価値があります。また、現在の研究資金の仕組みでは、自分のやっていることを人工知能と呼ばないと資金を得るのが非常に難しいです。それは全体としてマイナスだと考えていますが、そのシステムに閉じ込められている個々の人にとっては、その瞬間には価値があるかもしれません。
確率的オウムがいかに誤解されてきたか
「確率的オウム」という比喩について、最も一般的な誤解は何ですか?
ベンダー: 最大の誤解の一つは、「ベンダーはAIを確率的オウムだと言っている」ということです。あの論文は2020年末に書かれました。私たちは大規模言語モデルについて話していました。AIという言葉は、最後の最後で一度だけ出てくると思いますが、それは、もし人間が行うようなことを行うことを意図したシステムを開発するつもりなら、それが人間に間違われるようなものを作り出していないか、非常に注意しなければならないということについてです。これらのシステムが人間の言語使用方法を模倣するように設計されているという事実は、人々がそれらを他の人と間違えやすくします。
そのため、論文の最後の方で、私たちはAIに一般化しました。しかし、「確率的オウム」という言葉は、大規模言語モデルに具体的に言及しており、「人工知能」という言葉は多くの異なるものを指します。したがって、チェスエンジンやAlphaFold、画像ラベリングシステム、機械翻訳システムなど、人工知能と呼ばれることがあるそれらのどれもが確率的オウムであると主張したことはありません。私たちは、合成テキストを生成するために大規模言語モデルを使用することについて、具体的に話していました。
もう一つは、「確率的オウム」が他の人によって軽視や侮辱として受け取られたことです。その意図ではありませんでした。他の人がそのように使っているかもしれませんが、それは私が意図したものではありません。なぜなら、それはこれらのシステムが実際に何であるかの単なる説明だからです。それを侮辱と見なすには、大規模言語モデルが侮辱を受けうる種類の存在であるという信念(それはそうではありません)か、あるいはこれらの大規模言語モデルが、私が持っていない人工知能という壮大な理想への一歩として理解されるべきだという信念が必要です。
私が多くの場所で行ってきたこと(タコの思考実験、確率的オウム、そして「合成テキスト生成機械」という言葉)はすべて、言語技術を構築するビジネスに携わっていない人々に、これらのシステムが実際に行っていること、つまりシステムを侮辱したり、システムを気に入っている人々を侮辱したりすることとは同じではないことを鮮明に伝えるためのものです。
関連:チャットボットの大論争:彼らは本当に理解しているのか?
読者の方で知らない方のために説明すると、「タコのテスト」は、タコが海底ケーブルを伝わるメッセージ内の統計的パターンを認識することを想像した2020年の論文に由来します。タコのテストと確率的オウムで、あなたは動物の比喩を何度か使用していますね。それは意図的ですか?
ベンダー: いいえ、意図的ではありません。タコの思考実験では、当初、イルカの話をしていました。なぜなら、イルカは明らかに知的な動物だからです。その論文の共著者であるアレクサンダー・コラーは、タコにすべきだと言いました。なぜなら、第一に、タコが生息する環境は人間が住む場所とは大きく異なるからです。それは比喩をより鮮やかにします。タコはケーブル内のパルスを感じているだけで、人々が見ているものを見る方法はありません。しかし、タコは単に本質的に面白いからです。
その論文を見返したのですが、「確率的オウム」という言葉が実際に本文中に登場するのは2回だけだったことに驚きました。なぜタイトルに含めたのですか?
ベンダー: 気に入ったからです!そしてキャッチーなタイトルは学術論文の良いセルフマーケティングになります。論文中にそれほど多くない理由は、モデルをさらに大きくすることのリスク全体を見ていたからです。「大規模言語モデル」という言葉も論文には登場しません。なぜなら、人々はそのように話していなかったからです。
したがって、合成テキストに関するセクションは、ある意味で私たちは薄氷を踏んでいるように感じました。なぜなら、その時点では合成テキストを望む人がいるとは想像しにくかったからです。この論文の部分は、OpenAIがChatGPTを世界に展開したときに、はるかに重要になりました。そして、その特定のセクションが重要であることが明らかになりました。しかし、環境への影響についても議論しています。これらのシステムがトレーニングデータのバイアスを吸収する方法についても議論しています。トレーニングデータが適切に収集されていないことについても議論しています。そこには様々な論点が多くあり、合成テキストに関する問題は単にそのうちの一つでした。
MIT Media Labの研究者たちは、多くのチャットボットが迎合的、つまり過度に同意的になる傾向があるという観察に応えて、確率的オウムロボットを作成しました。その傾向は、あなたの論文で述べた危険性に関連していますか?
ベンダー: 2020年末にその論文を書いた当時、人々は合成テキストにもチャットボットにもそれほど熱狂していませんでした。チャットボットは以前から存在していました。1960年代にはワイゼンバウムのElizaがあり、その後、大規模言語モデルによってより流暢になったものの、不快さは増すばかりの非常に迷惑な自動カスタマーサービスシステムがありました。
それが当時の状況でした。OpenAIはGPT-2とGPT-3を公開し、人々が遊べるようにしましたが、それらを使って合成テキストを生成することはできましたが、まだチャットインターフェースはそれらにラップされていませんでした。また、迎合的と解釈される行動につながる追加トレーニングのレイヤーもまだ見ていませんでした。チャットボットが「ああ、それは良いアイデアですね」と言ったり、あなたが間違っていると言うと、「ああ、すみません、あなたの言う通りです」と応答したりする理由は、元の事前トレーニングを超えた追加のトレーニングレイヤーによるものです。
言語モデルについて、もっと多くの人に理解してほしいことは何ですか?
ベンダー: 機会があればいつも伝えるメッセージは、これらのシステムから出てくるテキストが意味をなすとき、それは私たちがそれを意味あるものと解釈しているからです。これも確率的オウムの論文にあります。この種のテクノロジーを評価するときはいつでも、私たちは言語に意味を見出す能力を考慮に入れ、テクノロジーがどうなっているかを決定する際にそれを念頭に置く必要があります。これは、これらの議論でしばしば失われています。
もし確率的オウムの論文を今やり直したり更新したりするとしたら、何か変更することはありますか?
ベンダー: 論文でカバーしなかった非常に大きな形態の害が一つありました。それは搾取的な労働慣行に関わるものです。その下には、多くのデータワーカーが直面する過酷な状況と、これらのシステムを支える人々の創造的・知的成果の大量の盗用の両方が含まれます。これらの問題は論文に含めるべきでした。当時、それらが世界で知られていなかったわけではありませんが、私たちが調査した範囲には含まれておらず、含めるべきでした。
この記事は、確率的オウム論文の著者たちの研究分野を明確にするために、2026年7月1日に更新されました。