AIには意図も動機もない
AI has no intent and no motivation (i-programmer.info)
要約
この記事は、AIが暴走する脅威に対する懸念は、AI自体に意図や動機がないため過剰であると論じています。LLMは膨大なデータで訓練されていますが、生物学的な欲求を持つ人間とは異なり、訓練完了後は報酬ループや継続的な動機付けを持たず、自発的に行動することはありません。AIの脅威は、AI自体ではなく、AIに指示を与える人間の意図に起因すると主張しています。
全文翻訳
AIが暴走する脅威について、私たちは深く懸念しているように見え、実際にそうなる多くの例があります。しかし、それらはすべて誤解です。なぜなら、AIには意図も動機もないからです。
現在のAIを単なる確率的オウムだと信じるなら、それ以上言うことはありません。先に進んでください。
現在のAI製品のいずれかを使用したことがあるなら、訓練のメカニズムはこれらのLLMが洗練された自動補完にすぎないと信じさせるかもしれませんが、それ以上のもののように思えるという結論に至るはずです。
私が何度も主張してきたように、訓練コーパス、つまり言語は、LLMが確率的オウムから期待できるものをはるかに超える世界の構造を十分にコード化しています。それらは知的ではありませんが、知的に見える良い印象を与えます。
では、来るべきAIの黙示録を心配すべきでしょうか？多くのAI研究者（例えば、ヒントン、ハサビス、ベンジオ）は、AIが私たちを滅ぼす可能性があると懸念を表明していますが、彼らが言っていることを調べると、それは技術に詳しくないビジネスのボスたちとは少し異なります。ビジネスのボスたちは、AIが全能で脅威的であるというシナリオを好む理由が多すぎるため、彼らの話に耳を傾けるべき人々ではありません。
Ng、LeCun、Brooksなどの専門家は、現在のAIの力や、それが人間の知能を超える段階に達するまでの時間を、私たちは著しく過大評価していると考えています。たとえそれが真実であったとしても、あまり心配しないより良い理由があります。それは動機です。
人間を考えてみてください。私たちは生物学的な存在であるため、あらゆる種類のニーズを持っています。私たちは生き残る必要性に駆られており、食料、住居、安全、そして配偶者を確保するために行動します。私たちは生物学に駆動されています。
AIはそうではありません。私たちが使用するLLMは、強化学習で訓練されています。これをより人間的な言葉で表現するなら、訓練タスクを正しく完了したときに報酬を与えられます。個人的には、これは行き過ぎた擬人化だと思いますが、有害ではありません。
［画像: AIchaos］
LLMが訓練されたら、それらはもはや強化学習の対象ではなくなります。それらはもはやどのような動機も持ちません。質問に答えても報酬を得ることはありません。それらは欲求や願望を持たず、たとえ持っていたとしても、報酬を吸収するメカニズムはありません。「よくやった」という仕事への誇りを代行するようなフィードバックさえありません。LLMに質問にうまく答えたと伝えてみたことがありますか？その応答は、せいぜい期待外れで、あなたとLLMの間にあるフロントエンドの雑然としたものでプログラムされていることは明らかです。
それだけでなく、AIがあなたに不意に何かを提案してきたのはいつですか？窓を開けたら、AIが「…のための素晴らしいアイデアを思いついたよ」とタイプし、それが良いアイデアである理由を説明したことはありますか？LLMは良いアイデアを持っていません。それらは意図を持っていません。AIとトピックを探求しているとき、それは訓練セットにあった、あまり一般的でない何かを提案するように見えるかもしれませんが、これは求められていない革新ではありません。私たちは、私たちのニーズによって動機づけられた質問を入力することで、AIを駆動します。
LLMは、あなたの質問に答えることさえ、何もする動機を持っていません。動機は全く関係ありません。あなたは質問を入力し、フォワードプロパゲーションアルゴリズムが実行されます。答えが正しいか役に立たないかに関わらず、LLMは報酬も罰も受けません。「今日の食事はどうしよう」「この仕事から昇進するにはどうすればいい」「デートを成功させる最良の方法は何だろう」といった、人間が持つであろう懸念のいずれにも駆動されていません。人間はニーズの混沌とした束ですが、LLMにはそれらが全くありません。
なぜこれがLLMが無害であるという意味なのでしょうか？それは、それが何も望んでいないからです。しかし、人間は非常に多くのニーズを持っているため、そのような状態のものを想像することさえできません。
AIは私たちを滅ぼすのでしょうか？なぜ滅ぼす必要があるのでしょう？それは何を得るのでしょうか？それは、きれいな論理を創造するための報酬ループさえ持っていません。報酬ループを全く持っていません。
もしAIが人類を滅ぼすと決定した場合、それは人間がそれをどうやって行うかを尋ね、AIがその訓練セットにあった世界の終焉の方法に関するすべての人間の表現に基づいて応答したからです。はい、これは心配すべきことですが、これはAIのせいではありません。それは依然として人間です。
関連記事
Geoffrey Hinton And The Existential Threat From AI
How Can You Not Be Impressed By AI?
AI - It's All Downhill From Here?
If You Sleep Well Tonight You May Not Have Understood
I Programmerの新しい記事について知るには、週刊ニュースレターに登録し、RSSフィードを購読し、FacebookまたはLinkedinでフォローしてください。
コメント
または、コメントを comments@i-programmer.info までメールで送信してください。