「アテンション」は知能の本質か？

ホーム 「アテンション」は知能の本質か？ コメント 記事を保存 後で読む 共有 Facebook コピーしました！ リンクをコピー Email Pocket Reddit Ycombinator コメント 記事を保存 後で読む 後で読む Qualia 「アテンション」は知能の本質か？ Natalie Wolchover 著 2026年10月12日 AIモデルが言語を大規模に処理することを可能にする数学的メカニズムは、現在のAI革命を支えています。コラムニストは問います：なぜアテンションが鍵となるのか？ コメント 記事を保存 後で読む Lisett Ledon / Quanta Magazine 提供 はじめに 2022年のChatGPTリリース以降、世界を席巻した「AI経済」、データセンター、親友や医師、数学者として振る舞うチャットボット、そして実存的リスクに関する議論。これらすべては、ある意味で、モントリオール大学の研究室のインターン、ドミトリー・バダナウ氏から始まります。2014年のことでした。子供の頃から競技プログラミングをしていた23歳のベラルーシ人である彼は、学術研究の経験はありませんでしたが、コンピューターに英語からフランス語への文章翻訳をさせる方法を見つける手助けを求められました。 バダナウ氏は人工ニューラルネットワークを使用していました。これらのネットワークは、手書き文字の解読や写真内の物体の識別などのパターン認識タスクで既に有望な結果を示していました。ネットワークは、トレーニングデータに応答してノード間の接続を強化および弱化させることによってパターンを認識することを学習します。バダナウ氏は、人間レベルの知能に匹敵するものを達成する可能性について静かに懐疑的でしたが、彼の指導教員であるコンピューター科学者のヨシュア・ベンジオ氏と、プロジェクトのポスドクであるキュンヒョン・チョ氏は信じていました。そして、翻訳はニューラルネットワークが解決しようとする formidable で興味深い問題として広く見られていました。 翻訳は、各英語の単語をフランス語の単語に置き換えるほど単純ではありません。言語は異なる文法構造を持ち、慣用句やニュアンスに満ちており、これらは長らく自動化の試みを妨げてきました。翻訳のルールを単純に実装することはできません。しかし、ニューラルネットワークは例から学習するため有望に見えました。それらは、ペアになった英語とフランス語の文章の巨大なデータベースでトレーニングされることで、最終的に quasi-rules、例外、および微妙なニュアンスを吸収することができます。しかし、結果は平凡でした。文章が長くなるほど、ニューラルネットワークのパフォーマンスは悪化しました。それは、研究者たちがターゲット言語で文章をデコードする前に、各文章のデータを固定量のメモリに詰め込もうとしていたからです。それは、翻訳の複雑さと洗練度を制限するボトルネックでした。ネットワークアーキテクチャが正しくなかったのです。 そこでバダナウ氏は何か違うことを試みました。彼はモントリオールでAI関連の仕事をしている私に、「それはただ明らかに正しいことだった。科学において、経験の少ない人に非常に明確になることが時々起こるようなことの一つだ」と語りました。「そして、それはうまくいった。最初の試みから。」 彼、チョ氏、ベンジオ氏が「アテンション」と呼んだバダナウ氏のトリック、つまり数学的演算は、彼のニューラルネットワークが長い文章を短い文章と同じくらいうまく翻訳することを可能にしました。それは、そのアプローチがスケーラブルであることを意味しました。当時の他のAI研究者たちは、すぐにアテンションをニューラルネットワーク設計に統合しました。そして2017年、Googleのチームは「Transformer」と呼ばれる新しい種類のニューラルネットワークアーキテクチャを考案し、アテンション手法をスーパーチャージし、それ以外のすべてを取り除きました。チームの論文「Attention Is All You Need」は、Transformerが最先端の翻訳を達成しながら、以前のモデルのトレーニングに必要な計算量のほんの一部しか必要としないと報告しました。この論文は、それ以来250,000回以上引用されており、AIにおける画期的な瞬間となりました。ChatGPTやClaudeのような大規模言語モデルがそれに続きました。 解き放たれた驚異的な力を考えると、このアテンションメカニズムが正確に何であり、なぜそれが「すべてを必要とする」のか、そしてなぜ機械翻訳がそれを解き明かしたタスクだったのかを問う価値があります。アテンションは、単一のAIモデルがどのように私たちと会話したり、病気を診断したり、リアルなビデオを生成したり、長年の数学の問題を解決したりできるかを理解する方法です。それは、人工的なものかどうかにかかわらず、知能の中心にあるのでしょうか？ 「it」のような代名詞を含む文章は、アテンションが克服する課題を示しています。考えてみてください：「その動物は通りを渡らなかった。なぜなら、それは疲れていたからだ。」そして：「その動物は通りを渡らなかった。なぜなら、それは広すぎたからだ。」 これらの文章をフランス語に正しく翻訳するために、AIモデルは、最初の文章では「it」が動物を指しており、フランス語では男性名詞であるため、その代名詞の男性形である「il」を使用すべきであると判断する必要があります。しかし、2番目の文章では、「it」は通りを指しており、女性名詞であるため、異なる代名詞「elle」が必要です。機械はどうやってこれを理解できるのでしょうか？ バダナウ氏は、学校で英語を学んでいた頃の翻訳練習を思い出しました。翻訳された文章の次の単語を書くために、彼はソーステキストのあちこちをちらっと見て、次に何が来るべきかを判断する必要がありました。「文字通り、ソースの文章が左にあり、書いているものが右にあり、『頭を左右、左右に振る』という感じでした」と彼は言いました。「そのプロセスをニューラルメカニズムとして表現しました。」 彼がニューラルネットワークに与えたアテンションというツールは、ネットワークが文章中のどの単語または単語が次の単語の翻訳に最も影響を与えるかを特定するための数学的な方法でした。私たちの曖昧な代名詞「it」の場合、システムは、その意味に最も影響を与える単語を判断するために、文章の残りの部分をナビゲートします。 Transformerは、隣接する層のノードに接続された多くのノード層で構成されています。文章がTransformerに入力されると、各単語は最初にベクトルと呼ばれる数値表現に変換されます。これは、特定の方向を指す矢印として想像できます。これらのベクトルはネットワークを通過し、重み（モデルのトレーニングによって決定される）と呼ばれる数値が、各層でそれらがどのように変換されるかを決定します。重みは、各単語の現在のベクトル表現を、その単語に固有の3つの新しいベクトル、「クエリ」、「キー」、「バリュー」に変換します。これらはそれぞれアテンション操作で異なる目的を果たします。ネットワークは、アテンションヘッドと呼ばれるシステムを通じて、この操作を複数回並列に実行します。 アテンションヘッドは、各単語のクエリを、文章中の他のすべての単語のキーと比較します。これらのベクトルがどれだけ一致するか、つまりどれだけ同じ方向を指しているかによって、他の各単語の値が、現在の単語の新しい更新されたベクトルにどれだけ強く寄与するかが決まります。文章中の他の単語に関する情報が、文字通り各単語の表現に取り込まれます。システムは文脈を数学に変換しています。 「その動物は通りを渡らなかった。なぜなら、それは疲れていたからだ。」という文章がTransformerに入力されると、エンコーダーとして知られるネットワークの最初の層スタックが、アテンション操作を使用して、文章の文脈的な理解を構築します。 各層で、各アテンションヘッドは「it」に対してクエリ（キーとバリューと共に）を生成します。このクエリベクトルは、文章の他の場所にある情報のリクエストとして考えることができます。例えば、深い層（ネットワークが既に単語に関する情報を蓄積した後）では、「it」のクエリは次のように解釈できるかもしれません：「疲れている可能性のある、前の名詞が必要です。」一方、「animal」に関連付けられたキーは、疲れている能力を持つ名詞として、他の多くの特徴とともに、効果的に自己宣伝しているかもしれません。したがって、そのキーは「street」のキーよりもクエリによく一致します。そして、それは「animal」に関連付けられた値が「it」の更新された表現により大きく寄与する原因となります。その新しい、文脈が豊かになった「it」の表現は、次の層に入ります。そこで、ネットワークは再びアテンションを実行します。 successive rounds は、単語にますます豊かな自己表現を与えます。専門家によると、それはしばしば