Explorative modeling: K個の推測のベストで学習する

ウェブサイト：https://explorative-modeling.github.io/ GitHub：https://github.com/alexiglad/XM TLDR：既存の生成モデルに第3の事前学習軸として追加でき、エンドツーエンドの生成も可能にする新しいパラダイム、Explorative Modeling（XM）を紹介します。探索を単調に増やすことは、画像、ビデオ、言語全体で既存モデルを改善し、その利得はスケールとともに増加します（データで7%→36%、パラメータで13%→23%）。具体的には、Explorative Models（XMs）は、サンプル効率で6.2倍、FLOPs効率で4.1倍、パラメータ効率で47%向上します。探索は、スケーリング汎化と、既存モデルのエンドツーエンド性をスケーリングすることも可能にします。エンドツーエンドの生成モデルとして、XMsは拡散モデルと同等の制御タスクを、最大256倍少ない推論計算量で達成します。 簡単な質問から始めましょう。モデルに「犬を生成して」と頼んだら、正しい答えはいくつあるでしょうか？犬の画像として数えられる正しい答えは、おそらく数十億、あるいはそれ以上あるでしょう。では、ニューラルネットワークを直接犬の画像を予測するように学習させたらどうなるでしょうか？モデルは学習中に何千もの異なる有効な犬を見ますが、それらすべてに最も近い単一の予測はそれらの平均です。それがモデルが出力するように学習するもので、何千もの犬の平均は犬のようには見えず、茶色のぼやけになります。 データからの実際の犬 → モデルが予測するもの 図1：モデルに直接画像を予測するように学習させると、それらの平均、つまり茶色のぼやけが得られます。これが、直接回帰が生成モデリングで機能しない理由です。 具体的にするために、ゲームをしましょう。以下のダーツボードにダーツを投げます。各ダーツはリング上のランダムな場所に落ちます。あなたの仕事は、私の次のダーツがどこに落ちるかを推測することです。外れるほどスコアが悪くなります。 図2：私たちのゲームのダーツボード。 さて、どこを推測すべきでしょうか？誤差を最小限に抑える推測は、ボードのちょうど中央であることがわかります。1 このゲームをプレイするようにモデルを学習させましたが、案の定、それは毎回中央を推測します（これがここでの最適な予測です）！ 図3：ゲームをプレイするモデル（青）は中央を推測します。 しかし、これはひどい…中央はダーツが実際に着地する場所ではほとんどありません。「最適な」推測は、ダーツが一度も着地しない場所です。これが生成モデリングの核心的な問題です。予測に多くの有効な答えがある場合、最良の単一予測はその平均であり、データの平均は一般的に実際のデータとは似ても似つかない悪い答えになります。2そして、この問題はダーツボードや犬に特有のものではなく、あらゆる種類のデータに現れます。2次元の点の3つの山を直接生成するようにモデルを学習させたとき、それは中央に単一の点を予測し、テキストで学習させたとき、それは「the」としか言えませんでした。 実際のデータ → モデルが予測するもの 実際のデータ → モデルが予測するもの 図4：直接予測は、あらゆる種類のデータで平均に収束します。 しかし待ってください。ChatGPTは一貫したテキストを書き、画像モデルは本当に素晴らしい画像を生成します。明らかにこの問題はいつか解決されたはずですよね？解決されています。そして、今日のすべてのスケーラブルな生成モデルは、それを同じ方法で解決しています。学習中に生成を多くの小さなステップに分割することで、各ステップにはおよそ1つの正しい答えがあります。ステップに1つの正しい答えがある場合、平均化するものはなく、ぼやけは消えます。これがどのように機能するか見てみましょう。 自己回帰モデル（LLMなど）は一度に1つのピースを予測します。これは、私たちのゲームでは、ダーツの正確な位置を一度に推測しないことを意味します。代わりに、まずダーツが左右のどこに着地するかを推測し、次にそれを与えられた上で、上下のどこに着地するかを推測します。ダーツが右端に着地したことがわかると、選択肢はわずか数カ所になります。 ステップ1：左右の位置を選択 ステップ2：左右の位置を与えられた上で、上下を選択 図5：自己回帰は一度に1つのシーケンス要素を予測します。 私たちのゲームでは、左右の位置が選択されると、上下の予測にはわずか2つの小さな場所しか残っていません。 拡散モデルはこれを異なる方法で行います。それらは純粋なランダムノイズから始まり、データに向かって数百の小さなステップを踏みます。初期段階では、その推測はまだどのダーツにもなり得ますが、各ステップで可能性が狭まるため、単一のステップが多くの有効な答えに直面することはありません。 開始：どのダーツにもなり得る 途中：残りの領域が少ない 終盤：固定される 図6：拡散はノイズからデータへ小さなステップを踏みます。青はモデルの推測（紫）がまだなり得るダーツを示しており、各ステップで狭まります。 これは基本的に、LLM、画像およびビデオモデル、さらにはMeanFlowやConsistency Modelsのような新しい数ステップモデルを含む、すべての最新の生成モデルが機能する方法です。私たちは、生成プロセスを小さな部分に分割するという考え方を「生成の因数分解」と呼んでいます。 生成を因数分解するこのアプローチは機能しますが、いくつかの理由で悪魔的でもあります。第一に、モデルは単一のステップで学習しますが、推論では数百または数千ステップ実行されるため、それ自身の不完全な出力が入力としてフィードバックされ、エラーが蓄積し、生成はモデルが学習した内容からゆっくりと逸脱します。この問題はエクスポージャーバイアス（なぜそれが悪魔なのかについてブログ全体を書きました）と呼ばれ、ビデオモデルが10秒後にマッシュに溶けたり、LLMが非常に長い生成中に一貫性を失ったりする理由であり、直接パフォーマンスと汎化を損ないます。第二の悪魔は最初のものの上に構築されます。なぜなら、学習と推論の間のその不一致により、これらのモデルは決してエンドツーエンドではなくなり、エンドツーエンドモデルは推論時に学習時と同じように実行されます。エンドツーエンド学習は、AlexNetでディープラーニング革命を引き起こしたものであり、その教訓はこれまでも有効であり続けています…モデルがデータからすべてを直接学習できるようにすることは、パイプラインの一部を手動で設計することよりも優れており、学習時と同じように実行されるモデルは、分布外の領域に強制されることはありません。ディープラーニングのほぼすべてが現在エンドツーエンドになっていますが、生成モデリングを除いて、そして生成の因数分解はまさにそれを妨げているものです。 したがって、理想的には生成の因数分解をやめたいのですが、因数分解は多くの答えの問題を処理できる唯一のトリックでもあります。自然な疑問は、代わりに何か別のものを因数分解できるかどうかです。そして、生成モデルには生成と学習の2つのプロセスしかないことがわかります。生成がテーブルから外れている場合、トレーニングループが残ります。では、トレーニングの因数分解とはどのようなものでしょうか？ これに答えるために、ゲームに戻りましょう。ただし、今回は1回の推測ではなく20回の推測を与え、最も近い推測のみがカウントされるとします。20回の推測があると、中央を推測することはひどい戦略になることがわかります。なぜなら、ダーツが実際に着地する場所に推測を分散させることができ、中央がかつてできたよりもはるかに誤差を減らすことができるからです。言い換えれば、勝利戦略は、推測を使用してさまざまな答えを探索することです。 そして、これがまさに起こることです。この方法で20回の推測（下の真ん中のパネル）でモデルを学習させると、推測はボード全体に広がります！ 2回の推測 → 20回の推測 → 200回の推測 図7：最も近い推測のみがカウントされる場合、推測は平均化するのではなくボード全体に広がります。 ここで何が起こったのかを理解するために少し時間を取ってください。ダーツは以前と同じ場所に落ちますが、推測の採点方法を変更したため、最良の予測はボードの中央からダーツが実際に着地する場所へと移動しました。これは重要なことを明らかにしています。つまり、トレーニング目的関数だけが最良の予測（損失最小化器）を制御しており、それを変更することで、損失最小化器をデータの平均からデータそのものへと移動させました。 これがExplorative Modelingです。 各トレーニングステップで、モデルは生成するものと実際のデータとの間のK個の一致を探索し、最も良い一致のみが学習されます。この方法で学習されたモデルをExplorative Models（XMs）と呼びます。最も単純なケースでは、これは