Explorative modeling: K個の推測のベストで学習する
Explorative modeling: Train on the best of K guesses (alexiglad.github.io)
要約
本記事では、既存の生成モデルに第3の事前学習軸として追加できる新しいパラダイム「Explorative Modeling(XM)」を紹介します。XMは、生成プロセスを複数の小さなステップに分割する従来の生成モデルの課題(例:平均化によるぼやけ、エクスポージャーバイアス)を解決します。K個の候補を生成し、最も近いものだけを学習することで、モデルはデータそのものを直接学習できるようになり、サンプル効率、FLOPs効率、パラメータ効率が大幅に向上します。
全文翻訳
Explorative Modeling -- 3つ目の事前学習軸とエンドツーエンド生成の解放
ウェブサイト: https://explorative-modeling.github.io/ GitHub: https://github.com/alexiglad/XM
要点: Explorative Modeling(XM)という新しい生成モデリングのパラダイムを紹介します。これは既存の生成モデルに追加することで3つ目の事前学習軸として機能し、エンドツーエンド生成も可能にします。探索を増やすことは、画像、ビデオ、言語の既存モデル全体で単調に性能を向上させ、その向上はスケールとともに増大します(データで7%→36%、パラメータで13%→23%)。具体的には、Explorative Models(XMs)はサンプル効率で6.2倍、FLOPs効率で4.1倍、パラメータ効率で47%向上します。探索はまた、汎化性能のスケーリングと、既存モデルのエンドツーエンド性をスケーリングすることも可能にします。エンドツーエンド生成モデルとして、XMsは制御タスクにおいて、最大256倍少ない推論計算量で拡散モデルに匹敵します。
簡単な質問から始めましょう。モデルに「犬を生成して」と頼んだら、何個の正解があるでしょうか?
実際には、犬の画像と数えられるものは、おそらく数十億、あるいはそれ以上あります。
では、ニューラルネットワークに直接犬の画像を予測するように学習させるとどうなるでしょうか?モデルは学習中に何千もの異なる有効な犬を見ますが、それらすべてに最も近い単一の予測は、それらの平均です。それがモデルが学習して出力するものであり、何千もの犬の平均は犬とは似ても似つかない、茶色いぼやけになります。
[画像: トレーニングデータからの実際の犬]
データからの実際の犬
→
[画像: 画像を直接予測するように学習させたモデルが予測する茶色いぼやけ]
モデルが予測するもの
図1: モデルに画像を直接予測するように学習させると、それらすべてを平均化した茶色いぼやけが得られます。これが、直接回帰が生成モデリングで機能しない理由です。
具体的にするために、ゲームをしましょう。以下のダーツボードにダーツを投げます。各ダーツはリング上のランダムな場所に落ちます。あなたの仕事は、次のダーツがどこに落ちるかを推測することです。外れるほどスコアは悪くなります。
[画像: ダーツボード:ダーツは3つのリングの周りにランダムに落ちる]
図2: ゲームのダーツボード。
どこを推測すべきでしょうか?誤差を最小限に抑える推測は、ボードのちょうど中心であることが判明しています[1]。このゲームをプレイするようにモデルを学習させたところ、確かに、モデルは毎回中央を推測しました(これがここで最適な予測です)!
[画像: 単一の推測でダーツの着地点を予測するように学習させたモデルは、ダーツがほとんど着地しないボードの中央を予測する]
図3: ゲームをプレイするモデル(青)はボードの中央を推測します。
しかし、これはひどい…中央にダーツが着地することはほとんどありません。「最適な」推測は、ダーツが一度も着地しない場所です。
これが生成モデリングの核心的な問題です。 予測に多くの有効な答えがある場合、最良の単一予測はその平均であり、データの平均は通常、実際のデータとは似ても似つかない悪い答えになります[2]。
そしてこの問題は、ダーツボードや犬に限ったことではなく、あらゆる種類のデータに現れます。3つの2次元点の山を直接生成するようにモデルを学習させたところ、それらの中央にある単一の点を予測しました。テキストを学習させたところ、言えることは「the」だけでした。
[画像: 正解の2次元点]
実際のデータ
[画像: 素朴なモデルは単一の点を予測する]
モデルが予測するもの
[画像: 正解のテキスト]
実際のデータ
[画像: 素朴な言語モデルは「the」という単語しか言わない]
モデルが予測するもの
図4: 直接予測は、あらゆる種類のデータで平均に収束します。
しかし待ってください。ChatGPTは首尾一貫したテキストを書き、画像モデルは本当に素晴らしい画像を生成します。明らかにこの問題は、何らかの方法で解決されたはずですよね?
そうです、そして今日のスケーラブルな生成モデルはすべて同じ方法でそれを解決しています。学習中に生成を多くの小さなステップに分割することで、各ステップにはほぼ1つの正解があるようにします。 ステップに1つの正解があれば、平均化するものはなくなり、ぼやけは消えます。
これがどのように機能するか見てみましょう。自己回帰モデル(LLMなど)は一度に1つのピースを予測します。これは、私たちのゲームで言えば、ダーツの正確な位置を一度に推測しないということです。代わりに、まずダーツがどれだけ左または右に落ちるかを推測し、次にそれに基づいて、どれだけ上下に落ちるかを推測します。一度ダーツが右端に落ちたことがわかれば、そこには数カ所しかありえません。
[画像: ステップ1: 左-右の位置のみを予測する]
ステップ1: 左-右の位置を選択
[画像: ステップ2: 左-右の位置が与えられた場合、上下の予測には2つの小さな場所しか残らない]
ステップ2: 左-右を考慮して上下を選択
図5: 自己回帰は一度に1つのシーケンス要素を予測します。私たちのゲームでは、左-右の位置が選択されると、上下の予測には選択肢が2つの小さな場所しか残りません。
拡散モデルはこれを異なる方法で行います。それらは純粋なランダムノイズから始まり、データに向かって数百の小さなステップを踏みます。初期段階では、その推測はまだどのダーツにもなり得ますが、各ステップで可能性が狭まるため、単一のステップが多くの有効な答えに同時に直面することはありません。
[画像: ノイズ除去の開始: 推測は純粋なノイズであり、まだどのダーツにもなり得る]
開始: どのダーツにもなり得る
[画像: ノイズ除去の途中: 残りの領域が少なくなる]
途中: 残りの領域が少なくなる
[画像: ノイズ除去の終盤: ほとんど1つの小さな領域しか残らない]
終盤: 特定の領域に絞られる
図6: 拡散はノイズからデータへ小さなステップを踏みます。青はモデルの推測(紫)がまだなり得るダーツを示しており、各ステップで狭まります。
これは基本的に、すべての最新の生成モデルが機能する方法であり、生成プロセスをより小さな、うまく予測できるピースに分割しています。これにはLLM、画像・ビデオモデル、さらにはMeanFlowやConsistency Modelsのような新しい数ステップモデルも含まれます。私たちは、生成を分割するというこのアイデアを生成の因数分解と呼んでいます。
生成を因数分解するというこのアプローチは機能しますが、いくつかの理由で悪いです。最初の理由は、モデルは単一のステップで学習するにもかかわらず、推論では数百または数千ステップ実行されるため、モデル自身の不完全な出力が入力としてフィードバックされ、エラーが累積し、生成は学習した内容から徐々に逸脱していくことです。この問題はエクスポージャーバイアスと呼ばれます(私はそれがなぜ悪いのかについてブログ全体を書きました)。これが、ビデオモデルが10秒後にぐちゃぐちゃになる理由であり、LLMが非常に長い生成で一貫性を失う理由であり、直接的に性能と汎化を損ないます。
2番目の悪さは最初のものの上に成り立っています。学習と推論の不一致があるため、これらのモデルはエンドツーエンドではありません。エンドツーエンドモデルは、学習時と同じように推論を実行します。エンドツーエンド学習は、AlexNetでディープラーニング革命を引き起こしたものであり、その教訓はこれまでずっと続いています…モデルがデータを直接学習できるようにすることは、パイプラインの一部を手作業で設計することよりも優れており、学習時と同じように実行されるモデルは、分布外の領域に強制されることはありません。ディープラーニングのほぼすべてが現在エンドツーエンドになっていますが、生成モデリングは例外であり、生成の因数分解がまさにそれを妨げています。
理想的には生成の因数分解をやめたいのですが、生成の因数分解は、多くの答えの問題に対処できる唯一のトリックでもあります。自然な疑問は、代わりに何か別のものを因数分解できるかどうかです。生成モデルには、生成方法と学習方法の2つのプロセスしかありません。生成が選択肢にない場合、残るのは学習ループです。
では、学習の因数分解とはどのようなものでしょうか?これに答えるために、ゲームに戻りましょう。ただし、今回は1回の推測ではなく20回の推測を与え、最も近い推測のみがカウントされるとします。20回の推測があれば、中央を推測することはひどい戦略になることがわかります。なぜなら、ダーツが実際に着地する場所に推測を分散させ、中央よりもはるかに誤差を減らすことができるからです。言い換えれば、勝つ戦略は、推測を使用してさまざまな答えを探索することです。
そして、まさにこれが起こることです。この方法で20回の推測(下の真ん中のパネル)でモデルを学習させると、推測はボード全体に広がります!
[画像: 2回の推測を持つXM]
2回の推測
[画像: 20回の推測を持つXM]
20回の推測
[画像: 200回の推測を持つXM]
200回の推測
図7: 最も近い推測のみがカウントされる場合、推測は平均化されるのではなく、ボード全体に広がります。
少し時間を取って、何が起こったのかを理解してください。ダーツは以前と同じ場所に落ちますが、推測の採点方法を変更したため、最良の予測はボードの中央からダーツが実際に着地する場所へと移動しました。これは重要なことを明らかにしています。つまり、学習目的関数だけが最良の予測(損失最小化器)を制御しており、それを変更することで、損失最小化器をデータの平均からデータ自体へと移動させました。
これがExplorative Modelingです。各学習ステップで、モデルは生成するものと実際のデータとの間のK個の可能なマッチを探索し、最も良いマッチのみが学習されます。この方法で学習されたモデルをExplorative Models(XMs)と呼びます。最も単純なケースでは、これは文字通り、美しく、forループです。
losses = []
for i in range(K):
generation = model.generate() # 例: 異なるランダムノイズから
losses.append(loss_fn(generation, data))
min(losses).backward() # 最良の生成のみが勾配を得る
実際のデータでK(探索量)を増やすとどうなるか見てみましょう。
[画像: 正解の山]
正解
[画像: K=1]
K=1(探索なし)
[画像: K=2]
K=2
[画像: K=5]
K=5
[画像: K=50]
K=50
[画像: 正解の画像]
正解
[画像: K=1]
K=1(探索なし)
[画像: K=5]
K=5
[画像: K=20]
K=20
[画像: K=50]
K=50
[画像: 正解のテキスト]
正解
[画像: K=1]
K=1(探索なし)
[画像: K=2]
K=2
[画像: K=4]
K=4
[画像: K=8]
K=8
図8: より多くの探索は平均を実体に変える。 1つの点が3つの山になり、ぼやけが実画像になり、「the the the」が実際のテキストになります。
ズームアウトすると、この図は実際にはもっと大きなものを暗示しています。最新の生成モデリングはすべて、損失最小化器がデータの間ではなくデータ上に着地するような学習目的関数を設計することに関係しており、生成の因数分解と探索は、これを達成するための2つの異なる方法にすぎません。私たちはこのアイデアをモード強制(Mode Forcing)と呼び、これがExplorative Modelingのきっかけとなった理論であり、論文のほぼすべての結果を実験前に予測しました。モード強制に関する論文が近日公開予定です:)
もう一つ注目すべき点は、XMの追加作業はすべて学習中に発生することです。エンドツーエンドのXMでは、生成自体は完全に変更されず、学習中と推論中と同じように機能する単一ステップのままです。
[画像: 生成モデリングの2つの因数分解軸: 生成の因数分解 vs 学習の因数分解]
図9: 既存の生成モデルは生成を因数分解し、エンドツーエンド学習を妨げます。XMは代わりに学習を因数分解します。
では、なぜ探索を増やすと役立ち続けるのでしょうか?Kは、モデルがコミットできる異なる回答の数を制御します。1回の推測では、モデルはすべてを平均化しなければなりませんが、20回では、データの異なる部分に特化する20個の異なる回答にコミットできます。論文では、この能力を生成表現力(generative expressivity)と呼び、モデルが捉えることができる異なる回答の数です。
クレイジーなのは、生成表現力がほとんど完全に無視されてきたことです。この用語が存在しなかったほどであり、モード強制論文[3]までそうでした。しかし、それはパラメータやデータと同じくらい重要です。1つのパラメータを持つモデルは、どれだけ多くのデータを与えられてもあまりできません。全く同じように、生成表現力が1のモデルは、どれだけ多くのパラメータとデータを与えられてもあまりできません…その最良の出力はまだぼやけです(図8のK=1列を見てください)。10年以上にわたり、私たちはモデルが表現できるものを設定するパラメータをスケールアップし、モデルが学習できるものを設定するデータをスケールアップしてきましたが、モデルが生成できるもの、つまり生成表現力は固定されたままで、学習目的関数に焼き付けられていました。生成の因数分解はこのためのフィールドの修正でしたが、それが供給する表現力はモデルを設計した瞬間に凍結されます。一方、探索はそれを実際にスケールできるものに変えます。これが、探索による生成表現力のスケーリングが3つ目の事前学習軸である理由であり、以下で見るように、経験的な結果がそれを裏付けています。
この時点でExplorative Modelingが何であるかはわかっています。では、実際にどのように使用するのでしょうか?図9を見ると、2つの方法があります。探索を既存の生成モデルと組み合わせるか、スタンドアロンのアプローチとして使用するかです。既存のモデルと探索を組み合わせることは、新しい事前学習軸が得られる場所であり、XMをスタンドアロンのアプローチとして使用することは、エンドツーエンド生成を可能にするものです。
既存の生成モデルから始めましょう。一見すると、生成の因数分解がすでに多くの答えの問題を解決しているため、それらはより多くの生成表現力を必要としないように思えるかもしれません。しかし、よく見ると、拡散や自己回帰の単一ステップでも多くの有効な答えに同時に直面する可能性があり、いくらかのぼやけが残ります[4]。さらに悪いことに、モデルとデータセットが成長するにつれて、パラメータとデータはボトルネックではなくなり、生成表現力は固定されたままであるため、それがますますモデルの足を引っ張るものになると予想されます。これらすべてが真実であれば、既存のモデルに探索を追加すると改善されるはずであり、その向上はスケールとともに増大します。
これをテストするために、既存の生成モデルの上に探索を追加し、レシピの他の部分は一切変更しませんでした。ハイパーパラメータさえもです。
私たちは、ImageNet生成の最先端レシピであるRAEから始めました。探索を追加すると、RAEの最終性能を6.2倍少ないデータと4.1倍少ないFLOPsで達成し、ImageNet 256でガイダンスなしで約最先端の1.43 FIDに達しました。速度向上はレシピ全体で複利で増加し、XRAEはRAEよりも6.2倍速く収束し、RAE自体は標準的なSiTレシピよりも47倍速く収束するため、XRAEはSiTよりも収束が約300倍高速になります。
[画像: 探索はRAEでのデータ効率を向上させる] [画像: 探索はRAEでのFLOPs効率を向上させる]
図10: 探索は、6.2倍少ないデータと4.1倍少ないFLOPsで、約SOTA RAEレシピの最終性能を達成します。
同じ話は、3分の1の計算量でトレーニングされた最適に調整されたSiTベースラインでも当てはまります。そこでは、探索はFLOPs効率を最大52%向上させ、2.5倍少ないデータで同じ性能を達成します。
[画像: 探索はSiTでのデータ効率を向上させる] [画像: 探索はSiTでのFLOPs効率を向上させる]
図11: SiTベースラインでは、探索は2.5倍少ないデータと52%高いFLOPs効率で同じ性能を達成します。
これらのプロットには、隠された微妙なヒントもあります。計算量最適化された探索量は、トレーニングの過程で増加します(FLOPsプロットの交差を見てください)。これは、Chinchillaスケーリングで計算量とともにパラメータの最適計算量が増加する方法を直接模倣しています。これは、探索がパラメータとデータに加えて、本当に新しい事前学習軸であることをさらに強化します。以下にいくつかの結果を示します。
画像以外のドメインでもテストしました。ビデオ生成とマスク拡散言語モデルに探索を追加し、探索量のみを変更しました。すべてのドメインで、探索量が増えるにつれて性能は着実に向上し、一部のビデオモデルは20%以上向上し、テストした最大のKでさえ向上に止まる兆候は見られませんでした。
[画像: FIDは探索とともに改善する] [画像: FVDは探索とともに改善する]
[画像: 探索はマスク拡散言語モデルを改善する]
図12: より多くの探索は、画像生成(左上)、ビデオ生成(右上)、および言語モデリング(下)を改善します。
しかし、最も重要な結果は、探索による向上はスケールとともに増大することです。データがスケールアップすると、向上は7%から36%に上昇しました。モデルがスケールアップすると、向上は13%から23%に上昇しました。そして、上記の効率向上は、計算量を3倍にしたときに2倍以上に増加しました。これは、生成表現力が真の3つ目の軸である場合に期待されることと全く同じです。小規模なモデルはパラメータとデータによって制限されますが、それらがスケールアップするにつれて、固定された生成表現力がますますボトルネックとなり、探索がそれを緩和します。
[画像: 探索による向上はパラメータのスケーリングとともに増加する] [画像: 探索による向上はデータのスケーリングとともに増加する]
図13: 探索による向上はスケールとともに増加します。 モデルが成長するにつれて13%から23%(左)、データが成長するにつれて7%から36%(右)になります。
参考までに、最先端のトレーニング実行では、私たちの最大の実験よりも約10,000倍多くの計算量を使用します。これらのスケールとともに増加する向上の傾向が続く場合、ここでの数値はおそらく下限です。
探索は汎化性能も向上させることがわかりました。その理由を理解するために、事前学習中に同じ入力がしばしば多くの異なる有効なターゲットとペアになることを思い出してください。これは、1つしか予測できないモデルにとってはノイズのように見え、ノイズに適合することは記憶です。探索により、各予測は既に最も近いターゲットに向かって学習されるため、ターゲットは一貫性があり、ノイズのように見えたものはモデルが実際に学習できる構造になります[5]。実験では、探索量が多いモデルは固定データセットでの過学習が少なく、より良い性能を達成することを確認しています(探索なしの37.5に対して、最良のFVDは30.0)。言い換えれば、追加のトレーニング計算量は直接的に汎化性能を購入し、これはデータではなく計算量が大規模トレーニングのボトルネックになりつつあるため、特にエキサイティングです。
[画像: より多くの探索は過学習を減らし、より良い最小FVDを達成する]
図14: より多くの探索は固定データセットでの過学習を減らし、より良い性能を達成します。
探索は事前学習軸として明らかに機能しますが、エンドツーエンド生成についてはどうでしょうか?生成表現力の最も大きな意味の1つは、生成の因数分解と探索が全く同じものを提供することであり、それらは交換可能であるべきであることを意味します。以下でこれを直接実証します。探索が増加するにつれて、最良の性能を発揮するモデルは生成因数分解の使用がますます少なくなり、これはエンドツーエンドモデルほどモデルが探索から最も恩恵を受けることを意味します。
[画像: 探索が増加するにつれて、最適な生成ステップ数が減少する]
図15: 探索が増加するにつれて、最良のモデルはより少ない生成ステップを使用します。
これにより、モデルのエンドツーエンド性は、固定された設計選択ではなく、スケールできるものになります。エンドツーエンド性をスケールできます:)
それを極限まで推し進め、完全にエンドツーエンドのXMをトレーニングしました。サンプリングは学習時と推論時で全く同じです。行動クローニングでは、私たちのExplorative Policyは、100回の代わりに単一のフォワードパスでDiffusion Policyに匹敵します。
| メソッド | フォワードパス数 | Lift | Can | Square | Transport | Tool Hang |
|---|---|---|---|---|---|---|
| Diffusion Policy | 100 | 100% | 100% | 94% | 72% | 86% |
| Explorative Policy | 1 | 100% | 100% | 96% | 74% | 86% |
そして、私たちのExplorative World Modelは、16〜256倍少ないフォワードパスで目標条件付き世界モデリングにおいてDiffuserに匹敵します。
| メソッド | スコア(平均) | フォワードパス数(平均) |
|---|---|---|
| Diffuser | 127.2 | 192 |
| Explorative World Model | 130.0 | 2.3 |
これが可能である理由は、各アプローチが何を因数分解するかに戻ります。拡散は、生成ステップを推論時に支払うことで生成表現力を得ますが、XMは学習中の探索を通じてそれを支払います。
では、これは私たちをどこに導くのでしょうか?ロボット工学ポリシー、世界モデル、画像、ビデオ、またはオーディオ生成モデル、マスク拡散言語モデル、または予測が多くの有効な答えに直面する(つまり、かなり多峰性の分布を扱うモデル)生成モデルをトレーニングする場合、アーキテクチャやハイパーパラメータに触れることなく、forループで探索を追加できます(試したい場合は、ウェブサイトに擬似コードがあります)。私たちの実験では、探索を追加することで、FLOPs効率、データ効率、パラメータ効率、および汎化性能が、試したすべてのドメインで向上しました。したがって、あなたにも同じことが起こる可能性が高いです!XMが役立つかどうかを予測する最良の方法は、モデルの各予測が直面する有効な答えの数を決定することです。予測あたりの答えが多く、スケールが大きいほど、探索はより多くのものを提供します。一方、1つの明確な答えを持つ予測(多峰性が低い)は、おそらくあまり恩恵を受けないでしょう(ただし、論文で議論され、軽く実験されているように、恩恵はまだ可能です)。
この経験則は、私たちがこれまでにテストした中で、自己回帰LLMがすぐに成功しなかった唯一の場所である理由も説明しています。長いコンテキストが与えられた次のトークンを予測することは、すでに1つの正解に近いものであり、LLMには探索する自然な潜在変数がないためです。それでも、自己回帰LLMのデータ効率において、すでに控えめな初期の向上が見られており、さらに推進するためのいくつかのアイデアがあります。例えば、予測あたりの有効な答えがはるかに多いマルチトークン予測や、学習された潜在変数に条件付けすることです。これらは、探索が検索できるものを提供します。探索は最終的にLLMをよりエンドツーエンドにし、よりスケーラブルにすると信じていますが、まだ多くの作業が必要です。
長期的には、私が最も興奮している2つの方向は、Reverse XMと勾配ベース探索です。Reverse XMは検索を反転させ、1回の生成がK個のデータポイントを検索するのではなく、1つのデータポイントがK個の生成を検索するようにします。これはほとんど追加の計算コストがかからず、原理的にはKをデータセット全体のサイズまで増やすことができます。勾配ベース探索は、ランダムな推測を損失への直接的な降下で置き換え、最良の潜在変数を検索します。十分に推し進めれば、どちらも生成モデリングを非常に大きなKを持つ良い潜在変数の純粋な検索に変えます。
一歩引いて考えると、このプロジェクトの最もクールな部分は、そのすべてがどこから来たかです。それは、いじくり回したり、幸運なアブレーションから始まったのではなく、生成モデリングがなぜ難しいのかを深く理解することから始まりました。それは私にとって、モード強制のすべてにつながり、最終的にこれらの結果をすべて事前に予測することにつながったアハ体験でした。そして振り返ってみると、このブログが歩んだ道はまさにそれです…私たちは第一原理から始め、生成表現力を高める方法としてExplorative Modelingに到達し、そこから新しい事前学習軸とエンドツーエンド生成の両方を得ました。
もしこの論文から1つのテイクアウェイがあるとしたら、それは次のとおりです。
私たちは生成モデルのサイズと学習に使うデータの量をスケールアップしています…では、なぜ私たちは生成できるものをスケールアップしなかったのでしょうか?
共同研究者のYilun DuとHeng Ji、そしてこの研究を支援してくれたすべての人に感謝します!詳細については、論文とウェブサイトをご覧ください!
引用
@misc{gladstone2026explorativemodelingunlockingpretraining,
title={Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation},
author={Alexi Gladstone and Heng Ji and Yilun Du},
year={2026},
eprint={2607.27372},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2607.27372},
}
フットノート
- 二乗距離で採点されるということは、最良の推測はすべての着地点の平均であり、ボードを中心に置いたリングの場合、その平均は正確な中央です。↩
- この正式名称は多峰性分布(multimodal distribution)であり、複数の明確なピーク(モードと呼ばれる)を持つ分布で、各モードが有効な答えとなります。論文では「モードを平均化するのではなく捉える」ことについて議論しており、これはまさにこの考え方です。↩
- 公平を期すために言えば、生成モデルはモードを平均化するのではなく捉える必要があることは長い間知られており、モード崩壊のような問題はよく研究されています。欠けていたのは、これを学習目的関数自体の能力として形式化し、それがどれほど中心的であるかを認識することでした。モード強制の核心的な主張は、十分な生成表現力を持つことが生成学習目的関数の最も重要な特性であり、最新のアプローチ(拡散や自己回帰など)でさえ固定された量しか持たず、パラメータとデータのスケールアップでは修正できない根本的な限界があるということです。↩
- これには間接的な証拠があります。ほとんどすべての画像モデルが依存する分類子フリーガイダンスは、モデルのよりぼやけたバージョンからサンプルを遠ざけることによってサンプルを改善します。モデルが全くぼやけていなければ、遠ざけるべきものはありません。↩
- これは過剰パラメータ化に似ています。厳密に必要な数よりも多くのパラメータを持つモデルは、余剰能力が良い解を見つけやすくするため、より汎化します。余剰探索も生成に対して同じことを行うようです。↩