HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Krea 2 技術レポート

Krea 2 Technical Report (krea.ai)

18 pointsby mattnewton2 コメント

要約

この記事は、幅広い美的多様性とユーザーの創造的制御に焦点を当てた基盤モデルシリーズであるKrea 2を紹介しています。モデルのアーキテクチャ、多段階のトレーニングパイプライン、データキュレーションの原則、および分散インフラストラクチャを詳細に説明しています。Krea 2は、プロンプトエキスパンダーとスタイルリファレンスシステムを通じて、探索的な生成体験を可能にしながら、競争力のあるパフォーマンスを実現しています。

全文翻訳

Krea 2 Technical Report

Introduction

過去数年間、画像生成は目覚ましい進歩を遂げてきました。拡散モデルやフローマッチングモデルは、高解像度の画像を生成し、シャープなフォトリアリズムと安定した構造を生み出し、密なテキストをレンダリングし、広範な世界知識をエンコードし、ユーザーのプロンプトに精密な詳細で従うことができます。これらの改善は、スケーラブルなトランスフォーマーアーキテクチャ、改良されたキャプションとテキストエンコーダー、より良い潜在表現、およびパイプライン化されたポストトレーニング技術など、相互に作用するいくつかの要因によって推進されてきました。しかし、この分野がこれらの機能の信頼性に最適化されるにつれて、多くのシステムは狭い範囲のデフォルトの美学に収束してきました。効果的なプロダクションツールである一方で、これは創造的な探求のエンジンとしては効果が薄くなります。なぜなら、ユーザーは単一の洗練されたデフォルトを受け取るのではなく、スタイル、ムード、構成、視覚的な方向性を横断して検索する必要がある場合が多いからです。

これらの限界に対処するため、私たちはKrea 2を発表します。これは、創造的な探求に焦点を当てた一連の基盤モデルです。Krea 2のモデルは、画像生成は探求的なメディアであるべきだという信念に基づいて構築されています。つまり、多くの美学にまたがるのに十分な表現力があり、クリエイターがそれらをナビゲートするのに十分な制御性があるということです。

私たちは、広範な世界知識とスタイルのカバレッジを持つ包括的な事前トレーニングデータセットをキュレートするために、大規模なデータインフラストラクチャと分散トレーニングフレームワークをゼロから構築しました。

このインフラストラクチャを使用して、事前トレーニング、中間トレーニング、教師ありファインチューニング(SFT)、選好最適化、および強化学習(RL)にわたる多段階パイプラインを通じて表現力豊かなモデルをトレーニングします。各ステージは、モデルの出力分布を段階的に洗練するように設計されています。私たちは、徹底的なアブレーションを通じて、シンプルでありながら高性能な拡散トランスフォーマー(DiT)アーキテクチャを開発しました。私たちのモデルは、iREPA、改良されたVAE、およびQwen3-VLを含む、収束を加速するいくつかのコンポーネントを組み込んでいます。また、グループ化クエリ注意(GQA)、シグモイドゲート注意、軽量タイムステップ変調、およびテキストエンコーダー特徴量のための多層特徴集約を含むいくつかのアーキテクチャ上の改善を統合しており、これらはトレーニングの安定性と効率を向上させます。

強力なベースモデルは、ユーザーが関心のある分布の部分に確実に到達できる場合にのみ有用です。トレーニングでは、モデルは画像の詳細な視覚的説明を含む、豊かで注意深く構築されたキャプションから学習します。実際には、ユーザーの入力はしばしば短く、曖昧で、さまざまな表現習慣によって形成されます。一部のユーザーは自然言語でシーンを説明し、他のユーザーはムード、スタイル、または参照画像を示します。これにより、モデルの学習済み条件付け空間と、推論時に表現されるクリエイティブな意図の間のギャップが生じます。

このギャップを減らすために、私たちはKrea 2をテキスト入力と画像入力の両方からより探求的でステアリング可能にする2つのシステムを構築しました。プロンプト拡張機能とスタイル参照システムです。プロンプト拡張機能は、ユーザーの意図を上書きすることなく、シンプルまたは指定不足のユーザープロンプトをより豊かな視覚的方向へマッピングします。これは、画像品質の向上だけでなく、クリエイティブなバリエーションと制御可能な探求を促進することを目的とした、オープンソースLLMの上に構築された2段階のSFTおよびRLパイプラインを通じてトレーニングされます。このテキストインターフェースを補完するスタイル参照システムは、言葉が不十分な場合にユーザーが画像を通じて視覚的な意図を表現できるようにします。これにより、コンテンツの漏洩を最小限に抑えながら、1つ以上の参照画像のスタイルまたはムードを注入でき、スタイル強度と重み付けされたスタイルミキシングに対する細かい制御を提供できます。

これらのコンポーネントを組み合わせることで、Krea 2は探求的な生成のための基盤モデルとして定義されます。単一の洗練されたデフォルトに最適化するのではなく、Krea 2は広範な視覚空間を公開し、ユーザーがテキストと画像ベースの制御の両方を使用して、その空間を移動するための実用的な方法を提供するように設計されています。Krea 2は、Artificial Analysisリーダーボードのテキストから画像へのモデルでトップ10にランクインしており、独立したラボのモデルの中で2位を獲得しています。Krea 2は包括的なベースラインとして機能し、競争力のあるパフォーマンスを維持しながら、創造的な生成体験を可能にします。

Data

Data Curation Principles

データパイプラインの詳細に入る前に、私たちの目的にとって良いデータミックスが何を構成するかを確立することが重要です。良いミックスは、「高品質」な画像のみで構成されるわけではありません。表現力豊かで、スタイル的に多様なモデルを構築するという私たちの目標を考えると、多様性と広範なドメインカバレッジは不可欠です。従来のモデルベースのフィルタリングは、美的スコアと画像品質評価(IQA)モデルを使用しますが、暗黙的なバイアスを導入すると主張します。例えば、そのような方法は、モーションブラーやソフトネスが意図的な芸術的選択である場合でも、ぼやけた画像を低品質と分類する可能性があります。

さらに、キャプションが画像を正確に説明している限り、望ましくない画像でも後続のユースケースで役立つと主張します。なぜなら、モデルが望ましくない動作を正確に理解しているため、そのようなサンプルは後でその分布から生成を逸らすために使用できるからです。

これらの理由から、事前トレーニングデータセットは以下のみをフィルタリングして構築します。

  1. 重複したサンプルと過剰に表現されている概念。
  2. VLMが画像の重要な側面を捉えるのに一貫して失敗するサンプル。
  3. 望ましくないバイアスとアーティファクトを誘発するサンプル。
  4. 低解像度で確実にモデル化するには複雑すぎる視覚的複雑性を持つサンプル。
  5. AI生成サンプル

これらの条件は、広範なカバレッジを持つ事前トレーニングデータセットを形成し、テキストから画像への不十分なアラインメントとアーティファクトを回避します。

重要なのは、事前トレーニングミックスにAI生成画像を使用しないことです。合成データと蒸留は、モデルの能力を獲得するための効果的なショートカットになる可能性があります。しかし、AI生成画像のわずかな割合でさえ、モデルの出力分布にバイアスを導入することがわかっています。なぜなら、合成画像は学習が容易な傾向があり、モデルの品質に上限を課すことになるからです。そのため、これらの画像をフィルタリングするための社内分類器を設計しました。

Captioning

キャプションを生成するために、多段階のアプローチを採用しています。まず、各ターゲット画像にOCRモデルを実行して、表示されているテキストを抽出します。第二段階では、OCR結果と利用可能なメタデータ(カメラ設定、既知のエンティティなど)の両方をキャプションモデルに提供し、抽出されたテキストとともに世界知識を組み込んだリッチなキャプションを生成します。

[画像: General captioning pipeline]

General captioning pipeline

コンテキストリッチで長文の自然言語キャプションが得られたら、より安価なLLMを使用して、さまざまな長さと形式に再フォーマットし、モデルにさまざまなプロンプトスタイルを提示します。経験的に、長いプロンプトでトレーニングすると、密な監視が得られ、より速い収束と低いトレーニング損失が得られることがわかっています。しかし、多くの下流および応用ユースケースでは、短く中程度の長さのプロンプトでのパフォーマンスが依然として重要です。したがって、トレーニング中は短く中程度の長さのプロンプトにもモデルがさらされることを保証しながら、主に長いキャプションでトレーニングします。

[画像: Our overall training pipeline and data stages]

Our overall training pipeline and data stages

Pretraining Data

事前トレーニングデータは、256px、512px、および1024pxの解像度ステージにまたがります。解像度を段階的にスケーリングすることは、カリキュラム学習戦略を形成します。低解像度ステージにFLOPsの大部分を割り当てて基本的なモデル機能を効率的に構築し、トレーニング解像度が増加するにつれてモデルに高忠実度の生成機能を提供します。

低解像度事前トレーニングは、基本的なテキストと画像の整合性および構造が学習されるステージです。このステージでは、データセットは数十億枚の画像に及びます。そのため、低品質の画像を除去するために、安価なCPUベースのフィルタに大きく依存します。これらは、資格のない画像を除去する単純な破損ファイル、解像度、アスペクト比フィルタから、極端なテクスチャやノイズパターンを持つ画像を除去するラプラシアンフィルタまで多岐にわたります。

例として、K2の事前トレーニング中に遭遇した問題の1つは、モデルがフラットカラーの背景と境界アーティファクトを生成する傾向があることでした。これを軽減するために、RGBエントロピー、ホワイト/ブラックピクセル比、カスタムヒューリスティクス、および社内分類器を使用して、この動作を誘発するサンプルをフィルタリングしました。

社内分類器を構築する効果的な戦略の1つは、大規模なVLMを使用してフィルタリングタスク(例えば、特定のパターンまたはアーティファクトの検出)のためのタスク固有のシステムプロンプトを作成し、疑似ラベル付きデータセットを生成し、次に小規模なDINOv3またはSigLIP-2ベースの分類器をトレーニングして、大規模にフィルタを実行することでした。低解像度ステージでGPUコンピューティングを必要とするフィルタリングモデルは、効率のために1Bパラメータ未満に保たれます。

低解像度ステージでの重複排除には、主に安価なハッシュベースの方法を使用し、md5、phash、およびcolorhashを組み合わせて、最小限のコンピューティングで重複画像を削除します。デフォルトの8x8 phashは色を考慮せず、偽陽性率が高いことがわかりました。そのため、より堅牢な重複排除のために、12x12 phashとcolorhashを組み合わせて使用します。

トレーニング解像度をスケーリングするにつれて、画像品質と美的フィルタを導入します。重要なのは、これらの品質スコアは、極端に低い品質の画像をドロップするためにのみ使用され、スコアに基づいて画像をオーバーサンプリングするためではないことです。さらに、画像複雑度スコアとテキスト密度(OCR結果から)を使用して、低解像度で意味のある表現ができないテキストとコンテンツを持つ画像を除外します。トレーニングの進行に合わせて、品質、複雑さ、テキスト密度のしきい値を調整します。

従来の品質フィルタリングに加えて、事前トレーニングコーパスのサンプル over SigLIP-2埋め込みでトレーニングされたスパースオートエンコーダー(SAE)も使用します。SAEをトレーニングした後、VLMを使用して、各SAE特徴量を、トップkアクティブサンプルのに基づいてアノテートします。これらのアノテートされた特徴量は、各画像から支配的なSAE特徴量を抽出する教師なしタグ付けシステムを形成します。このタグ付けシステムは、明示的な分類器をトレーニングすることなく、明確な視覚的アーティファクトをフィルタリングするのに役立ちました。

Midtraining Data

事前トレーニングステージとは異なり、中間トレーニングは、特定の視覚ドメインに対して優れたスタイルカバレッジと高品質な画像を提供することが知られている特定の画像ソースを明示的に選択します。事前トレーニングは一般的なプールから始まるボトムアッププロセスですが、中間トレーニングデータはトップダウンでキュレートされます。つまり、ドメインとソースが最初に選択されます。中間トレーニングは、一般的な事前トレーニング分布と高品質なSFT分布をスムーズにブリッジする重要なステージです。分布の品質を向上させるために、セマンティッククラスタリングを導入し、世界知識のカバレッジを確保するために検索ベースの戦略を使用します。

Automatic Data Curation for Self-Supervised Learningのアプローチに基づいて、FAISSを使用して階層的k-meansクラスタリングを実行し、それをサンプリングして、ヘッドコンセプトのオーバーサンプリングにコンピューティングを浪費することなく、ロングテールビジュアルコンセプトを保持します。階層的クラスタを計算した後、VLMに各クラスタ中心に最も近い画像を検査させ、クラスタに名前を付け、適切であればフラグを付けます。フラグ付けされたクラスタの人間のレビューの後、品質が低いか問題のあるクラスタをいくつか削除しました。残りのリーフクラスタ内の画像間のSigLIP類似性を計算することにより、セマンティック重複排除を通じてさらに冗長なデータを削除します。

画像生成モデルの重要な機能は、ユーザーが名前だけで参照する可能性のある既知のエンティティを忠実に表現することです。スポーツ選手や俳優などの一部のエンティティは、他の多くのエンティティを含むセマンティッククラスタに属する可能性があり、単純な階層的サンプリングの下でドロップされるリスクがあります。これに対処するために、Dankerを使用して英語のWikipediaでPageRankを実行し、ランクで上位90%の記事を保持しました。次に、Wikidataメタデータに基づいて表現不可能な被写体を記述するすべてのアートクルを除外し、残りの約500万の概念について、データセット内のすべてのキャプション全体でフルテキスト検索を実行してカバレッジを評価しました。サンプリング時には、まれな概念を参照するキャプションを持つ画像の優先度を上げました。最後に、このカバレッジ分析を結果のサンプルで繰り返し、初期データセットに存在する概念が完全にドロップされていないことを確認しました。

Supervised Finetuning Data

教師ありファインチューニング(SFT)ステージでは、個々の視覚ドメインに焦点を当てた、小さく手作業でキュレートされたデータセットを使用します。十分な量に達すると、データセットの品質がその規模よりもはるかに重要であることがわかっています。

Architecture

アーキテクチャのアブレーションでは、各アブレーションの目的を次のカテゴリのいずれかに分類すると便利であることがわかりました。

  • 安定性: トレーニングをより安定させますか?損失と勾配のスパイクを減らしますか?
  • パフォーマンス: モデルの収束を速めますか?もしそうなら、その傾向は拡張されたホライゾンとより高い解像度で持続しますか?
  • 効率性: モデルの品質を損なうことなく、パラメータ数、FLOPs、メモリ、または通信要件を削減しますか?
  • シンプルさ: 他のカテゴリに影響を与えることなく、モデルをよりシンプルにできますか?

私たちの多くのアーキテクチャ上の決定は、LLMスペースでの採用によって導かれていることに注意する価値があります。LLMエコシステムで確立されたアーキテクチャを選択することで、拡散モデルであっても、既存のカーネルと最適化を活用できます。

これらの目標を念頭に置いて、以下のベースラインから開始します。

[画像: Krea 2 architecture baseline]

ComponentBaselineAblationsFinal component
AttentionMulti head attentionGQA, MLA, Gated Sigmoid attentionGQA with gated sigmoid attention
MLPGeLU MLPSwiGLUSwiGLU
ResidualStandard residualValue residual, LaurelStandard residual
Text encoderT5-XXL encoderT5Gemma, Qwen 2.5 VL, Qwen 3 VL, umT5Qwen 3 VL
ModulationMLP modulation per blockLight modulation with biasLight modulation with bias
AutoencoderFLUX AEQwen Image VAE, DC-AE, FLUX 2 AE, Internal VAEQwen Image VAE & FLUX 2 AE
Block designSingle stream transformer blockHybrid Stream, Parallel single stream,Single stream transformer block
NormLayer normalisation, QKNormRMSNorm, Zero center RMSNorm, DerfZero center RMSNorm, QKNorm
Positional encoding3D Axial RoPEGolden Gate RoPE, MRoPE, Normalised RoPE, Partial RoPE3D Axial RoPE
Transformer block

GeLU MLPを、LLMアーキテクチャの事実上のモジュールとなっているSwiGLUレイヤー(4倍の拡張係数)に置き換えることから始めます。SwiGLUの導入は一貫したパフォーマンス向上をもたらしたため、後続のアブレーションすべてで採用しました。

MLP設計を改訂した後、マルチヘッドアテンションベースラインの代替としてGQA、MLA、およびゲート付きシグモイドアテンションを検討しました。GQAは計算効率を向上させながら、最小限の劣化を導入することがわかりました。MLAも探求し、GQAをわずかに上回る改善が見られましたが、追加の計算オーバーヘッドを導入したため採用しませんでした。KVキャッシュを推論で使用しない拡散は純粋なプリフィルであるため、KV圧縮のためにMLAをアップ/ダウンプロジェクション付きで、分離されたRoPEなしで使用しました。

GQAの上に、Gated Attention for Large Language Modelsに従って、ゲート付きシグモイドアテンションを追加します。ゲート付きシグモイドアテンションは、計算とパラメータのオーバーヘッドをほとんど追加しません。パフォーマンスに大きな向上をもたらしませんでしたが、トレーニング中の損失と勾配ノルムカーブに反映されるように、より安定したトレーニングダイナミクスを生み出しました。

[画像: Attention ablation chart]

モダリティストリーム設計についてもアブレーションを行います。

  1. シングルストリーム設計: テキストトークンと画像トークンでアテンションとMLPの重みが共有される標準的なトランスフォーマーブロック。
  2. デュアルストリーム設計: テキストトークンと画像トークンで別々のアテンションとMLPの重みを持つジョイントアテンション。
  3. ハイブリッドストリーム設計: 最初の3分の1のネットワークにはデュアルストリームブロックを使用し、残りの3分の2にはシングルストリームブロックを使用する、2つのミックス。

ハイブリッドストリーム設計が他の設計をわずかに上回ったことを除けば、3つの設計間でパフォーマンスに大きな違いは見られませんでした。しかし、シンプルさのために、最終アーキテクチャではシングルストリームブロックを使用します。

[画像: Stream design ablation chart]

Timestep conditioning

多くのMMDiTは、スケール、シフト、ゲートファクターを生成するためにブロックごとのMLPを使用します。これらのMLPブロックは、総パラメータ数の20〜30%を占める可能性があり、これはスカラー条件を注入するには過剰であると考えています。そのため、ブロックごとのMLPをブロックごとの調整可能なバイアス項に置き換えます。この変更により、モデルのパフォーマンスを損なうことなく、アテンションおよびMLPレイヤーにさらに多くのパラメータを割り当てることができます。

AdaLN変調に加えて、2つの代替案を検討しました。(1)[タイムステップ条件付けを完全に削除する](https://arxiv.org/abs/2502.13129v2)、および(2)[タイムステップトークンを介したインコンテキストタイムステップ条件付け](https://arxiv.org/abs/2512.02012)。低解像度事前トレーニング実行では、タイムステップ情報を完全に削除すると、AdaLNベースラインを一貫して下回りました。インコンテキスト条件付けでは、サイン波埋め込みを使用して時間埋め込みを作成し、それらを統合されたテキスト+画像+時間シーケンスに連結し、AdaLNレイヤーを完全に削除します。256pxの事前トレーニングでは、4〜16のタイムステップトークンがAdaLNを置き換えるのに十分でした。しかし、512pxおよび1024pxでは、インコンテキスト条件付けはAdaLNベースラインと比較してパフォーマンスが悪かったです。タイムステップトークン数を増やすことでこれを軽減しようとしましたが、収穫逓減が見られ、高解像度では競争力のあるパフォーマンスを達成できませんでした。

Positional encoding

アブレーションのためにいくつかのRoPEスキームを実装しました。3D軸RoPEを使用し、ヘッド次元はframe、height、widthに割り当てます。テキストトークンについては、RoPEインデックスをゼロに設定します。低解像度では、Golden Gate RoPE、MRoPE、正規化RoPE、または部分RoPEへの切り替えから有意な利点は観察されませんでした。部分RoPEでは、ヘッド次元の最初の半分のみを回転させ、残りは回転させません。予想通り、部分RoPEはモデルを256pxから512pxにスケーリングする際に、より良いゼロショット推論結果をもたらし、一般的な重複アーティファクトに苦しみませんでした。この初期の解像度汎化にもかかわらず、部分RoPEは高解像度トレーニングが継続するにつれて、最終的にはベースラインRoPE設定よりもパフォーマンスが悪くなりました。

Autoencoder

最近の研究では、オートエンコーダーの潜在空間設計が画像生成モデルのトレーニングを大幅に加速できることが示唆されています。ベースラインとしてFLUX.1-devオートエンコーダーから開始し、Qwen Image VAE、DC-AE、FLUX 2 VAE、および社内オートエンコーダーと比較ベンチマークします。DC-AEシリーズは最大32倍の空間圧縮を提供するため、トレーニングと推論の両方の効率に大きく貢献できるため、当初はDC-AEシリーズをテストしました。しかし、DC-AEは再構築エラーのため、拡散モデルの細部を解決する能力にハードな上限を課すことがわかりました。

対照的に、Qwen Image VAEとFLUX 2 VAEは、優れた再構築品質を維持しながら、事前トレーニングのアブレーション全体で大幅に速い収束をもたらす潜在空間を提供します。そのため、当初はQwen Imageオートエンコーダーを使用して初期モデルをスケーリングし、その後、より大きなモデルにはFLUX 2 VAEを採用しました。また、REPA-E](https://arxiv.org/abs/2504.10483)に類似したアプローチに従って、セマンティックアラインメントのためにDINOv3と軽量拡散損失を使用して社内オートエンコーダーのトレーニングを短時間検討しました。Qwen Imageオートエンコーダーと同等のパフォーマンスを示すことを検証しましたが、時間的制約のため、大規模で検証済みのQwen ImageおよびFLUX 2 VAEを選択しました。

Residual design

デフォルトでは標準的な残差接続を使用します。低ランクのボトルネックブランチを追加して残差接続の表現力を向上させるLaurelを短時間実験しましたが、目立った改善は見られませんでした。将来のモデルでは、拡散トランスフォーマーの残差設計を改善するために、NOBLE、delta attention residuals、およびmHCなどの代替案を検討する予定です。

Normalization

RMSNormはLLMアーキテクチャの標準コンポーネントになっていますが、最近の拡散トランスフォーマーアーキテクチャには完全には統合されていません。LayerNormベースラインから開始し、すべての正規化レイヤーをRMSNormに置き換え、品質の低下はほとんど見られませんでした。そのため、RMSNormをデフォルトの正規化モジュールとして使用します(例:prenormおよびQKNorm)。ゼロ中心RMSNormを使用し、その学習可能なパラメータに重み減衰を適用します。より効率的なバリアント(例:Derf)も実験しましたが、無視できない品質低下が見られました。

Text encoder

ベースラインテキストエンコーダーとしてT5-XXLを使用しました。当初から、アーキテクチャをシンプルに保ち、単一のテキストエンコーダーを使用することを選択しました。注目すべきは、T5-XXLがT5Gemma、umT5、Qwen 2.5 VL、およびQwen 3 VLと比較して、非常に競争力のあるテキストエンコーダーであり続けていることです。最終的に、VLMはより豊かな入力空間(テキストと画像)とより強力な多言語汎化機能を提供するため、Qwen 3 VLを最終テキストエンコーダーとして使用します。

[画像: Text encoder ablation chart]

さらに、Unifusionに触発され、VLM特徴量の最後のレイヤーを取る代わりに、レイヤー全体で隠れ特徴量を集約する浅いアテンションレイヤーを導入します。この設計により、モデルは粗いから細かいテキスト表現を動的に選択できます。自己回帰型LLMの最後のレイヤー特徴量は、画像生成ではなく次のトークン予測に最適化されているため、私たちの目的には最適ではありません。このレイヤーごとの特徴量集約に加えて、トークン軸全体に軽量な双方向トランスフォーマーレイヤーを追加して、表現空間における自己回帰バイアスを減らします。

Optimization

パイプライン全体でAdamWを主要なオプティマイザーとして使用します。MMDiTアーキテクチャにMuonを適用すると、当初は混在した結果が見られました。デフォルトでは、DionのMuon実装と、AdamWハイパーパラメータを転送するためのMoonlightのRMS整合設定を使用します。

探索では、Muonは初期ステップでAdamWよりも速く収束しましたが、長期的にはパフォーマンスが劣りました。また、トレーニング全体で頻繁な損失と勾配ノルムのスパイクを含む、Muonの安定性に関する問題もいくつか発生しました。MMDiTの最初と最後の線形レイヤーをMuonパラメータから除外することが重要であることがわかりました。これはLLMの文献と一致しており、埋め込みとLMヘッドのパラメータはMuonから除外されます。これらのレイヤーを除外し、Nesterovモーメンタムを追加した後、Muonは低解像度と高解像度の両方でAdamWベースラインを一貫して上回りました。時間的制約のため、最新の事前トレーニング実行にはMuonを採用しませんでしたが、これらの強力な結果を考慮すると、次の事前トレーニングサイクルで採用する予定です。

Training

トレーニングパイプラインは、最新のLLMトレーニングパイプラインに触発された多段階構造に従います。

Pretraining

事前トレーニングは、テキストと画像の整合性、テキストレンダリング、スタイルカバレッジ、構造的一貫性を含む、モデルの基本的な能力を確立します。解像度を256pxから512px、次に1024pxへと段階的にスケーリングします。最終モデルでは、v-パラメータ化の下で標準的なrectified-flow損失でトレーニングします。初期段階を加速するために、256pxステージの最初の1エポックでiREPAを使用し、その後削除します。これにより、MMDiTが独自の表現を学習し、初期収束が大幅にスピードアップします。また、TREADなどの代替加速戦略も検討しましたが、ほとんど利点が見られませんでした。

256pxおよび512pxステージでは、8ビットトレーニングを使用し、bf16ベースラインと比較してトレーニング速度で15〜20%の向上を確認し、トレーニング損失と評価メトリックの低下はごくわずかでした。256pxではテンソルワイズスケーリングで8ビットトレーニングを使用し、512pxではより細かい行ワイズスケーリングを使用します。1024px以降、および最終RLステージ全体では、標準的なbf16トレーニングを使用します。

高解像度事前トレーニングのもう1つの重要な側面は、解像度に依存するタイムシフトスケジュールの適応です。トレーニングと推論の両方でシフトされたロジット正規分布サンプリングスケジュールを使用し、解像度が増加するにつれてシフトを徐々に増やします。FLUX 2 VAE blogに従って、各解像度で最適なトレーニングタイムシフトをスイープします。トレーニングタイムシフトのみをスイープし、推論タイムシフトスケジュールは一定に保ちます。これは、一部のオートエンコーダーは推論タイムシフトにあまり敏感ではないためです。

事前トレーニング中、ウォームアップ安定減衰学習率スケジュールを使用し、Model Merging in Pre-training of Large Language Modelsに従ってPMAを適用します。PMAはEMAと同等のパフォーマンスを達成し、その大幅なメモリオーバーヘッドを回避できることを検証します。マージ手法間に大きな違いは見られませんが、マージされたチェックポイントの数とマージ間隔を調整することで、下流メトリックでわずかな向上が得られる可能性があります。

Midtraining

中間トレーニングはLLMの文献で一般的になっており、パイプラインに同様のステージを組み込んでいます。その焦点は、教師ありファインチューニング(SFT)ステージの前にモデルの分布をウォームアップすることです。中間トレーニングは通常、モデルに高忠実度、高解像度生成、強力なドメインカバレッジ、およびテキストレンダリングなどの下流機能を装備できるパイプラインの最後のポイントであることがわかっています。

Supervised finetuning (SFT)

教師ありファインチューニング(SFT)ステージでは、小さく、専用の、高度に審美的な画像のセットをキュレートします。目的は、モデルを審美的に望ましい方向へさらにバイアスをかけることです。このステージは、チェックポイント全体の品質を向上させ、以前のチェックポイントに普及している高彩度およびテクスチャの問題に対処するのに特に役立つことがわかりました。

ドメイン固有のSFTチェックポイントをトレーニングした後、モデルマージを使用して汎用SFTチェックポイントを生成します。モデルマージは、パイプラインの後期段階では収穫逓減が見られます。これは、改善の方向性がチェックポイント間で競合し始めるためです。

Preference optimization (PO)

選好最適化(PO)は、ポストトレーニングスタックの最初のステージであり、2段階のパイプラインで構成されます。最初のステージでは、delta learningに類似した戦略を使用して、初期の洗練のために大規模な合成選好ペア生成パイプラインを実行します。ペアの大部分に少なくとも1つのオンポリシーサンプルが含まれるようにします。2番目のステージは、人間の注釈のみを使用するキャリブレーションステージです。これらの注釈は、モデルの特定の強み、弱み、および癖に精通した人々によって、完全に社内で収集されます。

PO中の一般的な現象は、ポリシーの分岐です。高レベルでは、DPOなどの選好最適化メソッドは、参照モデルと比較して、好ましいサンプルの生成確率と好ましくないサンプルの生成確率との間のマージンを増やすようにモデルを奨励します。実際には、さまざまな選好データセットの混合で、モデルは両方のサンプルの確率を減少させることによってこの目標を達成しますが、異なるレートで達成することが観察されます。これは、勝者と敗者の両方のサンプルが現在のモデル分布よりも品質が低い場合に望ましいですが、選好セットがどのようにキュレートされたかによっては、その仮定は常に当てはまるわけではありません。さらに、この分岐はモデルを一般的な事前トレーニング分布から逸らし、トレーニングの後期段階で高周波アーティファクトとして現れます。これを軽減するために、DPOのバリアントであるSTPOを設計しました。これは、補助損失と元のDPO定式化の変更を加えて、この分岐を減らします。

Reinforcement learning (RL)

強化学習(RL)は、トレーニングパイプラインの最終ステージです。複数の報酬モデルを備えた、多報酬GRPO"-スタイルのメソッドを使用します。(1)一般的な美的モデル、(2)プロンプト追従報酬、(3)テキストレンダリング報酬、(4)アーティファクトと構造報酬。

一般的な美的報酬モデルは、RLステージを推進する主要なコンポーネントです。ペアワイズ選好注釈が与えられた場合、2つの一般的な報酬モデリング定式化を検討しました。最初のものは、Bradley-Terry目的で決定論的なポイントワイズモデルをトレーニングし、好ましい画像が拒否された画像よりも高いスカラー値を受け取るように奨励します。2番目のものは、両方の画像を参照モデルに提示し、次のトークン予測を通じて直接好ましい出力を予測するようにトレーニングします。これらの2つのアプローチは異なるトレードオフを提供します。ポイントワイズBradley-Terryモデルはシンプルで、推論時に効率的で、候補画像間の位置バイアスを回避します。対照的に、ペアワイズVLMジャッジは、大規模言語モデルの推論能力をより良く活用でき、GRPOスタイルのトレーニングと自然に互換性があります。Tinker from Thinking Machines Lab](https://thinkingmachines.ai/tinker/)を使用して、両方の方向を効率的にプロトタイプ化しました。Tinkerは、LLMポストトレーニングのための軽量で人間工学に基づいたインフラストラクチャを提供し、KVキャッシュ管理、分散通信、または推論サービングなどの低レベルの詳細ではなく、データ設計、報酬定式化、およびアルゴリズムのイテレーションに集中できるようにしました。これにより、短期間で複数の報酬モデル実験を実行することが可能になりました。最終RLパイプラインでは、大規模ロールアウトスコアリングにおいて最高の効率と品質のトレードオフを提供するため、Bradley-Terry報酬モデルを採用します。

一般的な美的報酬は本質的に主観的であるのに対し、プロンプト追従とテキストレンダリングは、ユーザーの明示的な意図に対してチェックできるため、より具体的な信号を提供します。課題は、この意図がプロンプトによって大きく異なることです。これを処理するために、LLMトレーニングにおけるルーブリックベースの評価に触発されたプロンプト固有のルーブリック報酬を使用します。ジャッジモデルに単一の全体的なスコアを求めるのではなく、各プロンプトを検証可能な要件に分解し、生成された画像をそれらに対して評価します。これにより、RLステージはユーザーの意図との整合性に関するより構造化された信号を得ることができ、プロンプト追従を一般的な画像品質に還元することなく、細かいプロンプト制約を満たすモデルの能力が向上します。

また、美的感覚とプロンプト追従のみを最適化すると、報酬ハッキングにつながる可能性があることもわかりました。モデルは、構造的なアーティファクト(余分な指、奇形の手足、歪んだテキストなど)を含みながらも、一見もっともらしい画像を生成するように学習する可能性があります。これらの失敗は人間には視覚的に明らかですが、汎用VLMジャッジにはしばしば見落とされます。これに対処するために、これらの構造的エラーを検出する専用のアーティファクト報酬モデルをトレーニングし、RLステージが視覚的な正確さを犠牲にしてベンチマーク対応シグナルを改善することを抑制します。

RLステージ中、成功は報酬モデルの品質だけでなく、プロンプト全体でのトレーニングコンピューティングの割り当て効率にも依存することがわかっています。報酬モデルは改善の方向を定義し、プロンプトプールはモデルが有用な学習信号を受け取る場所を決定します。そのため、さまざまなスタイル、概念、設定、および被写体を網羅する広範なプロンプトプールをキュレートし、生成されたグループの報酬統計を継続的に分析して、どのプロンプトが最も情報を提供しているかを特定します。すでに簡単すぎる、一貫して難しすぎる、またはサンプル間でほとんどバリエーションを生まないプロンプトは、限られた信号しか提供しないため、優先度が下げられるか削除されます。実際には、効果的なRLはプロンプト選択をリソース割り当て問題として扱うことを必要とします。トレーニングプロセスは、まだ学習できる例にさらにコンピューティングを費やし、飽和またはノイズの多いフィードバックを提供する例には少なく費やすべきです。

拡散RLにおけるもう1つの実用的な考慮事項は、分類子フリーガイダンス(CFG)の処理方法です。ロールアウト生成とトレーニングの両方をCFGありまたはなしで実行でき、異なる選択は整合性、安定性、および効率の間で異なるトレードオフを生み出します。アブレーションの後、ロールアウトとトレーニングの分布を整合させ、不要な計算オーバーヘッドを回避することが重要であることがわかりました。そのため、RLステージ全体をCFGなしでトレーニングします。この設定は、条件付きモデル分布を迅速に改善し、トレーニングの早い段階で非CFGサンプルをガイド付きサンプルに大幅に近づけます。推論時には、CFGを追加のコントロールノブとして有効にすることができ、必要に応じて品質をさらに向上させることができます。

Timestep distillation

RLステージの後、ガイダンス蒸留とタイムステップ蒸留を同時に適用するオプションのタイムステップ蒸留ステージを含めます。DMD](https://arxiv.org/abs/2311.18828)、DMD2、Decoupled DMD、piFlow、およびAPTを含むいくつかの蒸留技術を検討しましたが、次の理由でTrajectory Distribution Matching (TDM)を採用しました。ハイパーパラメータが最小限で、調整が簡単な技術を求めていたため、GANベースの手法とpiFlow(後者はモデルをマルチタイムステップ予測モデルに適合させる必要がある)は除外されました。TDMは、柔軟なマルチステップ蒸留を備えた、高速でデータフリーの方法を提供するため、TDMを選択しました。

[画像: DMD distillation diagram]

DMDは、クリーン画像分布 over でリアルおよび生成されたサンプルの分布を一致させることにより、教師を蒸留します。したがって、標準的なDMDは、クリーン画像を予測するために数ステップの生徒を使用し、その後、生徒をトレーニングするために予測を再ノイズ処理します(上記の図を参照)。クリーン画像分布のみを一致させるDMDとは異なり、TDMはタイムステップ全体でDMDを適用し、サンプルレベルではなくトラジェクトリレベルで効果的に分布一致を実行します。柔軟なマルチステップ生徒が目標であったため、TDMは私たちのユースケースに最も適した方法であることがわかりました。

[画像: TDM distillation diagram]

Prompt Expansion

密なプロンプトは信頼性の高い画像生成結果をもたらしますが、ユーザーがトレーニング中に使用されるリッチなキャプションに似たプロンプトを作成することはめったにありません。これを分布マッピング問題としてフレーム化します。画像モデルは、トレーニング分布に近い詳細なキャプションで条件付けられるのが最も良いですが、実際のユーザープロンプトはしばしば短く、会話的で、指定不足です。そのため、ユーザーの意図を解釈し、入力プロンプトをよりリッチでモデルフレンドリーなキャプションにマッピングするプロンプト拡張機能を開発しました。

まず、既存のオープンソースLLMで教師ありファインチューニングを実行します。トレーニングデータをキュレートするために、別の言語モデルを使用して、長いキャプションから合成「ユーザーキャプション」(ターゲットキャプションに存在する多くの視覚的詳細を意図的に省略した、より短く、より会話的で、半指示的なプロンプト)を生成します。これにより、指定不足のユーザープロンプト -> 拡張された、モデルフレンドリーなキャプションの形式のペアデータが生成されます。また、中間的な意図再構築ステップが下流の動作を改善することがわかっているため、モデルの推論能力を維持するために思考トレースも合成します。これに加えて、少量のターゲット分布整形を適用します。高レベルでは、視覚的にリッチで芸術的な画像をオーバーサンプリングして、拡張機能にクリエイティブで美的プロンプトスタイルのより広いカバレッジを提供し、フォトリアリスティックな説明に拡張されるべきプロンプトに軽量な写真媒体バイアスを追加します。目標は、ハウススタイルを課すことではなく、拡張プロンプト分布が表現力豊かでアートディレクションされた画像と、直接的なフォトリアリスティックな要求の両方をカバーすることを保証することです。

SFTは拡張機能を望ましいキャプション分布に近づけますが、合成ターゲットを一致させることが最終的な画像の改善と同じではありません。そのため、RLを使用して、生成される結果を通じて拡張機能を直接最適化します。このステージでは、目的はターゲットキャプションを模倣することから、画像品質を向上させながらユーザーの意図を維持する拡張機能を生成することにシフトします。GDPO](https://arxiv.org/abs/2507.06187)を使用して、マルチ報酬目的でトレーニングします。画像レベルの報酬は、結果の生成の品質と選好を測定し、プロンプトレベルの検証可能な報酬は、拡張機能が元の要求に忠実であるかどうかをチェックします。また、拡張機能が明らかにプロンプトにない、または許容できないコンテンツを導入するのを防ぐために、安全性と制約チェックも含まれています。これらのチェックは本質的にスパースであるため、全体的な報酬のゲートとして使用し、密な最適化信号としては使用しません。

現実的なユーザー入力分布を一致させることと、各グループに高コントラストの良好なロールアウトと不良なロールアウトの混合が含まれることを保証することのバランスを取りたいと考えていました。この目的のために、RLプロンプトミックスは、現実的なユーザーライクなトラフィックと採掘されたハードケースを組み合わせます。現実的な側には、実際のプロンプトと以前に観察された失敗が含まれ、手作業でキュレートされた失敗と既知の失敗モードの合成拡張で補完されます。キュレートされた例は、社内のダウン投票、バグレポート、および手動で書き直されたプロンプトから取得され、すべての既知の失敗クラスが表現されるようにバケット化されます。合成例は、手作業で作成された報酬トリガープローブから始まり、多くのバリアントに拡張され、RLで使用されるのと同じ報酬スキーマでオフラインでスコアリングされます。中間的な複合スコアと実際の報酬のバリエーションを持つグループを生成する、「難しいが絶望的ではない」プロンプトを選択し、GDPOが明白な勝利または完全な失敗だけでなく、意味のある選好信号を受け取るようにします。

明示的に最適化する失敗モードの1つは、多様性の崩壊です。特に画像報酬が支配的である場合、プロンプト拡張機能は単一の安全で高報酬のハウススタイルを学習する可能性があります。これに対抗するために、プロンプトグループ over の単純なDINOv3埋め込み多様性スコアを追加し、品質と整合性に加えてグループ内の視覚的多様性を報酬として与えます。多様性報酬の減衰を短時間実験しましたが、その重みが小さくなりすぎると、モデルはすぐに多様性の低い生成に崩壊することがわかりました。実際には、トレーニング全体で多様性報酬をアクティブに保つことが、バリエーションを維持するために必要です。

SFTとRLの両方で、プロンプト拡張モデルのトレーニングにもTinkerを使用します。特に、GDPO定式化では、前述の画像レベルの品質報酬とプロンプトレベルの検証可能な報酬を生成および計算するRL環境を作成するために、EnvGroupBuilder抽象化を使用します。

Style reference system

スタイル参照システムは、ベースモデル上に構築されています。これにより、ユーザーはテキストから画像を生成しながら、1つ以上の参照画像を使用して出力スタイルをガイドできます。システムは、(1)複数のスタイルのスムーズなセマンティックミキシング、(2)各スタイル参照の強度に対する連続制御、および(3)複雑なスタイルへの最先端の準拠をサポートするように設計されています。

スタイル転送は、画像における「スタイル」と「コンテンツ」を構成するものがあいまいであるため困難です。最も一般的な失敗モードの1つは、スタイル画像から最終画像へのコンテンツと被写体の漏洩でした。さらに、従来の編集タスクとは異なり、そのデータはビデオなどのソースからマイニングできますが、スタイル転送データは、ターゲットとした忠実度で大量に入手するのがはるかに困難です。

これらの課題に対処するために、スタイル参照モジュールをトレーニングするための新しい自己教師あり技術を考案し、その後、出力をさらに整合させるための選好最適化ステップを実行しました。

Training infrastructure

分散トレーニングフレームワークは、PyTorch上にゼロから構築されています。主にDTensor抽象化とtorchtitanプロジェクトによってサポートされるtorch-ネイティブ機能に依存しています。ほとんどの事前トレーニングおよびポストトレーニング実行では、FSDP2とMegatron-LMスタイルのテンソル並列処理を使用します。TPサイズが2を超える設定では、torch.compileフラグを介してasync-TPを有効にします。これは、単純なTPよりも中程度の速度向上を提供します。オートエンコーダーパラメータはメモリオーバーヘッドをほとんど追加しないため、すべてのデバイスに複製されたままにし、テキストエンコーダーとメインMMDiTバックボーンのみをシャードします。ノード内接続にはNVLinkSharpを使用し、ノード間接続にはInfiniBandを使用します。

トレーニング効率のために、2つの理由で、わずかに幅の広いモデルとより大きな隠れ次元を使用します。第一に、より大きな隠れサイズは各レイヤーの計算強度を増加させ、FSDP2プリフェッチでレイテンシを隠すのを容易にします。レイヤー数を減らすことは、すべての収集および削減散布操作の数を減らすことにもつながります。この変更により、事前トレーニング実行中のNCCL関連のエラーが大幅に減少しました。第二に、より大きな行列乗算サイズは、8ビットトレーニングの量子化および逆量子化オーバーヘッドを償却するのに役立ちます。

torch.compileを主要な最適化戦略として大きく活用しています。アテンションについては、最新のcuDNNカーネルをデフォルトで使用し、必要に応じてFlexAttentionまたはFlashAttention 3を使用します。低解像度では選択的アクティベーションチェックポインティングを使用し、高解像度ではアクティベーションがメモリを支配し始めるため、フルアクティベーションチェックポインティングを使用します。

データローディングには、Parquetを主要なフォーマットとして使用します。各行には、画像の参照(例:ローカルパスまたはS3の場所)、クロップおよびリサイズ寸法、キャプション、およびその他の関連メタデータを格納します。大規模な実行では、事前にシャッフルおよびパックして、各データローダーワーカーが同じアスペクト比の画像のバッチをロードできるようにします。このパッキングにより、単一のオートエンコーダーパスで潜在変数をエンコードできます。

この実装にはいくつかの利点があります。データを事前にシャッフルすることで、ディスク上のシーケンシャルスキャンを実行して効率的なデータローディングを行い、適切なグローバルシャッフルを保証できます。事前シャッフルは、再現性とデバッグにも不可欠です。データは正確な順序で再生して、損失スパイクを引き起こした可能性のあるサンプルを特定できるためです。

最大の事前トレーニング実行中、さまざまなインフラストラクチャと耐障害性の課題に遭遇しました。従来の、大規模な分散トレーニングは、クラスター全体に多くのグローバル同期ポイント(例:DPレプリカ間の勾配all-reduce)を導入し、本質的に不安定です。単一のGPU障害またはストラグラーが実行全体をダウンさせる可能性があります。耐障害性ソリューション(例:torch-ftおよびdecoupled DiLoCo)は存在しますが、私たちの規模では、高速で頻繁なチェックポインティングと改善された起動時間を通じて、平均故障間隔(MTBF)と平均回復時間(MTTR)を最適化することが満足のいくソリューションであることがわかりました。

信頼性のためのもう1つの重要な要因は、トレーニングデバイス全体でI/O、CPU、およびGPUの均質な負荷を維持することでした。各CPUとGPUがほぼ均等な負荷になるように、データローダーを明示的に設計します。初期の大規模実行では、低解像度ステージ中に使用された高解像度画像は、オンザフライで低解像度にクロップおよびリサイズされていました。しかし、最大の実行では、元の画像が高解像度かどうかによって、デバイス間で不均一なCPUおよびI/O負荷が追加されました。これを軽減するために、すべての画像をターゲットトレーニング解像度に事前にクロップおよびリサイズします。さらに、各GPUが正確に同じ形状にパディングされたテンソル入力を受け取るようにし、負荷を均等化します。

RLインフラストラクチャについては、報酬モデルの推論をメインのトレーニングプロセスから分離します。Krea 2は私たちの最初の主要なRLイテレーションであったため、トレーニングGPUとロールアウトGPUを共有するシンプルな設計を使用しました。近い将来、asynchronous RLトレーニングをサポートするために、PipelineRLなどの技術をサポートするために、分離されたトレーニングと推論セットアップを実装する予定です。

Systems Infrastructure

研究は、本番推論とGPUを共有する単一のKubernetesクラスター内で実行されました。システムは、必要に応じて研究チームがGPUプール全体を要求できるように設計されていました。クラスター内のすべてのGPUがトレーニング実行に割り当てられた場合、Kreaの推論ワークロードは自動的に別の場所に移行します。これにより、トレーニング実行を開始する際に本番容量を無視できるようになりました。システムはトラフィックフェイルオーバーを処理し、ローカルで利用可能なGPUがなくなった場合でも本番環境の応答性を維持したためです。

この機能は最初から存在したわけではありません。スケジューリングおよび管理システムは、研究チームのニーズとともに、研究サイクルの過程で進化しました。以降のセクションでは、主要なコンポーネントについて説明します。Kueueによるワークロードスケジューリング、クラスター外での推論のスケーリング、両者を結びつけるスケジューリングポリシー、トレーニング起動手順、および大規模事前トレーニングに不可欠であることが証明されたオブザーバビリティスタックです。

Scheduling with Kueue

Kueueは私たちのセットアップの中心でしたが、その使用法は大幅に変化しました。Kueueのワークロード優先度とKubernetesのPod優先度を組み合わせた2層優先度システムを提供します。正しく設定された場合、この2層設計は有用なスケジューリングセマンティクスをもたらします。

Volcanoなどのカスタムスケジューラを検討したり、kube-schedulerを直接変更したりすることも検討しましたが、それらは追加の望ましいプロパティを提供したでしょう。最終的に、Kueueと組み合わされたデフォルトのKubernetesスケジューラは、私たちの要件に十分でした。さらなるスケーリングにより、最終的にはKueueとデフォルトスケジューラからカスタムスケジューラに移行する必要があると予想されます。これは、ワークロードの異常な性質を考えると、近い将来である可能性が高いですが、まだその時点には達していません。

Kueueはマルチノードトレーニングに必要なギャングスケジューリングを可能にします。さらに、「借り入れ」、「貸し出し」、「回収」といったキューイングプリミティブは、利用率を最大化するのに役立ちます。しかし、KueueがキューごとのGPU数を動的に推測できることを望んでおり、手動で指定する必要がないようにしたいと考えています。ノード数が変更されたときに必要なこの手動操作は、一貫した煩わしさでした。

Scaling Inference Outside the Cluster

2番目のコンポーネントは、すべてのGPUが研究に割り当てられている場合に、推論が外部でどのようにスケーリングするかを扱います。初期の設計ではかなりの複雑さが導入され、最終的にはVirtual Kubelet(VK)に基づいたよりシンプルなアプローチを採用しました。VKはKubernetesノードをエミュレートします。結果のシステムは完全にKubernetesプリミティブで表現されるため、必要な動作の多くはKubernetesから直接継承されます。

Virtual Kubelet上に構築されているInterLinkを最初に評価しましたが、私たちのユースケースには不向きであることがわかりました。そのため、VKの上に独自のレイヤーを構築し、システムが必要とするセマンティクスと、新しいGPUプロバイダーを統合するためのクリーンなインターフェースを提供しました。これらのプロバイダーは、容量を増減させるプログラム可能な手段を提供する必要があります。

システムは次のように動作します。仮想Kubernetesノードがクラスターに登録されます。Podがそれにスケジュールされると、私たちのコードはPod仕様をターゲットプロバイダーと互換性のある形式に変換し、そこにデプロイし、プロバイダー側の障害が発生した場合に両側を調整します。

この設計の主な利点は、スケーリング動作がKubernetesから継承されることです。10レプリカ用に設定されたHPAを考えます。すべてがクラスター外で実行されており、1つのレプリカが失敗した場合。それを修復しようとするのではなく、調整ループは障害を検出し、Podを失敗としてマークし(その後、デッドポッドが蓄積するのを避けるためにガベージコレクションします)、HPAが置換をスケジュールできるようにします。したがって、システムは障害を直接修復しようとはしません。障害を検出し、Kubernetesに伝播し、回復をKubernetesに委任します。

統合には、Podの作成、Podの削除、exec(必要な場合)、およびノードの起動動作(例えば、プロバイダー側でPodが実行中の間に私たちのコードがクラッシュした場合の回復)といった少数のプリミティブを実装する必要があります。専用のレイヤーが私たち自身のシステムに固有の要件を吸収し、新しいプロバイダーはこれらのプリミティブへのクリーンなインターフェースを通じて統合されるため、ビジネスロジックがプロバイダー実装に漏洩することはありません。

Launching Training Runs

このコンポーネントは他のものよりもシンプルですが、人間工学と自動化する価値のあるものについて多くのことを教えてくれました。GPU数が増えるにつれて、追加の運用上の問題が発生し、起動手順はそれに応じて進化しました。

大規模な実行中、実行を中断する少数の障害のあるノード(下記参照)に頻繁に遭遇し、それらがローテーションされるまで実行が中断されました。当初は起動前に既知の障害ノードを隔離し、正常なプールにPodをスケジュールできるようにしていました。しかし、障害ノードのセットが時間とともに増加するにつれて、各クラッシュはかなりの手動介入を必要としました。この障害ノードのリストは、当初はノード名のプレーンテキストファイルとして維持されていました。

また、ノード上で追加のプロセスを実行すること(GPUにアクセスしないプロセスであっても)が、実行がより多くのノードにスケーリングするにつれて不安定性を導入することも観察されました。その結果、手動手順には、クリーンなノードセットを特定し、トレーニングPodがアフィニティを通じてスケジュールされるようにラベルを付け、他のワークロードがスケジュールされないように(トレーニングを除く)テイントし、最後にそれらをドレインすることが含まれるようになりました。

テイントは、最大の安定性を必要とする非常に大規模な実行にのみ必要でした。したがって、手順は部分的に自動化されました。起動CLIは障害ノードリストを取得し、それらのノードとすでにトレーニングまたは開発マシンを実行しているノードを除外し、残りのノードから必要な数のノードを選択し、それらを自動的にラベル付けおよびテイントしました。テイクダウン時には、ラベルとテイントを削除しました。

このリストはその後、テキストファイルからノードラベルに移行し、障害ノードに対するソフトまたはハードなアンチアフィニティを直接表現できるようになりました。また、「Packerman」というKubernetesオペレーターを有効にし、開発マシンなどのPodを障害ノードにパックして、正常なノードをトレーニング用に利用できるようにしました。ほとんどの場合、障害ノードで実行されている開発マシンは許容できます。開発中は、ノード内の他のGPUよりも5〜10度高い温度で実行されている1つのGPUは許容できますが、トレーニングではそうではありません。

Observability
Metrics

オブザーバビリティは、大規模事前トレーニングについて最も多く学んだ分野です。各クラッシュには一連の繰り返し原因がありましたが、新しい予期しない障害モードが継続的に出現し、時間の経過とともに、特定のクラッシュの原因を診断するのに熟練しました。この規模でのトレーニングは、GPU、PCIe、NVLink、InfiniBand、および関連サブシステムのメトリックなしでは不可能でした。これらは、DCGMとカスタムDaemonSetの組み合わせを通じて収集し、関心のある追加メトリックをエクスポートしました。

以下に、最も有用ないくつかのメトリックと、実行が期待値から逸脱した場合のその動作を説明します。それぞれに、本番実行からの図が元のレポートに付属しています。

DCGM_FI_DEV_GPU_TEMP GPUは温度に非常に敏感です。GPUが75〜78℃を超えると、スロットリングが開始され、全体のスループットが低下するため、トレーニングの不安定性が増加することが観察されます。

[画像: DCGM_FI_DEV_GPU_TEMP metric]

DCGM_FI_DEV_GPU_UTIL このメトリックはしばしば誤解を招くことがわかっています。多くの分散トレーニングエラーは、最初にプロセスがクラッシュすることから始まるため、このメトリックはしばしば、1つのGPUが0%の利用率に低下し、その後すぐにクラッシュするという役に立たないレポートを含んでいます。さらに、この「利用率」メトリックは、「CUDAカーネルがGPUで実行されている時間の割合」のみを報告し、「実際の」機能の使用を報告しないため、一般的に誤解を招くと考えています。

[画像: DCGM_FI_DEV_GPU_UTIL metric]

DCGM_FI_PROF_PIPE_TENSOR_ACTIVE テソルコアの利用率は、トレーニングが期待どおりに実行されているかどうかを示す最も好ましい指標でした。トレーニングステージ全体で明確な相関関係が観察され、高解像度画像ほどテソルコアの利用率が高くなりました。また、他の条件の代理としても機能しました。過熱したGPUを持つノードは異常に高いテソルコア利用率を示し(直感に反して)、実行中に安定した低下は通常、障害のあるノードまたはその他の不安定性を示していました。

[画像: DCGM_FI_PROF_PIPE_TENSOR_ACTIVE metric]

DCGM_FI_DEV_FB_USED メモリ使用量は有用でしたが、一般的に期待される理由とは異なります。OOMイベントはまれで、構成が安定すると、事実上発生しませんでした。代わりに、少数のGPUがメモリ割り当て中に失敗または停止した場合にメトリックが有用でした。ほとんどのGPUはトレーニング開始時にメモリを割り当てましたが、一部はVRAM約5GiBで停止したままでした。是正措置は、影響を受けたノードを再起動することでした。

[画像: DCGM_FI_DEV_FB_USED metric]

DCGM_FI_DEV_XID_ERRORS メモリ使用量と同様に、XIDは少数ケースで有用でした。ほとんどのクラッシュはXIDを生成しませんでしたが、1つが発行された場合は原因を直接特定しました。

[画像: DCGM_FI_DEV_XID_ERRORS metric]

DCGM_FI_DEV_CORRECTABLE_REMAPPED_ROWS, DCGM_FI_DEV_UNCORRECTABLE_REMAPPED_ROWS, and DCGM_FI_DEV_ROW_REMAP_FAILURE これらのメトリックは、障害のあるメモリモジュールを持つGPUを特定するのに役立ちました。メモリが根本原因である場合、信号は一般的に曖昧ではありませんでした。

[画像: Remapped rows metrics]

DCGM_FI_DEV_PCIE_REPLAY_COUNTER — このメトリックは、GPUとマザーボードの接続品質を報告します。特定のGPUでのリプレイのバーストは、一貫してクラッシュの前兆となりました。ランダムなGPUに分散された一時的なリプレイは無害でした。障害モードは、単一GPUでの大きなスパイクとして現れました。

[画像: DCGM_FI_DEV_PCIE_REPLAY_COUNTER metric]

NVLinkエラー(カスタム) — DCGMはデフォルトではこれらをエクスポートしないため、CRC、リプレイ、および回復エラーを収集するためにカスタムDaemonSetを実装しました。まれなケースでは、PCIeリプレイと同様に、これらのメトリックにより障害のあるノードを特定できました。

[画像: NVLink errors metric]

InfiniBandメトリック(カスタム) — IBメトリックは、収集したメトリックの中で最も重要であったと言えます。特にクラスターファブリックが一貫して安定していなかったためです。以下のメトリックを収集しました。

VL15_dropped
excessive_buffer_overrun_errors
link_downed
link_error_recovery
local_link_integrity_errors
multicast_rcv_packets
multicast_xmit_packets
port_rcv_constraint_errors
port_rcv_data
port_rcv_errors
port_rcv_packets
port_rcv_remote_physical_errors
port_rcv_switch_relay_errors
port_xmit_constraint_errors
port_xmit_data
port_xmit_discards
port_xmit_packets
port_xmit_wait
symbol_error
unicast_rcv_packets
unicast_xmit_packets

[画像: InfiniBand metrics]

これらのメトリックは、InfiniBand関連の問題の幅広い範囲を診断するために不可欠でした。ファブリックの不安定性は、リンクのフラッピング、パケットエラー、輻輳、シンボルエラー、およびデバイス間のスループットのばらつきを含む、実行クラッシュの最大の原因でした。メトリックにより、ファブリックの誤動作しているセクションをローカライズできました。例えば、mlx5_10とmlx5_11に限定されたパケットエラー、またはmlx5_0でのスループット低下などです。これらの問題をデバッグするためにibtopが役立つことがわかりました。

Lessons

大規模なトレーニングは、クラスターの動作と大規模トレーニング全般について多くのことを教えてくれました。初期の頃、クラッシュへの対応は積極的でした。ノードの交換、再起動、設定の変更などです。時間の経過とともに、対処する価値のある問題と一時的な癖を区別することを学びました。場合によっては、実行が2時間以内に繰り返しクラッシュし、その後、再起動以外の変更なしに、インシデントなしで16時間実行されることもありました。

GPU数のスケーリングの難しさにも遭遇しました。私たちの経験は、他の事前トレーニングの取り組みとは異なる場合があります。規模の関数として一般的に報告されている障害率は、私たちの観察と一致しませんでした。GPU数を倍増させると、予想以上に大幅な不安定性が生じました。例として、同じコードとデータで、128 GPU未満での実行は非常に安定しており、インシデントなしで数日間実行されることが多く、クラッシュは一般的に実際の障害に起因していました。しかし、GPU数をスケーリングするにつれて、実行ははるかに頻繁にクラッシュし始め、大規模な実行でクラッシュなしで24時間を超えるものは完了しませんでした。これらのクラッシュの多くには明白な原因がなく、NCCLタイムアウトのようにサイレントに発生し、すべてのメトリックは正常に見えました。

Filesystem and Checkpointing

初期の最も重大な間違いの1つはCephを採用したことですが、これは私たちの規模やユースケースではうまく機能しませんでした。このため、WEKAに切り替え、その決定を再考することはありませんでした。ファイルシステム関連の問題とダウンタイムは劇的に減少し、パフォーマンスは同等の割合で向上しました。移行は完全にスムーズだったわけではありません。インストール中およびファイルシステムの寿命全体で多数の癖やエッジケースに遭遇しましたが、WEKAはそれらを解決するのに一貫して迅速でした。これは、Kubernetesの提供が採用時に完全には成熟していなかったことを考えると特に価値がありましたが、それ以来、新機能とバグ修正とともに大幅に改善されました。

信頼性に関するセクションで議論したように、WEKAはKrea 2のトレーニングの重要な推進要因であり、非常に積極的にチェックポイントを作成しました。ファイルシステムはこの需要に対応しました。チェックポイントは約30秒で完了したため、チェックポイントでの時間の損失はほとんどありませんでした。この単一のファイルシステムは、研究開発データ、画像、チェックポイント、データセット、およびその他のすべての成果物をすべて格納し、すべてのケースで良好なパフォーマンスを発揮しました。

注目すべき唯一の癖は、WEKAに起因するものではありません。IPoIBモードの使用に関するものです。これは、クラスターのInfiniBandファブリックの不安定性に寄与していると疑っています。しかし、ファブリックはWEKAの前から不安定であったため、せいぜい既存の状態を悪化させただけです。

[画像: Max read throughput on our WEKA cluster]

Max read throughput on our WEKA cluster

[画像: Max write throughput on our WEKA cluster]

Max write throughput on our WEKA cluster

Data infrastructure

K2のデータを摂取およびキュレートするために、PostgreSQLサーバーのクラスターを中心にカスタムウェアハウジングおよびキューイングシステムを構築しました。各Krea tabletサーバーをkrabletと呼びます。各krabletは以下で構成されます。

  • データの1つのシャードを保持するPostgresインスタンス。
  • そのシャードの「funnel」サーバーのデプロイメント。これにより、ロック競合を最小限に抑えるために、変更を非同期でバッチ処理およびキューイングします。
    すべての読み取りは、「RPC」サーバーの大規模デプロイメントを通じてプロキシされます。これは、PgBouncerなどの従来のコネクションプーラーを置き換えます。各RPCサーバーは、データベースの各シャードへのコネクションプールを維持します。

[画像: Krablet architecture diagram]

krabletサーバーは、トレーニングデータセットのすべてのメタデータを保持し、オブジェクトストレージ内の画像を参照するキーを格納します。

非伝統的ですが、krabletシステムはメタデータだけで208TBにスケーリングし、毎秒数万件の競合するUPSERTトランザクションを処理できます。さらに重要なのは、すべての研究データに対して単一の真実のソースを提供し、ストリーム処理レイヤーをデータレイヤーと同じにできることです。

Kreaでの典型的なジョブ処理ワークフローは次のようになります。まずテーブルを作成します。例:

CREATE TABLE images (
	image_name TEXT PRIMARY KEY,

	contains_text BOOLEAN DEFAULT NULL,
	ocr_last_tried_at TIMESTAMP DEFAULT NULL,

	embedding_path TEXT DEFAULT NULL,
	embed_last_tried_at TIMESTAMP DEFAULT NULL
)

このテーブルは、各画像に対して実行できる2つのジョブ(OCRと埋め込み)を定義します。OCRワーカーは次のクエリを実行して処理する行を見つけます。

-- OCR worker
WITH picked AS (
	SELECT image_Name FROM images
	WHERE contains_text IS NULL
	ORDER BY ocr_last_tried_at NULLS FIRST
	LIMIT 8
	FOR UPDATE SKIP LOCKED
)
UPDATE images i
SET ocr_last_tried_at = NOW()
FROM picked p
WHERE i.id = p.id
RETURNING i.*

そして埋め込みワーカーは次を実行します。

-- Embed worker
WITH picked AS (
	SELECT id FROM images
	WHERE embedding_path IS NULL
	AND contains_text = FALSE -- Only process rows which have completed OCR and passed a filter
	ORDER BY embed_last_tried_at NULLS FIRST
	LIMIT 16
	FOR UPDATE SKIP LOCKED
)
UPDATE images i
SET embed_last_tried_at = NOW()
FROM picked p
WHERE i.id = p.id
RETURNING i.*

暗黙的に、この処理ワークフローはDAG(有向非巡回グラフ)です。

[画像: DAG workflow diagram]

Ray、Spark、Daftを含む多くの大規模データ処理システムは、DAGワークフローを処理できます。しかし、これらのワークフローをこのモデルでキューとして扱うと、いくつかの実用的な利点が得られます。

  • リトライ: KafkaやRayとは異なり、このシステムは失敗時に行をドロップしたり、デッドレターキュー(DLQ)に送信したりしません。処理に失敗した行は、理由の如何を問わず、キューの末尾でリトライされます(last_tried_atの原子更新のため)。これにより、ヘッドオブラインブロッキングも防止されます。
  • 耐障害性: どのワーカーもいつでもクラッシュする可能性がありますが、ジョブ全体をクラッシュさせたり、進捗を失ったりすることはありません。多くのクラスの障害(例:GPUの故障、一時的に利用できないAPI)は、システムの最終的なリトライを通じて自動的に処理されます。
  • 動的なワーカー数: プロセスジョブをKubernetesでデプロイし、任意のデプロイメントをリシャードやデータ移動なしで任意にスケールアップまたはダウンできます。ジョブには1つのワーカーまたは1000のワーカーを持つことができます。多くのワークロードでは、PrometheusスケーリングメトリックをCOUNT(*)のクレームクエリ(例:COUNT(*) WHERE embedding_path IS NULL AND contains_text = FALSE)に基づいて公開しており、これによりパイプラインの各部分を利用可能な作業量に応じて自動スケーリングできます。
  • 部分処理: 各行の結果はPostgresに即座に耐久性があるため、テーブルの任意の部分を必要なだけ処理できます。単一のジョブが完了する必要はありません。これにより、中断可能なスポット優先度クラスを活用でき、利用可能な余剰容量がある場合にのみ実行できます。
  • 即時可視性: 研究者は、視覚化ダッシュボードで任意のジョブの結果を即座に確認し、継続的にイテレーションできます。また、キューの任意のセクションのスループットを検査することもできます。例えば、SELECT COUNT(*) FROM images WHERE embed_last_tried_at > NOW() - INTERVAL '5 minutes'。
  • 異種バッチサイズ: 各ワーカーは、それに自然なバッチサイズを選択できます。
  • 継続的な増分処理: システムに新しいデータを継続的に追加し、ジョブを手動で再実行したり、古い行をバックフィルしたり、別々のステージを追跡したりすることなく、すべてのステージを流れるようにできます。

研究者の利便性のために、「pluck」というシステムを公開しており、ノートブックで使用できるグローバルマップAPIを提供しています。例えば:

def embed_func(batch):
    ...

t = pluck.Table(
    "images",                                            # table name
    "image_name",                                        # primary / shard key
    "embedding_path IS NULL AND contains_text = FALSE",  # condition
)
t.map(embed_func)  # returns a handle the user can attach to in order to see live progress

内部的には、pluckはTABLESAMPLEと統計的推定値を使用してテーブルのキー空間をパーティション化し、バッチキューを作成します。これは、上記のFOR UPDATE SKIP LOCKEDセマンティクスと同様のものを使用して消費されます。ユーザー定義関数(UDF)はcloudpickleライブラリでピクル化され、リモートワーカーで実行されます。

次世代の研究のために、チームはkrabletとFOR UPDATE SKIP LOCKEDキューセマンティクスを維持しつつ、オブジェクトストレージ上のLSMツリーにデータを格納する後継システムを構築しています。これに関心がある場合は、当社のスーパーコンピューティング/分散システムチームが募集中です!

Discussion and Future Work

スタック全体で多くの方向性を探求しましたが、有望な研究問題はまだ多く残っています。

Scaling

Krea 2では、安定性とイテレーション速度を優先するために、比較的保守的なアーキテクチャとオプティマイザーの選択を行いました。次の事前トレーニングサイクルでは、MoEを含む最新のLLMトランスフォーマー設計を拡散トランスフォーマーに適合させたいと考えています。スパースアテンションを使用してネイティブ2K〜4K解像度にスケールし、NVFP4で事前トレーニングし、Muonなどでスケールします。アーキテクチャおよびアルゴリズムの変更を超えて、現在のモデルはトレーニング不足であり、より長いトレーニングから恩恵を受けると考えています。

Multi-teacher on-policy distillation (MOPD)

現在のトレーニングパイプラインをマルチ報酬RLステージで締めくくります。最近のLLM文献では、ドメインエキスパートをトレーニングし、密なエキスパート監視を通じてその能力を蒸留することが一般的になっています。モデルマージやオフライン蒸留などの手法と比較して、MOPDは、異なる機能が互いに競合することなく、複数のエキスパートを単一の生徒に蒸留できることが示されています。MOPDは組織的な観点からも非常にスケーラブルです。これは、異なるRLチームが、他の場所での回帰を危険にさらすことなく、ドメイン固有の機能に純粋に集中できるためです。内部エキスパートを使用した拡散モデルの蒸留手法として、OPDとMOPDの両方が効果的であることをすでに検証しており、より多くの結果をすぐに共有できることを願っています。

Architectural simplification

現在、ほとんどのプロダクション拡散モデルは、複雑な相互依存モデルのセットを必要とします。潜在拡散モデルを提供するには、通常、オートエンコーダー、拡散トランスフォーマー、テキストエンコーダー、およびプロンプト拡張モデルが必要です。スタックによっては、スタイル参照モデルやアップスケーラーなどの追加モジュールを追加する場合もあります。独立したトレーニングを必要とし、相互依存関係を持つ複数のコンポーネントを維持することは、研究チームが調整することを本質的に困難にします。これは、LLMトレーニングパイプラインとは対照的です。LLMトレーニングパイプラインは単一の統合モデルを中心に展開し、研究努力をデータチーム間またはMOPDステージの個別のエキスパートトレーニング間で並列化できます。さらに重要なのは、研究チームがスケーリング努力を単一のモデルに集中できることです。これらの理由から、次の事前トレーニングサイクルでアーキテクチャを単純化し、さまざまなコンポーネントを単一モデルの下に統合する予定です。

New capabilities

Krea 2では、主に創造的な探求のための画像生成に焦点を当てました。Kreaモデルの機能を、堅牢な編集、画像参照、およびネイティブ2K/4K生成を含むように拡張することを目指しています。また、従来の自然言語プロンプトでは、ユーザーリクエストの全範囲をサポートするにはもはや十分ではないこともますますわかっています。ユーザープロンプト全体で、自然言語、タグ、詳細なJSON、バウンディングボックス、指示、視覚ガイドライン、Markdownなど、さまざまなプロンプトスタイルが観察されます。プロンプト拡張機能はこれらの一部に対処できますが、このようなプロンプトをネイティブに理解することもモデルのコア機能であるべきだと考えています。

Conclusion

創造的な探求のために構築された最初の基盤モデルシリーズであるKrea 2を発表しました。この技術レポートでは、モデルファミリーの背後にあるインフラストラクチャ、データシステム、トレーニングパイプライン、および研究の選択肢を共有しました。基盤となる画像モデルはまだ初期段階にあると考えており、さらなる研究結果を共有できることを楽しみにしています。

Kreaで私たちに参加しませんか

私たちはクリエイティブAIの未来を築いています。私たちと一緒に働きませんか。

募集中のポジションを見る

References (84)

  1. Denoising diffusion probabilistic models. Ho, J., Jain, A. and Abbeel, P., 2020. Advances in Neural Information Processing Systems, Vol 33, pp. 6840—6851. Link

  2. High-resolution image synthesis with latent diffusion models. Rombach, R., Blattmann, A., Lorenz, D., Esser, P. and Ommer, B., 2022. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684—10695. Link

  3. Flow straight and fast: Learning to generate and transfer data with rectified flow. Liu, X., Gong, C. and Liu, Q., 2022. arXiv preprint arXiv:2209.03003. Link

  4. Flow matching for generative modeling. Lipman, Y., Chen, R.T.Q., Ben-Hamu, H., Nickel, M. and Le, M., 2022. arXiv preprint arXiv:2210.02747. Link

  5. Visual autoregressive modeling: Scalable image generation via next-scale prediction. Tian, K., Jiang, Y., Yuan, Z., Peng, B. and Wang, L., 2024. Advances in Neural Information Processing Systems, Vol 37, pp. 84839—84865. Link

  6. Infinity: Scaling bitwise autoregressive modeling for high-resolution image synthesis. Han, J., Liu, J., Jiang, Y., Yan, B., Zhang, Y., Yuan, Z., Peng, B. and Liu, X., 2025. Proceedings of the Computer Vision and Pattern Recognition Conference, pp. 15733—15744. Link

  7. Emu: Generative pretraining in multimodality. Sun, Q., Yu, Q., Cui, Y., Zhang, F., Zhang, X., Wang, Y., Gao, H., Liu, J., Huang, T. and Wang, X., 2024. International Conference on Learning Representations, Vol 2024, pp. 12352—12380. Link

  8. Generative pretraining from pixels. Chen, M., Radford, A., Child, R., Wu, J., Jun, H., Luan, D. and Sutskever, I., 2020. International Conference on Machine Learning, pp. 1691—1703. PMLR. Link

  9. Scaling autoregressive models for content-rich text-to-image generation. Yu, J., Xu, Y., Koh, J.Y., Luong, T., Baid, G., Wang, Z., Vasudevan, V., Ku, A., Yang, Y., Ayan, B.K. et al., 2022. arXiv preprint arXiv:2206.10789. Link

  10. Maskgit: Masked generative image transformer. Chang, H., Zhang, H., Jiang, L., Liu, C. and Freeman, W.T., 2022. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 11315—11325. Link

  11. Scalable diffusion models with transformers. Peebles, W. and Xie, S., 2023. Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4195—4205. Link

  12. Pixart-alpha: Fast training of diffusion transformer for photorealistic text-to-image synthesis. Chen, J., Yu, J., Ge, C., Yao, L., Xie, E., Wang, Z., Kwok, J., Luo, P., Lu, H. and Li, Z., 2024. International Conference on Learning Representations, Vol 2024, pp. 57611—57640. Link

  13. Scaling rectified flow transformers for high-resolution image synthesis. Esser, P., Kulal, S., Blattmann, A., Entezari, R., Muller, J., Saini, H., Levi, Y., Lorenz, D., Sauer, A., Boesel, F. et al., 2024. Forty-first International Conference on Machine Learning. Link

  14. Sit: Exploring flow and diffusion-based generative models with scalable interpolant transformers. Ma, N., Goldstein, M., Albergo, M.S., Boffi, N.M., Vanden-Eijnden, E. and Xie, S., 2024. European Conference on Computer Vision, pp. 23—40. Springer. Link

  15. Sdxl: Improving latent diffusion models for high-resolution image synthesis. Podell, D., English, Z., Lacey, K., Blattmann, A., Dockhorn, T., Muller, J., Penna, J. and Rombach, R., 2024. International Conference on Learning Representations, Vol 2024, pp. 1862—1874. Link

  16. FLUX. BlackForest, 2024. Link

  17. FLUX.2: Frontier Visual Intelligence. Black Forest Labs, 2025. Link

  18. FLUX.1 Kontext: Flow matching for in-context image generation and editing in latent space. Labs, B.F., Batifol, S., Blattmann, A., Boesel, F., Consul, S., Diagne, C., Dockhorn, T., English, J., English, Z., Esser, P. et al., 2025. arXiv preprint arXiv:2506.15742. Link

  19. FLUX.1 Krea [dev]. Black Forest Labs and Krea, 2025. Link

  20. Lumina-Image 2.0: A Unified and Efficient Image Generative Framework. Qin, Q., Zhuo, L., Xin, Y., Du, R., Li, Z., Fu, B., Lu, Y., Yuan, J., Li, X., Liu, D. et al., 2025. arXiv preprint arXiv:2503.21758. Link

  21. Hunyuan-dit: A powerful multi-resolution diffusion transformer with fine-grained chinese understanding. Li, Z., Zhang, J., Lin, Q., Xiong, J., Long, Y., Deng, X., Zhang, Y., Liu, X., Huang, M., Xiao, Z. et al., 2024. arXiv preprint arXiv:2405.08748. Link

  22. Qwen-image technical report. Wu, C., Li, J., Zhou, J., Lin, J., Gao, K., Yan, K., Yin, S.M., Bai, S., Xu, X., Chen, Y. et al., 2025. arXiv preprint arXiv:2508.02324. Link

  23. Longcat-image technical report. Team, M.L., Ma, H., Tan, H., Huang, J., Wu, J., He, J.Y., Gao, L., Xiao, S., Wei, X., Ma, X. et al., 2025. arXiv preprint arXiv:2512.07584. Link

  24. JoyAI-Image: Awakening spatial intelligence in unified multimodal understanding and generation. Joy Future Academy, JD, 2026. Link

  25. HunyuanImage-2.1. Tencent HY, 2025. Link

  26. Hunyuanimage 3.0 technical report. Cao, S., Chen, H., Chen, P., Cheng, Y., Cui, Y., Deng, X., Dong, Y., Gong, K., Gu, T., Gu, X. et al., 2025. arXiv preprint arXiv:2509.23951. Link

  27. Z-image: An efficient image generation foundation model with single-stream diffusion transformer. Cai, H., Cao, S., Du, R., Gao, P., Hoi, S., Hou, Z., Huang, S., Jiang, D., Jin, X., Li, L. et al., 2025. arXiv preprint arXiv:2511.22699. Link

  28. Seedream 3.0 technical report. Gao, Y., Gong, L., Guo, Q., Hou, X., Lai, Z., Li, F., Li, L., Lian, X., Liao, C., Liu, L. et al., 2025. arXiv preprint arXiv:2504.11346. Link

  29. Seedream 2.0: A native chinese-english bilingual image generation foundation model. Gong, L., Hou, X., Li, F., Li, L., Lian, X., Liu, F., Liu, L., Liu, W., Lu, W., Shi, Y. et al., 2025. arXiv preprint arXiv:2503.07703. Link

  30. Seedream 4.0: Toward next-generation multimodal image generation. Seedream, T., Chen, Y., Gao, Y., Gong, L., Guo, M., Guo, Q., Guo, Z., Hou, X., Huang, W., Huang, Y. et al., 2025. arXiv preprint arXiv:2509.20427. Link

  31. Seedream 5.0 Lite. ByteDance Seed, 2025. Link

  32. GPT Image 1.5. OpenAI, 2025. Link

  33. Nano Banana Pro. Google, 2025. Link

  34. Qwen3-vl technical report. Bai, S., Cai, Y., Chen, R., Chen, K., Chen, X., Cheng, Z., Deng, L., Ding, W., Gao, C., Ge, C. et al., 2025. arXiv preprint arXiv:2511.21631. Link

  35. Auto-encoding variational bayes. Kingma, D.P. and Welling, M., 2013. arXiv preprint arXiv:1312.6114. Link

  36. Flow-grpo: Training flow matching models via online rl. Liu, J., Liu, G., Liang, J., Li, Y., Liu, J., Wang, X., Wan, P., Zhang, D. and Ouyang, W., 2026. Advances in Neural Information Processing Systems, Vol 38, pp. 40783—40818. Link

  37. Diffusionnft: Online diffusion reinforcement with forward process. Zheng, K., Chen, H., Ye, H., Wang, H., Zhang, Q., Jiang, K., Su, H., Ermon, S., Zhu, J. and Liu, M.Y., 2025. arXiv preprint arXiv:2509.16117. Link

  38. Improved aesthetic predictor (LAION-Aesthetics Predictor V2). Schuhmann, C., 2022. GitHub repository, christophschuhmann/improved-aesthetic-predictor. Link

  39. ArtiMuse: Fine-Grained Image Aesthetics Assessment with Joint Scoring and Expert-Level Understanding. Cao, S., Ma, N., Li, J., Li, X., Shao, L., Zhu, K., Zhou, Y., Pu, Y., Wu, J., Wang, J. et al., 2025. arXiv preprint arXiv:2507.14533. Link

  40. UniPercept: Towards Unified Perceptual-Level Image Understanding across Aesthetics, Quality, Structure, and Texture. Cao, S., Li, J., Li, X., Pu, Y., Zhu, K., Gao, Y., Luo, S., Xin, Y., Qin, Q., Zhou, Y. et al., 2025. arXiv preprint arXiv:2512.21675. Link

  41. DINOv3. Simeoni, O., Vo, H.V., Seitzer, M., Baldassarre, F., Oquab, M., Jose, C., Khalidov, V., Szafraniec, M., Yi, S., Ramamonjisoa, M. et al., 2025. arXiv preprint arXiv:2508.10104. Link

  42. SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features. Tschannen, M., Gritsenko, A., Wang, X., Naeem, M.F., Alabdulmohsin, I., Parthasarathy, N., Evans, T., Beyer, L., Xia, Y., Mustafa, B. et al., 2025. arXiv preprint arXiv:2502.14786. Link

  43. Automatic Data Curation for Self-Supervised Learning: A Clustering-Based Approach. Vo, H.V., Khalidov, V., Darcet, T., Moutakanni, T., Smetanin, N., Szafraniec, M., Touvron, H., Couprie, C., Oquab, M., Joulin, A. et al., 2024. arXiv preprint arXiv:2405.15613. Link

  44. GLU Variants Improve Transformer. Shazeer, N., 2020. arXiv preprint arXiv:2002.05202. Link

  45. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. Ainslie, J., Lee-Thorp, J., de Jong, M., Zemlyanskiy, Y., Lebron, F. and Sanghai, S., 2023. arXiv preprint arXiv:2305.13245. Link

  46. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model. DeepSeek-AI et al., 2024. arXiv preprint arXiv:2405.04434. Link

  47. Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free. Qiu, Z., Wang, Z., Zheng, B., Huang, Z., Wen, K., Yang, S., Men, R., Yu, L., Huang, F., Huang, S. et al., 2025. arXiv preprint arXiv:2505.06708. Link

  48. SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers. Xie, E., Chen, J., Chen, J., Cai, H., Tang, H., Lin, Y., Zhang, Z., Li, M., Zhu, L., Lu, Y. et al., 2024. arXiv preprint arXiv:2410.10629. Link

  49. On N-dimensional Rotary Positional Embeddings. Xiong, J., 2025. Blog post, jerryxio.ng. Link

  50. Deep compression autoencoder for efficient high-resolution diffusion models. Chen, J., Cai, H., Chen, J., Xie, E., Yang, S., Tang, H., Li, M., Lu, Y. and Han, S., 2025. International Conference on Learning Representations, Vol 2025, pp. 96539—96560. Link

  51. Root mean square layer normalization. Zhang, B. and Sennrich, R., 2019. Advances in Neural Information Processing Systems, Vol 32. Link

  52. UniFusion: Vision-Language Model as Unified Encoder in Image Generation. Li, K., Brack, M., Katakol, S., Ravi, H. and Kale, A., 2025. arXiv preprint arXiv:2510.12789. Link

  53. Model Merging in Pre-training of Large Language Models. Li, Y., Ma, Y., Yan, S., Zhang, C., Liu, J., Lu, J., Xu, Z., Chen, M., Wang, M., Zhan, S. et al., 2025. arXiv preprint arXiv:2505.12082. Link

  54. Diffusion Model Alignment Using Direct Preference Optimization. Wallace, B., Dang, M., Rafailov, R., Zhou, L., Lou, A., Purushwalkam, S., Ermon, S., Xiong, C., Joty, S. and Naik, N., 2023. arXiv preprint arXiv:2311.12908. Link

  55. FireRed-Image-Edit-1.0 Technical Report. Super Intelligence Team, Qiao, C., Hui, C., Li, C., Wang, C., Song, D., Zhang, J., Li, J., Xiang, Q., Wang, R. et al., 2026. arXiv preprint arXiv:2602.13344. Link

  56. Directly Fine-Tuning Diffusion Models on Differentiable Rewards. Clark, K., Vicol, P., Swersky, K. and Fleet, D.J., 2023. arXiv preprint arXiv:2309.17400. Link

  57. ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation. Xu, J., Liu, X., Wu, Y., Tong, Y., Li, Q., Ding, M., Tang, J. and Dong, Y., 2023. arXiv preprint arXiv:2304.05977. Link

  58. Directly Aligning the Full Diffusion Trajectory with Fine-Grained Human Preference. Shen, X., Li, Z., Yang, Z., Zhang, S., Zhang, Y., Li, D., Wang, C., Lu, Q. and Tang, Y., 2025. arXiv preprint arXiv:2509.06942. Link

  59. Classifier-Free Diffusion Guidance. Ho, J. and Salimans, T., 2022. arXiv preprint arXiv:2207.12598. Link

  60. One-step diffusion with distribution matching distillation. Yin, T., Gharbi, M., Zhang, R., Shechtman, E., Durand, F., Freeman, W.T. and Park, T., 2024. IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6613—6623. Link

  61. Improved distribution matching distillation for fast image synthesis. Yin, T., Gharbi, M., Park, T., Zhang, R., Shechtman, E., Durand, F. and Freeman, W.T., 2024. Advances in Neural Information Processing Systems, pp. 47455—47487. Link

  62. Decoupled DMD: CFG Augmentation as the Spear, Distribution Matching as the Shield. Liu, D., Gao, P., Liu, D., Du, R., Li, Z., Wu, Q., Jin, X., Cao, S., Zhang, S., Li, H. et al., 2025. arXiv preprint arXiv:2511.22677. Link

  63. pi-Flow: Policy-Based Few-Step Generation via Imitation Distillation. Chen, H., Zhang, K., Tan, H., Guibas, L., Wetzstein, G. and Bi, S., 2025. arXiv preprint arXiv:2510.14974. Link

  64. Diffusion Adversarial Post-Training for One-Step Video Generation. Lin, S., Xia, X., Ren, Y., Yang, C., Xiao, X. and Jiang, L., 2025. arXiv preprint arXiv:2501.08316. Link

  65. Learning Few-Step Diffusion Models by Trajectory Distribution Matching. Luo, Y., Hu, T., Sun, J., Cai, Y. and Tang, J., 2025. arXiv preprint arXiv:2503.06674. Link

  66. HPSv3: Towards Wide-Spectrum Human Preference Score. Ma, Y., Shui, Y., Wu, X., Sun, K. and Li, H., 2025. arXiv preprint arXiv:2508.03789. Link

  67. EvalMuse-40K: A Reliable and Fine-Grained Benchmark with Comprehensive Human Annotations for Text-to-Image Generation Model Evaluation. Han, S., Fan, H., Fu, J., Li, L., Li, T., Cui, J., Wang, Y., Tai, Y., Sun, J., Guo, C. et al., 2024. arXiv preprint arXiv:2412.18150. Link

  68. Adam: A Method for Stochastic Optimization. Kingma, D.P. and Ba, J., 2014. arXiv preprint arXiv:1412.6980. Link

  69. Muon is Scalable for LLM Training. Liu, J., Su, J., Yao, X., Jiang, Z., Lai, G., Du, Y., Qin, Y., Xu, W., Lu, E., Yan, J. et al., 2025. arXiv preprint arXiv:2502.16982. Link

  70. What matters for Representation Alignment: Global Information or Spatial Structure? Singh, J., Leng, X., Wu, Z., Zheng, L., Zhang, R., Shechtman, E. and Xie, S., 2025. arXiv preprint arXiv:2512.10794. Link

  71. Kimi K2.6. Moonshot AI, 2026. Link

  72. Delta Attention Residuals. Luo, C., Cai, Z. and Hu, J., 2026. arXiv preprint arXiv:2605.18855.

  73. Is Noise Conditioning Necessary for Denoising Generative Models? Sun, Q., Jiang, Z., Zhao, H. and He, K., 2025. arXiv preprint arXiv:2502.13129.

  74. LAuReL: Learned Augmented Residual Layer. Menghani, G., Kumar, R. and Kumar, S., 2024. arXiv preprint arXiv:2411.07501.

  75. Improved Mean Flows: On the Challenges of Fastforward Generative Models. Geng, Z., Lu, Y., Wu, Z., Shechtman, E., Kolter, J.Z. and He, K., 2025. arXiv preprint arXiv:2512.02012.

  76. Attention Residuals. Kimi Team, Chen, G., Zhang, Y., Su, J., Xu, W., Pan, S., Wang, Y., Wang, Y. et al., 2026. arXiv preprint arXiv:2603.15031.

  77. NOBLE: Accelerating Transformers with Nonlinear Low-Rank Branches. Smith, E., 2026. arXiv preprint arXiv:2603.06492.

  78. mHC: Manifold-Constrained Hyper-Connections. Xie, Z., Wei, Y., Cao, H., Zhao, C., Deng, C., Li, J., Dai, D., Gao, H. et al. (DeepSeek-AI), 2025. arXiv preprint arXiv:2512.24880.

  79. Gemma: Open Models Based on Gemini Research and Technology. Gemma Team, 2024. arXiv preprint arXiv:2403.08295.

  80. Layer Normalization. Ba, J.L., Kiros, J.R. and Hinton, G.E., 2016. arXiv preprint arXiv:1607.06450.

  81. Gaussian Error Linear Units (GELUs). Hendrycks, D. and Gimpel, K., 2016. arXiv preprint arXiv:1606.08415.

  82. TREAD: Token Routing for Efficient Architecture-agnostic Diffusion Training. Krause, F., Phan, T., Gui, M., Baumann, S.A., Hu, V.T. and Ommer, B., 2025. arXiv preprint arXiv:2501.04765.

  83. AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning. Fu, W., Gao, J., Shen, X., Zhu, C., Mei, Z., He, C., Xu, S., Wei, G. et al., 2025. arXiv preprint arXiv:2505.24298.

  84. PipelineRL: Faster On-policy Reinforcement Learning for Long Sequence Generation. Piche, A., Kamalloo, E., Pardinas, R., Chen, X. and Bahdanau, D., 2025. arXiv preprint arXiv:2509.19128.

Citation

@misc{krea-2-2026,
    author={Sangwu Lee, Erwann Millon, Le Zhuo, Matthew Newton, Andrei Filatov, Naga Sai Abhinay Devarinti, Dazhi Zhong, Avram Djordjevic, Gabriel Menezes, Will Beddow, Titus Ebbecke, Mihai Petrescu, Owen Fahey, Gian Saß, Felix Gil, Albert Salgueda, Victor Perez},
    title={{Krea 2}},
    year={2026},
    howpublished={\url{https://www.krea.ai/blog/krea-2-technical-report}},
}