Show HN: 約2万ドルでトレーニングされたまともなテキストから画像へのモデル（Apache 2.0ウェイト）

私と私の兄弟は、独自の生成ビデオモデルを一からトレーニングする2人組のラボを運営しています。最終的な目標は、誰でもアニメーションを簡単に作成できるクリエイティブツールのセットです。

今日のビデオモデルは遅すぎたり高価すぎたり、十分な制御が不足しています。創造性は反復的なプロセスです。作成し、調整し、改善します。私たちの意見では、ストーリーテリングにはまだ実用的ではありません。

今年の初めにLinum v3（私たちの次のビデオモデル）を構築し始めたとき、主な目標は推論のコストを大幅に削減することでした。私たちのモデルが高速で安価であれば、それは有用なクリエイティブツールのための最初のステップ（多くのステップのうちの1つ）です。

通常、「潜在拡散モデル」を目にします。VAE（変分オートエンコーダー）は入力データをより小さな「潜在空間」に圧縮し、拡散モデルはこのサブスペース内での生成方法を学習します。

過去数ヶ月間、私たちは効率的なピクセル空間拡散モデルに関する作業を発表してきました。これらはVAEを破棄し、拡散モデルがその正確なタスクに最適化された潜在空間を学習するようにします。

これは3つの目的を果たします。1）アーキテクチャの単純化（2段階モデルトレーニングなし）2）高速な収束（潜在拡散の対応物と比較して11倍高速な収束）3）安価な推論（品質の顕著な低下なしに、アテンションコンテキストウィンドウでのトークン削減を4倍アグレッシブに実施）。

先月、私たちは最新のアーキテクチャ（Pyramid-JiT）を、通常のワンオフ実験よりも長くトレーニングすることでテストしていました。具体的には、約2万ドルをかけて6億6千万サンプルでトレーニングしました。

結果の品質に驚いたので、コミュニティ向けにオープンウェイト（Apache 2.0）としてリリースすることにしました。研究自体は既に公開されており、私たちのウェブサイトでご覧いただけます。

私たちにとって、これはビデオモデルのコスト削減に向けた大きなステップです。なぜなら、ほぼすべてのビデオモデルは画像モデルから始まるからです。これらのモデルは、動詞を学ぶ前に名詞を学ばなければならない、と私たちは言いたいのです。