ComfyUIにおけるMiniMax H3の初日サポート:オープンウェイト、ネイティブオーディオ、2Kビデオ
MiniMax H3 Day-0 Support in ComfyUI: Open Weights, Native Audio, and 2K Video (blog.comfy.org)
要約
ComfyUIが、オープンウェイトのマルチモーダルビデオモデル「MiniMax H3」の初日サポートを開始しました。このモデルは、テキスト、画像、音声、ビデオを入力として、最大2K解像度、15秒のステレオサウンド付きビデオを生成できます。ローカル環境(RTX 3060)でも動作するように最適化されており、画像からのビデオ生成、参照からのモーション転送、ネイティブステレオオーディオ出力などの機能を提供します。
全文翻訳
ComfyUIにおけるMiniMax H3のDay-0サポート:オープンウェイト、ネイティブオーディオ、2Kビデオ
MiniMax H3がオープンウェイトで本日リリースされ、今朝からComfyUIでネイティブサポートされました。初日からです。
これは次世代のオープンウェイトビデオモデルです。テキスト、画像、ビデオ、またはオーディオを入力すると、リアルなステレオサウンド、最大2K、最大15秒のクリップでビデオを生成します。MiniMaxの第3世代ビデオモデルであり、Hailuo 01およびHailuo 02に続くもので、同社がオープンウェイトでリリースするのはこれが初めてです。
モデルのハイライト
-
テキストからビデオへ — プロンプトのみ。
-
画像からビデオへ — 画像に命を吹き込む。
-
最初と最後のフレーム — 開始フレーム、終了フレーム、またはその両方を制御し、モデルに残りを補完させる。
-
参照からビデオへ — 参照画像、ビデオ、またはオーディオを提供し、クリップ全体で被写体、動き、または音声を維持する。
出力は2Kまで、最大15秒です。オーディオは、後から追加されるのではなく、同じパスでビデオと共に生成され、ステレオです。
マルチモーダルコンテキスト理解
これはMiniMaxがリードする機能であり、5つの別々のタスクを1つのモデルに統合します。実際の作業は、1つのモダリティに依存することはまれです。H3は画像、オーディオ、ビデオをまとめて受け取り、それらがどのように関連しているかを説明するプロンプトに対して解決します。入力と必要なショットの関係を説明すれば、モデルがクロスモーダル処理を自身で行います。
ネイティブステレオオーディオ
オーディオはモデルのプロパティであり、後処理ではありません。すべてのオーディオ出力はネイティブステレオです。
編集とモーション転送
グラフワークにおいて最も重要なのはモーション転送です。参照ビデオは、カメラの動き、パフォーマンス、カットのリズムなどの動きを提供し、被写体とスタイルは他の場所から取得できます。インプレース編集と組み合わせることで、ショットのイテレーションが可能になります。
サンプル出力
ComfyUIでのローカル推論に最適化
H3をコンシューマーハードウェアでうまく実行するには、かなりの機械学習エンジニアリングが必要でした。モデルのモジュレーションウェイト(総パラメータの約40%)をプルーニングし、機能的に同等のルックアップテーブルに置き換えることで、出力品質を損なうことなくメモリフットプリントを劇的に縮小できることがわかりました。
それに加えて、ウェイトは正確で効率的なint8 convrot量子化で提供され、カスタムカーネルが推論中のピークVRAM使用量を削減します。
[
[画像: MiniMax H3のメモリ使用量削減に関するグラフ]
](https://substackcdn.com/image/fetch/$s_!59Bc!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F98d2552b-d84c-4385-9602-bf344dca2ebe_1000x727.png)
その結果、合計メモリフットプリントは、フルプレシジョンで123.6 GBから、最小モデルバリアントで42.5 GBへと66%削減されました。これを動的なVRAMオフローディングと組み合わせることで、次世代の2KビデオモデルがRTX 3060のようなGPUでローカルに実行できるようになります。
始め方
-
ComfyUIを最新バージョン0.30.0にアップデートするか、Comfy Cloudにアクセスしてください
-
以下のワークフローをダウンロードするか、テンプレートライブラリで見つけてください。
-
ワークフロー内の注釈に従ってモデルをダウンロードし、正しいモデルディレクトリに保存してください。
-
プロンプトを作成し、フレームまたは参照入力を接続して実行します。
モデルウェイト: 🤗 Comfy-Org/MiniMax-H3
いつものように、クリエイティブをお楽しみください!
投稿なし