Show HN: 31Bの動画・音声拡散モデルを14B、6ステップ、INT8に圧縮しました

HyperFlow H3 Flash

HyperFlow H3 Flashは、Video Rebirthによる、MiniMax-H3の圧縮・低ステップ版です。動画と同期したステレオ音声を同時に生成します。

ショーケース ・ ウェイト (Hugging Face) ・ ComfyUIノード ・ GGUFセットアップガイド ・ フルサイズのMiniMax-H3用8ステップLoRA

• 出力: 5.2～15秒の動画（デフォルトで1344×768、24fps）と32kHzステレオサウンドトラック。
• サンプリング: 4、6（デフォルト）、または8ステップ、classifier-free guidance (CFG) なし。
• 速度（5.2秒クリップ、6ステップ）: 4× B200で8.7秒、1× H200で36秒、1× RTX 5090で92秒。
• 4× Blackwell GPUでのリアルタイム: NVIDIA SOL-H3は、4× BシリーズGPUでHyperFlow H3 Flashをリアルタイムで実行します。SOL-H3は当社の推論アクセラレーションパートナーであり、このモデルを初日からサポートしています。
• モデルサイズ: 約31BパラメータのMiniMax-H3トランスフォーマーの半分の13.7B（fl2va）または13.9B（ref2va）パラメータ。
• 最小フットプリント: Q4_K_Mは9.1 GB（Q8_0は14.9 GB）。24 GBおよび32 GB GPUを搭載したPCで16 GBのシステムRAMで実行できます。16 GB GPUはまだ測定されていません。

サポートされるタスク

---

ランタイムを選択

決定ルール: システムRAMが64 GB以下のPCではGGUFを使用します。データセンターGPU、または少なくとも69 GiBのシステムRAMを持つ24 GB以上のRTX GPUではINT8 convrotを使用します。

すべてのウェイトはVideoRebirthAI/hyperflow-h3-flashにあります。

---

GGUFランタイム (ComfyUI, Unsloth Studio, stable-diffusion.cpp)

フルセットアップガイド: integrations/README.md。クイックスタート：

• ComfyUI (Video-Rebirth/ComfyUI-HyperFlow-Flash):
  1. ComfyUI-GGUFとComfyUI-HyperFlow-FlashをComfyUI/custom_nodes/にクローンします。
  2. 15.7 GBのqwen3vl_32b_minimax_h3_nvfp4_awqテキストエンコーダーをダウンロードします。
  3. 16 GBまたは32 GBのPCでは、python main.py --fast-diskでComfyUIを起動します。
  4. Workflow > Browse Templates > ComfyUI-HyperFlow-Flashを開き、hyperflow_t2v、hyperflow_i2v、hyperflow_flf2v、またはhyperflow_ref2vを選択します。
• Unsloth Studio (セットアップガイド):
  1. SD_CLI_PATHをパッチ適用済みのsd-cliバイナリに設定し、unsloth studioを実行します。
  2. VideoRebirthAI/hyperflow-h3-flash（fl2va_gguf/またはref2va_gguf/）をロードします。
  3. StudioはコンパニオンテキストエンコーダーとVAEを自動的にダウンロードします。組み込みの6ステップスケジュールをCFG = 1で実行します。
• stable-diffusion.cpp (integrations/stable-diffusion.cpp/): hyperflow-two-time.patchをアップストリームコミット3be2378に適用します。このパッチは、ツータイム(t, r)エンベッダー、低ランク線形レイヤー、GGUFメタデータからのデフォルト6ステップスケジュール、および長尺クリップ用の32ビットmatmulトークンスプリッティングを追加します。

---

Pythonパッケージ (INT8 convrot)

インストール

pip install git+https://github.com/Video-Rebirth/hyperflow-h3-flash
pip install "hyperflow-h3-flash[hopper] @ git+https://github.com/Video-Rebirth/hyperflow-h3-flash"  # H100 / H200: FlashAttention-3
pip install "hyperflow-h3-flash[fp8] @ git+https://github.com/Video-Rebirth/hyperflow-h3-flash"     # --text-encoder-precision fp8

• 要件: Python 3.10+、CUDAおよびTriton（ネイティブWindowsではpip install triton-windows）を備えたPyTorch 2.6+、Ampere以降のNVIDIA GPU、およびdiffusers >= 0.40。マルチGPU（--gpus > 1）はLinuxまたはWSL2が必要です（WSL2では%UserProfile% .wslconfigのmemory=を上げてください）。
• 初回実行時のダウンロード: 約90 GB、または--text-encoder-precision fp8使用時は約68 GB。これにはMiniMax-H3テキストエンコーダー、VAE、および選択されたタスク用の16 GB HyperFlow INT8トランスフォーマーが含まれます。62 GBのベーストランスフォーマーはダウンロードされません。
• 初回実行時のコンパイル: Triton INT8カーネルは初回使用時にコンパイルされます（約1分）。

コマンドライン

hyperflow-h3-flashまたはpython -m hyperflow_h3_flashを実行します：

# テキストから動画・音声へ (t2va)
hyperflow-h3-flash --prompt "A chef slides a steaming bowl of ramen across a wooden counter; rain taps on the window." \
    --output ramen.mp4

# 最初のキーフレーム、または最初と最後のキーフレーム (fl2va)
hyperflow-h3-flash --prompt "..." --image first.png --output clip.mp4
hyperflow-h3-flash --prompt "..." --image first.png --last-image last.png --output clip.mp4

# プロンプト順の参照画像、動画（サウンドトラック付き）、音声クリップ (ref2va)
hyperflow-h3-flash --prompt "<Picture 1> walks through the scene of <Picture 2> ..." \
    --reference person.png --reference scene.png --output clip.mp4

# 15秒クリップ、4 GPUでコンテキスト並列（または--gpus autoで最大4つの可視GPU）
hyperflow-h3-flash --prompt "..." --num-frames 360 --gpus 4

# 4ステップ（速度）、6ステップ（デフォルト）、または8ステップ（品質）
hyperflow-h3-flash --prompt "..." --steps 4

examples/benchmark.pyは、torchrunの下で各パイプラインステージとGPUあたりのピークメモリを計測します。

Python API

import torch
from diffusers.utils.export_utils import encode_video
from hyperflow_h3_flash import load_pipeline

pipe = load_pipeline("t2va")  # "fl2va": image=... (and last_image=...) を渡す; "ref2va": references=[...] を渡す
out = pipe(
    prompt="A chef slides a steaming bowl of ramen across a wooden counter.",
    num_frames=124,
    num_inference_steps=6,  # 4, 6, または 8
    generator=torch.Generator().manual_seed(0),
    output=["videos", "audio", "sampling_rate"],
)
encode_video(
    out["videos"][0],
    fps=24,
    output_path="ramen.mp4",
    audio=out["audio"][0],
    audio_sample_rate=out["sampling_rate"],
)

• torchrun下のマルチGPU: torch.distributed.init_process_group("nccl")を呼び出し、load_pipelineにdevice=f"cuda:{local_rank}"を渡します。パイプラインはランク間で実行を分割し、各ランクで完全な出力を返します。
• スタンドアロン・トランスフォーマー (AutoModel): 各INT8 Hubフォルダには自己完結型のモデルコードが含まれています。このパッケージをインストールせずにロードできます：from diffusers import AutoModel、その後AutoModel.from_pretrained("VideoRebirthAI/hyperflow-h3-flash", subfolder="fl2va_int8_convrot", trust_remote_code=True, torch_dtype=torch.bfloat16)。

オフロードモード

--offloadはGPUメモリ配置を設定します。auto（デフォルト）は、GPUあたりのVRAMに基づいてモードを選択します：

• streamは、同じGPUではnoneよりも約2%遅いだけです。
• modelとstreamは、オフロードされたウェイトを1つのピン留めされたホストメモリ割り当てに保持します。
• ローダーは、コンディショニングタップの上に未使用のQwen3-VLレイヤーをドロップします。これにより約14 GB節約されます。--text-encoder-precision fp8はさらに約22 GiB節約します。
• コンテナ内では、freeではなく/sys/fs/cgroup/memory.maxからメモリ制限を読み取ります。

---

ベンチマーク

すべての実行は、1344×768および6ステップでエンドツーエンドです：テキストエンコーディング、トランスフォーマー、動画および音声VAEデコード。各a / bセルは、5.2秒 / 15秒クリップ（124 / 362フレーム）の合計時間です。

コンシューマーRTX GPU: t2va

• GGUFセットアップ: ComfyUI、Q4_K_M、および15.7 GBのnvfp4テキストエンコーダー。32 GBおよび16 GB PCは、NVMe上のモデルで--fast-diskを使用します（ホストRAM）。ピークRSSは64 GB以上のPCで34～37 GiB、32 GB PCで約8～16 GiB、16 GB PCで約8 GiBです。
• INT8セットアップ: hyperflow-h3-flash --offload stream。bf16テキストエンコーダーで≥ 91 GiBのシステムRAM、またはfp8で約69 GiBが必要です。15秒のRTX 5090実行ではfp8が使用されました。
• INT8トランスフォーマーは10～20%高速です。GGUFはシステムRAMの半分未満で済みます。 トランスフォーマーは時間の80%以上を占め、計算バウンドです。ComfyUIは実行時にQ4_K_Mウェイトをデカンタイズします。
• 16 GBおよび32 GB PCでは--fast-diskを使用してください。 未常駐のウェイトをOSファイルページキャッシュからストリーミングします。これがない場合、VRAMがオーバーフローするとComfyUI-GGUFは9 GBのトランスフォーマーをピン留めRAMにコピーします。16 GB PCでは、15秒クリップでRAMが不足します。32 GB PCでは、RTX 3090と5090はそれぞれ13%と21%遅くなります（テキストエンコーディングに7～9秒ではなく27～31秒かかります）。
• 32 GBのVRAMは両方のモデルを保持できます。 RTX 5090では、テキストエンコーダーとトランスフォーマーがVRAM内に一緒に保持されます（テキストエンコーディング0.8秒）。24 GB GPUでは、ComfyUIはステージ間でそれらをスワップします（テキストエンコーディング10～16秒）。
• キーフレームタスク（i2v、flf2v）: GGUFガイド：パフォーマンスを参照してください。

コンシューマーRTX GPU: ref2va

• 参照: t2vaで生成された2枚の768p静止画（人物と市場）。混合は、静止画1枚、サウンドトラック付き5.2秒の参照動画1本、音声クリップ1個です。
• INT8セットアップ: 100～125 GBのシステムRAM（80～88 GiBプロセスRSS）。¹ 24 GB GPUでは、15秒の混合実行には--block-chunk 16384が必要です。これがないとVRAMが不足します。
• GGUFセットアップ: 64 GB以上のRAMを搭載したComfyUIで、hyperflow_ref2v_api.jsonとnvfp4テキストエンコーダーを使用。ref_image_size match（デフォルト）は、各参照を出力のアスペクト比を維持したままピクセル面積にダウンスケールします。maxは、2048の短い辺を超える場合のみダウンスケールします。max実行では、INT8パイプラインが使用するサイズ（3584×2048）に静止画をアップスケールしました。² maxで15秒の場合、python main.py --disable-cuda-mallocが必要です。デフォルトのcudaMallocAsyncアロケーターはCUDA error: invalid argumentで失敗します。
• 各参照は、各ステップにトークンを追加します。 2048の短い辺では、1枚の画像は約14,300トークン（約7つの768pラテントフレーム）を追加します。クリップ自体は5.2秒で37,710トークン、15秒で109,062トークンです。アテンションコストはトークン数の2乗に比例して増加します。したがって、5.2秒では、INT8トランスフォーマーは、2枚の画像でt2va時間の2.6～2.9倍、混合セットで5.2～5.8倍かかります。
• GGUF matchは最も高速な画像参照パスです。 5.2秒でt2vに24～36%、15秒で7～15%追加します。同じ参照サイズ（max）では、GGUFは5.2秒でINT8より11～25%、15秒で8～9%遅くなります。
• --fast-diskはref2vでも機能します。 32 GBおよび16 GB PCでは、3つのGPUすべてで5.2秒および15秒のクリップを実行し、15秒では64 GB以上のRAMと比較して4%以内のパフォーマンスでした。GGUFガイド：ホストRAMを参照してください。

データセンターGPU (INT8)

• リアルタイム推論: 表は、このパッケージの計測値です。4× BシリーズGPUでのリアルタイムには、NVIDIA SOL-H3を使用してください。
• INT8 GEMMバックエンド: 4× H200の行は、デフォルトのTritonカーネル（12.6秒）を使用しています。int8_gemm="sgl"（CUTLASS INT8、sgl-kernel経由）は12.3秒を計測しました。
• 4 GPUステージ時間（5.2秒）: テキストエンコーダー0.11～0.16秒。4× H200で6ステップトランスフォーマー7.8～7.9秒、4× B200で5.0秒。動画VAEデコード3.3～4.0秒。
• 1088p（1920×1088、362フレーム）: 1× H200で743秒（106 GiB VRAM）。4× H200で220秒（GPUあたり68 GiB VRAM）。

---

アーキテクチャとハードウェアに関する注記

仕組み

HyperFlow H3 Flashは、MiniMax-H3トランスフォーマーを3つの方法で変更しています：

1. 構造的プルーニングと低ランク分解:

2. 回転W8A8 INT8量子化 (convrot): 180個の線形層が、ブロック対角アダマール回転の後ろでW8A8 INT8に量子化されます。
3. ツータイム(t, r)コンディショニング: 各トークンは、現在のノイズレベルtとステップエンドポイントrを受け取ります。これにより、CFGなしで4～8ステップのサンプリングが可能になります。コンディショニングトークンは、アンカーノイズレベル（r = t）にとどまります。

マルチGPUとカーネルディスパッチ (hyperflow-h3-flash)

• シーケンスおよびVAE並列（--gpus N）: Ulyssesコンテキスト並列は、パックされたトランスフォーマーシーケンスを$N$個のGPUに分割します。ランクはキーフレームと参照をエンコードし、VAEタイルを並列でデコードします。その後、それらはすべてアグリゲートされ、タイルをブレンドしてシングルGPU出力とビット単位で一致させます。
• テキストエンコーダー配置: --offload noneとbf16テキストエンコーダーを使用する場合、FSDP2は50 GBのテキストエンコーダーをGPU全体に分割します。これにより、4 GPUのピークVRAMが91 GBからGPUあたり59 GBに削減されます。オフロードまたはfp8を使用する場合、ランク0がテキストエンコーダーを実行し、埋め込み（約2 MB）をブロードキャストします。
• INT8 GEMMディスパッチ:

• 再現性: 同じシード、GPUアーキテクチャ、GPU数、アテンションバックエンドにより、ビット単位で同一のクリップが生成されます。text_encoder_fsdpとvae_parallelはビット単位の出力を維持します。

---

開発

make install   # .venvを作成し、開発ツールで編集可能なパッケージをインストール
make test      # 小さなモデルで単体テストを実行（GPUなしではCUDAテストはスキップ）
make lint      # ruffチェック + フォーマットチェック

リポジトリレイアウト

.
├── src/hyperflow_h3_flash/        # Pythonパッケージ (INT8ランタイム)
│   ├── cli.py                     # `hyperflow-h3-flash` CLIエントリポイント
│   ├── __main__.py                # `python -m hyperflow_h3_flash` エントリポイント
│   ├── hostmem.py                 # ロード前のホストRAM推定値
│   ├── pipeline.py                # `load_pipeline`: モデルをロードし、未使用のテキストエンコーダーレイヤーをトリムし、オフロード/マルチGPUを設定します
│   ├── blocks.py                  # 公式MiniMax-H3ワークフローにスワップされるモジュラーパイプラインブロック
│   ├── transformer.py             # `HyperFlowH3FlashTransformer3DModel`: ブロック削除、低ランク線形、ツータイム(t, r)コンディショニング
│   ├── int8.py                    # ハダマール回転W8A8線形層（Triton、cuBLASLt、CUTLASS、およびB300 BF16カーネル）
│   ├── schedule.py                # 4、6、8ステップのシグマグリッドとトークンごとの(t, r)ペア
│   ├── offload.py                 # シングルGPUメモリ配置（`none`、`model`、`stream`）
│   └── distributed.py             # マルチGPU実行（torchrun起動、Ulyssesアテンション、FSDP2 / rank-0テキストエンコーダー、並列VAE）
├── integrations/                  # コンシューマーGPU用のGGUFランタイム
│   ├── README.md                  # ComfyUI、Unsloth Studio、stable-diffusion.cppのステップバイステップセットアップガイド
│   ├── ComfyUI-HyperFlow-Flash/   # カスタムノード（`loader_nodes.py`、`model_patch.py`、`gguf_io.py`; GPL-3.0）
│   │   └── example_workflows/     # 4つのUIワークフロー（`hyperflow_t2v`、`hyperflow_i2v`、`hyperflow_flf2v`、`hyperflow_ref2v`）および`api/`のAPIバージョン
│   └── stable-diffusion.cpp/      # アップストリームコミット`3be2378`用の`hyperflow-two-time.patch`（MIT）
├── examples/                      # `benchmark.py`（ステージごとのタイミングとピークメモリ）
├── tests/                         # 小さなモデルでの単体テスト（GPUなしではCUDAテストはスキップ）
├── Makefile                       # `make install`、`make test`、`make lint`
├── pyproject.toml                 # パッケージメタデータとオプションの追加機能（`hopper`、`sgl`、`fp8`、`dev`）
├── LICENSE                        # Apache License 2.0
└── THIRD_PARTY_NOTICES.md         # `diffusers`から適応されたコンポーネントの通知

ライセンス

• リポジトリコード: Apache License 2.0、ただしintegrations/ComfyUI-HyperFlow-Flash（GPL-3.0）およびintegrations/stable-diffusion.cpp（MIT）を除く。
• サードパーティ通知: diffusersから適応されたコンポーネントは、THIRD_PARTY_NOTICES.mdに通知が保持されます。
• モデルウェイト: MiniMax-H3のモデル派生物であり、MiniMax H3コミュニティライセンス契約の下で配布されます。CLIおよびload_pipelineは初回実行時にダウンロードし、それらを使用することはその契約に同意することを意味します。この契約には、欧州連合、韓国、または米国でのMiniMaxの許可なしでの使用は含まれておらず、許容される使用ポリシーが含まれています。ライセンス条件と通知については、モデルカードを参照してください。