RTX 4090でQwen3.6を6-11倍高速化するプロセス、フルリポジトリ
My process to get 6-11X speedup running Qwen3.6 on my RTX 4090, full repo. (github.com)
要約
Lightreasonプロジェクトは、RTX 4090 GPU上でQwen言語モデル(3Bおよび35Bパラメータ)の推論速度を最適化する方法を解説しています。CUDA Graphs、コンパクトKVキャッシュ、CPU/GPUハイブリッド実行などの技術を用いて大幅な高速化を実現し、結果を再現するためのフルリポジトリを提供しています。
全文翻訳
Lightreason
Lightreasonは、QwenをRTX 4090でより高速に実行するためのローカル推論ラボおよびインタラクティブスタジオです。実験では、Qwen2.5-3B-Instruct(30.9億パラメータ)とQwen3.6-35B-A3B(346.6億パラメータ)のテキストモデルに、オリジナルのBF16ウェイトを使用しています。
- 3B · 6つのプロンプトで63.0 → 139.6 tok/s。 LR CUDAグラフとコンパクトKVは、Hugging Faceの30回のタイミング実行すべてに一致しました。また、完全なPython、JavaScript、SQL応答を9/9の新しいペアで一致させました。独立したPARD2ランナーは、完全な天気応答で58.3 → 525.2 tok/s、最適な128トークンのフィボナッチスライスで63.6 → 724.4 tok/sに達しました。パフォーマンス · コーディングベンチマーク
- 35B · キャップ付きPythonプロンプトで7.93 → 51.08 tok/s。 6.44倍の比較は、セッション間で同じ入力を利用しています。出力はトークン116でScheduledと最初に異なります。パックされた構成は、より近い固定8ポジションコントロールに対して20ペアすべてを一致させました。パフォーマンス · コーディング結果と出力チェック
小さいモデルはGPUに収まり、準備済みのGPUワークを再利用し、複数のトークンをまとめてチェックすることで時間を節約します。より大きなモデルのテキストウェイトは64.56 GiBを占有します。35Bランナーは、ほとんどのエキスパートウェイトをシステムRAMに保持し、Qwenが実際に使用するものを移動させます。ドラフトが複数のトークンを予測する場合、Qwenはそれらをまとめてチェックし、それらのチェック間でウェイトを再利用できます。オリジナルのBF16 Qwenターゲットは、最終的なトークン決定をすべて行います。
LRは、構築および測定した構成にラベル付けされています。これらは、NVIDIA CUDA Graphs、AMD PARD2、Inco AI DFlash2、FlashMLのFreeTokenなどの既存の技術とプロジェクトを使用しています。実験履歴は、これらのプロジェクトにクレジットを与え、Lightreasonの変更を詳細に説明し、どの実験が遅くなったか、または出力を変更したかを記録しています。
Live Studioは、速度をテストするためのシンプルでインタラクティブな方法です。Webページをビルドしてプレビューし、同じプロンプトをStandardとLightreason Exactで実行して、各応答のストリームを監視し、そのタイミングを比較します。
3B Studioを実行 · コーディングベンチマーク · 実験履歴 · 35Bを再現 · 他のハードウェアへのポート
ソースとモデルのダウンロード
GitHubチェックアウトには、ソース、ピン留めされたダウンロードマニフェスト、およびベンチマーク証拠が含まれています。チェックポイントまたはアダプターウェイトは一切出荷しません。必要なモデルはGPUマシンでダウンロードしてください。
3B Studioのみが必要な場合は、スパースクローンで35Bソースとベンチマークアーカイブをスキップできます。
git clone --depth 1 --filter=blob:none --sparse https://github.com/me-farza/lightreason.git
git -C lightreason sparse-checkout set demo_chat results3b
| 実行 | 別途ダウンロード |
|---|---|
| 3B Studio、StandardおよびExact、およびPython/JavaScript/SQLベンチマーク | ピン留めされたQwen2.5-3B-Instruct |
| 35B Scheduled | ピン留めされたQwen3.6-35B-A3B |
| 35B packed runner | Qwen3.6-35B-A3BおよびInco AI DFlash2 |
| オプションの3B PARD2リサーチ | 公開AMDドラフトとトークナイザー、および別途供給されるラボアダプター |
3B PARD2のピーク数値はアーカイブされたリサーチ測定値です。公開PARD2ウェイトは、これらの数値を再現するために一致するラボアダプターを必要とします。ターゲットのみの3B結果は、公開Qwenダウンロードのみを使用します。
GPUマシンでの実行
公開されている3B Studioのクイックスタートは、RTX 4090とCUDA 12.8と互換性のあるドライバーを備えたLinuxを使用します。StandardとLightreason ExactはQwenターゲットのみを使用します。ブラウザは別のマシンで実行できます。35Bランナーは、より大きなシステムRAM要件を持つ別のベンチマークセットアップを使用します。スパースチェックアウトを使用する場合、以下のcd lightreasonから開始してください。35Bセットアップ
Python 3.12、そのvenvパッケージとヘッダー、およびTriton用のCコンパイラをインストールします。Ubuntu 24.04では、build-essential python3.12-venv python3.12-devをインストールします。GPUマシンでnvidia-smiを実行して、ドライバーがカードを認識していることを確認します。ダウンロードは約6.2 GBで、ダウンローダーにはさらに2 GiBの空き容量が必要です。Pythonパッケージとコンパイルキャッシュは別途予算を計上してください。
git clone --depth 1 https://github.com/me-farza/lightreason.git
cd lightreason
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install 'torch==2.9.1' --index-url https://download.pytorch.org/whl/cu128
python -m pip install -r requirements.txt
python -c 'import torch; name = torch.cuda.get_device_name(); print(name); assert "4090" in name and torch.version.hip is None and torch.cuda.is_bf16_supported()'
python download_3b.py --destination model-3b
python -m demo_chat.server --model-path model-3b
セットアップは、PyTorch 2.9.1(CUDA 12.8)とTransformers 4.57.1をピン留めします。download_3b.pyは、公式オブジェクトをピン留めされたダウンロード計画に対してチェックします。モデルのダウンロードまたは使用前にQwenライセンスをお読みください。Qwenライセンス · 元のv0.1.0ソース
サーバーを実行したまま、http://127.0.0.1:8765/ を開きます。リモートGPUの場合、まずブラウザマシンで別のターミナルでこのトンネルを実行します。
ssh -N -L 127.0.0.1:8765:127.0.0.1:8765 YOUR_GPU_HOST
- Qwenのロードを待ちます。
curl -fsS http://127.0.0.1:8765/api/statusで"ready": trueを確認できます。 - Compare runnersを開き、Qwen · Lightreason Exactを選択し、サンプルプロンプトを選んでRun comparisonをクリックします。StudioはまずStandardを実行し、次に同じGPUでExactを実行して、完全なトークンシーケンスを比較します。
- 同じプロンプトを繰り返して、ウォームパフォーマンスを確認します。Exactはグラフを自動的に準備し、Studioは準備を生成から別に報告します。Save resultsを使用してタイミングと結果の照合をエクスポートします。サーバーは
Ctrl+Cで停止します。
ヘッドレスの簡単なテストでは、同じプロンプトとトークンキャップを各CLIエンジンで実行します。JSONは、準備、生成、トークンID、および停止理由を記録します。速度測定には、Studioまたは繰り返しベンチマークハーネスを使用してください。
python run_model_3b.py --model-path model-3b --engine original --tokens 128 --json --prompt 'Explain why the sky is blue.'
python run_model_3b.py --model-path model-3b --engine bucketed --tokens 128 --json --prompt 'Explain why the sky is blue.'
スピードアップの理解とポート
Lightreason Exactは、GPUワークを記録・再生し、コンパクトなアテンションキャッシュを保持し、BF16プロジェクションを結合し、オリジナルの出力ウェイトでサバイバーをスコアリングする前に語彙候補をスクリーニングします。ドラフトアシスト3Bランナーは、候補ツリーを検証し、GPUでの受け入れを調整します。36のホールドアウト比較では、前のドラフトアシストランナーと同じ出力で1.062倍高速でした。Hugging Faceに12/36で一致しました。実装と再現
35Bの場合、FreeTokenとDFlash2はハイブリッドCPU/GPUエグゼキューターとパラレルドラフトを提供します。Lightreasonは、選択的行プリフィル、繰り返しエキスパートルート間のAVX2再利用、ネイティブCUDAアンパック、34レイヤーでのパックホストバンク、およびロスレスGPUレプリカティアを追加します。エキスパート数学の前にオリジナルのBF16ビットを再構築します。ランタイム、プロファイル、および再現
他のハードウェアについては、まずお使いのデバイスで変更されていないモデルを測定してください。ポートガイドを使用して、GPUワーク、メモリ、または転送が完全なリクエストを制限しているかどうかを特定します。クローンされたリポジトリから、Codexに$lightreason-hardwareを使用するように指示します。別のコーディングエージェントを使用する場合は、ハードウェイルスキルを指します。
ページ編集
Build previewを開くと、単一ファイルのHTMLが生成され、サンドボックス化されたプレビューでレンダリングされます。Studioは、生成とブラウザレンダリングを個別に報告します。
New appはページを生成します。Edit current appはHTMLを提供し、Qwenに完全な更新を要求します。Patch edit (experimental)は、Qwenに1つの小さなJSON検索・置換を要求し、現在のHTMLに対してチェックし、完了後に再構築されたドキュメントをレンダリングします。より大きな変更やパッチの再試行には、完全な編集パスを使用してください。成功したパッチは現在、サンドボックス化されたプレビューをリロードし、ページ状態を再起動します。
2つのパッチ形式、それらのローカルHTTPベンチマーク、および既知の障害は、ベンチマークノートで説明されています。
オプションのドラフトアシストリサーチ
StandardとExactはターゲットチェックポイントのみで実行されます。オプションのTurboランナーとGPU調整ベンチマークは、ピン留めされたAMD PARD2ドラフトディレクトリと、ローカルで供給される一致するトレーニング済みLoRA/プロジェクターチェックポイントも必要とします。オプションのセットアップと再現コマンドを参照してください。そのアダプターは、このソースリリースとは別です。
リポジトリのルートからCPU側のStudioコントラクトテストを実行します。
python -m unittest discover -s demo_chat -p 'test_*.py'
node demo_chat/test_preview.js
ライセンス
オリジナルのLightreasonソースとドキュメントは0BSDを使用しています。FreeTokenパッチとQwenチェックポイントには、個別のアップストリーム条件があります。Lightreasonライセンス · サードパーティの条件とクレジット · Lightreasonロゴ