HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: 4GBラップトップGPUで8Bモデルをファインチューニングする

Show HN: Fine-tune an 8B model on a 4 GB laptop GPU (github.com)

57 pointsby MakazhanAlpamys8 コメント

要約

Soupは、SSHや複雑な設定なしに、単一のコマンドでLLMのファインチューニングとポストトレーニングを可能にするツールです。特に、v0.72.4では、レイヤーストリーミング技術により、4GBのVRAMを持つラップトップGPUでもDPO、ORPO、SimPO、KTOといった高度なファインチューニング手法を実行できるようになりました。これにより、ローカル環境でのLLM開発が大幅に簡素化されます。

全文翻訳

Soup

🌍 English | Türkçe | العربية | 日本語 | 中文

[画像: Soup]

1つのコマンドでLLMをファインチューニングおよびポストトレーニング。SSH不要、設定地獄なし。

Website · Quick Start · Web UI · Config · Docs · Commands · Models · Discord · Telegram · Product Hunt

[画像: PyPI] [画像: Downloads] [画像: Python 3.10-3.12] [画像: Apache-2.0 License] [画像: Tests] [画像: CI] [画像: Website] [画像: Discord] [画像: Telegram] [画像: DOI: 10.5281/zenodo.21771064]

[画像: Soup CLI - Fine-tune an 8B LLM on a 4 GB laptop GPU | Product Hunt][画像: MakazhanAlpamys/Soup | Trendshift]


SoupはLLMファインチューニングの苦痛をシンプルなワークフローに変えます。1つの設定、1つのコマンドで完了。

pip install "soup-cli[train]"   # ファインチューニングには[train]を追加。単体の`soup-cli`は軽量CLIです
soup init --template chat
soup train

4GBラップトップGPUで8Bモデルをファインチューニング。 レイヤーストリーミングは、VRAMから凍結されたベースモデルを外し、デコーダーレイヤーごとにGPUに供給します。RTX 3050 Laptop 4 GBでの測定値: Llama-3.1-8B-Instruct + NF4で、952 MHz、3.32 GBピークで119.6 tok/s(修理前)— 通常の常駐実行とビット単位で同一であり、H100でも独立して113.00 tok/sで同じ3.32 GBで再現されました。(両方の数値はv0.72.2で測定され、v0.73.0の修正(32Bで-4.8%のコスト)の前です。修正後の実行は、別のRTX 3050 Laptop 4 GB(@umran666、#1103)で、2.40 GBピークで1935–1957 MHzで208.6 tok/sを記録しました。これは、同じセッションのGEMM天井の59%に相当し、68%です。クロックあたりの速度は14%遅いので、生の1.74倍の増加はクロックであり、スピードアップではありません。大きなレイヤーのストリーミングは、2つの行の間でメモリパターンも変更したため、フラクションでさえも比較可能ではありません — 記録)。オプトイン(stream_layers: true)で、まだベータ版です — 仕組み · すべての測定値 · 論文 · 無料のColab T4で自分で確認してください(プロセスを4 GBに制限し、ストリーミングされたモデルが通常のモデルとビット単位で同一であることをアサートします)。

[画像: Soup CLI - 4GBカードでのLlama-3.1-8Bの事前トレーニング:RAMに固定された3.60GBのベースストアと32レイヤー、2つの113MB VRAMバッファ、その後測定されたピーク3.32GB(952MHz、v0.72.2で測定、修理前)]
Llama-3.1-8B-Instruct + NF4、LoRA、バッチ1、シーケンス512、RTX 3050 Laptop 4 GB — 3.32 GBピーク、119.6 tok/s(952 MHz、修理前、v0.72.2; 修理後#331: 208.6 tok/s、1935 MHz、2.40 GB、直接比較不可、@umran666、#1103)。フルビデオ(90秒)

なぜSoupなのか?

LLMのトレーニングは依然として困難です。経験豊富なチームでさえ、モデルの改善ではなく、インフラとの戦いに30〜50%の時間を費やしています。Soupはそれを解決します。

  • SSH不要。 壊れたGPUボックスにSSHで接続する必要はもうありません。
  • 1つの設定。 シンプルなYAMLファイルがあれば十分です。
  • すべて自動。 バッチサイズ、GPU検出、量子化 — すべて処理されます。
  • ローカルで動作。 QLoRAを使用して独自のGPUでトレーニングできます。クラウドは不要です。

新着情報

v0.76.0 — Soupが受け入れたが適用されなかった設定がロードを停止するようになりました。 検証され、文書化され、主張した設定パスで読み取られなかったオプションは、設定名と変更点を指定して拒否されるようになりました。残りは警告を発し、拒否するリリース名を指定します。以前ロードできた設定がロードできなくなる場合があります。まずsoup doctor --config soup.yamlを実行してください。

  • 破壊的変更:効果がなかった設定はロード時に拒否されます。 その中には、training.quantization_aware: true(量子化アウェアトレーニングは実行されませんでした)、training.use_longlora、training.ebft_variant、training.gdpo_variant、training.rope_scaling_type(設定されていません)、freeze_layers / freeze_ratio(sft / ttsパス外)、auto_mixed_precision(sft / tts外)、および7つの追加タスクでのbackend: unsloth(unsloth設定なし)があります。各メッセージはフィールド名と変更点を指定します。lr_groups、early_stop_patience、forgetting_eval_stepsなどの読み取られないノブは、ロード時に警告を発し、v0.77から拒否されます。
  • 検証損失が評価されるようになりました。 data.val_splitは、すべての実行でトレーニングから行を保持していましたが、transformersバックエンドのどのトレーナーも評価していませんでした。分割を取得するすべてのタスクは、各エポックの終了時、またはtraining.eval_stepsでNステップごとに評価し、検証損失を記録します。実行には数パーセント長くなります。grpo、ppo、online_dpoの場合の破壊的変更: デフォルトでは、行を保持しなくなりました(data.val_splitは無視され、注意書きが表示されます)。そのため、すべての行がトレーニングされます。
  • 破壊的変更:標準外のgrpo_variantはすべてgrpo_beta KLペナルティを適用します。 gspo、dapo、dr_grpo、bnpo、two_sided、rftはgrpo_betaを検証し、それをドロップしました。そのため、既存のバリアント設定は以前の実行を再現できません。grpo_beta: 0は現在KLフリーで実行され、参照フォワードパスをスキップします。
  • レイヤーストリーミングは、バックグラウンドスレッドで、ダイレクトI/Oを介して、NVMeドライブにストライピングしてディスクティアを読み取ります。 36 GBの70B形状NF4ストア(RAMより大きい、1つのRTX 5070 Laptop 8 GBボックス)で、コールドステップは同期読み取りで110.5秒から16.2〜17.3秒に、2つのドライブでSOUP_LAYER_STREAM_STRIPE_DIRS(持続ロードプローブ:2ラウンド、1.28倍および1.41倍、正式な判定なし;記録)を使用すると17.4秒から9.97秒に短縮されました。RAMに収まるストアは、RAMティアでは依然として高速であり、stream_source: autoがそれを選択します。オプトイン(stream_layers: true)で、まだベータ版です。記録:ダイレクトI/O、ストライピング。
  • 新しいコマンドとオプション。 soup adapters checkは、サイレントエラーのためにLoRAアダプターをスキャンします。soup bench trainは固定数のステップをトレーニングし、モデルがトレーニングされなかった場合は1で終了します(transformersバックエンドのtask: sftをカバーします。soup benchはグループになり、soup bench inferは古い推論ベンチマークです)。soup data cleanは、入力ファイルを変更せずにデータセットをサニタイズおよび修復します。soup recipes verifyは、メタデバイス上で、重みをダウンロードせずに、出荷されているすべてのレシピがLoRAアダプターをアタッチできることを確認します。soup rewindは、損失スパイクの背後にあるデータセット行の名前を付けます。soup inferはオプトインの--batch-sizeと実験的な--cuda-graphs(PyTorch 2.14以降;1つのRTX 5070 Laptop、アンピン、Qwen2.5-1.5B FP16、それを使用した最も遅い実行は、それなしの最も速い実行よりも2.9倍高速にデコードしました)を獲得しました。soup abは両側、分散ロバストテストを実行し、soup adapters sign --backend sigstoreとsoup attest emit --sign sigstoreはSigstoreキーレスOIDCで署名します(`pip install