LoRAスピードラン – ファインチューニング技術のための公開ウォールクロックリーダーボード
LoRA Speedrun – a public wall-clock leaderboard for fine-tuning techniques (github.com)
要約
LoRAスピードランは、Qwen2.5-1.5BモデルをGSM8Kデータセットでファインチューニングする速度を競う、公開されたウォールクロックタイムのリーダーボードプロジェクトです。ModalのL40Sサンドボックス上で、誰でも無料で参加・検証でき、最速記録は6分5秒を記録しています。このプロジェクトは、パラメータ効率の良いファインチューニング技術の比較を、統一されたタスク、ハードウェア、メトリックで行うための場を提供します。
全文翻訳
LoRA Speedrun 🏁
[画像: CI] [画像: License: MIT] [画像: PRs Welcome]
単一のL40Sで、Qwen2.5-1.5BをGSM8Kで≥57%にLoRAファインチューニングするのにどれくらいの時間がかかりますか?
これはファインチューニングのためのmodded-nanogptです。タスクは固定、ハードウェアは固定、そしてリアルタイム記録の公開リーダーボードがあります。すべての記録は、同一ハードウェア上で3回、新しいシードで独立して再実行され、カウントされます。
試行と検証は無料です: 公式のタイミング実行はModal L40Sサンドボックス上で行われ、Modalの無料月間コンピューティングクレジットで全実行をカバーできます。そのため、誰でも競争でき、誰でも1つのコマンドで任意の記録を再検証できます。
[画像: LoRA Speedrunリーダーボード — 6つの検証済み記録で11:57のベースラインから0:22の現在の記録(-97%)まで]
リーダーボード
トラック1 — GSM8K · Qwen2.5-1.5B · 目標 ≥ 57.0% · 1× L40S
現在の記録: 0m 22s by @slippylolo — ウォームアップされたページキャッシュを持つ、Direct-from-safetensors Qwenロード、その後12回のオプティマイザー更新: まず8回フルネットワーク、次にキャッシュされたBF16フローズンプレフィックス境界を越えてトップデコーダーレイヤーのみを通して4回。
| # | Date | Author | Train time | GSM8K/EM | Δ | Technique |
|---|---|---|---|---|---|---|
| 0 | 2026-07-18 | @Saivineeth147 | 11m 57s | 59.4% | — | ベースライン: 全ての線形レイヤーにプレーンLoRA r=16、3エポック、コサインLR。トリックなし。(レポート) |
| 1 | 2026-07-18 | @Saivineeth147 | 6m 05s | 61.1% | −49% | シーケンスパッキング + コンプリーションオンリー損失マスキング、2エポック。#0と同じLoRA設定。より高い精度で約2倍高速。(レポート) |
| 2 | 2026-07-20 | @stared | 1m 53s | 59.6% | −69% | 3,000例に対する1回の4e-4エポックと2倍のオプティマイザー更新(統合LR)、512トークンパック。最初の外部記録。(レポート) |
| 3 | 2026-07-20 | @stared | 1m 44s | 60.3% | −8% | Shortest-4kデータプルーニング、1回の積極的LRエポック、<<...>>アノテーション削除、GPU常駐パックループ、チャンク化コンプリーションオンリーCE(フルロジットなし)。(レポート) |
| 4 | 2026-07-25 | @slippylolo | 0m 44s | 59.6% | −58% | 0.75エポックの6ターゲットBF16 LoRA: shortest-4kプルーニングでdown_proj削除(13.76Mパラメータ)、決定論的ベストフィットパッキング、レイヤーごとのベース+LoRA-A q/k/v & gate/up GEMM融合、チャンク化コンプリーションオンリーCE。(レポート) |
| 5 | 2026-08-03 | @slippylolo | 0m 22s | 58.0% | −51% | ウォームアップされたページキャッシュを持つ、Direct-from-safetensors Qwenロード、その後12回のオプティマイザー更新: まず8回フルネットワーク、次にキャッシュされたBF16フローズンプレフィックス境界を越えてトップデコーダーレイヤーのみを通して4回。(レポート) |
トラック2 — SQuAD v1.1 · SmolLM2-1.7B · 目標 ≥ 75.5% · 1× L40S
現在の記録: 0m 50s by @abacon — トラック1スタックのトラック2ポート: shortest-4kプルーニング、ベストフィットパッキング、ベース+LoRA-A GEMM融合、チャンク化コンプリーションオンリーCE、SmolLM2-1.7Bでの0.75エポック。
| # | Date | Author | Train time | GSM8K/EM | Δ | Technique |
|---|---|---|---|---|---|---|
| 0 | 2026-07-20 | @Saivineeth147 | 8m 45s | 77.5% | — | トラック2ベースライン: SQuADでのプレーンLoRA r=16、最初の2万例、1エポック、フルシーケンス損失。トリックなし。(レポート) |
| 1 | 2026-07-27 | @abacon | 0m 50s | 77.2% | −91% | トラック1スタックのトラック2ポート: shortest-4kプルーニング、ベストフィットパッキング、ベース+LoRA-A GEMM融合、チャンク化コンプリーションオンリーCE、SmolLM2-1.7Bでの0.75エポック。(レポート) |
完全な履歴と検証レポート: records/RECORDS.md · ライブリーダーボード: huggingface.co/spaces/vineeth98/lora-speedrun
トラック
2つの固定トラック、意図的に異なるモデルファミリーとタスクタイプ — そのため、ある技術が両方で勝利して初めて汎用性が証明されます。ハードウェア、制限、検証はすべて同じです。
| トラック1 | トラック2 | |
|---|---|---|
| ベースモデル | Qwen/Qwen2.5-1.5B | HuggingFaceTB/SmolLM2-1.7B |
| タスク | GSM8K数学 → ≥ 57.0% 正確一致 | SQuAD v1.1 QA → ≥ 75.5% EM |
| トレーニングデータ | GSM8K train スプリットのみ | SQuAD train スプリットのみ |
| メトリック | トレーニングのリアルタイム。低い方が勝ち。 | 同じ |
| ハードウェア | 1× L40S (48 GB), Modalサンドボックス | 同じ |
| 制約 | アダプターのみ、≤ 30M学習可能パラメータ | 同じ |
機械可読仕様: spec.yaml · spec-t2.yaml。全ルール: TASK.md。
あなたは他のすべてを制御します: LoRAランクと配置、量子化、学習率スケジュール、シーケンスパッキング、データサブセット選択と順序付け、カスタムカーネル、停止するタイミング。もしバーをクリアできるなら、1,000個のよく選ばれた例で90秒間トレーニングしてください。
なぜこれがあるのか
私は予算内で小規模モデルをファインチューニングしていますが、どのスピードアップの主張が本物か判断できませんでした。すべての技術 — DoRA、rsLoRA、Unsloth、パッキングトリック — は、異なるモデル、データ、ハードウェアで数値を報告します。実際には、主張は反証不可能です。
議論を実際に解決するために見た唯一の形式は、固定されたタスクとレフェリーです。それがnanoGPTのスピードランが事前トレーニングオプティマイザーのために行ったことです(Muonがそこから生まれました)。これはファインチューニングのための同じアリーナです。
これが目指すもの: トレーニングトリックがリアルタイムでどれだけ効果があるか、そしてどれが再現に耐えないかの検証済み公開記録。すべての記録はその説明文でメカニズムを説明する必要があるため、リーダーボードは実験ノートとしても機能します — 却下されたバリアントのセクションは、記録と同じくらい役立つことがよくあります。そして、トリックは1つのセットアップに過適合する可能性があるため、記録は異なるモデルファミリーとタスクタイプを持つトラック上に存在します: 技術が転移することで初めて汎用性が証明されます。
クイックスタート
公式ハードウェア実行(無料)。 Modalアカウントを作成し、次に以下を実行します。
git clone https://github.com/Saivineeth147/lora-speedrun && cd lora-speedrun
pip install modal pyyaml && modal setup # 初回のみブラウザ認証
python harness/modal_verify.py --prefetch # 初回のみ: モデル + データをボリュームにキャッシュ
# 正確なスペックハードウェアでのベースラインの1回のタイム計測、評価実行:
python harness/modal_verify.py --submission submissions/000-baseline --runs 1
# 完全な記録スタイルの検証(3回の新しいシード、すべてパスする必要あり):
python harness/modal_verify.py --submission submissions/000-baseline --runs 3
ローカルイテレーション(オプション)。 24 GB以上のカードであれば、ベースラインを高速に実験できます — bash scripts/setup_gpu.shを実行し、次にpython harness/run_submission.py submissions/000-baseline --runs 1を実行します。ローカル時間は公式ではありません。リーダーボードのクロックはModal L40Sです。
次にsubmissions/TEMPLATE/をコピーし、より高速にして、PRを開いてください。CONTRIBUTING.mdを参照してください。
記録はどのように検証されるか
[画像: 実際の記録検証のターミナル再生: トレーニング、整合性+アダプター監査、GSM8K評価、および3シードの判定]
実際の検証、ログから再生(シード463953844、時間圧縮): トレーニング → 整合性+アダプター監査 → 評価 → 3シード判定。
- トレーニングスクリプト、設定、メモ、自己申告の数値を含むPRを開きます。
- CIが静的に検証し、自動化されたClaudeセキュリティスクリーンが差分(情報漏洩の試み、ネットワーク使用、ハーネス改ざん、テストセットへの接触)をレビューし、その結果を公開します。
- メンテナーがコードをレビューし、
/verifyとコメントすると、スペックL40S上のネットワークブロックされたModalサンドボックスで、3回、新しいシードであなたのサブミッションを再実行します。3回の実行すべてが目標をクリアする必要があります。公式時間は平均値です。 - ハーネスはアダプターパラメータ数を監査し、モデル/データコンテンツハッシュ(改ざん防止)を再検証します。検証レポートはPRに投稿され、受け入れ/拒否の理由とともにrecords/verifications/にコミットされます。
完全なプロトコル、評価基準、脅威モデル: JUDGING.md · SECURITY.md。
まだ誰も主張していないアイデア
現在までに採用されたもの: シーケンスパッキング + コンプリーションオンリーマスキング(記録#1)。
1エポック積極的LRスケジュール · データプルーニング(最も難しい2k例でトレーニング?) · ブロック対角/バリアブル長パッキングアテンション · QLoRA NF4 vs bf16トレードオフ · rsLoRA / DoRA / PiSSA初期化 · LoRA+(A/Bの非対称LR) · NEFTuneノイズ · カリキュラム順序付け · ランク/配置検索(MLPのみ vs アテンションのみ) · torch.compile · Unslothカーネル · Ligerカーネル · 融合クロスエントロピー · 短い実行のためのよりスマートなウォームアップ
1つ主張して、0m 22sを破り、あなたの名前をボードに刻んでください。
FAQ
これは無線プロトコルのLoRaですか? いいえ — LoRA(Low-Rank Adaptation)、言語モデルをファインチューニングするための標準的な安価な方法です: 固定されたモデルの上に小さなアダプターをトレーニングします。競争: 全員が同じGPUで同じスコアに同じモデルをファインチューニングし、最も速い検証済みトレーニング実行が記録を保持します。
技術は1つのモデル+1つのタスクに過適合しませんか? それこそが、異なるモデルファミリーとタスクタイプを持つ2つのトラックがある理由です — そして、より多くのものが同じフリーズ&キャリブレーションプロトコルに従うでしょう。1つのトラックでしか勝てないトリックは記録ですが、信頼する価値のある技術は転移するものです。トラックシステムはそれを議論ではなく経験的な問題にします。
なぜQwen2.5-1.5Bなのですか?数学で事前トレーニングされていませんか? おそらく、すべての現代的なベースモデルと同様に。それは問題ではありません: 目標は「アンカー」であり、数学的発見に関する主張ではありません。レースが興味深い部分です — nanoGPTスピードランニングが任意のval lossをターゲットにするのと同じ理由です。(トラック2は、この理由の一部として、異なるファミリーであるSmolLM2を使用します。)
なぜFLOPsやステップではなくリアルタイムなのですか? リアルタイムはあなたが支払うものであり、カーネル、データローディング、アルゴリズムが同じ通貨で競争することを強制するためです。modded-nanogptと同じルールです。
Modal上のL40Sではなく、4090やH100を使用しないのはなぜですか? 3つの理由。一貫したデータセンターSKUであるため、時間は実際に比較可能です(レンタルされたコンシューマーカードはホストごとに異なります)。Modalの月間クレジットを通じて無料で利用できるため、競争や再検証に費用はかかりません。そして、サブミッションは見知らぬ人のコードです — Modalサンドボックスはそれらをネットワークブロックし、シークレットなしで実行します。(L40Sは4090と同じAD102シリコンなので、コンシューマーGPUのトリックは転移します。)
他のデータでトレーニングしたり、より大きなモデルから蒸留したりできますか? いいえ。GSM8Kトレーニングスプリットのみ、教師モデルなし、合成データなし。TASK.mdで禁止リスト全体を確認してください。
複数のGPU? いいえ。1つのL40Sです。それがポイントです。
ライセンス
MIT。記録、レポート、および説明文はコードと同じくらい公開されています。