LoRAスピードラン – ファインチューニング技術のための公開ウォールクロックリーダーボード

LoRAスピードラン 🏁 Qwen2.5-1.5Bを≥ 57%のGSM8Kスコアで、シングルL40S GPUでどれだけ速くLoRAファインチューニングできるか？これはファインチューニングのためのmodded-nanogptです。タスクは固定、ハードウェアは固定、そしてウォールクロック記録の公開リーダーボードです。すべての記録は、同一ハードウェア上で3回、新しいシード値で独立して再実行されてからカウントされます。挑戦と検証は無料です。公式タイム計測はModalのL40Sサンドボックス上で行われ、Modalの無料月間コンピューティングクレジットで全実行をカバーできるため、誰でも競争でき、誰でも1つのコマンドで任意の記録を再検証できます。 リーダーボード 現在の記録: @Saivineeth147 による 6分05秒 – シーケンスパッキング + 完了のみの損失マスキング、2エポック。#0と同じLoRA設定。精度向上で約2倍高速。 # 日付 作成者 トレーニング時間 GSM8K Δ 技術 0 2026-07-18 @Saivineeth147 11m 57s 59.4% — ベースライン: 全ての線形レイヤーにプレーンLoRA r=16、3エポック、コサインLR。トリックなし。(レポート) 1 2026-07-18 @Saivineeth147 6m 05s 61.1% −49% シーケンスパッキング + 完了のみの損失マスキング、2エポック。#0と同じLoRA設定。精度向上で約2倍高速。(レポート) 検証レポート付きの全履歴: records/RECORDS.md タスク (固定) ベースモデル Qwen/Qwen2.5-1.5B (ベース、インストラクトではない) — 固定 トレーニングデータ GSM8Kトレーニングスプリット (7,473例) — 許可される唯一のデータ 目標 GSM8Kテストでの≥ 57.0%の完全一致 (0-ショット、貪欲法、厳密な #### N抽出) ハードウェア 1× NVIDIA L40S (48 GB) — Modalサンドボックス、ネットワークブロック メトリック トレーニング実行のウォールクロックタイム。低いほど良い。 制約 ベースウェイトは固定。PEFTアダプターのみ、≤ 30M trainable params。機械可読仕様: spec.yaml。全ルール: TASK.md。それ以外はすべてユーザーが制御: LoRAランクと配置、量子化、学習率スケジュール、シーケンスパッキング、データサブセット選択と順序、カスタムカーネル、停止タイミング。 1,000個のよく選ばれた例で90秒間トレーニングし、バーをクリアできるなら、それも可能です。 なぜこれが存在するのか LoRA/QLoRAは、多くの実世界のファインチューニングが実際に行われる方法であり、その技術空間は爆発的に広がりました – DoRA, rsLoRA, PiSSA, LoRA+, NEFTune, Unslothカーネル, ランク適応手法など。しかし、これらのアイデアが公に競い合う敵対的でリンゴとリンゴの比較ができるアリーナがありません。論文は異なるモデル、データ、ハードウェアでの数値を報告しており、比較できるものがありません。nanoGPTスピードランは事前トレーニングのためにこれを修正し、実際の科学を生み出しました (Muonがそこから生まれました)。このリポジトリは、パラメータ効率の良いファインチューニングのために同じことを行います：1つの固定タスク、1つのGPU、ウォールクロックタイム、領収書必須。 クイックスタート 公式ハードウェア実行 (無料)。Modalアカウントを作成し、以下を実行します: git clone https://github.com/Saivineeth147/lora-speedrun && cd lora-speedrun pip install modal pyyaml && modal setup # 初回のみブラウザ認証 python harness/modal_verify.py --prefetch # 初回のみ: ボリュームにモデル+データをキャッシュ 正確な仕様ハードウェアでのベースラインの1回のタイム計測、評価済み試行: python harness/modal_verify.py --submission submissions/000-baseline --runs 1 完全な記録スタイルの検証 (3回の新しいシード、すべてパスする必要あり): python harness/modal_verify.py --submission submissions/000-baseline --runs 3 ローカルイテレーション (オプション)。24 GB以上のカードなら、ベースラインを高速実験用に実行できます – bash scripts/setup_gpu.sh, 次に python harness/run_submission.py submissions/000-baseline --runs 1。ローカルタイムは公式ではありません。リーダーボードのクロックはModal L40Sです。その後、submissions/TEMPLATE/をコピーし、より速くしてプルリクエストを開きます。CONTRIBUTING.mdを参照してください。 記録がどのように検証されるか トレーニングスクリプト、設定、ノート、自己申告数値を添えてプルリクエストを開きます。CIが静的に検証し、自動化されたClaudeセキュリティスクリーンが差分をレビューします (情報漏洩の試み、ネットワーク使用、ハーネス改ざん、テストセットへの接触) そしてその結果を公開します。メンテナーがコードをレビューし、/verifyとコメントすると、仕様L40S上のネットワークブロックされたModalサンドボックスで3回、新しいシード値でサブミッションを再実行します。3回の実行すべてが目標をクリアする必要があり、公式タイムは平均値です。ハーネスはアダプターパラメータ数を監査し、モデル/データコンテンツハッシュを再検証します (改ざん防止)。検証レポートはPRに投稿され、records/verifications/に受け入れ/拒否理由とともにコミットされます。完全なプロトコル、評価基準、脅威モデル: JUDGING.md · SECURITY.md。 まだ誰も主張していないアイデア 既に取得済み: シーケンスパッキング + 完了のみのマスキング (記録#1)。 1エポックの積極的なLRスケジュール · データプルーニング (最も難しい2k例でトレーニング？) · ブロック対角/varlenパッキングアテンション · QLoRA NF4 vs bf16トレードオフ · rsLoRA / DoRA / PiSSA初期化 · LoRA+ (A/Bの非対称LR) · NEFTuneノイズ · カリキュラム順序付け · ランク/配置検索 (MLPのみ vs アテンションのみ) · torch.compile · Unslothカーネル · Ligerカーネル · フューズドクロスエントロピー · 短い実行のためのよりスマートなウォームアップ どれか1つを主張し、6分05秒を破り、あなたの名前をボードに載せましょう。 FAQ なぜQwen2.5-1.5Bなのか？数学で事前トレーニングされていませんか？おそらく、全ての現代的なベースモデルと同様でしょう。それは重要ではありません。目標はアンカーであり、数学的発見に関する主張ではありません。レースが興味深い部分です – nanoGPTスピードランニングが任意のval lossをターゲットとするのと同じ理由です。また、アンゲートされており、Apache-2.0ライセンスで、シングルカードで快適に動作します。 なぜFLOPsやステップではなくウォールクロックタイムなのか？ウォールクロックタイムはあなたが支払うものであり、カーネル、データローディング、アルゴリズムが同じ通貨で競い合うことを強制するためです。modded-nanogptと同じルールです。 なぜ4090やH100ではなくModal上のL40Sなのか？3つの理由があります。一貫したデータセンターSKUであり、タイムが実際に比較可能であること (レンタルされたコンシューマーカードはホストごとに異なります)。Modalの月間クレジットを通じて無料で利用できるため、競争や再検証に費用がかからないこと。そして、サブミッションは他人のコードであるため、Modalサンドボックスはネットワークブロックとシークレットなしで実行します (L40Sは4090と同じAD102シリコンなので、コンシューマーGPUのトリックは転送可能です)。 他のデータでトレーニングしたり、より大きなモデルから蒸留したりできますか？いいえ。GSM8Kトレーニングスプリットのみ、教師モデルなし、合成データなし。禁止リストの全容についてはTASK.mdを参照してください。 複数のGPU？いいえ。L40S 1台です。それがポイントです。 ライセンス MIT。記録、レポート、書き込みはコードと同様に公開されます。