HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

長文脈混合エキスパート(MoE)トレーニングにおけるあらゆるメモリピークの平坦化

Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training (arxiv.org)

5 pointsby gmays1 コメント

要約

長文脈や大規模バッチサイズでの混合エキスパート(MoE)モデルのトレーニングは、いずれかのコンポーネントのピークメモリ割り当てがデバイスメモリを超えると失敗します。本研究では、ルーティング行列、語彙投影、勾配チェックポイント境界、オプティマイザ状態といった、一般的に並列化計画で上限が設けられていない4つのメモリピークを特定し、それぞれに固定GPUワーキングセットを持つスケジュールを提案します。これにより、1Mコンテキスト長で、既存手法の8~32倍のリーチと最大10.4倍のスループットを実現し、MoEモデルのトレーニングを大幅に改善します。

全文翻訳

Computer Science > Distributed, Parallel, and Cluster Computing

arXiv:2609.14306 (cs)

[Submitted on 13 Sep 2026]

Title: Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training

Authors:Shrey Pandit, Xuan-Phi Nguyen, Yiran Zhao, Shafiq Joty

View a PDF of the paper titled Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training, by Shrey Pandit and 3 other authors

View PDF HTML (experimental)

Abstract: 長文脈または大規模バッチサイズでの混合エキスパート(MoE)モデルのトレーニングは、いずれかのコンポーネントのピーク割り当てがデバイスメモリを超えるとすぐに失敗するため、目標は平均フットプリントではなく、あらゆるピークを同時に管理することです。一般的な並列化計画では、4つの要素が上限なく増大します。それぞれが増大する仕方が異なります。ルーティング行列によるエキスパートディスパッチ、トークン数×語彙数による語彙投影、深さ×シーケンス長による勾配チェックポイント境界、パラメータ数によるオプティマイザ状態です。どれが最初に枯渇するかは、モデル、コンテキスト長、デバイス数によって変化するため、最も大きいものを削減しても、次に大きいものが露呈するだけです。私たちは、起動時にGPUワーキングセットが固定されるスケジュールによって、これら4つすべてに上限を設けます。PipelinedLLEPは、各ソースがディスパッチチャンクに寄与するトークン数に上限を設けることで、最小負荷エキスパート並列化を拡張します。Ring-DTPは、語彙投影でアクティベーションまたは重みシャードをリング状に循環させ、各ロジットブロックをオンラインlog-sum-expに折り込みます。Selective checkpoint offload (SCO)は、各チェックポイント境界の長く保持されるテンソルをCPUメモリに保持します。OffloadStreamAdamWは、オプティマイザオフロードのシリアルCPU Adam更新をバケットパイプラインに変換します。これら4つの手法は、計算とデータ移動の順序と粒度のみを変更するため、損失と勾配は正確なままです。対応するコンポーネントテストでは、スループットを失うことなくMoEディスパッチピークを最大59.3%削減し、語彙投影ピークを86.6%削減し、オフロードされたオプティマイザステップを2.05倍高速化しました。120Bから667BパラメータのMoEモデルに適用した結果、1Mコンテキスト長でトレーニング可能となり、これは調整済みのFSDP2ベースラインの8~32倍のリーチ、および最大10.4倍のスループットを実現しました。

Comments:Preprint
Subjects:Distributed, Parallel, and Cluster Computing (cs.DC)
Cite as:arXiv:2609.14306 [cs.DC]
(or arXiv:2609.14306v1 [cs.DC] for this version)
https://doi.org/10.48550/arXiv.2609.14306 arXiv-issued DOI via DataCite (pending registration)

Submission history

From: Xuan Phi Nguyen
view email
[v1] Sun, 13 Sep 2026 06:00:46 UTC (1,012 KB)

Full-text links:

Access Paper:

View a PDF of the paper titled Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training, by Shrey Pandit and 3 other authors

[画像: license icon] view license

Current browse context:

cs.DC

< prev | next >

new | recent | 2026-09

Change to browse by:

cs

References & Citations

Loading...

BibTeX formatted citation

loading...

Data provided by:

Bookmark

[画像: BibSonomy][画像: Reddit]

Bibliographic Tools

Bibliographic and Citation Tools

Bibliographic Explorer Toggle

Bibliographic Explorer (What is the Explorer?)

Connected Papers Toggle

Connected Papers (What is Connected Papers?)

Litmaps Toggle

Litmaps (What is Litmaps?)

scite.ai Toggle

scite Smart Citations (What are Smart Citations?)

Code, Data, Media

Code, Data and Media Associated with this Article

alphaXiv Toggle

alphaXiv (What is alphaXiv?)

Links to Code Toggle

CatalyzeX Code Finder for Papers (What is CatalyzeX?)

DagsHub Toggle

DagsHub (What is DagsHub?

GotitPub Toggle

Gotit.pub (What is GotitPub?)

Huggingface Toggle

Hugging Face (What is Huggingface?)

ScienceCast Toggle

ScienceCast (What is ScienceCast?)

Demos

Demos

Replicate Toggle

Replicate (What is Replicate?)

Spaces Toggle

Hugging Face Spaces (What is Spaces?)

Spaces Toggle

TXYZ.AI (What is TXYZ.AI?)

Related Papers

Recommenders and Search Tools

Link to Influence Flower

Influence Flower (What are Influence Flowers?)

Core recommender toggle

CORE Recommender (What is CORE?)

  • Author
  • Venue
  • Institution
  • Topic

About arXivLabs

arXivLabs: experimental projects with community collaborators

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

Which authors of this paper are endorsers? | Disable MathJax (What is MathJax?)