Fleet: マルチダイGPU向けメガカーネルのための階層的タスクベース抽象化
Fleet: Hierarchical Task-Based Abstraction for Megakernels on Multi-Die GPUs (arxiv.org)
要約
現代のGPUはマルチチップレット設計を採用していますが、既存のプログラミングモデル(CUDA/HIP)はチップレットレベルの局所性や同期を表現できないフラットな実行階層を提供しています。このミスマッチは、LLM推論のようなメモリバウンドなワークロードで冗長なメモリトラフィックとキャッシュ利用率の低下を引き起こします。本論文では、計算をメモリスコープにマッピングするマルチレベルタスクモデル「Fleet」を提案します。Fleetは、ワークとデータをチップレットにバインドし、その共有L2キャッシュを介した協調を可能にする「チップレットタスク」という新しい抽象化を導入します。これにより、チップレットレベルの局所性を活用し、メモリトラフィックを削減してパフォーマンスを向上させます。
全文翻訳
コンピュータサイエンス > ハードウェアアーキテクチャ
arXiv:2604.15379 (cs)
[Submitted on 15 Apr 2026]
タイトル: Fleet: マルチダイGPU上のメガカーネル向け階層的タスクベース抽象化
著者: Sangeeta Chowdhary, Ryan Swann, Sean Siddens, Muhammad Osama, Stephen Neuendorffer, Alexandru Dutu, Karthik Sangaiah, Sandeepa Bhuyan, Samuel Bayliss, Ganesh Dasika
Sangeeta Chowdharyら9名の著者によるFleet: Hierarchical Task-based Abstraction for Megakernels on Multi-Die GPUsというタイトルの論文のPDFを表示
要旨: 現代のGPUは、複数のプライベートキャッシュ階層を持つチップレットベースのデザインを採用していますが、現在のプログラミングモデル(CUDA/HIP)はフラットな実行階層を公開しており、チップレットレベルの局所性や同期を表現できません。この不一致は、LLM推論のようなメモリバウンドなワークロードにおいて、冗長なメモリトラフィックとキャッシュ利用率の低下につながります。
私たちは、計算をメモリスコープにマッピングするマルチレベルタスクモデルであるFleetを提案します。Fleetは、Chiplet-tasksという新しい抽象化を導入し、ワークとデータをチップレットにバインドし、共有L2キャッシュを介した協調を可能にします。Wavefrontレベル、CUレベル、デバイスレベルのタスクは既存の抽象化と一致しますが、Chiplet-tasksはこれまで未解決であった階層レベルを公開します。Fleetは、チップレットごとのスケジューリングを備えた永続カーネルランタイムとして実装されており、チップレット内のワーカーが協調的にタスクを実行し、キャッシュの再利用を調整できます。AMD Instinct MI350上でQwen3-8Bを実行した結果、Fleetは、永続カーネル実行とチップレットごとのスケジューリングにより、バッチサイズ1〜8でvLLMと比較して1.3〜1.5倍低いデコードレイテンシを達成しました。より大きなバッチサイズでは、協調的な重みタイリングによりL2ヒット率が向上し(バッチサイズ32で12%から54%、バッチサイズ64で39%から61%)、HBMトラフィックを最大37%削減し、チップレットを意識しないメガカーネルベースラインと比較して1.27〜1.30倍の速度向上を実現しました。
| 科目: | ハードウェアアーキテクチャ (cs.AR) |
| 引用: | arXiv:2604.15379 [cs.AR] |
| (またはこのバージョンについては arXiv:2604.15379v1 [cs.AR]) | |
| https://doi.org/10.48550/arXiv.2604.15379 arXiv発行DOI (DataCite経由) |
投稿履歴
From: Sangeeta Chowdhary
[v1] Wed, 15 Apr 2026 21:49:03 UTC (68 KB)
フルテキストリンク:
ペーパーにアクセス
Sangeeta Chowdharyら9名の著者によるFleet: Hierarchical Task-based Abstraction for Megakernels on Multi-Die GPUsというタイトルの論文のPDFを表示
追加機能
現在の閲覧コンテキスト:
cs.AR
以下で閲覧に変更:
参考文献と引用
読み込み中...
BibTeX形式の引用
読み込み中...
提供元:
ブックマーク
書誌ツール
書誌および引用ツール
書誌エクスプローラー トグル
書誌エクスプローラー (エクスプローラーとは?)
Connected Papers トグル
Connected Papers (Connected Papersとは?)
Litmaps トグル
Litmaps (Litmapsとは?)
scite.ai トグル
scite Smart Citations (Smart Citationsとは?)
コード、データ、メディア
コード、データ、および本論文に関連するメディア
alphaXiv トグル
alphaXiv (alphaXivとは?)
コードへのリンク トグル
CatalyzeX コードファインダー (CatalyzeXとは?)
DagsHub トグル
DagsHub (DagsHubとは?)
GotitPub トグル
Gotit.pub (GotitPubとは?)
Huggingface トグル
Hugging Face (Huggingfaceとは?)
ScienceCast トグル
ScienceCast (ScienceCastとは?)
デモ
デモ
Replicate トグル
Replicate (Replicateとは?)
Spaces トグル
Hugging Face Spaces (Spacesとは?)
Spaces トグル
TXYZ.AI (TXYZ.AIとは?)
関連記事
レコメンダーおよび検索ツール
Influence Flowerへのリンク
Influence Flower (Influence Flowersとは?)
Core Recommender トグル
CORE Recommender (COREとは?)
- 著者
- 会場
- 機関
- トピック
arXivLabsについて
arXivLabs: コミュニティ協力者との実験的プロジェクト
arXivLabsは、協力者がarXivの新しい機能を直接ウェブサイト上で開発・共有できるフレームワークです。
arXivLabsと協力する個人および組織は、オープンネス、コミュニティ、卓越性、ユーザーデータプライバシーという私たちの価値観を受け入れ、遵守しています。arXivはこの価値観にコミットしており、それに準拠するパートナーのみと協力します。
arXivコミュニティに価値をもたらすプロジェクトのアイデアがありますか? arXivLabsについてもっと知る。
この論文の著者は誰が推薦者ですか? | MathJaxを無効にする ( MathJaxとは? )