プログラミング

USDB: ByteDanceにおける次世代レコメンダーシステム向けストレージのスケーリング

USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance (arxiv.org)

18 pointsby 1equalsequals12026年11月4日1 コメント

要約

ByteDanceは、レコメンダーシステムにおけるユーザー履歴の長大化と属性の豊富化に対応するため、ストリーミングおよびバッチワークロード向けの統合シーケンスストレージであるUSDBを開発しました。USDBは、履歴の効率的な管理とアクセスを可能にする複数の設計を採用し、書き込みレイテンシを85.8%削減し、インフラコストを42.1%低減しました。

全文翻訳

コンピューターサイエンス > データベース

arXiv:2611.02618 (cs)

[2026年11月2日提出]

タイトル: USDB: ByteDanceにおける次世代レコメンダーシステム向けストレージのスケーリング

著者: Xiaoran Zhu, Jieming Cai, Weiping Yu, Xi Chen, Shu Cai, Jiahao Li, Yifan Xiao, Yan Deng, Yisha Zhou, Yu Lin, Shiru Ren, Siqiang Luo, Peng Xu, Junjun Chai

Xiaoran Zhuら13名の著者によるUSDB: Scaling Storage for Next-Generation Recommender Systems at ByteDanceというタイトルの論文のPDFを表示

PDFを表示 HTML (実験的)

要旨: レコメンデーションモデルは、ますます長大で属性リッチなユーザー履歴を消費するため、小さな連続更新と繰り返しの大規模読み取りがストレージの主要な非対称性となっています。本稿では、ストリーミングおよびバッチワークロード向けのByteDanceの統合シーケンスストレージプラクティスであるUSDBを紹介します。CascadeLSM時間ベースのコンパクションステージは、アプリケーション固有の履歴を具体化します。差別化されたレプリカは永続ファイルを共有します。部分ダンプは、キャプチャされた最新の状態とバージョン管理された履歴から推論入力を再構築します。ハイブリッド列フォーマットは、投影された読み取りを高速化します。これらの設計は、取り込み、推論、トレーニング全体でメンテナンス結果を再利用します。本番環境への移行記録は、平均書き込みレイテンシが85.8%低下したことを示しており、正規化されたデプロイメントアカウンティングは、インフラコストが42.1%低下したことを示しています。最適化されたRocksDBシーケンスベースラインとの制御された比較では、投影とクライアント負荷全体で長い履歴の読み取りが高速化されました。集約プッシュダウンは、制約された受信バジェット下で通常の読み取りの8.5倍のスループットを維持します。本番環境での再構築と直接ファイルトレーニングの結果は、共有シーケンスメンテナンスが最新のサービングと繰り返し履歴アクセスをどのようにサポートするかを示しています。


コメント:	17ページ、18図、5表
件名:	データベース (cs.DB)
引用元:	arXiv:2611.02618 [cs.DB]
	(またはこのバージョンについては arXiv:2611.02618v1 [cs.DB])
	https://doi.org/10.48550/arXiv.2611.02618 arXiv発行のDOI（DataCite経由、登録待ち）