DeepSeek Elastic Compute (DSec): 大規模エージェントトレーニングのためのサンドボックスインフラストラクチャ

大規模言語モデル（LLM）を用いたエージェントトレーニングと評価には、モデルがリポジトリを検査し、ツールを呼び出し、コマンドを実行し、タスク固有のサービスと対話できる、隔離されたステートフルな実行環境が必要です。 これらのワークロードは、大規模なバーストでサンドボックスを作成し、異種機能と隔離要件にまたがり、長い対話を通じて状態を保持し、再利用が限られている大規模な画像コーパスから引き出されます。 したがって、それらをサポートするには、単一のサンドボックスランタイムではなく、弾力的な実行プラットフォームが必要です。 このレポートでは、統一SDKを通じてFnCall、コンテナ、microVM、フルVMのサンドボックスバックエンドを公開する本番用サンドボックスプラットフォームであるDeepSeek Elastic Compute（DSec）を紹介します。 DSecは、クラスター全体にわたる配置とライフサイクル管理を調整し、独立してバージョン管理されたレイヤーから環境を構成し、高密度実行のためにメモリ共有、回収、CPUスケジューリングを組み合わせ、Fire-Flyer File System（3FS）というクラスター全体の分散ファイルシステムからオンデマンドで画像データをロードします。 DSecは、強化学習（RL）フレームワークと共同設計されており、ステートフルなロールアウト実行をプリエンプティブルなGPUトレーニングから分離し、ロールアウト状態を維持しながらアイドルリソースを回収するためにサンドボックスライフサイクルをトレーニングと調整し、報酬ハッキングなどのエージェントの不正行為を軽減します。 DSecの本番スケールユニットは、約160ノードにまたがり、1日あたり約300万のサンドボックスを提供します。本番環境では、380,000を超える同時サンドボックスをサポートし、毎秒5,000以上のサンドボックス作成を維持します。 私たちの評価とデプロイメントの経験は、これらのメカニズムが環境セットアップと画像配布のオーバーヘッドを削減し、メモリ効率を改善し、高密度オーバーコミット下でのレイテンシに敏感なパフォーマンスを維持することを示しています。