Uber SubmitQueue: 高性能な投機的マージキュー
Uber SubmitQueue: a high-performance speculative merge queue (github.com)
要約
Uber の SubmitQueue は、データベースのレプリケーションや分散システムにおける書き込みパフォーマンスを向上させるための、高性能な投機的マージキューの実装です。このプロジェクトは、複数の書き込みリクエストを効率的にバッチ処理し、競合を解決しながら、レイテンシを削減し、スループットを最大化することを目指しています。
全文翻訳
SubmitQueue
[画像: CI] [画像: Docs] [画像: Go Version] [画像: License] [画像: Slack]
SubmitQueueは、大規模環境で常にメインブランチ(trunk)をグリーン(正常)に保つための、高性能な投機的サブミッションキューです。変更を一つずつ検証するのではなく、SubmitQueueはHEADの予測される将来の状態に対して、複数の変更を並列で投機的にリベースおよび検証します。検証が成功した場合、変更は自動的にマージされます。失敗した場合は、問題のある変更を特定し、残りの変更を再試行します。これらすべてが人間の介入なしに行われます。
並行する変更が微妙なコンフリクトを引き起こし、ビルドを不安定にする可能性のある、大規模なモノレポや急速に変化するチームのために設計されています。
ドキュメント: uber.github.io/submitqueue には、ガイド、設計ドキュメント(RFC)、検索機能があります。
リポジトリのレイアウト
ドメイン横断的なGoコード(エラー、メトリクス、コンシューマーフレームワーク、HTTPヘルパー、共有エンティティ、共有拡張契約)は platform/ の下に配置されます。各プロダクトドメインは独自のツリーを持ちます(submitqueue/、stovepipe/など)。マルチサービスドメインは gateway/ と orchestrator/ に分割されることがありますが、シングルサービスドメインはコントローラーをドメインルート直下に配置します。Stovepipeは現在、取り込み動作を公開し、独自のキューパイプラインを実行しています。規約とインポートパスについては、AGENTS.md を参照してください。
クイックスタート
キューを通してトラフィックを流し、それがマージされるのを見守ります。Dockerが必要です。BazelがDocker Composeを提供します。リポジトリ、アカウント、トークンは不要です。
# フルスタック(Gateway + Orchestrator + Runway + MySQL)を起動
make local-submitqueue-start
# 変更を作成し、作成されるたびにエンキューして、それらが落ち着くのを見守ります。
# 実行中のスタックのポートとプロバイダーを自動的に検出します — コピーするものは何もありません。
make demo-requests
# サービスを停止
make local-submitqueue-stop
PROVIDER は、変更の出所と、それをマージする際の動作を決定します。これは、それらの間で唯一変更される部分です。
PROVIDER | 変更は | マージすると | 必要とするもの |
|---|---|---|---|
fake (デフォルト) | URIであり、それ以外は何もない | リポジトリに触れることなく成功を報告する | なし |
git | ディスク上のベアリポジトリ内のブランチ | 実際のフェッチ、チェリーピック、プッシュ | なし |
github | 実際のプルリクエスト | 実際のレポジトリへの実際のプッシュ | レポジトリとトークン |
キュー自体のロジックは、これら3つのすべてで実際のものです。検証、バッチ処理、コンフリクト分析、投機、そして accepted から landed までの完全なトレイルを記録するリクエストログが含まれます。PROVIDER=git make local-submitqueue-start は、コミットが実際にブランチに到達する最初の段階であり、それでも認証情報は不要です。
クイックスタート では、これら3つの段階すべてを順を追って説明します — git log で変更がマージされたことを証明し、オンデマンドで失敗させる方法、そしてライブプロバイダーが必要とするものについて説明します。個々のサービスを実行する方法については、service/README.md を参照してください。
ドキュメント
uber.github.io/submitqueue のドキュメントサイトは、doc/ ディレクトリ以下のすべてをレンダリングします。リポジトリ内の同じドキュメントです。
| ドキュメント | 説明 |
|---|---|
| クイックスタート | スタックを実行して変更をマージする — フェイク、ローカルGit、またはGitHub |
| 開発セットアップ | 前提条件、ビルド、環境、IDEセットアップ |
| コントリビューティング | 貢献方法、ワークフロー、ガイドライン |
| テストガイド | 単体テスト、統合テスト、E2Eテストのパターン |
| アーキテクチャガイド | プロジェクトレイアウト、パターン、規約 |
| 例 | サービス、クライアントの実行、APIリファレンス |
| RFC | 設計ドキュメントと提案 |
プロジェクトのステータス
SubmitQueueは現在活発に開発中です。皆様からの貢献やフィードバックを歓迎します。
コミュニティ
Slackでご参加ください: submitqueue.slack.com — 質問、設計に関する議論、開始のサポートなど。
コントリビューティング
開始方法については、CONTRIBUTING.md を参照してください。
ライセンス
Apache License 2.0 の下でライセンスされています。