HN 日本語サマリー

← 一覧へ戻る
その他

Uber SubmitQueue: 高性能な投機的マージキュー

Uber SubmitQueue: a high-performance speculative merge queue (github.com)

64 pointsby handfuloflight48 コメント

要約

Uber の SubmitQueue は、データベースのレプリケーションや分散システムにおける書き込みパフォーマンスを向上させるための、高性能な投機的マージキューの実装です。このプロジェクトは、複数の書き込みリクエストを効率的にバッチ処理し、競合を解決しながら、レイテンシを削減し、スループットを最大化することを目指しています。

全文翻訳

SubmitQueue

[画像: CI] [画像: Docs] [画像: Go Version] [画像: License] [画像: Slack]

SubmitQueueは、大規模環境で常にメインブランチ(trunk)をグリーン(正常)に保つための、高性能な投機的サブミッションキューです。変更を一つずつ検証するのではなく、SubmitQueueはHEADの予測される将来の状態に対して、複数の変更を並列で投機的にリベースおよび検証します。検証が成功した場合、変更は自動的にマージされます。失敗した場合は、問題のある変更を特定し、残りの変更を再試行します。これらすべてが人間の介入なしに行われます。

並行する変更が微妙なコンフリクトを引き起こし、ビルドを不安定にする可能性のある、大規模なモノレポや急速に変化するチームのために設計されています。

ドキュメント: uber.github.io/submitqueue には、ガイド、設計ドキュメント(RFC)、検索機能があります。

リポジトリのレイアウト

ドメイン横断的なGoコード(エラー、メトリクス、コンシューマーフレームワーク、HTTPヘルパー、共有エンティティ、共有拡張契約)は platform/ の下に配置されます。各プロダクトドメインは独自のツリーを持ちます(submitqueue/、stovepipe/など)。マルチサービスドメインは gateway/ と orchestrator/ に分割されることがありますが、シングルサービスドメインはコントローラーをドメインルート直下に配置します。Stovepipeは現在、取り込み動作を公開し、独自のキューパイプラインを実行しています。規約とインポートパスについては、AGENTS.md を参照してください。

クイックスタート

キューを通してトラフィックを流し、それがマージされるのを見守ります。Dockerが必要です。BazelがDocker Composeを提供します。リポジトリ、アカウント、トークンは不要です。

# フルスタック(Gateway + Orchestrator + Runway + MySQL)を起動
make local-submitqueue-start

# 変更を作成し、作成されるたびにエンキューして、それらが落ち着くのを見守ります。
# 実行中のスタックのポートとプロバイダーを自動的に検出します — コピーするものは何もありません。
make demo-requests

# サービスを停止
make local-submitqueue-stop

PROVIDER は、変更の出所と、それをマージする際の動作を決定します。これは、それらの間で唯一変更される部分です。

PROVIDER変更はマージすると必要とするもの
fake (デフォルト)URIであり、それ以外は何もないリポジトリに触れることなく成功を報告するなし
gitディスク上のベアリポジトリ内のブランチ実際のフェッチ、チェリーピック、プッシュなし
github実際のプルリクエスト実際のレポジトリへの実際のプッシュレポジトリとトークン

キュー自体のロジックは、これら3つのすべてで実際のものです。検証、バッチ処理、コンフリクト分析、投機、そして accepted から landed までの完全なトレイルを記録するリクエストログが含まれます。PROVIDER=git make local-submitqueue-start は、コミットが実際にブランチに到達する最初の段階であり、それでも認証情報は不要です。

クイックスタート では、これら3つの段階すべてを順を追って説明します — git log で変更がマージされたことを証明し、オンデマンドで失敗させる方法、そしてライブプロバイダーが必要とするものについて説明します。個々のサービスを実行する方法については、service/README.md を参照してください。

ドキュメント

uber.github.io/submitqueue のドキュメントサイトは、doc/ ディレクトリ以下のすべてをレンダリングします。リポジトリ内の同じドキュメントです。

ドキュメント説明
クイックスタートスタックを実行して変更をマージする — フェイク、ローカルGit、またはGitHub
開発セットアップ前提条件、ビルド、環境、IDEセットアップ
コントリビューティング貢献方法、ワークフロー、ガイドライン
テストガイド単体テスト、統合テスト、E2Eテストのパターン
アーキテクチャガイドプロジェクトレイアウト、パターン、規約
例サービス、クライアントの実行、APIリファレンス
RFC設計ドキュメントと提案

プロジェクトのステータス

SubmitQueueは現在活発に開発中です。皆様からの貢献やフィードバックを歓迎します。

コミュニティ

Slackでご参加ください: submitqueue.slack.com — 質問、設計に関する議論、開始のサポートなど。

コントリビューティング

開始方法については、CONTRIBUTING.md を参照してください。

ライセンス

Apache License 2.0 の下でライセンスされています。