HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

GitHub Freno: 協調的で高可用なスロットラーサービス

GitHub Freno: cooperative, highly available throttler service (github.com)

35 pointsby nateb20220 コメント

要約

GitHub Frenoは、リソースへの書き込みを協調的にスロットルするためのサービスです。特にMySQLクラスターのレプリケーションラグを監視し、閾値を超えた場合に書き込みを抑制します。Raftコンセンサスプロトコルにより高可用性を実現し、HTTPインターフェースを通じてアプリケーションからの書き込み許可要求に応答します。大規模なバルクオペレーションやスキーマ移行などの際に、データベースへの負荷を軽減するために利用されます。

全文翻訳

freno

[画像: build status] [画像: downloads] [画像: release]

協調的で高可用なスロットラーサービス:クライアントは freno を使用してリソースへの書き込みをスロットルします。

現在の実装では、MySQLクラスタのレプリケーションステータスに基づいて、(複数の) MySQLクラスタへの書き込みをスロットルできます。レプリケーションラグが事前に定義されたしきい値を超えた場合、freno は協調的なクライアントをスロットルします。

freno はサーバーインベントリの変更に動的に適応します。また、ユーザーが特定のアプリケーションのスロットルを強制するように制御することもできます。

freno は高可用であり、リーダーシップを決定し、メンバーノード間でユーザーイベントを渡すために raft コンセンサスプロトコルを使用します。

協調的 (Cooperative)

freno はバックエンドストア (現時点では MySQL のみ) からデータを収集し、「バックエンドストアに書き込んでも良いか?」という質問に答えるロジックを持っています。

クライアント (アプリケーション、スクリプト、ジョブ) は freno に問い合わせることが期待されます。freno はクライアントとバックエンドストアの間のプロキシではありません。ストアを監視し、「書き込み可能」または「書き込みを停止すべき」と述べるだけです。クライアントは freno に問い合わせ、その推奨に従うことが期待されます。

ストアとアプリケーション (Stores and apps)

freno はデータストアごとにデータを収集します。例えば、MySQLクラスタをプローブする際には、クラスタごとに独立してレプリケーションラグを収集します。バックエンドストアのメトリクスは自動的に収集され、絶対的な真実を表します。

freno は アプリケーション として識別されるクライアントにサービスを提供します。freno は協調的なため、アプリケーションが自身を識別することを信頼します。アプリケーションは管理可能であり、freno は特定のアプリケーションを強制的にスロットルするように指示できます。これは、他の高優先度アプリケーションを完了させるために実行されます。freno は、誰をスロットルするかについての指示を受け付けるだけで、独自のスケジューリング/優先順位付けロジックは持ちません。

MySQL

freno は元々、MySQLのスロットルに対して、統一された自己適応型ソリューションを提供するために設計されました。これは、低いレプリケーションラグを維持しながら書き込みを制御します。

freno は、事前に定義された MySQL クラスタのリストで設定されます。これには、認証情報、ラグ (またはその他の) 検査クエリ、および期待されるしきい値が含まれる場合があります。各クラスタについて、freno はどのサーバーをプローブし、データを収集するかを知る必要があります。各クラスタについて、このリストを提供できます。

  • 静的でハードコードされた hostname[:port] のリスト
  • 動的。ホストは出入りする可能性があり、スロットルはこれらの変更に適応する可能性があります。サポートされている動的なオプション:
    • haproxy 経由: freno に haproxy の URL とバックエンド/プール名を提供すると、freno は定期的にそのプール内の有効なサーバーのリストを解析し、動的にプローブに適応します。

freno と MySQL のスロットル についてさらに読む

ユースケース

freno はバルク操作に役立ちます:大規模なロード/アーカイブタスク、スキーマ移行、一括更新などです。これらの操作は通常、数千から数百万行を処理し、MySQL のレプリケーションラグのような望ましくない影響を引き起こす可能性があります。これらのタスクを小さなサブタスク (例: 一度に 100 行) に分割し、各サブタスクを適用する前に freno に問い合わせることで、データベースやアプリケーションに悪影響を与えることなく同じ結果を達成できます。

freno は、レプリカの有効性を推測するために実際のラグを決定するためにも使用できます。これは、マスター読み取りにおける書き込み後の読み取りの痛みを軽減するのに役立ちます。こちら を参照してください。

HTTP

freno は HTTP を介してリクエストを処理します。最も重要なリクエストは check リクエストです:「このアプリケーションはこのストアに書き込んでも良いか?」 freno は HEAD リクエストを高く評価し (GET も受け付けますが、オーバーヘッドが大きいです)、ステータスコードで応答します。

  • 200 (OK): アプリケーションはデータストアに書き込めます。
  • 404 (Not Found): 不明なメトリクス名です。
  • 417 (Expectation Failed): 要求しているアプリケーションは明示的に書き込みを禁止されています。
  • 429 (Too Many Requests): 書き込まないでください。ストアの状態が期待されるしきい値を満たしていないことを示す通常の状態です。
  • 500 (Internal Server Error): 内部エラーです。書き込まないでください。

HTTP リクエスト & レスポンス についてさらに読む

クライアント

クライアントは一般的に HEAD を介して /check/... リクエストを発行します。

クライアントは毎秒多くのリクエストを発行することが期待されます。freno はリソースが軽量です。毎秒数百回 freno にアクセスしても問題ないはずです。もちろん、ハードウェアとリソースによります。

監視したい粒度の近くで freno にアクセスするのが理にかなっています。クライアントが 1000ms のレプリケーションラグでスロットルする場合、毎秒 200 回 freno をチェックするのはやりすぎかもしれません。しかし、クライアントをナイーブなままキャッシュなしで維持したい場合は、これで問題ないでしょう。

クライアント についてさらに読む

Raft

freno は高可用性を提供するために raft を使用します。freno ノードは リーダーシップ を競合し、リーダーのみがメトリクスを収集し、クライアントにサービスを提供するべきです。

raft と 高可用性 についてさらに読む

設定

サンプル設定ファイル を参照してください。また、以下も見つかります。

デプロイメント

推奨される freno デプロイメントセットアップの提案については、デプロイメントドキュメント を参照してください。

リソース

環境で freno をセットアップするためのさまざまな リソース が見つかるでしょう。

freno-client は、GitHub の Ruby クライアントで、オープンソースであり Ruby Gem として利用可能です。

名前について

「Freno」はスペイン語で「ブレーキ」を意味します。基本的に「throttler」または「throttled」と呼びたかったのですが、これらの名前は複数の他のリポジトリで使用されていたため、別の名前を探しました。「freno」という単語を辞書で調べたところ、次の文が見つかりました。

Echa el freno, magdaleno!

これは 80 年代を思い出させ、それが決定打となりました。

プロジェクトステータス

このプロジェクトは活発に開発中です。

貢献

このリポジトリは貢献を受け付けています。行動規範 も参照してください。

ライセンス

このプロジェクトは MIT ライセンス の下でリリースされています。3rd パーティの依存関係は独自のライセンスの下でリリースされており、これらは vendor ディレクトリで見つかりますのでご注意ください。

著者

GitHub Engineering による執筆