HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

Docker Composeでゼロダウンタイムデプロイメントを実現 – Kubernetesは不要

Zero-Downtime Deployments with Docker Compose – No Kubernetes Required (statusdude.com)

17 pointsby canto19 コメント

要約

この記事は、Kubernetesが本格的なプロダクションサービスに必ずしも必要ではないと主張し、StatusDudeがDocker ComposeとHAProxyでゼロダウンタイムデプロイメントを実現した方法を紹介しています。彼らは当初Traefikで「サービスが複数回定義されています」や「スケールダウン競争」といった問題に直面し、特に別のバックエンドで失敗したリクエストを再試行できない点が致命的でした。その後HAProxyを採用し、その`option redispatch`機能と多層的なヘルスチェックにより、これらの課題を克服し、Kubernetesに代わる堅牢でシンプルなサービス管理方法を提供しています。

全文翻訳

Docker Compose でゼロダウンタイムデプロイを実現 — Kubernetes は不要

業界では、本番サービスを運用するには Kubernetes が必要だという大規模な誤解があります。そうではありません。StatusDude では、Kubernetes を使わずに Docker Compose と HAProxy で、毎分数千件のモニタリングチェックを処理し、マルチリージョンのワーカーを実行し、1日に複数回デプロイを行っています。リクエストのドロップはゼロ、ダウンタイムもゼロ。深夜に etcd の面倒を見る必要もありません。

しかし、私たちは HAProxy から始めたわけではありません。Traefik から始めました。それは約4時間しか続きませんでした。

Traefik を最初に試した

Traefik は Docker ベースのセットアップで人気のある選択肢です。Docker ラベル経由でサービスを自動検出し、洗練されたダッシュボードを持ち、ドキュメントを見れば簡単に見えるように書かれています。私たちは Traefik ラベルで2つのバックエンドレプリカを設定し、ローリングデプロイを実行しましたが、すべてが崩壊するのを見守ることになりました。

"サービスが複数回定義されています"

最初のアプローチは、移行中に既存の backend の隣に backend_new サービスを実行することでした。どちらも同じ Traefik ルーティングラベルを持っていました — 同じ Host ルール、同じサービス定義。理にかなっていますよね?カットオーバー中に古いものと新しいものの両方がトラフィックを処理するようにしたいはずです。

Traefik は同意しませんでした。その Docker プロバイダーは、各 Compose サービスを個別の設定ソースとして扱います。同じラベルを持つ2つのサービス?「サービスが複数回定義されています。」すべてのリクエストで 404 エラーが発生しました。フォールバックもマージもなく、ルーティングを拒否するだけでした。

ラベルの競合を避けるために、別個のサービスではなく docker compose --scale backend=4 を使用するようにアプローチを変更しました。しかし、それは次の問題を引き起こしました。

スケールダウンの競争

ローリングデプロイ戦略:4つのレプリカ(古い2つ + 新しい2つ)にスケールアップし、その後2つ(新しいものだけを保持)にスケールダウンします。単純なことです。

しかし、Traefik の内部ルーティングテーブルの更新が十分に速くありませんでした。4から2にスケールダウンすると、Traefik はまだシャットダウン中のコンテナにルーティングを続けました。リクエストの半分で 502 エラーが発生しました。ルーティング状態は Docker の現実から数秒遅れており、かなりの量のトラフィックをドロップするには十分な時間でした。

遅延を追加してみました。コンテナを停止する前にネットワークから切断してみました(ヘルスチェックがクリーンに失敗してから削除されるように)。パッシブヘルスチェックを試しました — 追加しましたが、攻撃的すぎて誤検知を引き起こしたため、すぐにロールバックしました。

どれもクリーンではありませんでした。しかし、本当の決め手は全く別のものでした。

決め手:別のバックエンドでのリトライがない

これは、開発者がしばらくの間無視しているように見える既知の問題です... https://github.com/traefik/traefik/issues/2723

シナリオはこうです:ローリングデプロイ中、古いコンテナを停止します。docker stop は SIGTERM を送信します。Uvicorn は正常なシャットダウンを開始しますが、ウィンドウがあります — すでに処理中のリクエスト、または停止シグナルと Traefik がルーティングテーブルを更新する間のリクエスト。

そのリクエストが停止中のバックエンドに到達すると、ストリームの途中で接続がドロップします。クライアントは生の—空のレスポンス、接続リセット、部分的なボディ—エラーを受け取ります。

私たちはそんなことは許容できません。サービスとハートビートモニターがアップしていると報告するとき、私たちは確認する必要があります!

ここで Traefik がその失敗したリクエストに対して行うことは、何もしません。

Traefik のリトライミドルウェアは存在しますが、それは同じバックエンドでリトライします。つまり、停止中のバックエンドです。再び失敗するバックエンドです。正常なバックエンドに再ディスパッチしません。リクエストはただ...失われます。

すべての組み合わせを試しました:パッシブヘルスチェック、停止前の切断、異なる試行回数のリトライミドルウェア。根本的な問題は残りました — Traefik は失敗したリクエストを別のサーバーに送信できませんでした。

その日の午後、Traefik を削除し、HAProxy を手に取りました。

実際に必要なもの

それを分解しましょう。ゼロダウンタイムデプロイには何が必要でしょうか?

  1. 複数のバックエンドインスタンス — 他がトラフィックを処理している間に1つを置き換えることができます
  2. 別のバックエンドでリトライするロードバランサー — 停止中のコンテナがリクエストをドロップしないようにします
  3. インスタンスを一度に1つずつ置き換えるデプロイスクリプト — ローリングアップデート

それだけです。3つのこと。それぞれをどのように行うか見てみましょう。

ステップ 1: Docker Compose による複数レプリカ

Docker Compose には組み込みの deploy.replicas 設定があります:

# docker-compose.yml

services:
  backend:
    build: ./backend
    deploy:
      replicas: 2
    image: myapp-backend
    expose:
      - "8000"
    env_file: .env
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:8000/health"]
      interval: 5s
      timeout: 5s
      retries: 3
      start_period: 5s
    restart: unless-stopped

これは、共有 Docker DNS 名 backend の背後で実行される2つのバックエンドコンテナです。Docker ネットワーク内で backend を解決すると、両方のコンテナ IP が取得できます。

1つの Dockerfile、1つのイメージ、2つのコンテナ。Pod 仕様なし、デプロイメントなし、レプリカセットなし。

ステップ 2: HAProxy をロードバランサーとして使用

HAProxy は実績があり、高速で、設定も読みやすいです。しかし、私たちが HAProxy を選んだ本当の理由:option redispatch。

global
    log stdout format raw local0 info
    maxconn 4096

defaults
    mode http
    timeout connect 3s
    timeout client  30s
    timeout server  30s

    # THE key feature: retry failed requests on a DIFFERENT backend
    retries 3
    option redispatch 1
    retry-on conn-failure empty-response response-timeout 502 503 504

resolvers docker_dns
    nameserver dns1 127.0.0.11:53
    resolve_retries 3
    timeout resolve 1s
    timeout retry   1s
    # Re-resolve DNS every 2 seconds
    hold valid 2s

frontend http_in
    bind *:80
    default_backend backends

backend backends
    balance roundrobin
    option httpchk
    http-check send meth GET uri /health
    http-check expect status 200

    default-server inter 1s fall 1 rise 1 check resolvers docker_dns \
        resolve-prefer ipv4 init-addr none \
        observe layer7 error-limit 3 on-error mark-down

    server-template backend 1-10 backend:8000 check

これが機能する3つの点について話しましょう。

別のバックエンドでのリトライ

これは Traefik が提供できなかった機能です:

retries 3
option redispatch 1
retry-on conn-failure empty-response response-timeout 502 503 504

リクエストが失敗した場合 — 接続拒否、空のレスポンス、502、503、504 — HAProxy はそれをリトライします。そして option redispatch 1 は、すべてのアテンプトが別のバックエンドに送信されることを意味します。停止中のサーバーではなく、別の正常なサーバーに。

理にかなっていますよね?!

ローリングデプロイ中、リクエストが停止中のコンテナにヒットして空のレスポンスを受け取った場合、HAProxy はサイレントに別のレプリカでリトライします。クライアントはエラーを見ることはありません。リクエストのドロップはありません。この単一の機能により、Traefik で抱えていたすべての問題が解消されました。

3つの層のヘルス検出

私たちは単一のヘルスチェックメカニズムに依存していません。3つの独立した層があり、それぞれが異なる障害モードを検出します:

層 1 — リクエストごとのリトライ(ミリ秒単位):単一のリクエストが失敗した場合、別のバックエンドで即座にリトライします。デプロイ中の一時的な障害を検出します。

層 2 — パッシブ監視(observe layer7):HAProxy は実際のトラフィックからの HTTP レスポンスを監視します。バックエンドが連続して3回の 5xx エラー(error-limit 3)を返した場合、プローブサイクルの待機なしで即座にローテーションから外されます(on-error mark-down)。

層 3 — アクティブヘルスチェック(inter 1s fall 1 rise 1):毎秒 /health エンドポイントをプローブします。トラフィックが流れていない完全に停止したバックエンドを検出します。1回の失敗 = 即座に DOWN。1回の成功 = ローテーションに戻る。

各層は他の層の盲点をカバーします。リクエストごとのリトライは、停止中のバックエンドにヒットする単一のリクエストを処理します。パッシブチェックは、負荷の下でエラーを返し始めるバックエンドを処理します。アクティブチェックは、トラフィックが流れていない状態でサイレントにクラッシュするバックエンドを処理します。

DNS ベースのディスカバリ(Docker ソケット不要)

server-template backend 1-10 backend:8000 check という行が、HAProxy がバックエンドを検出する方法です。Docker の組み込み DNS リゾルバ(127.0.0.11:53)を使用して Docker DNS 名 backend を解決し、見つかった各 IP のサーバーエントリを作成します。

hold valid 2s は、HAProxy が2秒ごとに再解決することを意味します。コンテナが停止しましたか?その IP は DNS から消えます。新しいコンテナが起動しましたか?その IP が表示されます。HAProxy はそれを自動的に検出します。

Docker ソケットのマウントなし。ラベル解析なし。動的な設定生成なし。静的な設定ファイルで、うまく機能します。サービスメッシュなし。サイドカーなし。オペレーターなし。マジで。

ステップ 3: ローリングデプロイ

これがデプロイスクリプト全体です:

prod-deploy:
	@echo "=== Zero-downtime rolling deploy ==="
	@for cid in $$(docker compose -f docker-compose.prod.yml ps -q backend); do \
		echo "Replacing $$cid..."; \
		docker stop $$cid && docker rm -f $$cid; \
		docker compose -f docker-compose.prod.yml up -d --no-deps --no-recreate --wait backend; \
	done
	@echo "=== Deploy complete ==="

それだけです。何が起こるか見てみましょう:

  1. 実行中のバックエンドレプリカのすべてのコンテナ ID を取得します。
  2. 各レプリカについて、1つずつ:
    • コンテナを停止して削除します。
    • HAProxy は2秒以内に欠落したバックエンドを検出します(DNS 再解決)。
    • トラフィックは残りの正常なレプリカに切り替わります。
    • 更新されたイメージで新しいコンテナを起動します。
    • --wait は Docker のヘルスチェックがパスするまでブロックします。
    • HAProxy は DNS 経由で新しいバックエンドを検出します。
    • トラフィックは新しいコンテナに流れ始めます。
  3. 次のレプリカに進みます。

デプロイのあらゆる時点で、少なくとも1つの正常なバックエンドがトラフィックを処理しています。--no-recreate フラグは、Docker がまだ置き換えていないレプリカに触れるのを防ぎます。

その2秒間の DNS ウィンドウ中に停止中のコンテナにヒットしたリクエストは?正常なレプリカで自動的にリトライされます。クライアントは決して知りません。

私たちのセットアップの数字

StatusDude では、このセットアップは以下を処理します:

  • 毎分数千件のモニタリングチェック(3地域にまたがる)
  • 1日に複数回のデプロイ(リクエストドロップなし)
  • バックエンドがダウンした場合の2秒未満のフェイルオーバー
  • 約60行の HAProxy 設定と 10行のデプロイスクリプト

私たちは Traefik(404、502、リクエストドロップ、4時間のデバッグ)から HAProxy(リクエストドロップゼロ、最初のデプロイ)へ、ある午後に移行しました。時には、退屈で実績のあるツールが正しい選択です。まあ、OK、「時々」ではなく、かなりの頻度で ;-)

P.S. Nginx でも可能でしたが、今回は HAProxy を使う気分でした :)