いつもDNSの問題、なぜ自前で運用しているのか?
It's always DNS, so why are we running our own? (s2.dev)
要約
S2.devは、無制限のバシン(名前空間のコアコンストラクト)を顧客に提供するために、AWS Route 53のAPIレート制限に直面しました。この制限により、自社で権威DNSサーバーを構築・運用する必要が生じ、最終的にはCloudflareのDNS Firewallソリューションを採用して、セキュリティと可用性を確保しました。
全文翻訳
いつもDNSの問題、なぜ自前で運用しているのか?
Route 53と自社の権威DNSサーバーを置き換えることになった、ジェットコースターのような物語をお届けします。
私たちの生活が変わる前
ある時点で、顧客に無制限のバシンを提供できるようになるべきだと判断しました。バシンはS2のコアな名前空間コンストラクトであり、ストリーム(既に数に制限がない)のトップレベルコンテナとして機能します。顧客が1アカウントあたり100という、それほど任意ではない制限を回避しようとしていることがわかりました。これは良い経験ではありません。
この物語の目的のために重要なのは、顧客が作成する各バシンが独自のサブドメインになることです:my-basin.b.s2.dev(AWS S3のバケットの仕組みと何ら変わりありません)。各バシンに関連付けられたDNSエントリはCNAMEであり、クライアントを私たちのアーキテクチャの正しいセルにルーティングします。無制限のバシンをサポートするには、無制限のDNSレコードをサポートする必要があるということです。
これらのレコードは強力な一貫性も必要とします。バシンが作成されると、そのアドレスは即座に解決可能でなければなりません。そうでなければ、クライアントはキャッシュされたNXDOMAINが期限切れになるのを待つことになります。
自社でDNSサーバーを運用するという考えに、私の心臓は高鳴りました。やれやれ!
既存システムへのフック
私の調査フェーズは希望とともに始まりました。既存のAWS Route 53とのDNSセットアップがこれらの新しい要件で機能するのではないかという希望です。私は本当に、本当に自社でDNSサーバーを構築・運用したくありませんでした。
Route 53は素晴らしいシステムであり、無制限の数のレコードをサポートできるようです。しかし、致命的な制限があります:APIのレート制限は、1秒あたり約5 UPSERT(更新・挿入)に制限されています(AWSのスロットリングドキュメントは最近変更され、制限は現在より高くなっている可能性があります)。
これは実際に、私たちが苦労して発見したことです。ドキュメントは読みましたが、API制限は懸念を引き起こしませんでした。悪意のあるアクターが数万のバシンを急速に作成し、Route 53レコードのクォータ全体を飽和させたときに、それは明らかになりました。これにより、数時間かかる処理のバックログが発生し、その間、プロセスがレコードを削除しようとしたり、他のプロセスが新しいレコードを追加しようとしたりして、通常のDNS更新が停止しました。しかし、インシデント後のレビューには素晴らしい材料となりました。このとき、私たちはアカウントあたりのバシン数を100に制限するようになりました。
バッチ処理のオプションを検討しましたが、それはエントリを即座に利用可能にするという目標を損なうことになります。そしてバッチ処理を行ったとしても、セットアップは「無制限」とは感じられず、システムの正当な使用でもレート制限に達する可能性がありました。
検討した他のマネージドDNSプロバイダー(GCP Cloud DNS、Cloudflare、Azure DNS)も同様の制限があります:プロバイダーAPIを使用してレコードを更新/挿入/UPSERTする場合、重い制限コンポーネントがあります。
他に方法はありませんでした。カスタムの権威DNSサーバーを構築する必要がありました(さらにやれやれ!)
新しいDNSシステム
[画像: 私たちの新しい権威DNSサーバー]
技術的な要件は非常にシンプルでした:入ってくるDNSリクエストに対して、無制限のレコードを保持できる最新のゾーンマップをクエリし、対応する応答をクライアントに返す必要があります。
別のシステムと同期して、さらに別の可動部品を持つことを避けるために、DNSレコードは既存のバシンデータベースから直接取得されるようにしました。ライブSELECTは、DNSリクエストで必要なマッピングを一貫して「解決」します。言い換えれば、DNSが既存の、強力に一貫性のあるアカウントデータベースの新しい呼び出し元になることを望んでいました。
私たちのアカウントデータベースはGoogle Cloud Spannerにあり、パフォーマンスは良好であると期待されていました(十分なお金があればですが)。
次にコア機能に移りました。
ライブラリ上に構築するか、CoreDNSモジュールを記述するかの間で、何度も検討しました。ライブラリは、私たちのユースケースに非常に特化したものを作成できる、最も柔軟なパスのように感じられました。私たちはRustショップですが、このプロジェクトではGoを選択しました。これは主に、Spannerのツール(およびGCPエコシステム)が比較的成熟しているためです。優れたドキュメント品質と多くのRFCをサポートしているmiekg/dnsライブラリにすぐに落ち着きました。
いくつかのレコードタイプ(A、AAAA、NS、CNAME、SOA)に対する権威DNSクエリをサポートする必要がありました。ライブラリを使用していたため、応答は自分で構築する必要がありました。私たちの正確性テストはこれらに焦点を当て、単体テスト、Ferretを使用したRFC準拠テスト(この素晴らしい論文で発見しました:SCALE: Automatically Finding RFC Compliance Bugs in DNS Nameservers)、およびライブデータでのデプロイ後のスモークテストで構成されました。
S2はバシンゾーンにワイルドカード証明書を使用しており、ACME DNS-01チャレンジが機能する必要があります。私たちはサーバーからDNSチャレンジを提供しないことを決定し、証明書の更新システムを調整したり、動的なTXTレコードを提供したりすることを避けるために、CNAME委任を使用して別のRoute 53ゾーンにオフロードしました。
その後、人気のあるAIシステムと数回の計画セッションを行いました。設計は非常にシンプルで、すべてが理にかなっていました(私にとっても)。ただし、推奨事項には常にさまざまな追加機能が含まれていました:コレスシング、ネガティブキャッシング、スロットリング、レート制限、DNSクッキーなど。オープンで恐ろしいインターネット上でライブで動作するシステムとしては予想通りですが、多くの保護が提案されました。
この糸をたどるほど…恐ろしくなりました。DNSレベルで発生する可能性のある攻撃は数多くあります。知っていた恐ろしいことや、聞いたこともない恐ろしいことがあります。
NXDOMAIN攻撃は私たちを最も恐れさせたものです。存在しないランダムなDNSクエリごとに、新しいデータベースルックアップが発生します。私たちはNXDOMAINのアプリ内防御を構築しようとしましたが、私の意見では、それは最悪のDDoS攻撃であり、実際には何も止めることはできません。良くないです。
DNSファイアウォールのためのケース
長くなりましたが、DNSインフラストラクチャに対する可能な攻撃は、私が認めたくないほど私を怖がらせました。DNSファイアウォールソリューションを探し始めました。DNSサーバー向けの逆プロキシセットアップのようなものがあるはずだと確信していました。これはニッチなセットアップであるか、非常に危険な世界であるかのどちらかですが、無制限のレコードとDNSリバースプロキシファイアウォールタイプの要件に対して、私たちは2社しか見つけられませんでした:CloudflareとAkamaiです。どちらもそれぞれの分野で巨大であり、どちらも同様のオファリングを持っています(公開価格設定がないタイプです)。
数回のPOCの後、私たちはCloudflareのDNSファイアウォールソリューションを選択しました。私たちのDNSサーバーのオリジンは、Cloudflareの既知のIPからのトラフィックのみを許可するように設定されていました。これは標準的な逆CFセットアップです(Cloudflareが前面にあり、他の誰もオリジンに到達できない、そうでなければ何の意味があるのか)。この欠けていたピースにより、最終設計に到達し、新しいシステムを本番稼働させる準備ができました。
権威DNSサーバーとして、SOAおよびNSクエリに応答する必要があり、それらはネームサーバーIPを指します。返されるIPが常にロードバランサーのIPではなくCloudflareのIPであることを確認するために細心の注意を払いました。これには、一部の回帰変更の一部としてオリジンIPが漏洩しないことを保証するns-leak-testが含まれていました。
最終アーキテクチャ
[画像: 保護された同じ権威サーバー]
最終的なアーキテクチャとHA(はい、障害は常に発生します)のために、DNSサーバーを2つの別々のGKEクラスター(別々のリージョン、Spannerに最も近いものを選択)で実行し、それぞれがTCPおよびUDPロードバランサーの後ろに複数のレプリカを持っています。
オブザーバビリティと新しいシステムに関する全員のトレーニングも、ロールアウトの重要なコンポーネントでした。Route 53について誰も気にしないと思いますし、誰もそれを個別に監視していないと思います(マネージドサービスは結局のところ誰かのページャーです)、アラートとランブックを作成し、障害から回復するための深夜プロセスを実行する必要がありました。
このセットアップには面白い部分が一つあります。完全な委任チェーンの説明です。メインドメインは通常のゾーンでCloudflareによって管理されています。次に、バシンサブドメインをCloudflareに委任しますが、ゾーンではなくサービス(DNSファイアウォール)に委任します。そのサービスはGKEに接続します。そして、証明書のためにRoute 53にもう一つゾーンがあります(それを理解するのは大変です、Codex)。
これはまだ最終形ではありません。内部TODOには、DNSキャッシングのチューニングと、クライアント/DNSファイアウォール/DNSアプリ間の適切な最適化方法(AIでも解決できない)、将来のDNSSEC拡張などが含まれています。これは、私たちが気づかない障害(または私がこのことを考える方法、見た目は問題ないのにどうやって障害を知るのか)に関しては未知のシステムです。
[画像: 提供されたクエリ]
今のところ、状況は安定しています。過去数週間の統計を見ると、ライブトラフィックは良好で、過去数週間のコミット履歴は主にCVE修正、依存関係の更新、コスト削減です。顧客は現在数千のバシンを作成しており、ストリーミングですぐに利用できるようになっています。
これで、インシデント後のレビューでDNSのせいにする場所ができたと思います。