Cloudflareが全ユーザー向けにセルフマネージドOAuthを開始
Cloudflare launched self-managed OAuth for all (blog.cloudflare.com)
要約
Cloudflareは、開発者がCloudflare APIへの委任されたアクセスに対して独自のOAuthクライアントを管理できるセルフマネージドOAuthを発表しました。これにより、SaaS連携、社内開発プラットフォーム、エージェントツールなどの構築が容易になります。Cloudflareは、セキュリティモデルの改善、同意体験の明確化、失効機能の追加、そして基盤となるOAuthエンジンの大規模なアップグレードを通じてこの機能を実装しました。
全文翻訳
全ユーザー向けOAuthでCloudflareアプリエコシステムを解放
Cloudflareは、ウェブの20%を支えるサービスを提供していますが、それは単独で行っているわけではありません。当社のプラットフォーム上の開発者は、他の企業からの無数のツールやサービスも利用しています。Cloudflareは、開発者が自動化、CI/CD、インフラストラクチャの様々な部分を連携させるインテグレーションを作成できるようにする、豊富なAPIを提供しています。今月初め、CloudflareはセルフマネージドOAuthを発表し、顧客がCloudflare APIへの委任アクセス用に独自のOAuthクライアントを作成・管理することを容易にしました。
CloudflareはOAuthに新規参入したわけではありません。Wranglerを使用したり、PlanetScaleのようなパートナーからのインテグレーションを使用したことがあるなら、既にOAuthを利用したことがあるはずです。しかし、これまではサードパーティOAuthは、手動でオンボーディングされた少数のインテグレーションを通じてのみ利用可能であり、より広範な開発者には提供されていませんでした。そのため、独自のインテグレーションを構築する開発者は、管理が難しく、多くの委任アプリケーションフローに適さないAPIトークンに頼る必要がありました。
昨年1年間、私たちは増加する初期パートナーをオンボーディングする一方で、Cloudflare OAuthの背後にある同意、取り消し、セキュリティモデルを改善してきました。しかし、当社のDeveloper Platformが成長し、エージェントツールが委任アクセスへの需要を牽引するにつれて、プラットフォームの成功には、すべての顧客にOAuthを開放することが不可欠であることが明らかになりました。
セルフマネージドOAuthにより、開発者は標準的なOAuthフローを提供できるようになり、顧客はスコープされたアクセスを直接付与できます。これにより、SaaSインテグレーション、内部開発プラットフォーム、エージェントツールの構築が容易になり、ユーザーにはより明確な同意、簡単な取り消し、アプリケーションができることに対するより多くの制御が提供されます。
エコシステムのスケーリングを安全に
以前のOAuthソリューションは、少数の慎重に管理されたパートナーには十分でしたが、当社の権限モデル、同意エクスペリエンス、および潜在的な悪用ベクトルを軽減する方法がまだ成熟していないことに気づきました。
今年の初め、同意エクスペリエンスを更新し、どのアプリケーションがアクセスを要求しているのか、そしてどのような権限が付与されるのかをより明確にしました。また、ダッシュボードに取り消し機能を追加し、開発者がどのアプリケーションにデータへのアクセス権があるかを簡単に制御できるようにし、OAuthフィッシング攻撃を防ぐためにアプリの所有権をより可視化しました。
セルフマネージドOAuthをすべての顧客に開放するには、基盤となるOAuthエンジンの大規模なアップグレードも必要でした。このプロセスは、ユーザーへの影響を最小限に抑えつつ、データの安定性とセキュリティを確保するために、多くの計画を必要としました。
OAuthエンジンのアップグレード計画
数年前、Cloudflare OAuthの基盤として、オープンソースのOAuthエンジンであるHydraを導入しました。この導入は、利用が限定的だった頃は役立ちましたが、開発者プラットフォームが成長し、エージェントワークフローが一般的になるにつれて、新しい機能を解放しパフォーマンスを向上させるためには、大規模なアップグレードが必要であることが明らかになりました。
アップグレードを計画するにあたり、1回の大きなアップグレードではなく、2回の小規模な逐次アップグレードを行うことにしました。まず、最新の1.Xリリースに移行し、動作やパフォーマンスの変更を評価してから、2.Xへのアップグレードに進むことにしました。
アップグレード計画中、Hydraのデータベースには広範なスキーマ移行が必要であり、それが顧客に影響を与える可能性があることが判明しました。これらの移行は以下の問題を引き起こしました。
- 重要なテーブルに対する排他的ロックを要求する形でインデックスを作成し、アクティブなユーザーが重要なOAuth操作を実行できないようにする。
- 重要なテーブルにカラムを追加し、他のカラムを新しいテーブルに移動させる。
また、使用していたHydraのバージョンには、SDKがSELECT *操作を実行するという特異な動作があり、スキーマ変更によるデシリアライゼーションの問題を引き起こしていました。
ユーザーへの影響を防ぐため、CREATE INDEX CONCURRENTLYのような機能を使用するようにSQL移行を書き直し、スキーマ変更で問題を起こさないように、明示的なカラムを選択するカスタムバージョンのHydraを構築しました。
最新の1.Xアップグレードが計画されたので、さらに大規模な2.Xアップグレードのための計画を作成する必要がありました。3つの潜在的なオプションを特定し、それぞれのメリットとデメリットを検討しました。メジャーバージョンアップに伴う膨大なスキーマ変更のため、インプレースアップグレードは私たちには機能しませんでした。ブルーグリーン戦略が有効であると判断しましたが、新しいバージョンを使い始めるためにスイッチを切り替える以上の作業が必要でした。アップグレードと移行プロセスには数時間かかり、その間システムは正しく機能し続ける必要がありました。
最初のブルーグリーンオプションでは、データベースへの書き込みを無効にし、新しい承認が発生しないようにしました。これにより、移行中に失われることはありませんでしたが、アップグレード中に有効な認証情報を持っているユーザー以外は既存のOAuthアプリを使用できなくなりました。また、別の大きな問題も発生しました。ユーザーが何らかの理由でアプリケーションへのアクセスを取り消す必要があった場合、アップグレード中はそれが不可能でした。
これらの問題に対処するため、書き込みをデータベースで有効にしたままにする方法を考案しました。ただし、グリーンバージョンへの切り替え時に一部の書き込みが失われる可能性がありました。まず、新しいトークンの書き込みを最小限に抑える方法を解決する必要がありました。運用上のレバーとして、トークンの有効期限を数時間に延長しました。これにより、アップグレード前に新しいトークンを受け取ったアプリは、リフレッシュすることなく使用を続けることができました。
書き込みの削減が解決されたので、アップグレードウィンドウ中にユーザーが行った取り消しを失わない方法を考案する必要がありました。これを実現するために、キューシステム(Cloudflare Queuesを使用!)を作成しました。取り消しイベントが発生した後、その取り消しに関する情報を含むレコードがキューに書き込まれます。これにより、データベースがグリーンバージョンに切り替わった後にキューをドレインし、失われた可能性のある時間枠内で行われたすべての取り消しイベントをリプレイできるようになります。これは、ユーザーが取り消したアプリケーションへのアクセスが誤って復元されるのを防ぐために、正しく行うことが極めて重要でした。
アップグレードの実行
1.Xへのアップグレード
運用上の観点から、最後の1.Xリリースへの最初のアップグレードは問題なく完了しました。カスタムデータベース移行は予想よりも速く実行され、ユーザーへの影響はありませんでした。古いバージョンは新しいバージョンで作成されたトークンをイントロスペクトできなかったため、ハードカットオーバーを行う必要がありました。
カットオーバー後、以前は見られなかったリフレッシュトークンエラーの増加が見られました。これは、新しいバージョンでのリフレッシュ無効化の動作が厳格になったためでした。リフレッシュトークンが再利用されると、Hydraはアクセスおよびリフレッシュトークンのチェーン全体を無効にしていました。これはWranglerおよびMCPクライアントにとって問題でした。これらのクライアントはリクエスト量が多く、単一のリフレッシュトークンの再利用がセッション全体を無効にしていました。
OAuthトラフィックを適切な宛先にルーティングするWorkerにリフレッシュトークン合算動作を追加することで、これを緩和しました。これにより、Hydraに到達する前にリフレッシュトークンリクエストを一時的にキャッシュし、リトライを検出した場合にリクエストをショートサーキットしてトークンを無効にすることなく応答できるようになりました。幸いなことに、Hydraの2.Xバージョンには設定可能な「リフレッシュトークン猶予期間」があり、これによりリフレッシュトークンがチェーン全体を無効にすることなく一定期間リトライできるようになり、この問題を解決します。
2.Xへのアップグレード
数時間にわたるユーザーへの影響が大きいアップグレードは許容できないため、ブルーグリーンアップグレード戦略を採用しました。大まかに言うと、これはシンプルに聞こえます。移行は本番データベースのコピーで実行され、完了後に新しいHydraバージョンと共にカットオーバーされます。実際には、はるかに多くの要素が関わっていました。
- 取り消しリプレイキャプチャキューの有効化
- データベースを新しいターゲットにコピーして復元
- ターゲットデータクリーンアップ — 既存のデータが新しいバージョンで導入された一部の制約に違反しており、移行が成功しない可能性がある。
- Hydraサービスと、エラーを防ぐために同時に2つの追加の重要な内部システムでカットオーバーを実行する。
- カットオーバー後の監視と検証
[画像: BLOG-3319 Image 1]
Hydraの秒間リクエスト数が最も少ないアップグレードウィンドウを選択し、失われるトークン書き込みを最小限に抑えました。タイムアウト調整の一部を除き、本番移行は新しいデータベースに対してうまく実行されました。本番での正味実行時間は約3時間でした。移行完了後、新しいHydraサービスバージョンを慎重にロールアウトし、さらに2つのシステム構成を切り替えて、システムが新しいSDKバージョンを使用するようにしました。
トラフィックを切り替えた直後、承認サービス(Hydraの同意セッションAPIに依存)のデータクリーンアップジョブが、OAuthポリシーデータのパージを過剰に行っていることが判明しました。調査の結果、Hydraの移行の1つに問題があり、特定の有効なOAuthセッションの状態が破損し、移行によって無効とマークされたことがわかりました。有効なセッションが破損したことで、Hydraと当社の承認サービスの間で不一致が生じ、403エラーの増加として現れました。これを緩和するために、データ復元を行い、静的なポリシーデータへの依存を削除するためのOAuth承認動作の改善に着手しました。
データクリーンアップの問題以外にも、特定のクライアントの動作に起因するいくつかの追加の小さな修正を迅速に実施しました。
Hydraバージョンのアップグレードが完了し、OAuthトラフィックは安定しており、顧客向けのシステムパフォーマンスと信頼性が向上しました。また、本番環境がステージングで既に検証されていた新しいOAuth APIと同じ基盤上に構築されたことで、6月3日のセルフマネージドOAuthリリースへの道が開かれました。
パフォーマンスの向上
このような大規模なアップグレードが完了した後、広範なメトリクスがもたらした影響を調べることは、常にやりがいがあり、示唆に富むものです。データベース移行中に追加のメトリクスを収集し、アップグレード完了後にかなりのパフォーマンス向上が見られました。
データベース
| メトリック | おおよその値 |
|---|---|
| 更新された行数 | 132.5M |
| 挿入された行数 | 114.7M |
| 一時バイト数 | 136.97GB |
| トランザクションコミット数 | 22.2k |
Hydraのパフォーマンス
| メトリック (平均) | 前 | 後 | 変化 |
|---|---|---|---|
| API P95 | 185ms | 101ms | -45% |
| RSSメモリ | 888MB | 763MB | -14% |
| Goヒープ割り当て | 449MB | 271MB | -40% |
| Goroutines | 4015 | 3076 | -23% |
| CPU | 1.07コア | 0.67コア | -37% |
全ユーザー向けセルフマネージドOAuth
OAuthをすべての顧客に開放することは、より広範なCloudflareアプリエコシステムに向けた重要な一歩です。今日、あらゆるCloudflare顧客が独自のOAuthアプリケーションを作成し、Cloudflare上にインテグレーションを構築できます。CloudflareのセルフマネージドOAuthを全ユーザー向けにローンチできることを非常に嬉しく思います。
開始するには、ドキュメントをご覧いただくか、ダッシュボードのOAuthアプリページに直接アクセスして、最初のOAuthアプリを作成してください。