ConvoxでDocSpringを8年間運用して
Eight years of running DocSpring on Convox (docspring.com)
要約
この記事は、DocSpringが2018年にHerokuからAWSへ移行し、Convoxプラットフォームを利用して8年間インフラを運用してきた経験を共有しています。Convoxの「設定より規約」のアプローチが、インフラの理解を深めつつ製品開発に集中することを可能にしたと述べています。記事では、Convoxの設定方法、Terraformによるカスタマイズ、アクセス制御、そしてAWSでの運用コストについても詳細に解説しています。
全文翻訳
ConvoxでDocSpringを8年間運用して
DocSpringを2018年にHerokuからAWSに移行しました(当時はまだFormAPIという名前でした)。AWSの無料クレジットが付与され、それを自分でデプロイメントプラットフォームを構築せずに使いたかったのです。Convoxは、アプリケーションを記述し、デプロイし、製品開発に戻ることができる、すぐに使えるプラットフォームを提供してくれました。
Convoxは、インフラストラクチャのための設定より規約です。私は、その実装のすべてを理解する前に使用できるプラットフォームから始めました。その実装から学び、Terraformの設定をより多く引き継ぎ、アプリケーションのワークフローを維持しながら、私たちの要件に合わせて適応させました。
これは、2018年7月に私が書いたHacker Newsのコメントです。ローリングデプロイメントとAWSクレジットの使用に熱狂していました。それ以来、私たちのインフラストラクチャはECSからKubernetesに移行し、独自のセキュリティおよびコンプライアンス制御を構築し、独自のアクセスレイヤーを追加しました。
Convoxは、David Dollar、Noah Zoschke、Matt Manningによって設立されました。彼らは皆、Heroku出身です。そのため、すでにHerokuを使用したことがあるなら、Convoxは非常に馴染み深く感じるかもしれません。Convoxは、プラットフォームのインストールをラックと呼びます。オープンソースのラックはApache-2.0ライセンスで、あなたのクラウドアカウントで実行され、ドキュメント化されたCLIインストールパスがあります。個別のConvox Consoleは、Webインターフェースとチームワークフローを追加し、無料および有料プランがあります。ラックは独立して使用できます。
今日、私たちのチームは米国に本番ラックを1つ、EUに1つ、ステージングラックを1つ運用しています。また、一部のエンタープライズ顧客のためにConvoxラックの保守も支援しています。
通常のデプロイメントの外観
Railsアプリケーションの場合、通常はWebプロセス、バックグラウンドワーカー、およびいくつかのスケジュールされたコマンドが必要です。Convoxでは、これらをconvox.ymlで記述できます。
この簡略化された設定は、Dockerfile、Sidekiq、/upのヘルスエンドポイント、およびreports:dailyのrakeタスクを持つ既存のRailsアプリケーションを想定しています。データベースとRedisは別途プロビジョニングされています。
environment:
- RAILS_ENV=production
- SECRET_KEY_BASE
- DATABASE_URL
- REDIS_URL
services:
web:
build: .
command: bundle exec rails server -b 0.0.0.0 -p 3000
port: 3000
health: /up
scale:
count: 2
worker:
build: .
command: bundle exec sidekiq
timers:
daily-report:
schedule: "0 3 * * *"
service: worker
command: bundle exec rake reports:daily
この設定は、2つのWebプロセスと1つのワーカーを宣言しています。タイマーは、03:00 UTCにワーカーサービスの構成を使用して別のプロセスを開始します。デフォルトのない環境エントリは、アプリの設定を通じて供給する必要があります。それらの値はこのファイルには含まれません。
CLIは選択したラックを記憶し、現在のディレクトリからアプリを選択します。
convox deploy
convox logs
convox run web bundle exec rails console
最初のコマンドはコンテナをビルドし、ビルドとアプリの環境変数をペアにしたリリースを作成し、それをローリングデプロイメントでプロモートします。新しいプロセスは起動し、古いプロセスが置き換えられる際にヘルスチェックに合格します。起動またはヘルスチェックの失敗は、ロールアウトを前のリリースにロールバックさせる可能性があります。他のコマンドは、アプリケーションのログを追跡したり、Railsコンソールを開始したりできます。
convox.ymlマニフェストは、カスタムドメイン、リソース制限、オートスケーリングも処理し、ConvoxはLet's Encrypt証明書を管理します。そのリソースは、データベースやキャッシュをプロビジョニングできます。postgresはコンテナ内で実行され、rds-postgresはAWS管理のデータベースを作成します。別途管理しているデータベースに接続することもできます。
Terraformへの成長
最初にAWSやDevOpsの経験はあまりありませんでした。Convoxを研究し、それを変更および拡張する方法を理解することで多くを学びました。
Convox v2はCloudFormationとAmazon ECSを使用していました。2020年2月に、ConvoxはTerraformを通じてインストールされるKubernetesベースのマルチクラウドプラットフォームを発表しました。AWSでは、v3はAmazonのマネージドKubernetesサービスであるEKSを使用しています。Google Cloud、Azure、DigitalOceanもサポートしています。
CloudWatchの設定を追加し、証明書のDNS検証をカスタマイズしたいと思ったときに、ラックのTerraformを直接管理し始めました。また、データベースとストレージインフラストラクチャを同じ場所で管理したいとも思いました。Convoxから始めることで、すでに動作しているアプリケーションプラットフォームの周りでそれらの変更を行うことができました。
ConvoxのAWSシステムモジュールは、クラスター、ラックAPI、ロギングを統合します。そのクラスターモジュールは、ネットワーキングとEKSを管理します。ノードはデフォルトでNATゲートウェイの後ろのプライベートサブネットで実行されます。管理エンドポイントには個別のアクセス設定があります。
これらのモジュールを独自のインフラストラクチャリポジトリから使用できます。この抜粋は、モジュールとラックのリリースを一緒にピン留めし、新しいラックのためにContourイングレスコントローラーを選択しています。
module "rack" {
source = "git::https://github.com/convox/convox.git//terraform/system/aws?ref=3.26.0"
name = "example-staging"
region = "us-east-1"
release = "3.26.0"
private = true
router_type = "contour"
}
例ではConvox 3.26.0を使用しています。私たちのデプロイメントは現在、カスタマイズされた3.25.14ベースを使用しています。完全なTerraformセットアップには、認証情報、状態ストレージ、およびアクセス設定も必要です。
最終的にはかなりのカスタムTerraformを作成しました。その頃には、変更していることの多くを理解しており、ワークフローの下にはConvoxのビルド、リリース、アプリケーションAPIがまだありました。(Cloudflare、Tailscale、CircleCI、すべての監視ツール、その他多くのものを管理するためにもTerraformを使用しています。)
私たちのアクセス制御
SOC 2の作業により、個別の権限、機密操作の承認、および発生したことの証拠が必要になりました。私たちはRack Gatewayを構築することを選択しました。これはConvox APIの独立したプロキシであり、プライベートTailscaleネットワーク経由でアクセスできるようにしました。これらは私たち自身のワークフローのための追加機能であり、新しいConvoxラックには必要ありません。公式のConvox Consoleは、プランに応じて独自のチームアクセスおよび監査機能を提供します。
Rack Gatewayは現在、エージェントコマンドとデプロイメントのセキュリティキー承認を処理しています。エージェントが実行したいRubyを確認でき、コマンド設定はデフォルトで読み取り専用のデータベースユーザーを使用します。デプロイ承認は、一致するCircleCIの保留を解除します。私たちのRack Gatewayに関する投稿は、実装と監査証跡についてさらに詳しく説明しています。
ConvoxのAPIにより、これらの制御を追加しながら、デプロイメントシステムを維持することができました。これらは、私たちのポリシーと運用手順とともに、SOC 2プログラムをサポートしています。
[画像: Convoxアーキテクチャ:標準のCLIとConsoleはラックAPIに接続します。DocSpringはプライベートTailscaleアクセスとRack Gatewayの承認を追加します。アプリケーションユーザーはイングレス経由で接続します。]
上部のパスは標準の管理インターフェースを示しています。DocSpringの設定では、管理リクエストはゲートウェイを経由し、ラックAPIへの直接アクセスを制限しています。どちらの場合も、アプリケーショントラフィックはイングレスを経由します。
私たちがまだ維持しているもの
独自のインフラストラクチャを管理することには多くの責任が伴います。私たちは、Terraformのカスタマイズとともに、アップグレードスケジュール、監視、バックアップ、および復元テストを所有しています。イングレスコントローラーの置き換えのような大規模なプロジェクトは、アプリケーションのデプロイと運用の日常業務とは別です。
最近では、セキュリティとコンプライアンス体制の強化にはかなりの作業が伴いました。Redis TLS、バックアップと監査ログの削除からの保護、有用なインシデントログの保持、ネットワークアクセス制御の変更などです。
ingress-nginxの置き換えもまた、かなりの作業でした。アップストリームプロジェクトは2026年3月に引退します。Convoxは独自のビルドを提供しており、Contour/Envoyをすでにサポートしていますが、そのドキュメント化された切り替え手順では、アプリが再デプロイされるまでオフラインになります。私たちはフォークでゼロダウンタイムの移行を構築し、それを使用してラックをContourに移行しました。
移行では、新しい接続がEnvoyに向かっている後でも、Cloudflareがnginxに開いていた接続を考慮する必要がありました。古いルートを削除する前に、nginxのアクセスログが静かになるのを待ちました。また、Envoyのアクセスログ収集と編集を追加し、証明書処理のバグを2つ修正しました。これらの変更は私たちのフォークに含まれており、アップストリームに提供しました。
Convoxは積極的にアップデートをリリースしています。3.26.0は11月5日にリリースされました。私がゾーン間でポッドを分散する方法の修正を提出したとき、メンテナーはそれを3.25.14に含めると返信しました。必要に応じて修正を提供できますが、私たちのセットアップに固有である間はそれを維持する必要があります。
3つのAZのAWSラックのコスト
独自のAWSアカウントでConvoxラックを実行すると、AWSの請求が発生し、特にHetznerのような安価なプロバイダーを使用する場合、アプリケーションをVPSで実行するよりもかなり高くなる可能性があります。以下は、米国東部(バージニア北部)の価格設定を使用した、1つの構成の概算です。
複数の小規模なアプリケーションは、容量が許す限りラックを共有でき、固定コストをそれらのアプリに分散できます。この構成では、3つのアベイラビリティゾーン、プライベートノード、およびパブリックルーターを使用しています。
| コンポーネント |
| --- | EKSコントロールプレーン、標準バージョンサポート |
| NATゲートウェイ |
| ネットワークロードバランサー、固定料金 |
| NATおよびルーター用のパブリックIPv4アドレス |
| Linux t3.mediumワーカーノード |
| ノードブートディスク、ベースラインパフォーマンスのgp3 |
| 使用料金とデータベース前の小計 |
出典:AWSのEKS、NATとIPv4、ロードバランサー、T3およびgp3の価格設定。
そのうち約210ドルは、コントロールプレーンと固定ネットワーク料金です。ワーカーはConvoxのサービスとアプリケーションの両方をホストします。残りの容量はワークロードに使用できるものです。データベース、バックアップ、イメージストレージ、ロギング、トラフィック料金、ロードバランサー容量料金、およびCPUバースト料金は別途追加してください。オートスケーリングでノードが追加されることもあります。EKS拡張バージョンサポートは、標準サポートよりも高価です。これは、Convoxを最新の状態に保ち、最新のサポートされているKubernetesバージョンを使用する良い理由です。
個別のステージングラックには、独自のベースラインコストがあります。ホストされたプラットフォームは、クラウドアカウントを制御する必要がない場合、多くの場合、より良い出発点となります。
今日ならこれを選びますか?
Herokuスタイルのデプロイメントを独自のクラウドアカウントで、要件の成長に合わせてカスタマイズできるインフラストラクチャで実行したいチームには、Convoxを再び選びます。オープンソースのラックとそのTerraformモジュールは、検査および拡張できる基盤を提供します。Convoxは、エンタープライズのオンプレミスインストールに推奨していますが、顧客はDocSpringのDockerイメージを自由に実行できます。
私たちのセキュリティとコンプライアンスの作業はその成長の一例です。厳格なSOC 2またはHIPAA要件を持つチームにとって、Aptibleも検討すべきもう一つの堅実な選択肢です。親しみやすさは私のConvoxへの好意の一部です。その仕組みと変更箇所を知っており、運用経験はAWSにあります。
実験として試す
データベースや実際のアプリケーションデータが不要な最初の実験として、ConvoxのApache httpd例から始めることをお勧めします。サンドボックスAWSアカウント、AWS CLI、Terraform、およびConvox CLIを使用してください。CLIインストールガイドの認証情報と権限の設定に従い、専用ラックをインストールします。
convox rack install aws convox-evaluation --version 3.26.0 \
region=us-east-1 node_type=t3.medium private=true \
high_availability=true router_type=contour
convox switch convox-evaluation
git clone https://github.com/convox-examples/httpd.git example-httpd
cd example-httpd
git checkout c37afd4a6f7c799f044b71ff895ef81d592dd46b
convox apps create
convox deploy
convox services
convox logs
ラックのプロビジョニングには約5〜20分かかります(プロバイダーによります)。セットアップ、デプロイ、クリーンアップには追加の時間を見込んでください。上記の構成を使用すると、4時間は使用料金前の固定料金で約2ドルです。短時間の評価のために10ドルを予算計上し、後で請求書を確認してください。
終了したら、サンプルアプリと専用ラックを削除します。
convox apps delete example-httpd
convox rack uninstall convox-evaluation
削除が完了するのを待ち、ストレージやログを含む、保持されているAWSリソースを確認してください。
その実験で、日々のワークフローが気に入るかどうか判断できるはずです。8年前、それが私を始めるのに十分でした。実装が調査および拡張可能であることが、私たちがまだそれを使用している理由です。