なぜWireはCloudflare Durable Objectsから移行するのか
Why we're moving off Cloudflare Durable Objects (usewire.io)
要約
AIエージェントのコンテキストコンテナとしてCloudflare Durable Objects(DO)を利用してきたWireは、4つの構造的な限界(ベクトルインデックスの分離、データとコンピューティングの距離、配置の固定性、セルフホスティング不可)により、自社開発のデータプレーンへ移行することを決定しました。この移行により、検索パフォーマンスが大幅に向上し、より柔軟な配置と専用リソースの提供が可能になりました。
全文翻訳
WireがCloudflare Durable Objectsから移行する理由
WireはAIエージェントのためのコンテキストコンテナです。これは、MCP経由でクエリされる、処理済みの知識(エントリー、埋め込み、知識グラフ、来歴グラフ)の隔離されたストアです。当初から、すべてのコンテナはCloudflare Durable Objectでした。
それが変わろうとしています。私たちはコンテナランタイムを一から再構築し、同一データで旧ランタイムと比較ベンチマークを行い(同じコンテナ、同じ質問、同じジャッジ)、最初のワークスペースは自社構築のデータプレーンに移行しました。これがベンチマークの背景にあるストーリーです。
これは「Cloudflareを離れる」という投稿ではありません。私はCloudflareを愛しており、Wireは可能な限りCloudflare上に留まります。API、フロントエンド、コントロールプレーン、そして処理のすべては引き続きWorkers上で実行されます。Durable Objectsは、数千もの小さく、ほとんどアイドル状態のステートフルユニットにほぼ完璧に適合し、構築の速さでは他に類を見ません。私たちは信頼性の問題ではなく、4つの構造的な制限のために移行しました。
1. ベクトルインデックスがオブジェクトの外部に存在していた
コンテナが行う最も重要なことは検索であり、埋め込みは別のサービスであるVectorizeに保存されていました。これは最も頻繁にアクセスされるパス上でのネットワークホップであり、ドリフトする可能性のある状態の2番目のコピーでした。DO SQLiteは拡張機能をロードできないため、インデックスを内部に配置することはできませんでした。
2. データとコンピューティングを隣接させたいと考えた
検索は、ハイブリッド候補生成、フュージョン、クエリ拡張、広範なリランキングといった多段階のパイプラインです。Durable Objects上では、そのうちの薄いスライスしかデータが存在する場所で実行できず、残りはオブジェクト周辺のサービスにエクスポートされていました。エージェントはツールループ内でコンテナを呼び出し、各ホップの変動がクリティカルパスに影響します。
作成時にはロケーションヒントが存在しますが、オブジェクトはその後移動しないため、ロンドンで作成されたコンテナはバージニア州のエージェントフリートに永続的にサービスを提供します。また、テナントごとに専用のキャパシティを購入することもできません。私たちは、呼び出し元に追従する配置と、製品ティアとしての分離を望んでいました。有料ワークスペースは独自のプロセスとマシンを得られます。
4. Durable Objectをセルフホストできない
規制のあるチームは、自分たちが管理するインフラストラクチャ上でコンテナを実行できるように求めています。Cloudflare上にのみ存在するランタイムではそれができません。
私たちが構築したもの
各組織は、Fly Machines上の1つのホストプロセス(Bun)で、すべてのコンテナを実行します。コンテナは、sqlite-vecを介してベクトルインデックスが埋め込まれた1つのSQLiteファイルであり、候補検索はインプロセスで実行されます。モデル呼び出し、クエリ埋め込み、リランキングは依然として推論サービスに送信されます。スナップショットはオブジェクトストレージに保存されるため、コンテナはどこでもバイト単位で再構築されます。リージョンごとのルーターが呼び出し元の近くにコンテナを配置し、コントロールプレーンは署名付きリクエストを介してデータプレーンと通信し、コンテナの内容には一切触れません。
ウォームなツール呼び出しは、以前の2秒を超えるスパイクがあった状態から、約0.3秒で安定しました。アイドル状態のコンテナは、エンドツーエンドで1.4秒で起動しますが、以前は3.7秒でした。最後の数値について正確に言うと、それは「Durable Objectのコールドスタート」ではなく、アイソレートはミリ秒単位で起動します。3.7秒は、私たち自身のスタックが再構築されるのにかかった時間でした。
表面上は何も変わりません。コンテナURL、5つのMCPツール、REST API、レスポンス形状はすべて同じです。エージェントは同じアドレスに呼び出し続け、移行されたコンテナへのリクエストは新しいランタイムによって処理されます。
耐久性の買い戻し
Durable Objectsは、耐久性と単一ライターの一貫性を無料で提供しますが、離れるということはそれらを買い戻すことを意味します。Cloudflareは、DOストレージの書き込みをすべて確認する前にレプリケートします。最初の試みは「次のチェックポイントで耐久性がある」というものだけでしたが、負荷下でマシンをシャットダウンするストレステストは、それが何を意味するかを正確に示しました。確認された書き込みの一部が失われたのです。本当の修正は、継続的なWAL(Write-Ahead Logging)の出荷です。書き込みは、そのWALフレームがオブジェクトストレージに入るまで確認されません。グループコミットはそれを約100ミリ秒に保ち、ダウンしたマシンは確認された書き込みを持ち去ることはできません。
上記の4つの要素が必要ない場合は、プラットフォーム上に留まってください。
数字の正直な読み方
検索の改善(リコール@5が78.1%から89.1%へ)はすべてアーキテクチャによるものではありません。新しい埋め込みモデルに移行したこともあります。アーキテクチャが行うのは、高価な部分を安価にすることです。インプロセス検索により、オーバーフェッチして広範囲にリランクすることができ、コンテナごとのインデックスは正確な最近傍検索を行うのに十分な小ささです。完全な前後比較表と方法論は、ベンチマークの解説にあります。
現状
新しいランタイムはベータ版です。現在、プレビュー環境とオプトインのプロダクションワークスペースで利用可能であり、耐久性トリップワイヤーがグリーン(正常)な状態を維持し次第、フルプロダクション移行が続きます。カットオーバーが完了したら、コンテナランタイムをオープンソース化する予定です。実際に実行しているコードを出荷すべきです。