IPFSコンテンツ公開を10倍高速化した方法
How We Made IPFS Content Publishing 10x Faster (probelab.io)
要約
ProbeLabチームは、IPFSのコンテンツ公開におけるパフォーマンスの問題を特定し、「Optimistic Provide」という最適化を開発しました。この最適化により、コンテンツ公開時間が10分の1以下に短縮され、ネットワークオーバーヘッドも40%削減されました。Optimistic Provideは、Kubo 0.39.0でデフォルト機能として導入され、コンテンツパブリッシャーはほぼリアルタイムでコンテンツを公開できるようになりました。
全文翻訳
Optimistic Provide: IPFSコンテンツ公開を10倍高速化した方法
はじめに
\n分散ハッシュテーブル(DHT)でのコンテンツ公開は、特にネットワークが大規模で、参加ノードが頻繁に入れ替わる場合に、従来は遅い操作でした。IPFSのAmino DHTもこれらの条件を満たしており、例外ではありません。ProbeLabチームは、広範な測定を通じてこの問題を数年前に特定し、パフォーマンスを改善する(コンテンツ公開時間を1桁以上短縮し、同時にネットワークオーバーヘッドを40%削減する)最適化を提案しました。
この最適化はOptimistic Provideと名付けられ、最近IPFSのKubo v0.39.0でデフォルトとしてリリースされました!この研究はIEEE INFOCOM 2024で発表されており、より詳細で濃密な情報はそちらをご参照ください。
この記事では、私たちのチームが提案した技術の概要、基本的な技術詳細、そしてもちろん、その有効性に関する当初の主張の正当性を証明する結果を提供します。
この過程で、そして最終的にこの機能を本番環境に投入するための後押しをしてくれたIPShipyardチームに多大な感謝を捧げます。結果から見れば、その努力は報われました。
TL;DR
Optimistic Provideの基本的なアイデアは以下の通りです。
- DHTをウォークしている間に、ネットワーク全体で最も近い20ノードに含まれる可能性が高いピアにすぐにレコードを保存する。
- 発見された20ノードがネットワーク全体で最も近いノードである可能性が高い場合、DHTウォークをすぐに終了する。
- PUT RPCのほとんど(すべてではない)が成功した後、ユーザーに制御を返し、残りはバックグラウンドで続行する。
ポイント1と2は、追加のネットワークオーバーヘッドを発生させないようにルーティングテーブルのリフレッシュメカニズムに便乗した軽量な推定方法から導き出すネットワーク全体のサイズを知る必要があります。
Optimistic Provideはアップロードレイテンシを13秒以上(しばしば20秒近く)から1秒未満に大幅に減らし、IPFSのパフォーマンスに多大な価値と影響をもたらします。
実際には、これはコンテンツ公開者がコンテンツをネットワークにプッシュしてから約1秒という、ほぼリアルタイムでコンテンツを公開できるようになることを意味します。これは、開発者、ユーザー、アプリケーションプロバイダーがリアルタイムでイテレーションおよびデバッグできるようになるため、以前の10秒以上と比較して大幅な改善です。
従来の提供(Provide)操作
これらの最適化がどのように機能するかを理解するために、まず従来の「提供」操作を見てみましょう。IPFSで使用されているAminoネットワークのようなKademliaベースの分散ハッシュテーブル(DHT)では、レコードを保存するには、そのデータの識別子に最も近いk個のピアを特定する必要があります(Amino DHTではkは20に設定されています)。この文脈での「近さ」は地理的な近さではなく、XOR距離メトリックで定義されます。このメトリックは、ピアの一意のPeerIDとデータのContent Identifier(CID)の間でビット単位のXOR演算を実行して距離を計算します。
ハードコードされたブートストラップピアのセットから開始して、ノードはローカルのルーティングテーブルを埋めます。これらの最も近い20個のピアを見つけるプロセスはDHTウォークとして知られています。これは、ノードがローカルルーティングテーブルで最も近い既知のピアをクエリし、さらに近い候補を要求する反復的な検索です。このサイクルは、開始者が発見した3つの最も近いピアから成功した応答を受け取るまで続きます。ウォークが終了すると、フォローアップフェーズが開始されます。これは、一部のノードがネットワークを離れた場合でもデータが利用可能であることを保証するために、開始者がその最も近い20個のピアすべてにプロバイダーレコードをプッシュすることです。
したがって、要点は次のとおりです。提供プロセスは2つのフェーズで構成されます。
- DHTウォーク: ネットワーク全体で最も近い20個のピアを見つける
- フォローアップ: レコードをこれらの20個のピアにプッシュする
パフォーマンスのボトルネック
このシステムは堅牢ですが、歴史的に遅く、完了までに数十秒、あるいは数分かかることがよくあります。ProbeLabでの私たちの研究では、主な遅延はDHTウォークの終了条件であることが特定されました。
「従来」のアルゴリズムは厳格です。DHTウォークフェーズ中、発見された3つの最も近いピアからの応答を待つことを主張します。ピアが頻繁に入れ替わるパーミッションレスネットワークでは、これらの特定のピアは到達不能であることがよくあります。システムは「バックトラック」し、ギャップを埋めるためにさらに遠いピアをクエリしますが、実際の最も近い20個のピアはすでに発見されている可能性があります。
以下のグラフは、従来最も高速な地域であるヨーロッパからの提供操作の総時間の累積分布関数を示しています。元のグラフはこちらで見つけることができます。グラフは、中央値レイテンシが約20秒であり、最悪の場合、単一の提供操作で2分以上かかることを示しています。
[画像: IPFS DHT公開レイテンシ(0〜180秒)のCDFチャート。公開の約30%が5秒以内に完了し、約80%が20秒以内に、約95%が60秒以内に完了し、長いテールは180秒まで達します。]
このパフォーマンス特性は、遅延に敏感なアプリケーションにとって禁止的であり、Optimistic Provideで対処しようとしたのはこれです。
Optimistic Provide
Optimistic Provideは、厳格な待機を統計的ヒューリスティックに置き換えることで、遅い提供操作に対処します。Kubo v0.39.0以降、これはデフォルトの動作であり、3つの主要なメカニズムを通じてサブ秒のレコードストレージを可能にします。
- ネットワークサイズ推定: 個々のノードは、軽量でバイアス補正された近接モデルを使用して、グローバルネットワークサイズをローカルに推定します。
- 予測的終了: DHTウォーク中、開始者はネットワークサイズ推定値を使用して、個々のピアとその現在の最も近いピアのセットが「十分に近い」確率を計算します。ネットワーク全体で最も近い20個のピアのうちの1つを発見したと90%確信した場合、すぐにレコードを保存します。ターゲットセットを見つけたことを90%確信した場合、すぐにウォークを終了します。
- 早期リターン: フォローアップフェーズでは、20個のピアのうちのサブセット(例: 15個)がストレージを確認するとすぐに、システムはユーザーに制御を返します。残りの5つのリクエストはバックグラウンドで非同期に続行され、レコードが完全に複製されることを保証します。ユーザーを待たせることはありません。
ネットワークサイズ推定
ネットワークサイズ推定を導き出すための直感的に思える解決策の1つは、参加ピアの数を導き出すためにネットワーク全体をクロールすることかもしれません。しかし、このアプローチは過剰なオーバーヘッドを導入するため、非現実的であることが証明されています。ピアのサブセットにタスクを分散して情報を共有するには、その正直さに信頼を置く必要がありますが、パーミッションレスネットワークではこれは困難な課題です。
代わりに、ノードがすでに収集しているデータに便乗する軽量な推定アルゴリズムを設計しました。つまり、ネットワークオーバーヘッドはゼロです。ルーティングテーブルのリフレッシュです。リフレッシュ中、ノードは維持している各バケットに対してランダムなキーをルックアップします。Kuboの場合、これは16回のルックアップに加えてノード自身のIDを意味します。各ルックアップは、ランダムなターゲットキーに最も近いネットワーク全体のピアを返します。したがって、単一のリフレッシュラウンドは、キー空間全体にわたるピア距離のサンプルを自然に提供します。
中心的な洞察は、ピアIDが均一に分布していると仮定すると、任意のキーに最も近い20個のピアの距離は予測可能な統計分布に従うということです。具体的には、順序統計量のベータ分布です(この優れたブログ記事を参照)。これにより、各ルックアップ結果のピアを独立したネットワークサイズ推定値として扱うことができます。20個のピアを返す単一のルックアップは、キー空間密度のみを考慮した場合の1つの推定値ではなく、20個の推定値を提供します。少数のルックアップ全体で平均を取ることで、Nebulaクローラーからの実際のカウントに対してうまく機能する結果が得られます。
1つの複雑な点があります。ルーティングテーブルのリフレッシュメカニズムが行うように、自身のキー空間の近傍内でクエリすると、密度バイアスが生じます。密なキー空間領域にあるピアはグローバルネットワークサイズを過大評価し、疎な領域にあるピアは過小評価します。私たちのバイアス補正は、満杯でないバケットからのデータポイントを指数関数的に重み付けを下げることで、これを対処します。直感的には、満杯のバケットは、カバーされたキー空間領域が代表的であるのに十分に人口が多いことを示しており、疎なバケットは偏ったローカルビューを示唆しています。この補正はすべてのケースで完璧ではありませんが、ピア間の推定値の分散を大幅に削減します。
以下のグラフは、IPFS Aminoネットワークの6つの独立したピアからの、3日間連続の重み付けなしおよび重み付けありのネットワークサイズ推定値を示しており、Nebulaクローラーからの合計ピア数と接続可能なピア数と重ね合わされています。
[画像: IPFSネットワークサイズ推定値(2023年6月9〜12日)の2つの時系列グラフ。重み付けなしおよび重み付けありの方法を使用。すべての推定値は、重み付けありグラフが変動が少ない期間中に約28,000〜32,000ノードで安定しています。]
方法の詳細については、興味のある読者を私たちの論文にご案内します。
予測的終了
信頼性の高いネットワークサイズ推定値が得られたので、従来アルゴリズムが必要とする厳格な確認を待つのではなく、DHTウォーク中に確率的な決定を下すことができます。
これは2つのレベルで発生します。最初のレベルはピアごとです。開始者がウォーク中に新しいピアに遭遇するたびに、そのピアがネットワーク全体で最も近い20個に含まれるのに十分にターゲットキーに近いかどうかを確認します。順序統計量ベータ分布の対応するCDFを反転させることで、ピアがその範囲内にある場合、最終ターゲットセットに属すると90%確信できる距離しきい値を計算できます。その条件が満たされた場合、待たずにすぐにそのピアにレコードを保存します。
2番目のレベルは、20個の現在知られている最も近いピアのセット全体に作用します。各クエリ応答の後、開始者は、このセットがすでにグローバルで最も近い20個である可能性が高いかどうかを確認します。ターゲットキーに最も近い20個のピアの期待平均距離は、仮説上の10.5番目に近いピアの期待距離に等しいことを観察します。これにより、しきい値として使用できるクリーンなスカラーが得られます。既知のセットの平均距離がそのしきい値を下回ると、再び90%の信頼度で、クラシックアルゴリズムが必要とするように3つの最も近いピアが確認するのを待たずにウォークが終了します。
これらの2つの条件を組み合わせることで、クラシックな提供操作を遅くしている待機の大部分が排除されます。到達不能なピアは、以前はウォークをバックトラックさせ、徐々に遠いノードをプローブさせていましたが、もはやプロセスを遅らせることはありません。
早期リターン
予測的終了はDHTウォークのボトルネックを解決しますが、フォローアップフェーズで新たな問題を引き起こします。クラシックアルゴリズムのバックトラック動作をスキップすることで、到達不能なピアに対するフィルタリング効果を失い、それらのピアがレコードストレージ中に現れるようになります。実際には、ほとんどの操作で20個のフォローアップリクエストのうち少なくとも1つが失敗し、応答しない単一のピアがタイムアウトを待つためにフェーズ全体を停止させる可能性があります。
修正は簡単です。20個のピアすべてからの確認を待つのではなく、15個が応答するとすぐにユーザーに制御を返します。残りの5つのリクエストはバックグラウンドで非同期に続行され、決してキャンセルされません。完全な複製は依然として行われますが、それは見えないところで行われます。私たちは、20から15へのレプリケーションファクターの削減がIPFSネットワークでのレコード可用性に無視できる影響しか与えないことを示した以前の研究に基づいて15を選択しました。したがって、その時点での制御の引き渡しは、意味のある信頼性コストを伴いません。
結果
ProbeLabは、広範なツールを通じて、長年にわたりIPFS Kuboの「アップロード」パフォーマンスを他の多くのメトリクスとともに監視してきました。2月初旬にKuboバージョンをv0.39.0に更新しました。以下のプロットは、Optimistic Provideを含むKuboのデプロイメント直後に、平均約15秒から約0.7秒へのアップロードレイテンシの急激な低下を示しています。
[画像: 2026年1月中旬から3月中旬までのKubo「アップロード」パフォーマンス(平均時間(秒))を示す棒グラフ。2月初旬にKubo v0.39.0をデプロイした後、提供期間は劇的に約15秒から約1秒に低下しました。]
レコードの可用性
クラシックアルゴリズムをショートカットする最適化において、レコードの可用性が損なわれるかどうかは自然な懸念事項です。間違ったピア、または少なすぎるピアにレコードを保存すると、コンテンツを見つけにくくなる可能性があります。私たちの測定では、これは当てはまらないことを示しています。楽観的なアプローチによって選択されたピアは、ターゲットキーに対して統計的に十分に近いため、取得可能性は維持され、GETエラー率はクラシックベースラインと同等です。このアプローチは、平均してPUTあたりの成功したストレージ確認がわずかに少なくなる結果をもたらしますが、これは許容できるトレードオフです。早期リターンしきい値は、以前の研究で、レプリケーションのわずかな削減がIPFSネットワークでの可用性に無視できる影響しか与えないことが確立されていたため、まさにそのように選択されました。
これは、Kuboの再提供スイープによってさらに強化されます。これは、後で正確なPUT操作を実行して、レコードが最も正確なピアセットに保存されることを保証します。初期の楽観的な提供は、速度のために配置精度の一部を犠牲にしますが、再提供スイープはバックグラウンドでそれを静かに修正します。
制限事項
最適化全体は、信頼性の高いネットワークサイズ推定値に依存しています。その推定値が大幅にずれている場合、ピア選択とウォーク終了に使用される距離しきい値は誤って調整され、レコードストレージの精度が低下します。
ここで増大している課題の1つは、IPFS Amino DHTでの接続不能ピアの増加です。以下のグラフが示すように、現在ネットワークで見つかるピアIDの約50%は、プライベートIPアドレスのみをアドバタイズしており、パブリックインターネットから到達できません。現在の実装では、これらのピアはネットワークサイズ推定に引き続きフィードされ、カウントがインフレします。これにより過大評価が発生し、終了しきい値がより積極的ではなく、より保守的になります。障害モードは、可用性の破損ではなくパフォーマンスの低下ですが、最適化がその可能性を完全に達成できないことを意味します。
[画像: 2月下旬から3月中旬までのIPFS接続エラータイプ(ピアのシェア)の時系列グラフ。エラータイプno_public_ip_addressesが約50%で支配的であり、io_timeoutは約9%で安定しています。他のすべてエラータイプは期間中ほぼ0%で推移します。]
2番目の制限はコールドスタート問題です。Kuboノードは、推定を実行するために十分なデータが得られるまで、少なくとも部分的なルーティングテーブルリフレッシュを完了する必要があります。これは、起動後数秒から数分かかる場合があります。
3つの段階的な改善を提案します。
- プライベートIPアドレスのみをアドバタイズするピアは、ノードがパブリックネットワークで動作している場合に推定からフィルタリングされます。
- ネットワークをいずれにしても列挙する再提供スイープは、追加のオーバーヘッドなしで、正確なピアカウントを楽観的な提供アルゴリズムに直接フィードします。
- 最新のネットワークサイズ推定値はディスクに永続化されるため、再起動時にノードは、ネットワークが前回実行以降大幅に成長または縮小していないと仮定して、新しいルーティングテーブルデータが蓄積するのを待つことなく、直前の既知の値を使用できます。
まとめ
Optimistic ProvideとReprovide Sweepを組み合わせることで、IPFSでのコンテンツ公開体験を根本的に再定義できると信じています。Optimistic Provideは初期の高速ストアを提供し、HTTPゲートウェイやその他のKuboノードを通じて1秒以内にコンテンツを即座に検出可能にします。その後、Reprovide Sweepがバックグラウンドで静かにフォローアップし、ノードに過剰な負荷をかけることなく、すべてのレコードがネットワークに正確に配置されることを保証します。
これは、0.39.0より前の世界とは大きく異なります。そこでは、レコードの可用性がローカルKuboデプロイメントにコンテンツを追加してから最大2分遅延する可能性があり、多数のCIDを持つノードでさえ、24時間の再提供ウィンドウ内にすべてを提供できない可能性がありました。
直接的なユーザーエクスペリエンスの向上を超えて、Optimistic Provideは、既存のネットワークと互換性があり、任意のKademlia DHTデプロイメントに一般化できる方法で、IPFSの最も長年のパフォーマンスボトルネックの1つに対処します。1桁以上の速度向上を達成し、北米とヨーロッパからのリクエストの90%でサブ秒のPUT操作を可能にし、レコードの可用性を維持しながらネットワークオーバーヘッドを40%以上削減します。長らく遅延に敏感なユースケースから妨げられてきたプロトコルにとって、これは大きなギャップを埋めるものです。
今後の展望
最も直接的なアクションは単純です。Kuboデプロイメントを実行している場合は、v0.39.0以降にアップデートしてください。以下のスナップショットが示すように、現在、公開からアクセス可能なKuboノードの約17%しかOptimistic Provideがデフォルトで有効になっているバージョンを実行していません。つまり、ネットワークの大部分は依然としてクラシックPUT操作の全コストを負担しています(2026年3月20日のスナップショット)。
[画像: 3,801ノード全体のKuboピアバージョンの棒グラフ。最近のバージョンv0.39.0とv0.40.1が約17%を占めていますが、ほとんどのピアは古いバージョンを実行しています。v0.22.0(24%)と「その他」(28.7%)がリードしています。]
開発面では、制限セクションで概説した3つの段階的な改善(ピアフィルタリング、再提供スイープとのより深い統合、ディスク上でのキャッシュされたネットワークサイズ推定)の作業を推奨します。これらを組み合わせることで、不利なネットワーク条件下でも、ノード再起動直後でも、アルゴリズムがその潜在能力を最大限に発揮できるようになるはずです。
さらに先を見据えると、調査に値する多くの未解決の質問があります。高チャーン、ネットワークパーティショニング、またはSybil攻撃のような深刻なネットワーク条件下でのOptimistic Provideの動作はまだ特徴付けられていません。また、同じ統計フレームワークを、IPNSルックアップのようなDHTウォークが取得レイテンシを支配するケースでのGET操作を高速化するために適用できるかどうかを検討する機会も見られます。最後に、この技術はIPFSに特有のものではないため、他のKademliaベースのDHTデプロイメントのメンテナーに、Optimistic Provideがそれらのネットワークにも同様のメリットをもたらすかどうかを評価することを奨励します。
IPFSツールまたはインフラストラクチャに取り組んでおり、貢献したい場合は、実装はgo-libp2p-kad-dhtリポジトリにあります。特に、代表的でない地域や異常なネットワークトポロジーでの実際のデプロイメントからのフィードバックは非常に価値があります。
参考文献
- 初期アイデアとコードを含むGithubリポジトリ: https://github.com/dennis-tra/optimistic-provide
- libp2p Githubリポジトリディスカッション: https://github.com/libp2p/notes/issues/25
- IEEE INFOCOM 2024論文: https://www.fiz-karlsruhe.de/sites/default/files/FIZ/Dokumente/Forschung/Mathematik/INFOCOM24-IPFS.pdf
- IPFS Kubo v0.39.0 リリースノート: https://github.com/ipfs/kubo/releases/tag/v0.39.0
- Amino DHTの紹介: https://blog.ipfs.tech/2023-09-amino-refactoring/
- libp2p Kademlia仕様: https://github.com/libp2p/specs/blob/master/kad-dht/README.md
- プロバイダーレコードのライブネス調査: https://github.com/probe-lab/network-measurements/blob/main/results/rfm17-provider-record-liveness.md