Show HN: MemStitch – vLLM向けのゼロコピーコンテキストブリッジング(TTFT速度25倍)
Show HN: MemStitch – Zero-copy context bridging for vLLM (25x TTFT speedup) (github.com)
要約
MemStitch(Context-Stitcher)は、複数のAIエージェントが同じ長いテキストコンテキストを処理する際のGPU推論におけるボトルネックを解消するソリューションです。エージェント間でGPUのKVキャッシュをメモリレベルで共有することで、冗長なプリフィルフェーズを回避し、Time-to-First-Token(TTFT)を大幅に短縮し、GPUメモリ使用量も削減します。
全文翻訳
Context-Stitcher 🪡
マルチエージェントGPU推論のためのゼロコピーコンテキストブリッジングゲートウェイ。
💡 コアバリュープロポジション
マルチエージェントの協調ワークフローでは、別々のエージェントが同じ長いテキストコンテキストを順番に処理することがよくあります。例えば:
- エージェントA(法務監査官): 200ページの契約書を読み、コンプライアンス分析を実行します(GPU KVキャッシュを生成)。
- エージェントB(財務コンプライアンス): 同じ200ページの契約書を読み、財務上の負債を監査します。
標準的な推論エンジンでは、エージェントBは高コストなプリフィルフェーズを繰り返すことを余儀なくされ、GPUアクティベーションが重複し、初回トークン生成(TTFT)のレイテンシが高くなります。
Context-Stitcherは、メモリレベルでキャッシュをブリッジすることでこれを解決します:
- コンテキストトポロジカルハッシュ: プロンプトを物理的なブロックサイズに分割し、それらを暗号学的フィンガープリント(Merkleチェーン)にマッピングします。
- ゼロコピーブロック接続: マッチしたプレフィックスのプリフィルをバイパスし、エージェントBの論理アテンションテーブルをエージェントAのキャッシュブロックの物理GPUメモリアドレスに直接マッピングします。
- ゼロトラストセキュアゲート: 境界制御リストを強制し、不正なエージェントセッションが共有物理ブロックにアクセスできないようにします。
📊 パフォーマンスプロファイル
以下は、共有された200ページのドキュメント上で連続するエージェントを実行する際の、標準的なvLLMコールドプリフィルと比較したContext-Stitcherのベンチマーク分析です:
⚡ TTFTプリフィルレイテンシ(エージェントBの応答時間) — 低いほど良い
ベースライン(vLLMコールド): ██████████████████████████████ 1200 ms
Context-Stitcher: █ 48 ms ( 25.0x プリフィル速度向上! 🚀 )
💾 GPU物理キャッシュブロック割り当て(合計VRAM) — 低いほど良い
ベースライン(vLLMコールド): ██████████████████████████████ 53 blocks (共有なし)
Context-Stitcher: ████████████████ 30 blocks ( 43.4% メモリ節約! 📉 )
⚙️ インストールとクイックスタート
1. 依存関係のインストール
pip install -r requirements.txt
2. ゲートウェイとダッシュボードの起動
python run.py
起動後、ゲートウェイのルーティングは http://localhost:8000 でアクティブになります:
- APIプロキシゲートウェイ:
http://localhost:8000/v1/chat/completions - リアルタイム開発者コンソール: ウェブブラウザで
http://localhost:8000を開いてください。
🖥️ ビジュアル開発者ポータル
Context-Stitcherには、物理キャッシュブロックの状態(アイドル、プライベート割り当て、共有/接続済みページ、セキュリティアラーム)をリアルタイムで監視するためのレスポンシブな開発者ポータルが含まれています。
[画像: Dashboard Top] [画像: Dashboard Bottom]
🛠️ クライアント統合と使用ガイド
Context-Stitcherは、クロスアプリケーション統合のためにPython SDKデコレータとOpenAI互換REST APIをサポートしています:
パターンA: Python SDKデコレータ(Pythonベースのエージェントオーケストレーション向け)
エージェントパイプラインがPythonで記述されている場合、StitcherMesh および @stitch_agent デコレータを使用してコンテキストメモリをリンクできます:
from context_stitcher import StitcherMesh, stitch_agent
# 1. ポインタ共有推論制御メッシュを初期化します(参照: vLLM)
mesh = StitcherMesh(backend="vllm", model="meta-llama/Llama-3.1-8B-Instruct")
# セキュアゲートポリシーを設定します:エージェントBがエージェントAのKVキャッシュブロックを読み取ることを許可
mesh.sg.add_policy("agent_a", "agent_b")
# 2. エージェントワークフローをデコレートします
@stitch_agent(mesh)
def agent_a():
prompt = "[長いドキュメントコンテキスト...]
知的財産条項を分析してください。"
# 初回実行:キャッシュをプリフィルし、トポロジカルハッシュを登録します
res = mesh.generate(prompt=prompt, fingerprint="legal_doc_v1")
return "legal_doc_v1"
@stitch_agent(mesh)
def agent_b(context_fingerprint):
prompt = "[長いドキュメントコンテキスト...]
財務コンプライアンスリスクを評価してください。"
# 後続の実行:プリフィルフェーズをバイパスしてブロックを自動的に接続します
res = mesh.generate(prompt=prompt, fingerprint=context_fingerprint)
print(f"Agent B Response: {res['generated_text']}")
print(f"Time Saved: {res['prefill_time_saved_ms']}ms")
パターンB: OpenAI互換REST API(多言語クライアント、Dify、Flowise向け)
ゲートウェイは標準的なOpenAIエンドポイントを公開します。LLMクライアントのベースURLをContext-Stitcherにポイントして、共有をアクティブ化してください。
1. Python OpenAI SDKクライアント:
from openai import OpenAI
# クライアントをContext-Stitcherプロキシゲートウェイに直接指定します
client = OpenAI(base_url="http://localhost:8000/v1", api_key="not-needed")
# extra_body内のagent_idメタデータを持つ標準のcompletionsリクエストを送信します
response = client.chat.completions.create(
model="context-stitcher-sim",
messages=[
{"role": "user", "content": "[長いドキュメントコンテキスト...]
コンプライアンスリスクを評価してください。"}
],
extra_body={
"agent_id": "AgentB", # 要求しているエージェントを識別します
"session_id": "session_legal_audit" # 共有セッションキャッシュを識別します
}
)
print("Generated Output:", response.choices[0].message.content)
2. 生HTTP cURLリクエスト:
curl -X POST http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "context-stitcher-sim",
"messages": [
{"role": "user", "content": "[長いドキュメントコンテキスト...]
コンプライアンスリスクを評価してください。"}
],
"agent_id": "AgentB",
"session_id": "session_legal_audit"
}'
パターンC: API経由でのセキュリティルール制御(ゼロトラストゲート)
エージェント間のアクセス認可ルールを動的に検査、追加、または取り消すことができます。
1. すべてのアクティブなポリシー規則を取得します:
curl -X GET http://localhost:8000/policies
2. エージェントBがエージェントAのKVキャッシュを接続することを許可します:
curl -X POST http://localhost:8000/policy \
-H "Content-Type: application/json" \
-d '{"owner_agent": "AgentA", "allowed_reader": "AgentB"}'
3. エージェントBによるエージェントAのキャッシュ読み取り権限を取り消します:
curl -X DELETE http://localhost:8000/policy \
-H "Content-Type: application/json" \
-d '{"owner_agent": "AgentA", "allowed_reader": "AgentB"}'