HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

LLMの過負荷を軽減するためのインメモリレイヤーによるマッピング

Mapping with In-Memory Layers to Reduce LLM Overload (ridgetext.com)

14 pointsby Buckwheat4690 コメント

要約

RidgeTextは、GeoJSONのような大量のデータをLLMに直接渡すとコンテキストウィンドウの制限やコストの問題が発生するため、マッピング機能において「レイヤー・ファースト・パターン」を導入しました。このパターンでは、各データソース(火災情報、トレイルなど)はサーバーサイドにデータを保存し、LLMには軽量な確認応答のみを返します。LLMはこれらの確認応答に基づいて地図生成ツールを呼び出し、最終的な地図はサーバーサイドで合成されます。これにより、LLMはデータそのものではなく、レイヤーの存在と数のみを認識するため、コンテキストウィンドウを小さく保ち、効率的な処理を実現します。

全文翻訳

インメモリレイヤーによるマッピングでLLMの過負荷を軽減

RidgeTextに、トレイル(小道)を重ね合わせた山火事の境界線マップの生成を依頼すると、山火事の境界線とユーザーのトレイルルートが重ね合わされた単一の画像が生成され、SMSで送信されるようになりました。

[画像: ワシントン州ポイゼル・ビュート近郊のトレイルルートが重ね合わされた山火事の境界線を示すMapboxマップ]

山火事の境界線(塗りつぶされたポリゴン)とトレイルルートが重ね合わされています。これらはそれぞれ独立したレイヤーとして、マップがレンダリングされる前に個別にキューイングされます。

このレイヤリング機能の開発中に、私たちは一つのことに気づきました:GeoJSONをLLMのツール呼び出しで渡すことはできないということです。単純に、有用であるにはデータ量が多すぎます。

背景

RidgeTextは、LLMの上にオーケストレーションレイヤーとして構築されています。ユーザーはアプリやUIなしでSMSを通じて対話します。LLMは自然言語理解を処理し、どのツールを呼び出すかを決定し、明確な応答を組み立てて返信します。これはルールエンジンではなく、LLMがあらゆるステップで判断を下します。

その非決定性は対話においては特徴ですが、機能にとっては制約となります。LLMが触れるものはすべて、変動に対して回復力がある必要があります。ツールがデータを返しすぎると、LLMはそれを切り捨てたり、要約を幻覚したり、サイレントに失敗したりする可能性があります。ツールのインターフェースが曖昧であれば、LLMはそれを誤って呼び出すかもしれません。優れたツール設計とは、LLMが見るものを整形し、合理的な応答の範囲がすべて正しい結果につながるようにすることです。

マップ生成は、これが重要となる明確な例です。

素朴なアプローチ(そしてなぜ失敗するのか)

明白な実装は、山火事データを取得してLLMに返すツールと、そのデータを受け取ってマップをレンダリングする第二のツールを持つことです。例えば以下のようになります。

LLMが get_wildfire_data() を呼び出す → 2,000件の山火事ポリゴンをGeoJSONとして受信
LLMが render_map(geojson: ...) を呼び出す → そのGeoJSONを渡す

[画像: 素朴なアプローチの図:LLMがツール結果で約500KBのGeoJSONを受信し、それをrender_mapに渡し、コンテキストウィンドウを埋める]

実際には、適度な山火事データセットでも生のGeoJSONで50〜500KBになります。1トークンは約4バイトなので、500KBは約125,000トークンです。これは多くのコンテキストウィンドウよりも大きく、収まる場合でも高価です。

LLMは、推論できないデータのパイプになります。GeoJSONを単純化することも、検証することもできず、毎回完全なコンテキストコストを支払うことになります。

レイヤーファーストパターン

[画像: 3つのマップレイヤーの3D分解図 — 下部にベースマップ、中間に山火事の境界線、上部にトレイルルート — それぞれが目に見える隙間で分離されています]

私たちのソリューションは、Mapbox自体の仕組みを模倣しています。レイヤーは個別に追加され、レンダリング時に合成されます。

データをLLMに返す代わりに、各データ取得ツールは結果をサーバーサイドに保存し、軽量な確認応答のみを返します。

LLMが retrieve_wildfire_layer(location: "Cascades") を呼び出す
→ { status: "queued", layerId: "wildfires-0", featureCount: 847 }

LLMが retrieve_trail_layer(trailName: "PCT Section J") を呼び出す
→ { status: "queued", layerId: "trail-1", featureCount: 1 }

LLMが generate_map() を呼び出す
→ { mapUrl: "https://storage.../map-abc123.jpg" }

[画像: レイヤーファーストアーキテクチャを示すシステム図:LLMは3回のツール呼び出しを行い、それぞれ約50バイトを返しますが、GeoJSONはサーバーサイドに保存され、レンダラーによって消費されます]

LLMのコンテキストには、確認応答 — 小さなJSONオブジェクト — のみが常に表示されます。GeoJSONは、generate_mapがキューを処理して画像を合成するまで、サーバーメモリ内に存在します。

レイヤースタック

各 retrieve_* 呼び出しは、リクエストコンテキストに保持されている順序付けられたレイヤー配列に追加されます。

interface MapLayer {
  type: 'wildfire-perimeters' | 'fire-hotspots' | 'trail' | 'heatmap' | ...;
  data: GeoJSON.FeatureCollection;
  style: LayerStyle;
}

// プロセス内キュー — 1回のLLMターンの有効期間中に存続
const layerQueue: MapLayer[] = [];

generate_mapは、Mapboxのレイヤースタックと同様に、挿入順にレンダリングします。前のレイヤーが後のレイヤーの下に配置されるのです。LLMは、ツールの呼び出しシーケンスによって暗黙的に順序を制御します。もし retrieve_satellite_base を retrieve_trail より先に呼び出すと、トレイルは衛星画像の上に描画されます。

私たちの実装では、セッションIDをキーとするプロセス内 Map を使用し、30分のTTL(有効期限)を設定しています。これにより、キューイングされたがレンダリングされなかったレイヤーは、蓄積されるのではなく自動的に削除されます。具体的なメカニズムが重要なのではありません — Redis、データベース、またはリクエストスコープのコンテキストオブジェクトでも機能します。重要なのは、データがLLMのコンテキストウィンドウ以外のどこかに存在することです。

なぜこれがMapboxを模倣しているのか

Mapboxのコアモデルは次のとおりです。ソースがデータを提供し、レイヤーがそのレンダリング方法を定義し、レイヤーが宣言順に合成されます。私たちのサーバーサイドキューは、ブラウザなしで実行されるという点を除けば、同じ抽象化です。

レンダラーにおける「Mapbox」が何を意味するのかを正確に述べる価値があります。ベースタイル — 地形、道路、ラベル — としてMapbox Static APIの画像を取得し、その上にキャンバスを使用してデータレイヤーを合成します。Mapbox自体はGeoJSONを見ることはなく、背景を提供するだけです。私たちが保存するレイヤー記述子は、レンダラーがそれを必要とするからではなく、意図的な将来志向の選択としてMapboxの形式に従っています。

もし静的タイルを超えて、3D地形、複雑なブレンド、またはアニメーションレイヤーのために拡張する場合、レンダラーをPlaywrightブラウザで実行されるヘッドレスMapbox GL JSインスタンスに切り替えることができます。そのレンダラーは、ツールやLLMのインターフェースを変更することなく、全く同じレイヤーキューを消費します。コストと速度のプロファイルも変わるでしょう。JavaScriptベースのレンダラーは、リクエスト間でタイルとGLアセットをキャッシュできるため、マップごとのコストを削減し、すべてのマップに対して新しいStatic API呼び出しを行う場合と比較してコールドスタートのレイテンシを改善できる可能性があります。

これは意味します:

  • 新しいデータソースの追加は、新しい retrieve_* ツールの追加です — レンダリングパイプラインは変更されません
  • レイヤーの順序は、ツール呼び出しシーケンスを通じて自然に表現できます
  • スタイリングはレイヤータイプと共に配置され、LLMを介して渡されません
  • レンダラーは交換可能です — 今日は静的タイル、明日はヘッドレスGL — LLMレイヤーに触れることなく

レンダリングステップ

generate_mapは決定論的です。LLMからGeoJSONを受け取ることはありません — ズームレベルやマップスタイルなどのオプションパラメータのみを受け取ります。レイヤーキューを読み取り、各フィーチャーセットをMapbox Static APIのベース画像に投影し、sharpを使用して合成します。

async function generateMap(options: MapOptions): Promise<string> {
  const layers = drainLayerQueue();           // 消費してクリア
  const base = await fetchMapboxBase(options);
  const composed = await compositeLayers(base, layers);
  return await uploadToStorage(composed);
}

結果は、LLMがSMS応答に添付できる単一の画像URLです。

LLMが実際に目にするもの

「PCTの近くの山火事を見せて」というリクエストの場合、LLMのツール呼び出しシーケンスは以下のようになります。

[
  { "name": "retrieve_wildfire_layer", "result": { "status": "queued", "featureCount": 847 } },
  { "name": "retrieve_trail_layer",    "result": { "status": "queued", "featureCount": 1   } },
  { "name": "generate_map",           "result": { "mapUrl": "https://..."               } }
]

ツール結果の合計トークン数:約150。このパターンなしの場合:約125,000+。

トレードオフ

得られるもの:

  • データセットのサイズに関わらず、コンテキストウィンドウは小さく保たれます
  • レンダリングパイプラインは決定論的で、単独でテスト可能です
  • 新しいレイヤータイプの追加は、LLMがシステムと対話する方法を変更する必要がありません

失うもの:

  • LLMは、キューイングされたどのレイヤーの基になるジオメトリについても推論できません。トレイルが追加されたことやそのフィーチャー数を知っていても、座標自体については何も知りません。「私のトレイルに最も近い都市は?」のような質問は、キューイングされたレイヤーデータからは正確に答えられません — LLMはそれをテキストとして返す別のツールが必要になります。しかし、後でストレージリンクを介してレンダリングされたマップ画像を表示し、合成結果について視覚的な観察を行うことはできます。
  • レイヤーキューは一時的です — ターンをまたいで存続しないため、複数ターンのマップ調整には再取得が必要です

2番目のトレードオフは、レイヤーを会話応答と同じ履歴保持ポリシーに従うデータベーステーブルに永続化することで解決できます。レンダリングされた各マップ応答は、参照によって関連するレイヤーを保存します。ユーザーがフォローアップする場合 — ズームイン、スタイルの変更、または別のデータソースの追加を依頼する場合 — レイヤーは元のAPIから再取得することなく、データベースから直接復元できます。

あなたのシステムへの適用

ここでのパターンはマップに関するものではありません。それは、あなたのLLMが推論エンジンの代わりにデータパイプとして機能していることを認識し、その役割から取り除くことです。

探すべきシグナル:ツールAがデータを取得 → LLMがそれを受信 → LLMがそれを直接ツールBに渡す。 LLMがその内容に基づいて決定を下していない場合、その内容を保持すべきではありません。

同じアプローチが適用されるいくつかのシナリオ:

複数ソースからのデータエンリッチメント。 NRELはEV充電ステーションのデータセットを提供していますが、アメニティデータ、リアルタイムの空き状況、および他のAPIが持つユーザーレビューが欠けています。各ソースを取得して、結合されたペイロードをLLMに返して結合する代わりに、各取得ツールはデータセットをサーバーサイドにキューイングします。コンポジターがステーションIDでそれらを結合し、エンリッチされた結果を生成します。LLMはどのソースを取得するかをオーケストレーションし、要約を受け取ります — 中間的なソースごとのペイロードや結合されたデータセットを保持することはありません。

複数パスによるログ分析。 ユーザーが「過去1時間のエラーは何件でしたか?そして主な問題は何ですか?」と尋ねます。これは同じ基になるデータに対する2つの分析的な質問です。このパターンなしでは、ログを2回取得するか(ツール呼び出しごとに1回)、または呼び出し間で生のログペイロードをLLMに渡すことになります。代わりに、ログ取得は一度実行され、結果が保存されます。エラーカウントツールと根本原因ツールは、両方とも同じ保存されたデータセットから独立して読み取ります。LLMは、生のログデータではなく、保持する理由のない2つの小さな構造化された回答を受け取ります。

出力が重要なETLパイプライン。 複数のアップストリームソースからプルして単一の結果(レポート、ダッシュボードデータセット、ランク付けされたリスト)に合成している場合、LLMの役割は、何をプルするかを決定し、結果を説明することであり、マージに参加することではありません。ソース間の状態は、コンテキストウィンドウではなく、あなたのパイプラインに属します。