HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

RAGコンテキストを回答に必要なものだけに絞り込む方法

Pruning RAG context down to what the answer actually needs (kapa.ai)

131 pointsby emil_sorensen34 コメント

要約

Kapa社は、Retrieval-Augmented Generation (RAG) システムにおいて、LLMに渡すコンテキスト量を削減する新しい手法を開発しました。この手法では、小規模なLLMを用いて、回答に不要なコンテキストチャンクの約68%を事前に破棄します。これにより、クエリコストを約3分の1削減しつつ、回答に必要な情報の再現率(リコール)を96%維持することに成功しました。このプロセスは、コスト削減とLLMの効率化に大きく貢献します。

全文翻訳

How we taught a small LLM to throw away 68% of our RAG context

Edit: Join the discussion on Hacker News (front page).

Kapaは、複雑な質問に対して、技術ドキュメント、APIリファレンス、PDF、フォーラム、サポートスレッドといった大規模な製品ナレッジベースに基づいて回答するAIアシスタントを構築しています。開発者は、当社の検索APIを使用して、エージェントに製品に関するコンテキストを提供し、同じ検索レイヤーがエンドツーエンドのアシスタントを支えています。

2026年のエージェントにRAGが必要かどうかという議論はありますが、私たちのドメインでは、ナレッジベースが大規模かつ複雑になると、それに匹敵するものはありません。当社の検索は、エージェント向けのものやシングルパスのものなど、いくつかの形式がありますが、それらはすべて同じ構造を共有しています。それは、質問に関連するドキュメントのチャンクを見つけるリトリーバーと、それらから回答を作成するLLMであるジェネレーターです。

この記事の短い要約は次のとおりです。私たちは、この2つの間に3番目のステップを追加しました。小規模で安価なLLMが、質問と取得されたすべてのチャンクを一緒に読み込み、高価なモデルがそれを見る前に、回答に必要のないチャンクを破棄します。これにより、コンテキストの約68%が削減され、再現率の約96%が維持され、それ自体のコストを差し引いたクエリコストが3分の1削減されます。この記事では、その経緯を説明します。

[画像: LLMによるRAGコンテキストの削減プロセスを示す図]

Ignored chunks still cost money

リトリーバーはファネル(漏斗)のようなものです。埋め込みとキーワード検索により、数十万のチャンクからなるナレッジベースが数百の候補に絞り込まれ、リランカーがそれらを順序付けし、上位15個程度がジェネレーター(チェーンの中で最も大きく最も高価なモデル)に到達します。それでも、ジェネレーターが読み取るもののほとんどは、質問には必要ありません。これは意図的なものです。リトリーバーは最大のリコール(再現率)を目指し、ジェネレーターがノイズを無視することを信頼します。

しかし、ジェネレーターは無視するチャンクごとに課金されます。当社のアシスタントでは、取得されたチャンクはクエリコストの約3分の2を占め、回答、会話履歴、システムプロンプトをすべて合わせたよりも高くなります。チャンクが1つ減るごとに、クエリコストは約4%削減されます。また、エージェントでは、各ツール呼び出しがその出力を同じコンテキストに注ぎ込むため、コンテキストは急速に増加します。よりタイトな検索結果は、エージェントが保持する必要のある他のすべてのもののためのスペースを確保し、腐敗するコンテキストを減らします。

[画像: RAGコンテキストにおけるコストの内訳を示すグラフ]

問題は再現率です。回答に必要なチャンクをドロップすると、数セントを誤った回答と交換することになります。プルーナー(削減器)は、そのトレードオフと同じくらい優れています。つまり、失われた再現率のポイントごとに得られる圧縮率です。

The obvious fix does not work

上位K個を返す前にすでにリランクしているので、リランクスコアを公開し、呼び出し元がそれに基づいてカットできるように求められることがあります。例えば、0.7以上のすべてを保持し、残りをドロップするなどです。これは2つの理由で失敗します。そして、2番目の理由が、私たちが構築したすべてのものを形作りました。

第一に、リランクスコアは順序付けであり、測定ではありません。それは、チャンクAがこのクエリでチャンクBを上回ることを示しているだけで、それ以上の意味はありません。スコアはクエリ間で調整されておらず、Cohereもそのように述べているため、固定されたカットオフは機能しません。ランキングがサポートする唯一のカットオフは位置的なもので、トップNであり、ノイズであっても回答であっても、最後のチャンクをドロップします。

第二に、そしてこれは完全なキャリブレーションであっても残る問題ですが、関連性は単一のチャンクのプロパティではありません。ほとんどのパイプラインのリランカーはポイントワイズのクロスエンコーダーです。それらは各クエリとチャンクのペアを単独でスコアリングし、一緒に取得された他のチャンクと並べて評価することはありません。以下は、匿名化された本番環境の例です。

[画像: クエリとチャンクのペアのスコアリング例]

2番目のチャンクは監査ログに言及していませんが、回答の半分を占めています。ポイントワイズスコアではそれを認識できません。なぜなら、そのチャンクは最初のチャンクの隣にある場合にのみ関連性があるからです。チャンクはマルチパートの質問を分割することもあり、それぞれ単独では役に立ちません。本当の質問は、チャンクが単独で関連性があるかどうかではなく、質問に答えるセットの一部であるかどうかです。

A clever fix that fails the same way

リランカーを諦める前に、アンカー文書(Sinhababu et al.)を試しました。関連性が既知の合成チャンクをランキングに挿入し、各レベル(EssentialからUnrelatedまで)ごとに1つずつ作成することで、リランカーのスケールを絶対的なものにし、保持したい最も低いレベルのアンカーの下にランク付けされたすべての実際のチャンクをドロップします。すでに実行しているリランクに加えて、追加のLLM呼び出しが必要ですが、非常にエレガントです。

しかし、それは同じ根本的な理由で機能しませんでした。アンカーはキャリブレーションを修正しますが、スコアを修正することはできません。そして、リランカーは部分的に関連性のあるチャンクや間接的に関連性のあるチャンクを、明らかに無関係なチャンクの下に配置し続けました。それらを保持するためには、アンカーを非常に低く配置する必要があり、ほとんど何も削減されません。

その失敗が有用な結果でした。削減を行うものは、質問とすべてのチャンクを一度に見る必要があります。なぜなら、評価されているのはセットだからです。

So we let an LLM grade the chunks

私たちが出荷したのは、リランカーとジェネレーターの間に位置するリストワイズLLM呼び出しです。これは質問とすべてのチャンクを受け取り、プロンプトに書き込まれた5段階のスケールで各チャンクを評価します。

LLM ScoreLevelMeaning
5ESSENTIALこのチャンクなしでは回答を生成できない。直接回答するか、他のチャンクが依存する定義や前提条件である場合も含む。
4CONTRIBUTING単独では回答しないが、他のチャンクと組み合わせて完全な回答に必要なものを提供する。
3SUPPORTINGトピックに沿っており、 plausibly useful(もっともらしい有用性)があるが、回答はそれなしでもおそらく完了する。
2TANGENTIAL同じドメインまたは共有用語、具体的な貢献はない。
1UNRELATED有意な関連性はない。

閾値以上のチャンクが保持されます。この設計は、以前の2つの失敗に対処します。各レベルは言葉で定義されているため、4はどのクエリでも同じ意味を持つため、固定カットオフが最終的に機能します。そして、モデルは質問とすべてのチャンクを一緒に見ることができるため、セットを評価でき、部分的および間接的な関連性が最終的に着地する場所ができました。

3つのノブが重要です。

  • モデル: プルーナーは、削減によって得られるコストで賄われるため、フラッグシップモデルは構造的に除外されます。小規模で高速なティアはすべて同様に判断されたため、低推論負荷で最も高速かつ安価なものを選択しました。
  • 閾値: 圧縮と再現率の間の主要なダイヤルです。
  • keep-top-k: 最上位のいくつかのリランクされたチャンクは、グレードに関係なく保持され、最も強力なチャンクをグレーディングミスから保護します。

また、自分たちの正直さを保つために、2つのより単純な設計も実行しました。Budget-select: 上位数個を保持し、LLMが最大N個を追加できるようにします。予測可能なサイズですが、予算が使い果たされると、それ以降のチャンクは関連性の有無にかかわらずすべてドロップされます。そして、最も単純なプルーナー: LLMにどのチャンクを保持するかを尋ねるだけで、スケールはありません。スキームが直接尋ねることに勝てないなら、構築する価値はありません。

The results

回答に必要なチャンクが正確にわかっているラベル付きの実際の質問セットで再現率を測定し、その後、本番環境の会話のランダムな1か月間、ジェネレーターに実際に送信された各クエリの正確なチャンクに対して、圧縮率、コスト、レイテンシを再生して検証しました。

[画像: 圧縮率と再現率のトレードオフを示す散布図]

各点は1つの構成を表し、重要な2つのものによってプロットされています。x軸の圧縮率は、プルーナーが破棄する取得済みチャンクの割合です。y軸の再現率の維持率は、プルーニング後も回答に必要なすべてのチャンクを保持している質問の割合です。100%ではどの質問も必要なチャンクを失わず、90%では10個に1個が失いました。右肩上がりほど良いです。線は各戦略の最良の構成を接続し、破線はどのプルーナーも打ち負かす必要があるベースラインです。これは、リランカーから単に少ないチャンクを返すだけの、ナイーブなトップN切り捨てです。

すべてがそれを大幅に上回っています。再現率を98%に保つと、切り捨てでは1つのチャンク(約7%の圧縮)をドロップできます。すべてのLLM戦略は30%以上に達し、関連性スコアリングはチャンクのほぼ半分をドロップします。スコアリング線は、すべての圧縮レベルで他の2つを上回っているため、残された唯一の決定は、どこに座るかでした。

攻撃的な端に近い点を選択しました。再現率約96%を維持し、チャンクの約68%をドロップします。25個に1つの質問が必要なチャンクを失いますが、その引き換えに、コンテキストの3分の2が失われ、クエリごとの請求額は約34%減少します(プルーナー自体のコストを差し引いた後)。

What it costs in latency

プルーナーは検索と生成の間に、クリティカルパスで実行されるため、そのモデル呼び出しは各クエリに追加され、その速度がコストを決定します。本番環境のセット全体で、私たちが選択した構成は、クエリあたり約0.7秒で実行されました。より重い設定は急速に増加するため、低推論負荷の小規模モデルが、追加を1秒未満に抑えます。

生成は、その見返りにほとんど速くなりません。チャンクが少ないということは、ジェネレーターへの入力トークンが少なくなるため、少し早く応答を開始しますが、せいぜい0.数秒であり、プルーナー自体の呼び出しを相殺するにはほど遠いです。

したがって、プルーニングは、わずかな固定量のレイテンシを犠牲にして圧縮を購入します。これは、私たちが出荷する構成では1秒未満です。レイテンシに敏感なシングルショットパスでは、これは実際に考慮すべきコストです。エージェント内では、すでにターンごとに複数のモデル呼び出しを行っているため、もう1つの軽量な呼び出しはわずかなものです。

Where we turned it on

まず、検索が多くのツールの中の1つである場所、つまり当社の検索を基盤としてエージェントを構築している顧客に展開しました。エージェントは数十のツールを運び、各呼び出しはその出力を同じコンテキストに注ぎ込みます。そして、3分の2少ないコンテキストを返すドキュメント検索は、他のすべてのためにスペースを購入します。失われた再現率も、そこでは危険が少ないです。何か不足していることに気づいたエージェントは、再度検索できます。

プルーニングは、当社のProduct Agent SDK'sナレッジベース検索ではデフォルトで有効になっており、retrieval API and MCP serversではオプションです。