HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

企業知識におけるエージェントの検索パフォーマンス測定

Benchmarking retrieval for agents on messy real-world company knowledge (kapa.ai)

26 pointsby emil_sorensen3 コメント

要約

この記事では、企業内のドキュメント、チケット、チャットなどの「企業知識」に対する検索(Retrieval)のパフォーマンスを測定するためのベンチマーク「Company Knowledge Bench」を紹介しています。Kapa.aiは、このベンチマークを用いて、従来のRAG(Retrieval-Augmented Generation)やエージェントベースの検索など、7つの異なる検索実装を評価しました。その結果、高度なエージェントとgrepを組み合わせた手法は、従来のRAGと同等の精度を達成しましたが、処理時間は5倍かかりました。一方、Kapaの最適化されたエージェント検索は、より高い精度と短い処理時間を実現しました。

全文翻訳

エージェント向け検索のベンチマーク:現実世界の煩雑な社内ナレッジを対象に

チームが検索を行う方法は、あらゆる領域で急速に変化しています。Cursorは最近、grepとインデックス検索のみに依存するようになり、埋め込みによるコードベースの検索を停止しました。他のチームは、従来のrerankerをJevのような新しいモデルに置き換えています。

エージェントが依存する最も重要な知識の一つが社内ナレッジです。これには、ドキュメント、チケット、チャットメッセージ、社内Wiki、コードなどが含まれます。しかし、ほとんどのチームは、実際のデータでの検索パフォーマンスを測定する方法がないため、どの検索が最も効果的かを知ることができません。

Kapaは、社内ナレッジをインデックス化し、エージェントがコンテキストのために検索できるようにするプラットフォームです。ソースを接続すると、Kapaはそれらを一つの検索可能なナレッジベースに変換し、あらゆるエージェントが必要な情報をクエリできます。検索は私たちが構築するものの核心であり、その方法は常に変化しています。

Company Knowledge Benchは、私たち自身のシステムを改善するために構築したものです。実際のプロダクションデータからアノテーションされた1,000件の評価ケースが含まれています。この記事では、その仕組みを説明し、いくつかの一般的な検索実装を評価します。

Company Knowledge Benchの結果:クエリあたりのスコア対時間

固定検索、エージェント型grep、Kapa:1,000件の評価ケースに対する7つの検索。高いほど、そして左に近いほど良い。

検索手法検索スコアクエリあたりの時間(秒)
固定検索(従来のRAG)
Hybrid search0.410 s
Hybrid search + rerank0.505 s
Query decomposition0.5610 s
Kapa Default0.6115 s
Kapa Deep0.65
エージェント型検索(grep)
Agent + grep (Luna)0.54
Agent + grep (Sol)0.61

結論:grepのみを使用する最先端モデルは、調整された最新の検索パイプラインと同等の0.61を達成しますが、5倍の時間がかかります。最適化されたエージェント型検索(Kapa Deep)はさらに優れており、約5秒で0.65を達成します。

注記:検索は当社の製品の核であり、7つの検索すべてが当社によって構築され、当社のパイプラインで取り込まれたドキュメントを使用しています。

なぜ公開ベンチマークが機能しないのか

公開ベンチマークは、私たちが目にするすべてのユースケースとクエリの種類をカバーしていないため、私たちには機能しません。

ユースケース

チームはKapaにソースをインデックス化し、エージェントを検索に接続します。そのエージェントは、それぞれ独自のドキュメントと質問者を持つ、まったく異なるユースケースに対応できます。

  • 開発者は、ドキュメント、API仕様、コード、GitHubのIssueについて、しばしばClaude Codeを通じて製品について質問します。
  • 営業担当者やその他の従業員は、Slack、Confluence、Notion、Google Drive上の製品、プロセス、顧客について質問します。
  • サポートチームは、古いチケット、ヘルプセンターの記事、社内ハンドブックから新しいチケットへの返信を作成します。

クエリ

これらのユースケースが示すように、さまざまな種類のエージェントがKapaの検索にクエリを送信し、クエリは誰が書いたかによって異なります。

  • 人間は、複数の質問、貼り付けられたエラーメッセージ、以前の発言への参照など、すべてを一つのメッセージに詰め込みます。
  • Claude Codeのようなエージェントは、複雑な質問を短く正確な検索に分割して、独自のクエリを作成します。

公開検索ベンチマークは、法律や医学のような単一のドメインを中心に構築されているか、合成ドキュメントと質問から構築されているため、ほとんどが狭すぎるか人工的すぎます。それらのどれもこの範囲をカバーしていないため、私たちは独自のものを構築しました。

エージェント向け検索の評価方法

良い検索を測定する前に、それが何であるかを定義する必要があります。

まず、いくつかの用語を説明します。クエリとは、検索者に送信されるものです。コーパスとは、チームがKapaにインデックス化したすべてのものです。チャンクとは、ページの一部のような短い断片です。検索者は、クエリを受け取り、コーパスから最も関連性の高いチャンクを返します。

私たちの定義:

検索者の目標は、利用可能な最高品質のソースを使用して、クエリに完全に回答する最小限のチャンクセットを収集することです。

Company Knowledge Benchは、次の3つの特性に基づいています。

  • 網羅性。 チャンクを渡されたエージェントは、回答するためにそれ以上のものを必要としません。セットが不完全な場合、エージェントは不完全または不正確な回答を返します。
  • 最小性。 どのチャンクを削除してもセットは不完全になります。クエリが不要とする追加のチャンクはコストがかかり、モデルが推論するのを困難にします。
  • ソースの優先度。 コーパスはしばしば、同じクエリに回答できる複数のチャンクセットを含んでいますが、それらが同等の品質であることはほとんどありません。私たちのベンチマークは、優先されるもののみを受け入れます。どのソースが優先されるかを決定するのは難しく、多くのグレーゾーンがありますが、一般的には次の2つの要因になります。
    • ソースの権威性。 専用の参照ページは、同じ事実を繰り返すIssueスレッドやブログ記事よりも優先されます。
    • 鮮度。 現在のソースは古いソースよりも優先されます。先週のSlackスレッドは、3年前に最後に編集されたConfluenceページよりも優先されます。

これらに加えて、ベンチマークは特定の状況に対してルールを強制します。例えば:

  • クエリが曖昧である。 検索者は、そのクエリのすべての合理的な解釈に対してチャンクを返す必要があります。一つの解釈を選択するのはエージェントの仕事です。
  • 問題に複数の有効な解決策がある。 検索者は、文書化された各解決策のチャンクを返す必要があります。これにより、エージェントはオプションとそのトレードオフを説明できます。
  • コーパスにクエリに回答するものがない。 検索者は、そこにある最も強力な証拠を返す必要があります。機能がサポートされていないという声明、機能が含まれていない機能の完全なリスト、または文書化された回避策です。それらがない場合、正しい結果は何も返さないことです。

これらすべてが、私たちのベンチマークラベリングハンドブックに正確に文書化されています。

評価ケースの例

私たちのベンチマークは、評価ケースのセットです。各ケースは、実際のプロダクションクエリ、クエリが発行された時点のコーパスのスナップショット、およびコーパスから取得できるチャンクがクエリに対して有効かどうかを指定するブール式である検索基準で構成されます。

以下は、検索者が返したチャンクに対してスコアリングされた、簡略化された評価ケースです。

クエリ

検索基準

検索者が返したチャンク

スコア

  • 合格。 基準はchunk_1とchunk_2を必要とし、両方が返されました。

  • 精度:4件中2件、つまり50%。 chunk_3とchunk_4は基準に含まれていません。

フォーラム投稿は、ソースの優先度のために基準に含まれていません。それは、クエリの同じ部分に価格ページと同じように回答しますが、価格ページの方がソースの権威性が高いです。変更ログは単純に関連性がありません。どちらも精度に影響しますが、理由は異なります。一つは無関係であり、もう一つは関連性があるが優先されないものです。基準はORを使用することもできます。これは、同じ情報が2つの同等の品質のソースに現れる場合に満たされます。私たちは、同じ情報が2つの同等の品質のソースに現れる場合にそれを使用します。

合計で、Company Knowledge Benchのために1,000件の評価ケースを作成しました。これらは、この記事の後半の結果の基礎となっています。

ベンチマークの作成方法

1,000件の評価ケースを手動でラベリングすることは現実的ではありません。それらを適切にサンプリングすることはさらに困難です。クエリは、私たちが取り込むすべてのソースタイプ、内部および公開コーパス、そして私たちがサービスを提供する業界から来ています。そのため、この規模を達成するには、ラベリングはエージェントによって行われる必要があります。

もちろん、エージェントにベンチマークを作成させるのは、正しく行われた場合にのみ機能します。間違った基準は、テストするすべての検索者にとって間違ったスコアを意味します。そのため、エージェントがベンチマークを構築する前に、それらがベンチマークをどの程度うまく構築するかを測定する別のベンチマークが必要です。これはベンチマーク作成のためのベンチマークです。

その2番目のベンチマークは、人間が同じベンチマークラベリングハンドブックに従って完全に手動でラベリングした170件の評価ケースのセットです。それぞれに実際のクエリ、コーパス、そして人が作成した検索基準が含まれています。これらは一緒にハンドブックのルールをエンコードしています。

したがって、プロセスは次のようでした。人間がこのセットに対して行ったのと同じタスクを実行できるエージェントを構築し、それらをクエリで実行し、それらが作成する基準を人間の基準と比較しました。エージェントが高い合意率に達するまで、エージェントを改善し続けました。その後にのみ、プロダクションクエリからベンチマークの1,000件の評価ケースを生成させました。

ラベリングは、2種類の異なるエージェントに分割されています。

  • 候補エージェントは、検索基準に含まれる可能性のあるチャンクをコーパス全体からスキャンします。これらはリコール(網羅性)のために構築されており、可能性のある関連チャンクの大きなセットを返します。
  • 基準エージェントは、それらの候補を受け取り、ベンチマークラベリングハンドブックのルールに従って、実際の検索基準に変換します。

ベンチマークが良いシグナルを与えるために、エージェントが人間の基準を正確に再現する必要はありませんが、それに近づく必要があります。そこに至るまでには、エージェントとハンドブック自体の両方で多くのイテレーションが必要でした。ベンチマークを生成する前に、エージェントが人間のラベラーと十分な合意に達したことを確認し、それらを広範囲に検証しました。

その結果は、人間が書くものに近いラベルであり、手動ラベルとは異なり、このベンチマークのために生成された1,000件の評価ケースを超えてもよくスケールします。

検索者の比較方法

Company Knowledge Benchで7つの検索を実行しました。すべてが同じコーパスを検索し、同じ方法で取り込まれ、チャンク化されているため、異なるのは検索戦略のみです。

固定パイプライン

これらは、過去数年間の従来のRAGアプローチです。モデルが次に何をするかを決定することなく、すべてのクエリに対して同じステップを実行します。

  • Hybrid search。 ほとんどのRAGパイプラインが開始するベースラインです。クエリは、キーワードインデックスと埋め込みインデックスに対して同時に照合され、埋め込みにはgemini-embedding-001が使用され、上位15チャンクが返されます。
  • Hybrid search with a reranker。 同じ検索ですが、上位100チャンクを取得し、それらをreranker(Voyage AIのrerank-2)に渡します。rerankerは、クエリと各チャンクを一緒に読み取り、チャンクがクエリにどれだけうまく回答するかをスコアリングします。reranking後の上位15チャンクが返されます。
  • Query decomposition, hybrid search, and a reranker。 検索の前に、モデル(gpt-6-luna)がクエリを最大3つのサブクエリに分割します。各サブクエリは、ハイブリッド検索を通じて上位50チャンクを取得し、プールされた結果は上位15にrerankされます。
エージェント型検索

これは検索の進むべき方向です。モデルが検索を駆動し、次に何を探すか、そして十分だと判断したときに決定します。これは、すべてのクエリに対して遅すぎたり高価すぎたりしましたが、モデルはより良く、安く、速くなっています。

  • Agentic grep, large model。 gpt-6.1-solと単一のツール:チャンク全体に対するフルテキストおよび正規表現検索。埋め込みはまったく使用せず、コーディングエージェントがリポジトリを探索する方法です。
  • Agentic grep, small model。 gpt-6-lunaという、より小さく高速なモデルを使用した同じ設定で、モデルの強さがどの程度重要かを確認します。
Kapaの検索
  • Default mode。 Kapaの高速モード:小さな計画ステップと厳格な予算を持つ固定パイプラインで、固定数の最上位ランク付けされたチャンクを返します。
  • Deep mode。 Kapaの検索エージェント。検索し、見つけたドキュメントをさらに読み込み、関連性がないと判明したものを削除し、クエリが必要とするだけのチャンクを返します。
結果

検索者を比較するために、検索スコア、レイテンシ、精度、返されるトークン数の4つの次元で評価します。スコアが高い検索者でも、ユーザーの前に配置するには遅すぎる場合や、エージェントがそれに支払うことになるほど多くの情報を返す場合があります。

Company Knowledge Benchの結果(検索者別)

クエリあたりのスコア、時間、精度、返されるトークン数。同じ取り込みデータに対する7つの検索、1,000件の評価ケース。

検索手法スコア(高いほど良い)クエリあたりの時間(秒、低いほど良い)精度(必要なチャンクの割合)返されるトークン数(少ないほど良い)
Kapa Deep0.655.1 s26%5.1k
Kapa Default0.613.3 s12%9.9k
Agent + grep (Sol)0.6117 s4%40.8k
Query decomposition0.561.8 s10%10.2k
Agent + grep (Luna)0.5413 s4%38.8k
Hybrid search + rerank0.500.7 s9%10.6k
Hybrid search0.410.4 s8%11.1k
固定パイプライン

rerankingは最も安価で大きな成果です。 単純なハイブリッド検索は0.41をスコアリングします。100チャンクを取得して15にrerankすると、0.50に向上し、0.3秒の追加時間、追加トークンなし、言語モデルと比較して安価なreranker呼び出しで済みます。基本的なRAGパイプラインで何かを変更するなら、rerankerを追加してください。

複数のクエリでの検索は、コストがかかりますが役立ちます。 まずクエリをサブクエリに分割すると、スコアは0.56に向上します。しかし、レイテンシのペナルティがあり、時間は1.8秒に倍増し、すべてのクエリにモデル呼び出しのコストが追加されます。

最適化された固定パイプラインは驚くほど遠くまで到達します。 Kapa Defaultは、完全に最適化された固定パイプラインと見なすことができます。3.3秒で0.61をスコアリングし、最強のgrepエージェントと同じスコアを5分の1の時間で達成し、固定パイプラインの中で最高の精度を誇ります。

エージェント型検索

強力なモデルとシンプルなツールは大きな効果を発揮します。 推論モデルを検索に適用すると、grepしかツールとしてなくてもうまく機能します。gpt-6.1-solは0.61を達成し、Kapa Defaultと同じスコアです。より小さいgpt-6-lunaは0.54を達成し、クエリ分解に近い値です。エージェント型ループは、デフォルトでは必ずしも優れているわけではありません。

エージェント型検索では、知性が重要です。 gpt-6.1-solをより小さいgpt-6-lunaに置き換えると、スコアが0.07低下します。固定パイプラインであるクエリ分解は、7分の1の時間でスコアにおいて小モデルエージェントを上回ります。

各検索者が返す情報を読み取るために回答モデルが支払う金額

回答モデルとしてGPT-6.1 Solを使用した場合の、1,000クエリあたりの入力コスト(トークンあたり2.00ドル)

検索手法1,000クエリあたりのコスト
Kapa Deep$10.16
Kapa Default$19.85
Query decomposition$20.46
Hybrid search + rerank$21.10
Hybrid search$22.27
Agent + grep (Luna)$77.58
Agent + grep (Sol)$81.67

エージェント型検索の最大の注意点はコストです。 これはレイテンシにも現れ、grepエージェントはクエリあたり13〜17秒かかります。また、お金がかかる場所は2つあります。1つ目は検索者自体です。gpt-6.1-sol grepエージェントは、クエリあたり約0.17ドルのモデル呼び出し費用がかかります。これは、プロダクションボリュームでは法外に高価になる可能性があります。2つ目は、返される情報です。取得された各チャンクは、結果を渡されるエージェントの入力トークンとなり、grepエージェントはクエリあたり約40,000トークンを返します。これは、固定パイプラインの約4倍ですが、25チャンクに1つしか必要とされていません。上記のグラフは、この2番目のコストを価格表示しています。これは、検索結果を受け取るエージェントもgpt-6.1-solで実行され、トークンあたり2.00ドル(o200k_baseトークナイザーでカウント)で、取得されたチャンクを一度読むだけで1,000クエリあたりいくら支払うかを示しています。

最適化されたエージェント型検索は、両方の利点を最大限に引き出します。 Kapa Deepは、クエリが必要とするものだけを返すように構築された、最適化されたエージェント型検索と考えることができます。0.65という最高のスコアを約5秒で達成し、精度も0.26と、他のすべての検索者よりも高く(0.12以下)、最高です。クエリあたり約5,000トークンを返し、固定パイプラインの半分、grepエージェントの8分の1であり、エージェントが読むためのコストも最も低く、約1,000クエリあたり10ドルです。

今後の展望

以前にも検索ベンチマークを構築したことがありますが、エージェントが社内ナレッジを実際にどのように使用するかを表すのはこれが初めてであり、まだ多くの改善の余地があることを示しています。企業がより多くのエージェントを活用するにつれて、レイテンシとコストは精度と同じくらい重要になるため、ベンチマークを成長させ、これらすべてで向上し続けます。今後もさらに多くの調査結果を発表していく予定ですので、興味のある方はブログをフォローしてください。

ベンチマークは実際のプロダクションデータから構築されているため、非公開です。ご質問があれば、お気軽にお問い合わせください。