HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

100倍安価なオープンモデルで検索性能においてGPT-5.6 Solを凌駕する

Beating GPT-5.6 Sol on retrieval with 100x cheaper open models (neon.com)

409 pointsby moonikakiss114 コメント

要約

この記事では、CastformとNeonの組み合わせがいかにして、GPT-5.6 Solのような最先端モデルと比較して、検索性能で同等以上の結果を100倍安価に達成できるかを解説しています。CastformはオープンソースモデルをRL(強化学習)でポストトレーニングし、NeonのLakebase Searchは効率的なデータ検索インフラを提供します。これにより、企業は自社のデータ資産を活用して、高性能なエージェントを低コストで開発できるようになります。

全文翻訳

100倍安価な検索モデルのトレーニング NeonとCastform

[画像: 推論コストと平均評価報酬によるCastformファインチューンとフロンティアモデルの比較]

「ほとんどのチームの最高のトレーニングデータは、データベースに眠っています。問題は、生データを実用的なものに変えるのが難しく、エージェントが大規模かつ安価にデータを読み取り、検索し、変更するには高度なインフラが必要です。CastformをNeonに接続することで、その両方の問題を解決します。」

Ying Hang Seah, cofounder, Castform

「優れたエージェント」には、2つの領域で強さが必要です。

  • コンテキスト: 適切なデータを見つけるためのツールを提供できるか?
  • モデル: モデルは検索すべきものを決定できるか?

Neon(Lakebase Postgres)とその新しいSearch拡張機能が前者、Castformが後者を解決します。

エージェント検索の進化

2022年頃、業界は埋め込み検索に注力していました。すべてのデータベースプロバイダーが検索機能を追加し、pgvectorはNeonで最もダウンロードされた拡張機能でした。LLMにコンテキストを提供するために、エンジニアはRAGパイプラインを手作業で構築していました。これは本質的に、ある種の埋め込み類似性検索です。

2025年頃、エージェントがより注目を集め始めました。開発者はマルチホップ検索ワークフローを作成し、大きな問題を小さな問題に分解し始めました。検索は、ワンショット検索システムからエージェント検索へと移行しました。単一のクエリを発行する代わりに、モデルはループ内で複数回計画し、検索します。ループの各イテレーションは、フロンティアモデルへの別の呼び出しを意味し、ユーザーリクエストあたりの全体的なコストとレイテンシが増加しました。

[画像: 従来のRAGパイプラインとエージェント検索ワークフローの比較]

具体的には、gpt-5.6-solを使用した典型的なマルチターンの検索リクエストは、エンドツーエンドで10秒以上かかり、約0.03ドルかかるため、遅すぎて高価すぎます。

一方、小さなオープンウェイトモデルは100倍安価です。しかし、そのままでは、それらの機能はクローズドAPIモデルに劣ります。RLポストトレーニングは、このギャップを埋めるのに役立ちます。検索のような特定のタスクでは、ポストトレーニングされたオープンソースモデルは、リクエストあたりのコストが桁違いに低いにもかかわらず、フロンティアモデルに匹敵し、それを上回ることができます。

だからこそ、私たちはCastformを構築しました。MLとGPUの内部を扱うことなく、開発者がモデルをRLポストトレーニングできるようにするためです。目標は、ポストトレーニングをプロンプトエンジニアリングと同じくらい分かりやすくすることです。

CastformはNeonをどのように使用するか?

Castformのパイプラインは、Lakebase Searchを介してNeon上で実行されます。

ステージNeon + Lakebase Search
コーパスストレージ生ドキュメントはNeon上のPostgresに保存される
合成データ生成Castformトレーニングパイプラインは、lakebase_textとlakebase_vectorを使用してトレーニングタスクを書き込む
RLトレーニングすべてのロールアウトの検索ツールの呼び出しは、Neon上のLakebase Searchを使用する
本番推論最終モデルは、推論中に同じ検索ツールの呼び出しを使用する

あなたの最高のトレーニングデータはすでに存在します

RLポストトレーニングを効果的に実行するには、タスク(例:ユーザーの質問に答える)、エージェントが実行する環境(例:コーパスの検索ツール)、および報酬関数(例:回答は正しいか?)が必要です。

これら3つの要素がすべて揃うと、RLポストトレーニングは試行錯誤のループになります。モデルはツールを与えられてタスクを試行し、報酬関数が試行を評価し、フィードバック信号がモデルに最適なパフォーマンスに向けてどのようにヒルクライムするかをガイドします。

しかし、ほとんどの企業は、ポストトレーニングの準備ができたクリーンなタスクと報酬関数のデータセットを持っていません。

エンタープライズは、大量の独自のデータを持っています。

  • 社内ドキュメント
  • 製品記録
  • サポート記事
  • 顧客とのやり取り
  • Wiki
  • 運用データベース

このデータには、エージェントが必要とする知識が含まれていますが、効果的なトレーニングデータセットに変えるには、通常、かなりのデータエンジニアリングと手動ラベリングが必要です。

これにより、多くのチームが次のいずれかの理由でポストトレーニングを却下します。

  • 「トレーニングデータがありません。」
  • 「ファインチューニングは難しすぎ、必要なインフラがありません。」

Castformは両方に対応します。既存のコーパスをトレーニングタスクに変え、オープンソースモデルがそのデータを効果的に使用する方法を教えるために必要なRLループを管理します。

Castformの使用

Castformを使用すると、会社のナレッジベースをモデルに変えることができます。

  • ドキュメント(データから): Navanで予約されたトレーニングは、GitLabの出張費で支払われます。列車での移動は、標準キャビンクラスで、14日前の予約リードタイムが必要です。
  • グラウンドトゥルース(データから推測): 列車での移動は、標準キャビンクラスで、14日前の予約リードタイムが必要です。
  • 質問(合成生成): Navanで鉄道旅行を予約する際、どれだけ早く予約する必要があるか、そしてどの座席クラスを選ぶべきかというルールは何ですか?

生成された質問と回答のデータセットを使用して、Castformは、エージェントがアクセスできるツールと報酬関数を指定することで、トレーニング実行をスキャフォールドできます。

報酬関数は、モデルに習熟させたいことを指定します。この場合、正しいチャンクを取得し、正しい最終回答を提供するとともに、正しいソースを引用させたいと考えています。

def run_tool(tool, tool_args):
    """単一ツール:Lakebaseでのハイブリッド検索。"""
    if tool == "search":
        query = tool_args["query"]
        bm25 = neon.lakebase_text(query, k)
        vector = neon.lakebase_vector(query, k)
        return rrf_merge(bm25, vector, k)

def reward(trace, ground_truth):
    """トレースをグラウンドトゥルースの回答に対して採点する。"""
    answer = parse_trace(trace)
    retrieval = ...     # 正しいソースを取得したか
    citation = ...      # 正しいチャンクを引用したか
    correctness = ...   # 正しい回答にたどり着いたか
    return retrieval + citation + correctness

包括的なコード例はこちらをご覧ください。

オブザーバビリティ:モデルの学習を観察する

Castformは、RL実行の完全なオブザーバビリティを提供します。各ステップでの報酬の上昇を監視できますが、さらに重要なのは、個々のタスク/プロンプトにドロップインして、モデルが質的にどのようにパフォーマンスを発揮するかを観察できることです。これにより、壊れたツールや報酬ハッキングなどの問題をデバッグできます。

トレーニング実行の監視方法の詳細については、Castformブログはこちらをご覧ください。また、トレーニング実行の例はこちらもご覧いただけます。

[画像: トレーニングステップごとの平均報酬]

平均報酬

Neonが「うまく機能する」理由

トレーニング中、エージェントは十分なコンテキストが得られるまで繰り返しLakebase Searchを呼び出します。数千回の並列ロールアウトで、それぞれが数十回の呼び出しを行う可能性があるため、これは非常にバースト的なワークロードを作成します。

[画像: Castformトレーニング実行中のNeon CPU割り当てと使用率]

Neonのダイナミックコンピュートスケーリングは、Castformが常に最大容量をプロビジョニングする必要なく、これらのピークを吸収します。トレーニング実行は、需要が急増したときに低レイテンシの検索を取得し、アイドル期間中はコンピュートがスケールダウンします。

このインフラストラクチャは、エージェントが検索を超えてデータの変更を開始するにつれて、さらに価値が高まります。ステートフルエージェントのトレーニングには、安価に作成およびリセットできる分離された環境が必要であり、1つのロールアウトのアクションが別のロールアウトに影響を与えたり、本番環境に触れたりするのを防ぎます。

Neonのブランチングは、各ロールアウトに分離されたデータベース状態を提供できます。一方、タイムトラベルクエリにより、エージェントが遭遇した状態を再構築および検査することが可能になります。自動スケーリングとスケールツーゼロと組み合わせることで、これは、数千もの継続的に実行されている環境を維持することなく、数千ものステートフルエージェントのロールアウトをトレーニングするためのパスを作成します。

Castformは、あらゆる開発者がオープンソースモデルをポストトレーニングして、フロンティアモデルよりも安価に、高速に、そしてより良くすることを容易にします。今すぐcastform.comで最初のモデルをポストトレーニングしてください。