HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

すべてにLLMが必要なわけではない

Not Everything Needs an LLM (newsletter.posthog.com)

129 pointsby speckx53 コメント

要約

この記事では、単純なタスクには大規模言語モデル(LLM)よりも「決定モデル」が適していると主張しています。決定モデルは、LLMよりもはるかに安価で高速であり、不確実性を明示的に示すことができます。LLM呼び出しのコストを削減するためのゲートとして使用したり、モデルルーターとして機能させたり、単純なチェックに使用したりする方法が解説されています。ただし、複雑な推論やオープンエンドなタスクにはLLMが依然として必要であることも指摘しています。

全文翻訳

すべてにLLMが必要なわけではない

LLMはよく喋ります。簡単な質問をすると、「それは状況によります」という数百語の回答が返ってきます。非常に迷惑です。

だからこそ、私たちはJevのような決定モデルをより単純なタスクに使用するのが好きなのです。構造化された質問をすると、確率を伴う型付きの回答が得られます。それは次のようなものです。

  • Noul(名詞)。ハリネズミは哺乳類ですか? → はい、0.99

  • Choice(選択)。ハリネズミはどの動物科に属しますか? → Mammal(哺乳類)、0.99

  • Score(スコア)。ハリネズミの現在の保全状況は何ですか? → Least Concern(低懸念)、0.77

LLMは自由形式で過度に自信のある文章を返しますが、決定モデルはモデルの不確実性を明示的にします。校正されたモデルでは、0.8のスコアは、約80%の確率で正しいことを意味します。つまり、0.5のスコアはコイントスと同じです。

私たちはPostHogでそれらを実験しており、いくつかのユースケースが本番環境に到達しました。これまでに決定モデルの使用について学んだことすべてを紹介します。いつ使用するか、どのように使用するか、そして避けるべき間違いです。

1. 高価なLLM呼び出しをゲートするために使用する

決定モデルは、最先端モデルと比較して最大444.6倍安価で193.6倍高速です1。そのため、高価なLLM呼び出しが必要かどうかを確認するために使用できます。

私たちは、ユーザーセッションの記録を監視・要約する製品であるReplay Visionで個人情報をスクラブするパイプラインでこれを行っています。仕組みは次のとおりです。

  • 各セッションの要約は、決定モデルからの2つのはい/いいえの質問を通過します。このような狭い質問を使用すると、誤検出が単一の質問で生成されたものの約10分の1に削減されます。

      1. 「これは実在の人物の名前を挙げていますか?」
      1. 「これは連絡先情報やIDを示していますか?」
  • いずれかが0.4以上のスコアの場合、Geminiは個人情報なしで要約を書き直し、再度チェックされます。

  • それ以外の場合はクリーンであり、ゲートを通過します。本番環境では、98.7%がLLM呼び出しを完全にスキップします。

[画像: "Gate expensive calls behind a decision model" というタイトルのフロー図。入力されたセッション要約(「Mary entered her email to sign up for an account...」)は、2つのはい/いいえの質問(「Does this name a real person?」と「Does this show contact details or an ID?」)を持つ決定モデルゲートを通過します。両方のスコアが0.4未満の場合、要約はクリーンとして通過し、LLMによる書き直しは行われません。いずれかのスコアが0.4以上の場合、ゲートで失敗し、書き直しのためにLLMに送信され、最初のチェックが繰り返されます。注:間違いのコストに基づいてしきい値を設定してください。]

決定モデルがない場合、プロンプトや正規表現を調整し続けるか、必要な1%を検出するためにすべての要約をGeminiに送信する必要があります。

ただし、間違いを犯すことを忘れないでください

0.85の確率スコアでも、1,000回のチェックで約150回の誤った回答を意味します。そのため、誤検出と偽陰性の両方を計画してください。

PIIの例では、誤検出は追加のLLM呼び出しのコストしかかかりませんが、偽陰性は個人データをクリーンとして保存します。そのため、しきい値を0.4と低く設定しました。

誤検出がよりコストのかかる間違いである場合は、より高いしきい値を使用してください。例えば、最近PostHogのSlackボットを更新し、タグ付けされずに質問に答えられるようにしましたhttps://github.com/PostHog/posthog/blob/master/products/slack_app/backend/temporal/activities/untagged_question.py。迷惑にならないように、チャンネル内のすべてのメッセージをチェックして、(1)情報に関する質問であるか、(2)PostHogがそれに答えられるかを確認します。両方を0.85以上で通過したメッセージのみが処理されます。

結論: 決定モデルを使用して、高価なLLM呼び出しに到達する前にジョブをフィルタリングし、どちらの間違いがよりコストがかかるかに基づいてしきい値を設定してください。

2. モデルルーターとして使用する

私たちのPostHog in Slackボットは、モデルルーターとしても決定モデルを使用しています。

ボットがタグ付けされると、まずメッセージが特定のモデルを要求しているかどうかを確認します。そうでない場合、1つのchoice質問がリストから選択されます。

「タスクを最初の試行で正しく完了する可能性が最も高い、最も安価なオプションを選択してください。実行の失敗は、より賢いオプションよりもコストがかかります。」

[画像: "Using decision models as model routers" というタイトルのフロー図。新しい自由形式のタスク(ユーザーがPostHog in Slackボットに「昨日のSafariからのログインユーザーは何人ですか?」とタグ付けする)は、1つの選択質問を持つ決定モデルに送信されます:「タスクを最初の試行で正しく完了する可能性が最も高い、最も安価なオプションを選択してください。」矢印は、相対的なコストを持つ候補モデルに分岐します:Claude Sonnet 5.5(1倍、選択)、Claude Opus 5.5(2倍)、Claude Fable 5.1(5倍)、GPT-6 Luna(0.05倍)、GPT-6 Sol(1倍)、GPT-6 Astra(5倍)、およびタイを制した保存された個人またはプロジェクトのデフォルト。]

リストの各オプションには、そのモデルが何に適しているかについての短い説明が付いています。GPT Lunaは「軽量で非常に安価なモデル。短い回答、ルックアップ、要約、および非常に小さな編集に適しています」と説明されています。決定モデルは、各オプションのテキストに対してリクエストをスコアリングします。

ただし、それらが相互に交換可能であると仮定しないでください

異なるタスク、モデル、プロバイダーはすべて異なるしきい値を持っています。

私たちは、Error Trackingで類似のログを自動マージするためにそれらを使用することを実験していましたが、同じモデルのv1とv2の間でしきい値が変更されることがわかりました。手動でラベル付けされたデータに基づいて再調整しながら、それらをPostHogプロジェクトごとに設定可能にし、ジャッジをシャドウモードで実行する必要がありました。

これが、私たちの成長チームのFernandoが早い段階でモデルに依存しないインターフェースを推進した理由の1つです。現在、セルフホストモデルを含む、モデルの交換とテストのための内部AIゲートウェイがあります。

結論: choice質問を使用して、自由形式のLLMリクエストを処理できる最も安価なモデルにルーティングします。しきい値は引き継がれないため、タスクごと、モデルごとに設定することを忘れないでください。

3. 表面的チェックに使用する

質問がより多くのコンテキストや推論の連鎖を必要とする場合、LLMを使用する方が良いです。ただし、入力をフラット化または前処理して、表面的にチェック可能にできる場合は、決定モデルを引き続き使用できます。

Replay Visionでは、ユーザーが「onboarding friction」のようなテーマを検索すると、埋め込み距離の仕組みにより、クエリがいくつかの予期しない結果を返す可能性があります。

決定モデルは、「ユーザーの検索クエリに一致する要約を含む上位10件のセッションをランク付けする」ことはできません。それは複雑すぎます。

代わりに、まず埋め込みを使用して、決定モデルに渡すセッション記録の初期リストを導き出します。次に、決定モデルに残された唯一のタスクは、リスト内の各結果がユーザーの元の検索用語にどれだけ密接に一致するかを確認することです。

「この要約は、検索が探しているものと一致するセッションを説明していますか?」

[画像: "Reranking search results with a decision model" というタイトルのフロー図。ステップ1、埋め込み検索:クエリ「onboarding friction」は、すべての観察を20件の最も近いものに絞り込みます。「Completes onboarding, no errors」、「Edits onboarding checklist copy」、「Stuck on data source step, leaves」とリストアップされます。意味的に近いことは、一致と同じではありません。ステップ2、決定モデル:検索と1つの観察を一緒に読み込み(「onboarding friction」と「Completes onboarding, no errors」のペア)、20回繰り返して「この観察は検索と一致しますか?」と尋ね、確率で「はい」または「いいえ」と答えます。ステップ3、確率による再ランク付けされた結果:「Stuck on data source step, leaves」0.91、「Edits onboarding checklist copy」0.07、「Completes onboarding, no errors」0.03、さらに他の結果。実際の一致が上位に移動します。]

結果はその後、その確率によって再ランク付けされます。20件のテストクエリで、このランキング品質は約25%向上しました。

ただし、複数ステップの推論は避ける

私たちは以前、複数ステップの推論に決定モデルを使用しようとしました。Replay Visionで埋め込みが準備される前に、「Highlights」フィード(人間の時間に見る価値のあるセッション)をランク付けしようとしました。質問は次のとおりでした。

  1. このセッションは見る価値がありますか?
  2. もしそうなら、なぜ見る価値があるのですか?(「画面上のエラー」、「遅延または停止」、「ユーザーが混乱」、「ユーザーが諦めた」などの選択肢あり)

これらの2つの質問を順番に処理するには、最大32セッションと12〜38kトークンを送信する時間ごとのジョブが必要でしたが、モデルサーバーをフラッディングさせ、他の製品の呼び出しを数時間ブロックしました。

したがって、技術的には、決定モデルを複数ステップの判断に連鎖させることはできますが、運用上それだけの価値はありません。それをLLMに任せるか、埋め込み検索の例のように、決定モデルがデータを見る前に重い作業を行うようにしてください。

結論: 決定モデルは、目の前にあるものを単一パスで評価します。複数ステップの推論はLLMに任せましょう。

4. 過剰なLLMの代わりに使う

決定モデルは、遅すぎるか高価すぎるためにLLMが過剰であるあらゆる仕事を引き受けることができます。1つの例は、SQLクエリ用のよりスマートなチャートピッカーです。PostHogは、次のような決定的なルールを使用して視覚化を選択していました。

  • 日付列、数値列、および複数の行 → 折れ線グラフ

  • 2つ以上のテキスト列と数値 → ヒートマップ

  • 任意の数値列 → 棒グラフ

現在、決定モデルは、SQL自体(組織がオプトインした場合)と結果の最初の3行の両方を見て、より良いチャートを提案します。

以下の例は、ブラウザ別のページビューに関する単純なクエリに基づいています。元のルールでは基本的な集計折れ線グラフが選択されていましたが、Jevを使用すると、ブラウザ別に分割された棒グラフが選択されました。

[画像: "Chart: Before and after" というタイトルの並列チャート。前(決定論的ルール):日次値の単一集計折れ線グラフ(10月23日から11月6日まで、235kから1.8Mまで)。後(Jev決定モデルによって選択されたチャート):同じ日付のグループ化された棒グラフが3つのシリーズに分割されており、シリーズ1は1.6M近くにピークし、シリーズ2と3は小さく留まります。キャプション:決定モデルは、SQLとクエリ結果の最初の3行の両方を見て、シリーズ(例:ブラウザまたはデバイスタイプ別)に分割し、日次比較を容易にするために棒グラフを使用することを決定しました。]

ただし、オープンエンドなジョブはLLMに任せる

よりオープンエンドなものはすべてLLMに任せるべきです。

それでも、好奇心から、私たちはJevを使用して、内部PRレビューエージェントの調査結果を、変更が開発者の注意に値するかどうかを大まかに尋ねる5つの名詞質問でランク付けしようとしました。結果はAUC 0.52で決定的ではありませんでした。

JevがLLMであれば、より多くのコンテキストを送信することでこれを解決できますが、Jevは大きなリクエストを処理できません。その長文コンテキストモードも遅く、精度も低いです2。典型的な決定モデルは、この種の推論のために作られていません。

ただし、Jeevesのようなハイブリッド決定モデルはこのギャップを埋めるのに役立ちます。私たちの社内AI研究チームによって開発されたJeevesは、不確かな場合に決定する前に推論する決定モデルです。

現在、PostHogでモデル名を指定しないすべての決定呼び出しのデフォルトとなっています。また、Kevのような他の開発者による同様のバリエーションもあります。

結論: 言語モデルには単純すぎるが、正規表現には曖昧すぎる入力の評価者として決定モデルを使用します。それ以上に複雑なものは、現時点では決定モデルに渡すにはまだ多すぎます。

Jina Yoonによる執筆。この記事は2ヶ月で時代遅れになると予想しています。

📚 表面的に読むのに良い記事

💼 ここなら気に入るはず、0.99

2

Jevはデフォルトでリクエストごとに64kトークン、質問ごとに32kトークンを処理します。TypeSafeは両方を262kに引き上げるオプトインヘッダーを追加しましたが、長文コンテキストモードは遅く、精度も低いと警告しています。出典:TypeSafe Docs