HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

すべてをトークンでコスト計算すべきではない:決定論的AIの提唱

Not everything should cost a token: the case for deterministic AI (vybe.build)

4 pointsby marwann1 コメント

要約

この記事は、AIエージェントに決定論的で反復的なタスクを実行させることのコストと非効率性を指摘しています。プロンプトによる処理は手軽ですが、定型的な作業をLLMに任せると、トークン消費量の増加、出力品質の低下、予期せぬコスト増につながります。判断や推論が必要なタスクはAIエージェントに、データ処理やAPI呼び出しなどの定型作業は従来のアプリケーションやコードに任せるべきだと提唱しています。

全文翻訳

すべてがトークンを消費すべきではない:決定論的AIの提唱

先日話したチームが、簡単なタスクを実行するエージェントを開発しました。毎朝、メトリクスAPIからデータを取得し、JSONを整形して、結果をテーブルに格納するというものです。素晴らしいアイデアでした。初日はうまくいきました。

しかし、請求書が届きました。毎朝、そのジョブは数千トークンの生のJSONをコンテキストウィンドウにロードし、言語モデルに、考える必要のないデータを再フォーマットするように求めていました。そして、それは時折フォーマットを間違えました。なぜなら、確実な結果を毎回返す5行のスクリプトで十分な作業を、確率的なモデルが処理していたからです。さらに、コンテキストウィンドウは古いデータでいっぱいになり、エージェントが本来行うべき推論の質が低下しました。

この落とし穴は、現在ほとんどの人が陥っています。チームは言語モデルを万能のランタイムとして利用しようとします。タスクを1文で説明できれば、それをプロンプトに入力します。しかし、モデルはトークン単位でレンタルする推論エンジンです。それをcronジョブに向けたり、データを保持させたりすると、そもそも頭脳を必要としなかった作業に対してプレミアム料金を支払うことになります。

学ぶべきスキルは、モデルから何を遠ざけるべきかを知ることです。

私がそう言っているわけではありません。Daytonaを運営するIvan Burazin氏も今週、同じ点を指摘しました。

私たちのチームの誰かが、スクリーンショットからテキストをコピーしたいと思っていました。彼は画像をClaudeにアップロードし、テキストを打ち直すように頼みました。私は彼が、Macのプレビュー機能が無料で2秒でできることを、トークンを燃やして行っているのを見ました。[...] エージェントでさえ、決定論的であるべきタスクに絶えず推論を使用しています。コスト圧力が追いつけば、スタックは変わるでしょう。

— Ivan Burazin, Daytona創設者

彼の例は意図的に些細なものです。個々の呼び出しでは、それに気づくことはありません。しかし、1日に数千回実行すると、請求書に現実的な行として現れます。

なぜ「すべてがプロンプト」は正しく感じられ、それほどコストがかかるのか

その魅力は明白です。プロンプトは高速です。スキーマ設計、エンドポイント、デプロイをスキップして、ただ尋ねるだけです。本当に一度きりのタスクであれば、それが正しい選択です。

問題は、一度きりが定期的なジョブになったときに現れます。決定論的なタスクをモデル経由でルーティングすると、本来持つべきではない3つの特性を引き継ぎます。それは、非決定論的になり、遅くなり、課金対象になります。スケジュールされた関数が無料で、かつ毎回正しく実行する作業に対して、実行ごとに支払うことになります。

その後、2つの症状が現れ、それらは互いを増幅させます。

第一に、間違ったものにスケールするコストです。トークン消費は、要求する判断の価値に追随すべきです。代わりに、モデルを通過させる機械的な作業量に追随します。1日に1つのAPIをプルする代わりに10個のAPIをプルすると、そのプルに知性は全く必要なかったにもかかわらず、請求額は10倍になります。

第二に、コンテキストの肥大化です。データを処理するために、チームはそれをコンテキストウィンドウに読み込みます。コンテキストウィンドウは有限であり、推論が行われる場所です。生のレコードでそれを満たすと、モデルが実際に得意とする推論の余地を奪います。品質が低下し、ほとんどのプロバイダーが入力トークンで課金するため、長いコンテキストは同時にコストが増加します。より多く支払い、より悪い回答を得ることになります。これは痛い部分です。

実行場所を決める前に作業を仕分ける

私が常に立ち返るメンタルモデルがあります。すべてのタスクは、2つのバケットのいずれかに分類されます。

エージェント(確率的)に属するものアプリケーション(決定論的)に属するもの
判断と解釈スケジュールされた反復タスク
ドラフト作成、要約、分類API呼び出しとデータ変換
何が重要かを判断するデータの保存、取得、クエリ
不確実性やエッジケースの処理毎回正確で反復可能でなければならないもの

線引きはシンプルです。判断が必要なタスクはエージェントに、正確で反復可能でなければならないタスクはアプリケーションに渡します。決定論はあなたが望む機能です。毎朝同じように実行されるスケジュールされたジョブは、退屈で予測可能であるべきです。

これがこのアイデア全体のアンカーです。トークンを使って一度アプリケーションを構築すれば、実行ごとにトークンを支払うのをやめます。知性は機械の作成に費やされます。その後、機械は無料で実行されます。

みんなが間違えること:メモリノートをデータベースとして使う

この間違いの特定のバージョンは、賢い人々が常に犯しているのを見るので、言及する価値があります。彼らはエージェントのメモリやノートをデータベースとして使用します。

レコード、メトリクス、パイプラインステージ、顧客リストなどの構造化データをノートにドロップします。ノートがすぐそばにあり、エージェントがすでにそれを読んでいるため、自然に感じられます。しかし、ノートはデータベースとしては不十分です。一貫性を強制するスキーマがありません。クエリがないため、エージェントは1つのフィールドを取得するためだけに、ノート全体をコンテキストに読み込みます。そして、全体が成長するにつれて劣化します。

メモリノートは、クリーンなスキーマを持たず、今後も持つことのないコンテキストには依然として価値があります。たとえば、好み、トーン、エージェントが学習したパターン、過去の決定の背後にある理由などです。そのようなコンテキストは意図的に非構造化されており、判断を通知するために存在します。したがって、ルールは両方に適用されます。構造化され、クエリ可能で、大量のデータは実際のデータベースに属します。非構造化され、解釈的なコンテキストはノートに属します。データの形状に合わせてツールを一致させれば、両方の問題は消えます。

Vybeでの様子

Vybeでは、エージェントはチャット以上のことを行います。それらは実際のアプリケーションを構築・運用するため、エージェントは決定論的な作業を配置する場所を得ます。

解約分析ワークフローを例にとりましょう。モデルがトークンを効果的に使用するように構築する方法は次のとおりです。

ステップ1:アプリケーションを構築する。 Vybeに顧客データベースを持つアプリケーションを起動するように依頼します。エージェントがスキーマを設計し、アプリケーションを一度構築します。構築にはトークンがかかりますが、実行にはかかりません。

ステップ2:機械的な部分を自動化する。 アプリケーション内にcronを追加して、スケジュールに基づいて各顧客のステータスを更新します。これは純粋な決定論的な配管作業です。毎回同じように実行され、モデルには触れず、実行ごとのコストはゼロです。

ステップ3:判断のためにモデルを予約する。 週に一度実行される別のcronを構築するようにVybeに依頼します。これは顧客データベースをクエリしてリスクの高いアカウントを特定し、本番データベースとクロスリファレンスしてそれらの顧客がなぜ離脱しているのかを見つけ、要約をメールで送信します。

トークンが実際どこに行くかを見てみましょう。ステップ1と2は一度きり、または実行ごとのコストがゼロです。ステップ3では、クエリは決定論的であり、モデルが推論する唯一のことは、週に一度の「なぜ解約しているのか」という質問です。それ以外のすべては、安価で信頼性の高いコードとして実行されます。同じワークフローをすべてモデル内で構築した場合(ステータス更新、クエリなどを含む)、すべての行、すべての実行で、永遠にトークンを支払うことになります。

なぜこれがコピーしにくいのか

ほとんどのツールは、洗練度の欠如ではなく、構造的な理由からこのように機能できません。純粋なチャットエージェントアシスタント、単一モデルのコパイロットやSlackボットは、オフロードするアプリケーションレイヤーを持っていません。すべてのスケジュールされたタスク、データプル、ルックアップはトークンとして実行されます。なぜなら、それらのツールが持っているのはトークンだけだからです。純粋なノーコードおよびアプリビルダーは逆のギャップを持っています。それらは一日中決定論的なアプリを実行しますが、何が重要かを判断する推論レイヤーを持っていません。

Vybeは、推論エージェントと決定論的なアプリケーションを同じ場所に配置し、同じシステムによって一緒に構築されます。そして、Vybeはモデルに依存しないため、機械的な作業がモデルを介して実行される場合でも、特定のベンダーのトークンレートにロックインされるのを避けることができます。

モデルから外すべきもののチェックリスト

プロンプトを入力する前に、タスクをこれらの質問に通してください。

  • 判断が必要ですか、それとも機械的ですか? 判断はエージェントに、機械的な作業はアプリケーションに渡します。
  • 定期的に繰り返されますか? アプリケーションレベルのcronに移動させて、実行ごとの支払いを停止してください。
  • エージェントが直接API呼び出しを行っていますか? アプリケーションのエンドポイントに置き換えて呼び出しを行わせてください。
  • メモリに構造化データを保持していますか? データベースに移動させて、必要なときにクエリしてください。
  • データは推論のためにコンテキストにありますが、それとも単に保存されていますか? 保存が目的であれば、ウィンドウから取り出してください。

このリストを数回実行すると、それが本能になります。どのタスクがトークンに値し、どのタスクがお金を燃やしているだけなのかを感じ始めるでしょう。

ポイントは「AIの増加」ではなかった

優れたエージェントシステムは、コストに見合う場所に正確にインテリジェンスを適用し、安価で決定論的なコードにそれ以外のすべてを処理させます。機械を一度構築し、それを実行させます。モデルは判断に時間を費やし、配管作業はアプリケーションに任せるべきです。

Vybeはまさにそのために構築されています。推論するエージェントと実行するアプリケーションが一体となり、一方が他方の仕事をすることにプレミアムを支払うのをやめます。AIとアプリケーションのモデルが実際どのように機能するかを見るか、エージェントギャラリーを閲覧して実行中の様子を確認してください。

私たちの記事の一部はAIの支援を受けて作成されています。すべての記事は公開前に人間によって読み取り、事実確認、編集されており、私たちは本当にあなたの時間を費やす価値があると思うコンテンツのみを作成しています。