洞窟人間のようにエージェントに話しかけると65%のトークンを節約できるか？検証してみた

JetBrains AI ツールをAI搭載機能で強化しましょう JetBrains製品の多くに搭載されています フォロー フォロー: RSS RSS さらに探す エージェントAI AI AIアシスタント 洞窟人間のようにエージェントに話しかけると本当に65%のトークンを節約できるか？検証してみた Denis Shiryaev SkillsBenchで実行されたClaude Codeのトークン圧縮スキル「Caveman」のペアA/Bベンチマーク：実際にトークンを節約できるのか、AIエージェントの出力品質を低下させないのか？ 広告された節約率：65%。測定された節約率：8.5%。 実際の剤的タスクにおける出力トークンの節約（スキルが強制的に有効化された場合）。これは上限値であり、通常のケースの結果ではありません。 なぜこれを実行したのか 私たちJetBrainsは、コーディングエージェントを取り巻くツールの適切なテストにますます投資しており、あるスキルが私たちの注意を引きました：「Caveman」です。そのピッチは、独自の言葉で最もよく説明できます。「スキルはエージェントに洞窟人間のように話させる。少ないトークンで済むなら、なぜ多く使う？フィラーは死ぬ。コード、コマンドはバイト単位で正確に保たれる。出力トークンを65%節約。すべての返信で。永遠に。30以上のエージェントと連携。多くのGitHubスター。私たちは考えました：主張するのは簡単だが、検証は高価だ。エージェントはチャットウィンドウではない。エージェントの出力は主にツール呼び出し、ファイル編集、コードであり、スキルはそれらに触れないと約束している。そこで、READMEが測定しない2つのことを測定しました：複数ステップのエージェント作業における実際の節約率と、エージェントの思考プロセスを圧縮することがタスクの結果に影響を与えるかどうかです。 セットアップ HarnessHarbor 0.17：Dockerサンドボックス化されたトライアル、タスクレベルの検証、ペア実行。 AgentClaude Code 2.1.200、ヘッドレス、bypassPermissions。 Modelclaude-sonnet-5、推論努力レベル低（--effort low）。 BenchmarkSkillsBench (benchflow/skillsbench)：87タスク中86タスク。各タスクは0〜1のスケールで独自のテストによって自動採点され、1は解決済みを意味し、部分的なクレジットも可能です。 ArmA（スキルなし）：標準のClaude Code。 ArmB（スキル強制）：Harbor --skill plus one instruction line forcing activation: “Use caveman mode…” を介してインストールされたCaveman。 Pairing同じタスク、同じモデル、同じ設定、アームごとの同じ予算。除外されたタスクは両方のアームから除外されました。 Volume3回の実行、約240回の請求対象トライアル、総額約106米ドル。 なぜ「強制」が重要なのか：Cavemanはユーザーが有効化します。「caveman mode」や「be brief」のようなフレーズでトリガーされます。私たちはすべての返信でそれを強制したため、以下のすべての数値はスキルの最良ケースです。エージェントが自分で有効化するかどうかを決定する必要がある通常の利用では、実現される節約は、ここで測定された約10%の上限値以下にしかなりません。 発見1：節約率は65%ではなく約8.5% 広告されている節約率は、チャットスタイルの散文による回答から来ています。剤的出力は異なります：コード、差分、ツール呼び出し、正確なエラー文字列がトークンストリームを支配し、Cavemanはそれらをすべてそのまま残します。ツール呼び出し間のナレーションのみが圧縮されますが、その量は多くありません。 出力トークン節約 vs. ベースライン smoke: k=1 10タスク: -29.5% k=3 フル: 86タスク: -6.7% k=1: -8.5% 小規模サンプルノイズ 見出し結果、82のクリーンなペア 広告：-65% 強制Cavemanアームの出力トークン節約（3回の実行全体）。最初の小規模実行からの目を引く-29.5%は再現されませんでした。大規模になると、節約率は-8.5%（82ペアタスクで592kから542kの出力トークン）に収束します。広告された-65%はグラフ外です。 発見2：検出可能な品質低下なし 私たちが実際に気にかけていた質問：エージェントを簡潔にすることは、それを悪化させるのか？フル実行の82ペアタスク全体で、答えはノーです：アームは統計的に区別できません。 タスクごとのペア結果 8 64 引き分け 10 スキルの方が高かった 同じスコア（両アーム） スキルの方が低かった タスクごとのペア結果、フル実行。 18の非引き分けに対する符号検定：p = 0.82、有意な差からはほど遠い。 平均タスクスコアは、ベースラインが0.326、スキルアームが0.311で、0-1スケールで-0.015のギャップでした。 アームごとの平均タスクスコア スキルなし スキル強制あり smoke: k=1 10タスク: 0.38 0.25 k=3 86タスク: 0.45 0.39 k=1: 0.33 0.31 回帰に見えたギャップが統計的にフラットになる アームごとの平均タスクスコア。 恐ろしい初期のギャップは、サンプルサイズが増えるにつれて縮小します：実際の効果ではなく、ノイズのパターンです。個々のタスクは、両方のアームで繰り返し試行される際に、合格と不合格の間を自由に切り替わります。スタイル転送自体は設計どおりに機能します：強制アームのトランスクリプトは紛れもなく洞窟人間風であり、コードのアーティファクトは変更されず、通常どおりです。 発見3：コスト節約は現実だが脆弱 コストは約8.5%のトークン節約に追随するため、スキルアームは約10%安くなるはずであり、タスクごとにもそうなります。しかし、フル実行の生の総計では、スキルアームは11.6%高価でした：36.39米ドル対40.60米ドル。この逆転はすべて単一のトライアルから来ています：1つの依存関係監査タスクが、スキルアームの200kロングコンテキスト価格帯を超えて膨張し、0.33米ドル対8.29米ドルの請求となりました。以前の実行では、同じタスクがベースラインアームで3.25米ドルの外れ値を引き起こしました。これはスキルの特性ではなく、タスクの特性です。 結果 安全、スタイルに関しては正直、節約に関しては誇大広告。 強制オンの場合、Cavemanはエージェントの話し方を測定可能なダメージなしに確実に変更します：82ペアタスク、符号検定p = 0.82。しかし、実際の剤的作業では、出力トークンの約8.5%とコストの約10%を、絶対的な最良の場合に削減します。なぜなら、エージェントセッションを支配するトークンはコードとツール呼び出しであり、スキルは意図的にそれらを保持するからです。広告された65%は、コーディングエージェントではなく、チャットスタイルのQ&Aに属します。 推奨：気に入ったら使用してください。楽しいですし、品質において測定可能なコストはかかりません。ただし、日常的な剤的タスクで大きな節約を期待しないでください：高単桁パーセンテージが現実的な上限です。 品質：検出可能な低下なし：8タスクで改善、10タスクで悪化、64タスクで引き分け；平均タスクスコアは0-1スケールで0.015差（p = 0.82）。 トークン：-8.5%の出力トークン（有効化強制時）、これは上限値であることを意味します；自動トリガー使用はそれ以下、または全く節約しません。 コスト：期待値で約-10%、単一トライアルの変動によって日常的に消去されます。 方法論ボーナス：最初の10タスク実行では-30%のトークン節約が「示され」ました。サンプルサイズが増えると解消しました。k=1の評価を絶対に信用しないでください。 次にテストしてほしいスキルはありますか？コメントに名前をドロップしてください。数語で十分です。私たちはテストします。 実行詳細：Harbor 0.17；claude-sonnet-5（推論努力低）；SkillsBench 86/87タスク；約240トライアル；総支出約106米ドル。 共有 Facebook Twitter Linkedin 前の投稿 GitHub CopilotがJetBrains IDEに統合エージェントとして登場 「rtk」スキルは本当にエージェントトークンを60〜90%削減するか？テストしました 次の投稿 JetBrains AI Blogの更新を購読する 購読フォーム このフォームを送信することにより、JetBrainsプライバシーポリシーに同意します。 通知アイコン このフォームを送信することにより、JetBrains s.r.o.（「JetBrains」）が私の名前、メールアドレス、および場所のデータをニュースレター（商業通信を含む）の送信のために使用し、この目的のために私の個人データを処理することに同意します。JetBrainsは、JetBrainsプライバシーポリシーに従って、この目的のために第三者サービスを使用してこれらのデータを処理する場合があります。私は、いつでもプロファイルでこの同意を撤回できることを理解しています。さらに、各メールには購読解除リンクが含まれています。 送信 ありがとうございます、受け取りました！ さらに発見 Claude Code用Ponytailスキル：本当にエージェントコードを54%削減するか？ 公開されているコーディングエージェント用の「トークンセーバー」アドオンを、それぞれに同じペアA/Bベンチマークを実行するシリーズのパート3。パート1はcavemanスキルでした（広告-65%、測定-8.5%）。パート2はrtkでした（広告-60〜90%、測定+7.6%）。ポニーをテストするために80ペアタスクを実行しました… Denis Shiryaev JetBrains Contextの紹介：コーディングエージェントのためのリポジトリインテリジェンス 本日、JetBrains Contextをローンチします。これは、コーディングエージェントがより効率的に作業し、複雑なコードベースでより高品質な結果を生み出すのに役立つ、新しいリポジトリインテリジェンスレイヤーです。JetBrains AI for Teams and Organizationsのロールアウトの一環として、JetBrains Contextは現在早期アクセスで利用可能です… Eduard Gurskiy 「rtk」スキルは本当にエージェントトークンを60〜90%削減するか？テストしました 「rtk」はClaude Codeのトークン使用量を削減するか？コーディングエージェント用の「トークン節約」アドオンのシリーズのパート2