HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

洞窟人間のようにエージェントに話しかけると65%のトークンを節約できるか?検証してみた

Does Speaking to Agents Like Cavemen Save 65% of Tokens? We Test (blog.jetbrains.com)

23 pointsby Sandman18 コメント

要約

JetBrainsは、AIエージェントが「洞窟人間」のように話すことでトークン使用量を65%削減できると謳う「Caveman」スキルを検証しました。実際のテストでは、コードやツール呼び出しが主となるエージェントのタスクでは、トークン削減効果は約8.5%に留まることが判明しました。品質への影響は検出されませんでしたが、大幅なトークン節約という広告は誇張されていると結論づけています。

全文翻訳

「Caveman」のような話し方で本当にトークンを65%節約できるのか? JetBrainsが検証

[画像: Ai logo]

JetBrains AI

多くのJetBrains製品にAI搭載機能を組み込み、開発を強化しましょう。

Agentic AI AI AI Assistant

Claude Code上でSkillsBench (https://www.skillsbench.ai/) を使用して実行された、トークン圧縮スキル「Caveman」 (https://github.com/juliusbrussee/caveman) のA/Bベンチマークペアテスト:実際にトークンを節約できるのか、そしてAIエージェントの出力品質を低下させるのか?

謳われている節約率: 65%。測定された節約率: 8.5%。

スキルを強制的に有効にした状態での、実際のエージェントタスクにおける出力トークン節約率。これは上限値であり、通常のケースの結果ではありません。

なぜこのテストを実施したのか

JetBrainsでは、コーディングエージェントを取り巻くツールの適切なテストへの投資を増やしており、その中で一つのスキルが私たちの注目を集めました:「Caveman」。そのアピールは、独自の言葉遣いで最もよく説明できます。

スキルはエージェントにCavemanのように話させる。少ないトークンで済むならなぜ多く使う。無駄な言葉は死ぬ。コード、コマンドはバイト単位で正確に保つ。出力トークンを65%節約。毎回の応答で。永遠に。30以上のエージェントで動作。多くのGitHubスター。

私たちはこう考えました。

主張は作るのが安い。検証は高い。エージェントはチャットウィンドウではない。エージェントの出力は主にツール呼び出し、ファイル編集、コードであり:スキルの約束はそれらに触れないこと。そこで、READMEが測定しない2つのことを測定することにした:マルチステップのエージェント作業における実際の節約率、そしてエージェントの思考プロセスを圧縮することがタスク結果を損なうかどうか。

セットアップ

HarnessHarbor 0.17: Dockerでサンドボックス化されたトライアル、タスクレベルの検証、ペア実行。
AgentClaude Code 2.1.200、ヘッドレス、bypassPermissions。
Modelclaude-sonnet-5、推論努力量 low (--effort low)。
BenchmarkSkillsBench (benchflow/skillsbench): 87タスク中86タスク。各タスクは0から1のスケールで自動採点され、1は完了、部分的なクレジットも可能です。
Arm Ano-skill: 標準のClaude Code。
Arm Bwith-skill-forced: Harbor --skill 経由でインストールされたCavemanと、「Cavemanモードを使用…」という指示行を強制的に追加。
Pairing同じタスク、同じモデル、同じ設定、各アームで同じ予算。除外されたタスクは両アームから除外。
Volume3回の実行、約240回の請求対象トライアル、総費用約106ドル。

「強制」が重要な理由: Cavemanはユーザーがアクティブ化します。「caveman mode」や「be brief」のようなフレーズでトリガーされます。私たちはすべての応答でそれを強制したため、以下のすべての数値はスキルの最良ケースです。エージェントが自分でアクティブ化を決定する通常の利用では、実現される節約率はここで測定された約10%の上限値以下にしかなりません。

発見1:節約率は65%ではなく約8.5%

謳われている節約率は、チャットスタイルの散文による回答から来ています。エージェントの出力は異なります:コード、差分、ツール呼び出し、正確なエラー文字列がトークンストリームを支配し、Cavemanはそれらをすべてそのまま残します。ツール呼び出し間のナレーションだけが圧縮されますが、その量は多くありません。

ベースラインからの出力トークン節約率

実行タイプタスク数トークン節約率
smoke: k=110-29.5%
k=386-6.7%
k=1-2
(clean pairs)82-8.5%

強制Cavemanアームの出力トークン節約率(3回の実行)。最初の小規模な実行で見られた目を引く-29.5%は再現されませんでした。スケールが大きくなると、節約率は-8.5%に収束します(82のペアタスクで592kから542kの出力トークン)。謳われている-65%はグラフ外です。

発見2:検出可能な品質低下なし

私たちが本当に気にかけていた質問:エージェントを簡潔にすることで、エージェントは悪くなるのか?フルランの82のペアタスク全体で、答えはノーです:アームは統計的に区別できません。

タスクごとのペア結果

スキルがより高く評価同スコアスキルが低く評価
86410

タスクごとのペア結果、フルラン。18の差がないタスクに対する符号検定:p = 0.82、有意な差からはかけ離れています。平均タスクスコアは、ベースラインが0.326、スキルアームが0.311で、0-1スケールで-0.015の差でした。

アームごとの平均タスクスコア

実行タイプno-skillwith-skill-forced
smoke: k=10.380.25
10 tasks: k=30.450.39
86 tasks: k=1-20.330.31

アームごとの平均タスクスコア。恐ろしい初期の差は、サンプルサイズが増加するにつれて縮小します:実際の効果ではなく、ノイズのパターンです。個々のタスクは、両アームでの再試行で、合格と不合格の間を自由に切り替わります。

スタイル変換自体は設計通りに機能しています:強制アームのトランスクリプトは紛れもなくCavemanであり、コードの成果物は変更されずに通常の状態を保っています。

発見3:コスト削減は現実的だが脆い

コストは、約8.5%のトークン節約率に追随するため、スキルアームは約10%安くなるはずであり、タスクあたりではそうなっています。しかし、フルランでの生の腕の合計は、スキルアームが11.6%高価であることを示しました:36.39ドル対40.60ドル。この逆転はすべて単一のトライアルに起因します:1つの依存関係監査タスクが、スキルアームで200kのロングコンテキスト価格帯を超えて膨張し、8.29ドル対0.33ドルを請求しました。以前の実行では、同じタスクがベースラインアームで3.25ドルの外れ値を引き起こしました。これはスキルの特性ではなく、タスクの特性です。

結論

安全で、スタイルに関しては正直だが、節約に関しては誇張されている。 強制的にオンにすると、Cavemanはエージェントの話し方を確実に変更し、エージェントが生成するものに測定可能なダメージを与えることなく機能します:82のペアタスク、符号検定 p = 0.82。しかし、実際の剤的な作業では、エージェントセッションを支配するトークンはコードとツール呼び出しであり、スキルは意図的にそれらを保持するため、最大でも出力トークンを約8.5%、コストを約10%削減します。謳われている65%は、コーディングエージェントではなく、チャットスタイルのQ&Aに属するものです。

推奨: 気に入ったら使ってください。楽しいですし、品質において測定可能なコストはかかりません。ただし、日常的な剤的なタスクで大きな節約を期待しないでください:高い一桁パーセントが現実的な上限です。

  • 品質: 検出可能な低下なし:8タスクが改善、10タスクが悪化、64タスクが同等。平均タスクスコアは0-1スケールで0.015差(p = 0.82)。
  • トークン: 強制アクティベーションで出力トークンが-8.5%。これは上限値であり、自動トリガー使用ではそれ以下またはゼロの節約になります。
  • コスト: 期待値で約-10%。ただし、単一トライアルの変動によって日常的に消去されます。
  • 方法論ボーナス: 最初の10タスク実行では-30%のトークン節約率が「示されました」が、サンプルサイズが増加するにつれて解消しました。k=1の評価を信頼しないでください。

次にテストしてほしいスキルはありますか?コメントで名前を教えてください。数語で十分です。テストします。

実行詳細:Harbor 0.17;推論努力量lowのclaude-sonnet-5;SkillsBench 86/87タスク;約240トライアル;総費用約106ドル。