HN 日本語サマリー

← 一覧へ戻る
Web開発

LLMのコードスタイルとトークンコストについて私が発見したこと

What I'm Finding About LLM Code Style and Token Costs (jimmont.com)

9 pointsby jimmont2 コメント

要約

本記事では、LLM(大規模言語モデル)が生成するコードが、モダンなWeb API標準と比較して冗長で古いパターンに偏りがちであり、その結果、トークンコストが大幅に高くなる問題について考察しています。著者は、クエリパラメータの解析やフォームデータの処理など、いくつかの具体的なコードパターンにおいて、LLMが非効率な実装を選択しがちであることを示しています。この問題を解決するためには、LLMにプラットフォームが提供するネイティブなWeb APIの使用を明示的に指示することが、トークン使用量の最適化とコード品質の向上につながると提言しています。

全文翻訳

LLMのコードスタイルとトークンコストに関する考察

それを共有するために出力トークンを消費しています。価格が急騰する前に。

Jim


これが始まったきっかけ

この一年、Claudeと共に機能の作成とレビューを行ってきました。トークン消費とレガシーパターンとの間の緊張関係を見るのは驚くべきことです。何かが完了したと思った途端、問題(リグレッション、エッジケースなど)が現れます。その間ずっと、現代のWebワークの現実的な最前線へのゆっくりとした、着実な、そして自然な進歩を目の当たりにしてきました。ほぼ普遍的な機能がコード行数を削減し、品質を向上させるスイートスポット――なぜあの出力が得られたのか?なぜ長年利用可能なものよりも、あのコード行が現れたのか?と疑問に思う場所です。私は通常、Claudeがせいぜいジュニアレベルであり、面接で問われる百科事典的な知識の有用な近似値であるという観察可能な事実で、それを片付けています。

何かを進歩させようとする中で、私は自分の実践を見直し、その法外なトークン使用量がどこから来ているのかを見ています。それらのトークンはすべて出力トークンであり、API価格において入力トークンよりも数倍(3倍から5倍!!!)高価なものです。パターンが長くなり、壊れやすく、安全でなく、プラットフォームがすでに解決している問題を解決している――しばしば数年前に。

これは、Ryan DahlやAlex Russell、Dimitri Glazkov(その他多数)がWeb Componentsなどを作成し、Webプラットフォーム全体を再び素晴らしいものにしたまさにその時に、Webプラットフォーム全体を後退させようとする陰謀があるのではないかと想像するのに十分です。すべてはトークンからのリターンを得るためです。したがって、陰謀論のために、これが私が発見していることです。

人間として、言語を使い、タイポグラフィをデザインし、初期にプログラミングし、絵を描くことやその他の多くの風変わりな奇妙なことと並行して、私はタブを驚くべき革新と見なしています。定義方法を誰かに尋ねたり、使用許可を得たりする必要のある抽象化ではなく、文字通り1文字でインデントを減らすことができます。(ソフトウェアコミュニティ全体の排他的な態度を理解するには、私はあまりにも平等主義者すぎるのだと思います。)私は人々のことを気にかけ、物事が何らかの倹約的な基盤の中で機能することを望んでいます。そして、4倍やその他の任意の数倍に増やすことは、私にはまったく意味がありません。もっと話すこともできますが、おそらくこれが私の立ち位置を確立するでしょう――実際のメディアで実際の言語を扱った経験があり、何かが機能するときと機能しないときについて意見を持っている人物。その部分はそれ自体で語る傾向があります。

私がこれを言及するのは、それが純粋に実用的な観点から私が調べたことを色付けするからです。私は、全員がタブを使用するという特定の立場を主張しているわけではありません(それがそれ自体で語るにもかかわらず)。私は、意見を形成した背景を開示しています――私は常に経済的な議論を心に留めていましたが、それは今や実際のAPIコストに現れています。私の規約に関する意見はこの記事ではありません。トークン使用量の最適化が、私がここで共有するために来たものです。あなたも利益を得られるように。複数のスペースを使い続けたい場合は、文献によるとそれは大丈夫だったことを思い出させます。LLMはそれ以上のことを知りません。

世界で最も簡単なトークン最適化はすでにランタイムに組み込まれている

DenoやCloudflare Workersのようなランタイムは、ブラウザで実行されるものと同じオブジェクト――URL、URLSearchParams、fetch、FormData、Headers、Request、Response、AbortController、ReadableStream、cryptoなど――のWeb APIサーフェスをネイティブに実装しています。これはDenoが意図的に行ったアーキテクチャ上の選択であり、WinterCGがランタイム全体で最小限の共通APIサーフェスとして正式化しているもので、重要な実用的な結果をもたらします:同じAPIサーフェスがブラウザとサーバーサイドの両方のコードをカバーします。翻訳レイヤー、シム、アダプテーションコストは不要です。プラットフォームはすでに問題の大きなカテゴリを、正しく、安全に、依存関係なしに解決しています。Denoは、何かが不足していてクロスプラットフォームのソリューションが必要な場合に標準ライブラリを含んでいる点で特に注目に値します。

LLMは、あなたがそう言わない限り、あなたの環境についてこれを知りません。そのトレーニングコーパスは、これらのAPIが普遍的になる前のNode.jsコード――require('url')、querystring.parse()、expressミドルウェアパターン、カスタムタイムアウトラッパー付きのaxios、フォーム解析のためのmulter――で支配されています。これらのパターンは、モデルが学習したものの統計的に支配的です。それらがモデルが参照するものなのです。

モデルのデフォルトとプラットフォームがすでに提供しているものの間のギャップが、出力トークンコストの大部分を占めています。

パターンごとの規模

私はこれを進めながらトークン経済を推定してきました。これらは概算です――正式な研究ではなく、パターンの実際の長さに基づいています――しかし、比率は有用であるには十分に一貫しています。

クエリパラメータの解析
// モデルのデフォルト—手動解析(約140トークン)
const parts = rawUrl.split('?');
const pairs = parts[1] ? parts[1].split('&') : [];
const params = {};
pairs.forEach(p => {
	const [k, v] = p.split('=');
	params[decodeURIComponent(k)] = decodeURIComponent(v);
});

// Web API(約12トークン)
const params = Object.fromEntries(new URL(rawUrl).searchParams);

およそ140トークン対12トークン。発生ごとに約90%削減。手動バージョンは、不正なキーに対してサイレントに失敗し、繰り返しパラメータの最後の値以外をすべてドロップし、キーが__proto__の場合はプロトタイプ汚染ベクトルとなります。ネイティブバージョンはすべて仕様に従って処理します。

フォームデータ
// モデルのデフォルト—フィールドごとの状態(3フィールドフォームで200+トークン)
const [name, setName] = useState('');
const [email, setEmail] = useState('');
const [role, setRole] = useState('');
const handleChange = (e) =>
	setFields({ ...fields, [e.target.name]: e.target.value });

// Web API(約14トークン)
const data = Object.fromEntries(new FormData(event.target));

モデルは、各フィールドの状態追跡と変更ハンドラを生成します。ネイティブバージョンは、1回の呼び出しでフォーム全体を処理します。フィールド数に応じて、およそ200〜250トークン対14トークン――ネイティブバージョンは20フィールドまで同じコストでスケールします。

Fetchライフサイクルとキャンセル
// モデルのデフォルト(約90トークン)
let timer;
const controller = new AbortController();
timer = setTimeout(() => controller.abort(), 5000);
try {
	const res = await fetch(url, { signal: controller.signal });
} finally {
	clearTimeout(timer);
}

// Web API(約12トークン)
const res = await fetch(url, { signal: AbortSignal.timeout(5000) });

手動バージョンは、finallyパスがリファクタリング中にスキップされた場合にタイマーを漏らします。ネイティブバージョンには管理すべきライフサイクルがありません。

失敗分離による並列非同期処理
// モデルのデフォルト(約100トークン)
let anyFailed = false;
const results = await Promise.all(
	tasks.map(t => t.catch(e => { anyFailed = true; return null; }))
);
if (anyFailed) { /* さてどうする? */ }

// Web API(約10トークン)
const results = await Promise.allSettled(tasks);

Promise.allSettled()は、タスクごとの構造化された結果を返します。.statusは"fulfilled"または"rejected"で、対応する値または理由が含まれます。手動バージョンはエラーの詳細を失い、使用ごとに新しいアドホックなステータスカンベンションを考案します。

UIコンポーネント
// モデルのデフォルト—カスタムモーダル(JSライフサイクル管理で約250トークン)
const [isOpen, setIsOpen] = useState(false);
useEffect(() => {
	if (isOpen) document.body.style.overflow = 'hidden';
	return () => { document.body.style.overflow = ''; };
}, [isOpen]);
// ... aria属性、キーボードトラップ、バックドロップクリックハンドラ ...

// セマンティックHTML(約25トークン)
<dialog ref={ref}>...</dialog>
// ブラウザはフォーカストラップ、Escapeキー、アクセシビリティツリー、バックドロップを処理します

<dialog>は2022年以来、すべての主要ブラウザでサポートされています。アコーディオン用の<details>/<summary>、ネイティブ<form>制約検証(required、type="email"、pattern、minlength)――これらはマイナーなものではありません。モデルはJavaScript実装に頼ります。なぜなら、それがトレーニングデータにあるものだからです。指示がない限り、モデルはこれを続けます。

完全なDenoリクエストハンドラ

複合効果がこれを実質的なものにします。リクエストパラメータを解析し、フォームボディを読み込み、データベースにクエリを実行し、レスポンスを返すDenoハンドラ――モデルのデフォルトスタイルで記述されたもの――は、アプリケーションロジックの前で、ボイラープレートだけで400〜600出力トークンになります。ネイティブAPIで記述された同じハンドラは、60〜90トークンになります。これはわずかな改善ではありません。

// ネイティブWeb APIを全体に使用(インフラストラクチャで約70トークン)
export async function handler(request) {
	const { searchParams } = new URL(request.url);
	const tenantId = searchParams.get('tenant');
	const data = Object.fromEntries(new FormData(await request.formData()));
	const result = await db.query(`
SELECT id, name
FROM records
WHERE tenant_id = ?
AND active = 1
`).bind(tenantId).first();
	return Response.json(result);
}

セキュリティと信頼性という構造的な成果

これは脚注として残すのではなく、直接名前を付ける価値があります。ネイティブAPIへの移行はトークンコストを削減するだけでなく、バグのカテゴリを排除します。

params[key] = valueによる手動クエリ文字列解析は、プロトタイプ汚染ベクトルです。手動decodeURIComponentは、特定の位置にある%に対してサイレントに失敗します。カスタムsetTimeoutベースのアボートパターンは、リファクタリング中にクリーンアップパスがスキップされると漏洩します。カスタムフォーム状態追跡は、フィールドが追加されたがハンドラが更新されなかった場合に一貫性バグを作成します。自家製のモーダルフォーカス管理は、キーボードナビゲーションとスクリーンリーダーを日常的に壊します。

ネイティブ実装は仕様に準拠しています。それらは、実際のWebトラフィックに存在するすべてのエッジケースに対してテストされています。Web Platform Testsスイートは、各ブラウザとランタイムに対して数万の相互運用性テストを実行します。URLSearchParamsは、仕様が正しいとは何かを定義するものに基づいて書かれたため、+エンコーディング、繰り返しパラメータ、空の値、UTF-8エッジケースを正しく処理します。モデルの手書きの同等物は、その日に作者が考えたものを処理します。

これはマイナーな信頼性改善ではありません。これは、仕様を書いた人が一度実装したコードと、部分的に間違った実装で満たされたコーパスでトレーニングされたパターンマッチングシステムによって記憶から書かれたコードとの違いです。

コメントが実際に行っていること

私はコメントをドキュメントとして考えていました――人間には役立ち、LLMには中立的だと。MITREからの2025年6月の研究(Sabettoら、Claude、GPT-4、Llama、Mixtralでテスト済み)はそれを変えました。コメントは中立ではありません。モデルは、コードと矛盾する場合でも、コメントの意図に従います。 不正確なコメント――リファクタリング前にコードが行っていたことを説明するコメント――は、コメントがないベースラインを下回るほどLLMの理解を積極的に低下させました。沈黙よりも悪い。

古いコメントは無害ではありません。それは権威ある誤情報です。モデルが私が離れたパターンに戻り続けるとき、そのコードの近くにある古いコメントは、その理由の本当の候補です。

コメントが価値を持つもの――実際に有用な情報を持つもの――は、設計意図です。制約。なぜこの関数が自身の例外をキャッチしないのか。なぜSQLがアプリケーションコードではなくデータベースレベルでフィルタリングされるのか。リファクタリング時に変更してはならないこと。明白でない選択の理由。それがシグナルです。「ループ処理」はitems.forEach()の上にあり、ノイズであり、リターンなしでトークンを追加します。

ACL 2024のコメント拡張に関する研究は逆方向を支持しています:コード付きでトレーニングされたモデルは、コメントなしのコードでトレーニングされたモデルよりも優れたパフォーマンスを発揮します。コメントは意味論的な橋です。推論時にもシグナルを運び続けるため、そのシグナルの内容は重要です。

フォーマットの問題、正しく重み付けされた

ここには本当の発見があります。Pan, Sunら(「読解性の隠れたコスト」、2025年8月)は、数万のソースファイルにわたるフォーマットからの入力トークンオーバーヘッドを測定しました。インデント、空行、アラインメントの空白を削除すると、ClaudeまたはGPT-4の精度に実質的な変化なく、平均24.5%の入力トークン数が削減されました。

それは入力側であり、それは現実です。個々の実行可能な選択――アラインメントの空白なし、SQLを左マージンにインデント解除、関数本体内の空行なし――は、典型的なJS条件下で約5〜10%の入力節約に集計されます。

しかし、入力トークンは出力トークンの3分の1から5分の1のコストがかかります。そして、ネイティブAPIからの出力節約は5〜10%ではありません――それはパターンごとに85〜92%であり、すべての発生で累積します。フォーマット作業は行う価値があります。それはメインイベントではありません。

インデント解除されたSQLに対する私の好みには、健全な技術的根拠があります:モデルのSQLトレーニングデータは主に左揃えであるため、その分布に合わせることが理にかなっています。それが精度を測定可能に向上させるかどうかについては、管理された研究を指摘できません。私には正しく見えますし、その議論は十分に健全です。

プロンプトに入れていること(そして取り組んでいること)

モデルの出力を実際に変更するメカニズムは、セッションの開始時に名前が付けられた明示的な指示です。一般的なスタイルガイダンスはわずかな改善をもたらします――Wangら(ACM、2024–2025)は、スタイルを意識したプロンプトの研究でこれを発見しました。より効果的なのは、特定のAPIを明示的に名前付けし、モデルがトレーニングデータデフォルトに頼る前に正しい答えを利用可能にすることです。

以下は、私が積極的に取り組んでいることです。DO THISとNOT THATの定期的な使用に注意してください――これらは一緒に最もよく機能します。(これは生成前に確率空間を制約することによって機能し、ここで説明されている例全体で見られる繰り返し提案です。)

use Web APIs natively: URL, URLSearchParams, FormData, AbortController, fetch, Headers, Request, Response, Promise.allSettled(), Promise.any() use semantic HTML: <dialog>, <details>, <form> with native constraint validation. Do not implement in JavaScript what the browser or Deno runtime provides natively

コメント規律と組み合わせます:

Comments state design constraints, invariants, and why. Not what the code does. Do not write comments that restate what the next line does.

ネイティブAPIの指示は、出力の品質とコストに最も目に見える違いをもたらすものです。

これが着地するところ

コアな発見は構造的なものであり、ヒントではありません。DenoはWeb APIサーフェスをネイティブに実装するという選択をし、ブラウザとサーバーで同一に機能する単一の整合性のある抽象セットを作成しました。そのサーフェスは、LLMが現在ゼロから、悪く、世代ごとに、必要以上に85〜92%高いトークンコストで解決している問題の大きなカテゴリを――正しく、安全に、そして無料で――解決します。

コメントの発見は重要です。なぜなら、モデルはそれらをメタデータではなく権威ある入力として扱うからです。古いコメントは積極的に間違った出力を生成します。正確な設計意図コメントは、有用な方向に生成を制約します。

フォーマットの発見は現実であり、適用する価値があります。それらはAPIの問題よりも二次的です。

私にとって印象的なのは、ここでの最大のレバー――インフラストラクチャコードで7〜10倍の出力トークン削減をもたらし、同時にセキュリティと信頼性の問題のカテゴリ全体を排除する――は、新しいコーディングテクニックではないということです。それはプラットフォームがすでに構築したものを使用することです。摩擦は、モデルがそれを言うまでそれを使用することを知らないということです。一度そうすれば、それは一貫しています。モデルは、あなたのランタイムがすでに出荷しているものを知りません。誰かが知る必要があります――そしてそれが、モデルを実行するだけでなく専門家を雇う理由のすべてです。


出典


これは私のワークフローで見つけていることです。上記のすべてのトークン推定値は、公開研究ではなく、直接観察からの初期の近似値です。方向性のある発見は非常に一貫しています。あなたの特定の数値は、あなたのコードベースによって異なりますので、あなた、あなたの仕事、そしてあなたのチームにとって本当に何が機能するかを確認するためにテストしてください。 2026 jimmont.com