HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Databricks、AIコーディング費用を70%削減

Databricks drove down AI coding spend 70% (databricks.com)

283 pointsby moonikakiss238 コメント

要約

Databricksは、AIコーディングツールが生産性を大幅に向上させる一方で、コストが指数関数的に増加するという課題に直面していました。同社は、AIツールの利用を促進しつつ、ユーザーあたりのコストを一定に抑えるための「デュアルマンデート」を実現するコスト管理手法を開発しました。これらの手法により、AIコーディング費用を70%削減することに成功しました。

全文翻訳

AIコーディングコストの管理を大規模に行う

AIコーディングツールは計り知れない価値をもたらします。Databricksでは、エージェント型コーディングが追跡するあらゆる速度指標を測定可能に改善し、一部のチームではアウトプットを1桁向上させました。しかし、AIツールを大規模に展開しているほぼ全ての企業が同じ壁にぶつかっています。それは指数関数的に増加するコストです。この曲線は持続不可能であり、放置すれば最終的には収益を上回ります。支出の爆発は、企業を逆説的な状況に追い込んでいます。一方ではAI変革を最大限に推進し、従業員に強力なツールを提供したいと望みながら、他方ではAIが提供する効率性向上そのものを損なう、あるいは逆転させる可能性のある総コストプロファイルを調整しなければなりません。

幸いなことに、最も早期に大規模採用した企業のいくつかが、このパズルを解決するアプローチのセットに収束し、「二重の責務」を達成しました。(a)最小限の摩擦でAIツールへの広範なアクセスを提供すること、そして(b)ユーザーあたりの総コストをほぼ固定された範囲内に維持することです。この記事では、Databricksでの経験と、Stripe、Coinbase、Uber、Rampなどの他のデジタルネイティブ企業との会話に基づいた、実績のあるコスト管理技術の概要を説明します。以下の表は、現在の技術と関連する節約効果をまとめたものです。数値は、開発チームへの非公式な調査に基づいた方向性を示しています。

[画像: AIコーディングコストの管理を大規模に行う]

これらの技術の一部は、多くの企業がすでに使用しているソフトウェアで簡単に実装できます。その他は、特にエンドユーザークライアントを変更したり、モデル間でトラフィックをシフトしたりする技術には、新しいインフラストラクチャが必要です。Databricksでは、主要なインフラストラクチャコンポーネントをオープンソース化または無償で提供しています。エンドユーザー向けのメタハーネス(Omnigent)とAIゲートウェイ(Unity Gateway)です。完全を期すために、この記事では、私たちが話を聞いた他の企業が使用しているソフトウェアについても触れます。

コーディングモデルの「効率性フロンティア」

コストを最も大きく左右する要因は、新しいモデルがリリースされた際に、コーディング費用をより効率的なモデルに移行することです。この点は、単に「より安価なモデル」という単純な説明が、モデルのコストと品質の間の微妙な関係を隠しているため、議論の余地があります。

一般的に、フロンティアモデルという言葉は「最高の知能を持つモデル」を意味し、フロンティアラボは主にピーク知能の進歩に焦点を当てています。フロンティアモデルは現在、数学やサイバーセキュリティにおける新しい問題を解決できます。しかし、AIが大規模に展開される場合、より重要なのは別の種類のフロンティアです。それは効率性フロンティアです。効率性フロンティアは、特定の知能レベルに対して最も優れた価格ポイントを持つモデルのセットによって定義されます。ほとんどの日常的なコーディングは、数学的証明や新しいセキュリティ洞察を必要としないため、集計で重要なのは、一般的なソフトウェアエンジニアリング作業の品質基準を満たすモデルのコストです。この「効率性フロンティア」は、知能フロンティアよりもはるかに速く進歩しており、ほぼ毎週、以前のモデルよりも価格あたりの知能が高い新しいモデルがリリースされています。

コストレバー #1: オープンソースおよび低コストモデルへの移行

[画像: コストレバー1]

新しく、より効率的なモデルを迅速に採用することは、あらゆる技術の中で最大のコスト削減効果をもたらします。しかし、そのメリットを享受するには、企業はまず、どのモデルが実際に既存のモデルを上回るかを知る必要があります。これは、公開ベンチマークがコーディングタスクにおける実際のパフォーマンスを示すのに不十分であるため、困難な場合があります。新しいモデルの性能を評価するために、多くの企業は、自社の内部開発のミックスをより代表するものだと考える自動評価を構築しています。Databricksは最近、そのようなベンチマークの例を公開しました。このベンチマークで、GLMモデルの価格/パフォーマンスが非常に競争力があることを確認しました。そのベンチマークを受けて、社内の開発者にGLMを展開しました。多くの場合、新しいモデルは効率性フロンティアを進歩させず、評価はしばしば否定的な結果をもたらします。Stripeは、Opus 4.7がOpus 4.6よりもコストが増加したにもかかわらず、品質を大幅に向上させなかったことを発見しました。そのため、Opus 4.7を社内で利用可能にしないことを決定しました。Databricksも、Opus 5.0と4.8を比較した際に同様のコスト増加を確認しました。

ハーネスとモデルの柔軟性

最大のメリットは新しいモデルへの切り替えから得られるため、モデルの柔軟性を可能にするエンドユーザーツールを採用することが、コスト削減の重要な要素になりつつあります。特定のモデルと組み合わせて最も一般的に使用されるツールはハーネスと呼ばれます。独自のフロンティアモデルは、特定のハーネスと連携するようにますます共同設計されており、特定のハーネスが特定のモデルと「より良く機能する」ことを意味します。企業がモデルの独立性を維持したい場合、アプローチはほぼ2つあります。

[画像: ハーネスとモデルの柔軟性]

ユーザーにハーネスの切り替えを依頼する。 1つのアプローチは、開発者に一連のハーネス(Claude Code、Codex、またはCursor)を提供し、企業がコストの低いモデルに支出を移行したい場合に、ハーネスを切り替えるように依頼することです。これにより、ユーザーは可能な限り好みのハーネスで作業できますが、このアプローチの欠点は、個々の開発者にとっての切り替えコストが高くなる可能性があることです。切り替えコストが高すぎると、ハーネス自体がモデルファミリーへの事実上のロックインとなり、より競争力のあるモデルへの支出を移行する能力を制限します。

メタハーネスを使用する。 新しく人気が高まっているアプローチは、開発者に共通のユーザーエクスペリエンスを提示しながら、基盤となるハーネス(独自のものとオープンソースの両方)にリクエストをディスパッチするメタハーネスを使用することです。このアプローチは、モデル/ハーネスの独立性を可能にすると同時に、開発者の切り替えコストを削減します。Databricksでは、Omnigentを活用する開発者にとって、これがデフォルトのモードです。私たちが話を聞いた一部の企業は、開発ツールチェーンと統合されたカスタムの社内メタハーネスを構築しています。

コストレバー #2: 動的なリクエストとタスクルーティング

ユーザーにタスクに適したモデルを自分で選択させる代わりに、ますます多くの研究が、自動的なモデルとツールの選択がエージェント型コーディングワークフローからさらに効率を引き出す可能性を示唆しています。ルーティングアプローチは、ほぼ3つのカテゴリに分類されます。

  • リクエストレベルルーティング: ステートフルなプロキシが、クライアント(コーディングハーネスなど)と基盤となるモデルの間に配置されます。プロキシは、各推論リクエストに応答できる最も低コストのモデルにリクエストをルーティングしようとします。エージェント型ユースケースのルーティングは、サーバーサイドキャッシングも考慮する必要があります。なぜなら、コールドキャッシュヒットは大規模なコンテキストワークロードに対して非常にコストが高いためです。新しい製品群が、ルーティングにおいて初期の有望な結果を示しています。例としては、Cursor Router、OpenRouterのAutoRouter、RampのRouter機能、およびDatabricks独自のUnity GatewayのSmart Routing機能があります。
  • タスクレベルルーティング(メタハーネス): クライアントサイドのプロセスが、タスクの複雑さに基づいて異なるハーネスにユーザータスクをディスパッチします。ユーザータスクは「このコンポーネントをXからYに名前変更する」(簡単なタスク)であったり、「レイテンシを削減するための設計上の考慮事項を検討する」(複雑なタスク)といったオープンエンドなタスクであったりします。ディスパッチャーは、しばしばメタハーネスと呼ばれ、タスクに必要な基盤となるモデルのレベルを調べ、そのエンドツーエンドのタスク全体をモデルに委任します。Omnigentは、このパターンをサポートするメタハーネスの例です。
  • エスカレーション/委任パターン: 単一のハーネスが2つのモデル(高価で高知能なモデルと安価なワーカーモデル)をペアにします。一部のアプローチでは、ClaudeのAdvisor Toolなど、安価なモデルが主導権を握り、タスクがより多くの処理能力を必要とすると判断した場合にエスカレーションします。逆のパターンも存在します。CognitionのDevin Fusionでは、高コストモデルがメインループであり、安価なモデルに選択的に作業を委任します。
    Databricksでの社内結果は、当社のAIゲートウェイSmart Routerが、最も高価なモデルの品質をおおよそ一致させながら、平均タスクコストを常に30%以上削減できることを示唆しています。私たちが話を聞いた他の企業も同様の結果を見ています。

[画像: image9.png]

コストレバー #3: 開発者に可視性、警告、予算を提供する

この記事全体が「ユーザーに月間予算を与えて終わり」で始まらず、終わらなかったことに驚くかもしれません。私たちが話を聞いた全ての企業で、特定の支出上限に達すると使用が完全に停止されるハードバジェットは、最終手段としてのみ使用されることがよくありました。AI支出管理において、ハードトークンバジェットがあまり効果的でない理由は2つあります。第一に、開発者が予算上限に達した場合、AIツールへのアクセスをさらに制限することは生産性を著しく低下させます。企業も従業員も、実際にはその結果を望んでいません。第二に、少なくとも一部の「高支出」ユーザーは、実際にはAIで計り知れない効率向上を達成し、膨大な出力を生成しているユーザーです。そのようなユーザーを抑制することは自己破壊的です。

ハードなユーザー支出キャップの代わりに、ほとんどの企業は、エンドユーザーへの可視性と支出の増加に伴う摩擦の度合いの増加に焦点を当てた、より微妙で段階的なアプローチを採用しています。

  1. 可視性: 私たちが話を聞いた全ての企業は、ユーザーに進行中の支出に関するほぼ瞬時のフィードバックを提供するメカニズムを持っており、多くはより安価なモデルの使用方法に関する具体的なヒントや洞察も提供していました。ユーザーが全てのツールでの支出を見ることができることは重要です。なぜなら、彼らは最も高いROIが得られるツールの選択に影響を与えたいと考えるかもしれないからです。

    [画像: Managing AI Coding Costs at Scale]
    Databricksの開発者ダッシュボードでアクティブな支出を表示

  2. 支出ゲート: 支出が増加するにつれて、開発者はアクションを実行したり、承認を求めたりするように求められることがあります。支出ゲートの最も単純な形式は、自己クリア可能であり、支出率が特定のしきい値を超えて増加していることの警告として機能するものです。Databricksでは、偶発的または意図しない支出を防ぐための有用なメカニズムとして、自己クリア可能なゲートを見つけました。さらに、明示的な予算承認(多くの場合、管理チェーンを経由)を必要とするゲートを導入できます。

  3. ダウンシフト: 開発者が支出ゲートに達した場合、トークンアクセスから完全に停止されるのではなく、低コストモデルにダウンシフトされる可能性があります。最も低コストのモデルはフロンティア知能モデルよりも大幅に安価であるため、この技術により、開発者は巨額の継続的な支出を発生させることなく作業を続けることができます。

  4. 一時停止: 最終的なケースとして、ほとんどのシステムは、全てのトークンアクセスからユーザーを完全に一時停止する能力を保持しています。前述のように、これは多くの場合一時的な措置に過ぎず、AIを効率的に活用する方法についての会話の出発点となります。

コストレバー #4: トークンオーバーヘッドの削減

ユーザーがAIコーディングエージェントに(「このバグを調査して修正してください。」のような)比較的単純なリクエストを入力すると、そのエージェントはその後、大量の関連コンテキストを収集し、多数のツールを呼び出し、コードベースを検索し、企業が提供するスキルやシステム情報を統合します。高価なLLM推論が発生するまでに、ユーザーの最初のステートメントは、AIシステムにフィードされるデータのわずかな割合に過ぎません。つまり、コストはユーザーが明示的に含めなかったコンテキストによって支配されます。コンテキストの肥大化を削減する技術はまだ新しいですが、いくつかの有望なアプローチが検討されています。例えば:

  • アクティブなコンテキストのより頻繁なコンパクション(圧縮)を強制する。
  • 「チャットが少ない」(トークン効率が高い)ハーネスを使用するか、既存のハーネスを調整してトークンオーバーヘッドを少なく生成する。
  • 人気のあるツールを監査し、それらの冗長性を減らす。
  • 開発者にタスクをより小さな個々の作業単位に分割するように奨励し、コンテキストスコープを減らす。

コンテキストが大きくなると、プロンプトキャッシングも全体的なパフォーマンスにおいて重要な役割を果たします。独自およびオープンソースのLLMの両方に、プロンプトキャッシングを有効にし、キャッシュの保存期間を調整できる設定があります。キャッシュの書き込みにはコストがかかりますが、キャッシュされた読み取りは推論あたりのコストを劇的に削減できます。このトレードオフは企業の特定のワークロードに依存するため、全体的なキャッシュヒット率を高めるようにデフォルトのキャッシュ設定を手動で調整すると、全体的なコストに劇的な改善をもたらす可能性があります。

Databricksでは、ハーネスとキャッシング設定の比較的単純な調整により、生成されたトークン数とその関連コストがほぼ50%削減され、開発者にとって品質の低下は観察されませんでした。私たちはこの分野の技術を引き続き探求しており、意味のある追加の最適化が可能であると考えています。

[画像: トークン削減]

余分な推論呼び出しを排除し、キャッシュ書き込みを減らすことで、セッションあたりのトークン数が劇的に削減されました。

AIゲートウェイのデザインパターン

上記の技術には多くの暗黙的な技術要件がありました。新しいモデルを迅速に活用するには、企業は「モデルメニュー」が管理される中央の場所を持ち、エンドユーザーはモデルの混合をサポートするツールチェーンを持っている必要があります。複数のAIツールにわたる予算の可視性を提供するには、統一されたコスト監視機能が存在する必要があります。コンテキストの肥大化を管理するには、企業は一般的なツール呼び出しの出力を監視し、圧縮またはコンパクションを強制する方法が必要です。これらのニーズは、総称して、AIゲートウェイと最もよく説明される新しいクラスのインフラストラクチャソフトウェアによって解決されています。AIゲートウェイは、以下の全てが発生する中央の場所です。

  1. 基盤となるモデル(独自モデルとOSSモデルの両方)へのアクセスを管理し、プロキシする。
  2. 段階的な摩擦レベルやモデルのダウンシフトなどの複雑な予算ポリシーを含む、予算の追跡と実施。
  3. モデルの許可リスト、コンパクション設定、およびその他のローカルで仲介される側面を強制するための、エンドユーザーツールの設定管理。
  4. 後続の効率性分析とベンチマークのためのコーディングセッショントレースのロギング。

Databricksでは、これらの全ての機能のためにUnity Gatewayに大きく依存しています。

まとめ

AIコーディングコストの指数関数的な増加は避けられないものではなく、解決可能なエンジニアリングおよびガバナンスの問題です。それを克服した企業は共通のプレイブックを共有しています。それは、知能フロンティアではなく効率性フロンティアを執拗に追求し、モデルの柔軟性を維持するツールを採用し、インテリジェントに最も安価な対応可能なモデルに作業をルーティングし、ハードバジェットを可視性と段階的な摩擦に置き換え、実際の支出を支配するトークンオーバーヘッドを削減することです。これらの技術のいずれも、AI導入を価値あるものにした生産性向上を犠牲にする必要はありません。それらを組み合わせることで、組織は予測可能なコスト範囲内で、広範で摩擦の少ないアクセスという二重の責務を満たすことができます。

企業がコストを管理するためのツールを提供する新しいインフラストラクチャ抽象化のセットが登場しています。Databricksでは、コスト管理スタックの主要コンポーネントをオープンソースまたは無償ソフトウェア製品としてリリースしました。中央管理のためのUnity Gatewayと、開発者ツール向けのOmnigentです。何千もの企業がこれらのコンポーネントを毎日使用しています。この技術ランドスケープが急速に進化するにつれて、より多くの企業が知見を共有し、技術を比較することを奨励します。

謝辞: この記事にコメントとレビューを提供してくださったUber(Ty Smith)、Stripe(Aaron Spinks)、Coinbase(Siwei Shen)、Ramp(Veeral Patel)のインフラストラクチャリーダーに感謝します。この記事の初期ドラフトに関するフィードバックを提供してくださったThrive Capitalに感謝します。