HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Databricksの数百万行に及ぶコードベースでのコーディングエージェントのベンチマーク

Benchmarking coding agents on Databricks' multi-million line codebase (databricks.com)

131 pointsby tanelpoder57 コメント

要約

Databricksは、自社の数百万行に及ぶコードベースでAIコーディングエージェントのパフォーマンスを評価するための内部ベンチマークを開発しました。このベンチマークの結果、OpenAI、Anthropic、およびオープンソースモデルが性能とコストの点で最良の選択肢であることが示されました。特に、GLM 5.2のようなオープンモデルは、高いタスク難易度にも対応できることが判明し、また、モデルのトークン単価ではなく、タスク全体のコストと品質を考慮することの重要性が強調されました。

全文翻訳

Databricksの数百万行のコードベースにおけるコーディングエージェントのベンチマーク

Databricksでは、AIをエンジニアリングに積極的に導入するにつれて、ソフトウェアの構築方法は急速に変化しています。過去1年間で、コード作成のためのモデルやハーネスの状況は急速に拡大し、開発者はこれまで以上に多くの選択肢を得ています。選択肢が増えるにつれて、実際のコーディングタスクにおいてどのコーディングエージェントが最高のパフォーマンスを発揮するかを理解すること、そしてタスクパフォーマンスが価格によってどのように変動するかを理解することがますます重要になっています。

この記事では、Databricksのコードベースでエンジニアが実際に行ったコーディングタスクを評価する、Databricksで構築した社内コーディングベンチマークの結果と方法論を共有します。タスクには、多くの人気言語(Python、Go、Typescript、Scalaなど)を網羅する数百万行のコードベースに対する編集が含まれ、タスクとソリューションの両方が正確性を確保するために慎重にレビューされました。これは網羅的なものではありませんが、この演習により、エンジニアリングチームのコーディングエージェントによる効率が大幅に向上する洞察が得られました。以下に、モデルとハーネスが全体的なベンチマークでどのようにスコアリングされたかを示します。

[画像: Cost vs. Performance on our benchmark]

図1: ベンチマークにおけるコスト対パフォーマンス

分析から得られた主な結論は次のとおりです。

  1. コーディングタスクにおけるパレートフロンティア(つまり、特定のコストに対する最良の品質)には、OpenAI、Anthropic、およびオープンソースのモデルが含まれます。これは、今日、ツールの組み合わせのみがフロンティアパフォーマンスを提供できることを意味します。
  2. オープンモデル、特にGLM 5.2は、現在、最も高いレベルのタスク難易度さえも処理できるようになっています。
  3. モデルのトークン価格は、エンドツーエンドタスクで発生する実際のコストの乏しい指標です。より大きなモデルは、トークン効率がはるかに高く、全体的なコストが低くなる可能性があります。
  4. モデルが呼び出されるハーネスは、コストと品質に劇的な影響を与えます。多くの場合、Piのようなシンプルなハーネスがワークロードで最良のパフォーマンスを発揮しました。

それぞれについてもう少し詳しく見ていきましょう。

モデルは「能力ティア」に大まかに分類される

特定のポイントのずれは、実際のタスクではしばしば相殺されることがあります。私たちは、さまざまなタスクに使用するモデルについて推論するのに役立つテーマパターンにより焦点を当てました。実際、結果はモデルとハーネスが3つの能力ティアに明確にクラスタリングされることを示しました。

[画像: Capabilities tiers for models]

図2: 全体的な結果では、3つの明確な能力ティアが出現し、各グループで効果的なモデルにはニュアンスがありました

パフォーマンスの最上位では、最も知的なモデルがすべての種類の問題を解決するのに非常に効果的ですが、非常に高価であることがわかります。中程度およびそれ以下の知能を持つモデルは、一般的なタスクに対して依然として非常に効果的であり、多くの場合、それらは大幅に安価でもあります。

日々の業務では、エンジニアは複雑さが大きく異なるさまざまなことを行います。フラグを切り替えたり設定を更新したりするような一般的な運用タスクには、極端に知的なモデルは必要ありませんが、より深い設計探索には必要です。しかし、過去には、私たちのデフォルトモデルは常に最も高価なものでした。この分析に基づき、HaikuおよびGPT 5.4 Miniクラスのモデルに、より多くの作業を移行すべきだと判断しました。

コーディングのためのオープンモデル

GLM 5.2については多くの興奮があり、私たちの結果はGLMが多くの開発者にとって日常的なドライバーモデルになり得る証拠を示しました。それはトップの能力ティアに位置し、品質においてOpus 4.8と統計的に同等でしたが、Opusの1.94ドルに対してタスクあたり1.28ドルでした。

GLMの品質スコアは、日常的な開発のためにGLMをパイロット運用している社内開発者から得られた定性的なフィードバックと一致しています。日常的なコーディングタスクにおけるその優れたパフォーマンスのため、私たちは最高のパフォーマンスでGLMを提供することに重点を置いており、証拠は、これらをコーディングの日常的なドライバーとして展開を開始する時期が来ていることを示しています。

タスクあたりの価格対トークンあたりの価格

開発者はしばしばトークンコストを調べて、コーディングタスクを完了する際のモデルのコストを判断します。しかし、モデル間の推論効率のばらつきのため、トークンコストは全体的なタスクコストの乏しい指標であることが多いと私たちは発見しました。これは、タスクの形状と複雑さが異なるコンテキストで異なる可能性があるため、タスクレベルのベンチマークの必要性を強調しています。

例として、Sonnet 5はOpus 4.8よりもトークンあたり約1.7倍安価ですが、私たちのタスクでは、Sonnetはタスク完了率で6ポイント低いスコア(81%対87%)でありながら、タスクあたり2.09ドルのコストに対しOpusは1.94ドルでした。これは主に、Sonnet 5がより長く作業し、より多くを読み取ることでそこに到達し、トークンを1.9倍多く消費したためです。

ハーネスは効率に大きな影響を与える

同じモデルを同じ思考努力で2つの異なるハーネス(Claude Code/Codex対Pi)で実行したところ、タスクあたりのコストが大幅に(場合によっては2倍以上)異なり、品質は同じままであることが観察されました。主な違いは、各ターンで各ハーネスがモデルにどれだけのコンテキストを供給したかという点にありました。

[画像: Harness impact on efficiency]

Piは1ターンあたり約3分の1のコンテキストを送信しました。コンテキストをより良く管理し、よりタイトなワーキングセットを維持し、より少ない実行でタスクを完了しました。
[画像: Total context re-fed to the model per task]

ここでの教訓は、一方のハーネスが常に安いということでも、ネイティブハーネスが劣っているということでもありません。むしろ、モデルの選択はパズルの1つのピースにすぎません。この柔軟性を確立するために、モデルとハーネスの交換をシームレスにするためにOmnigentに投資しました。

なぜ独自のベンチマークを構築するのか?

SWE-BenchやTerminalBenchのような公開ベンチマークは有用ですが、私たちの疑問に答えることはできませんでした。これにはいくつかの理由があります。

  • タスクは公開されているため、ソリューションが時間の経過とともにトレーニングデータに漏洩します。
  • Scala、Go、Rust、Java、Python、Bazel、Protobufなどで書かれた10以上の言語と多くのサービスを網羅する私たちのコードベースに対して、結果が代表的ではないことがわかりました。

独自のPRでベンチマークを構築することにより、開発者を妨げることなく最適化を展開できるという高い信頼性を持ってこれらの決定を下すことができます。

ベンチマークの構築方法

Unity Gatewayを使用して、すべてのコーディングインタラクションのログをキャプチャし、エンジニアがコーディングエージェントを使用して取り組むタスクの複雑さを分析できるようにしました。タスクの複雑さには大きな多様性があり、約4分の1が低複雑度の作業としてタグ付けされ、約60%が中程度の複雑度でした。

[画像: What our engineers actually ask of coding agents]

しかし、高価なモデルがエンジニアが使用するデフォルトのモデルであるため、効率を改善する大きな機会が明らかにありました。

タスクの構築

私たちのエンジニアは毎日数千件のコード変更をマージするため、すでに素晴らしいデータセットを構築するための基盤があります。優れたプルリクエストは、開発者からのイテレーションを示すコミット、人間によるレビュー、コード変更が意図に忠実であることを検証するのに役立つテストを備えた、豊富な成果物です。しかし、それらから高品質のベンチマークを構築するために、いくつかの品質チェックとフィルタリングが必要でした。

  • 新しさ: 現在使用されているフレームワーク、パターン、および規則を含む、今日の構築方法を反映するように、最近の履歴からプルします。
  • 人間が書いた: ボットコミット、サービスアカウント、完全にAI生成された変更、および自動生成された変更はフィルタリングされました。
  • 関連付けられた高品質なテストスイート: コード変更を検証するための高品質なテストが含まれているPRをフィルタリングしました。
  • 自己完結型: 変更は少数のモジュールに限定されていました。
  • 典型的なタスクの代表性: フルスタック(Scalaバックエンドサービス、Rustシステムコード、ReactおよびTypeScriptフロントエンド、ProtobufおよびgRPCコントラクト、Bazel設定)全体にわたるタスクの分布からPRを選択しました。

[画像: Task construction step-by-step plan]

候補となるPRが得られたら、よく指定されたタスクを構築することに焦点を当てました。

  1. 意図を把握し、プロンプトとして要約します。 PRを読んで、それが実際何のためであったかを理解し、望む結果を記述します。通常、これは問題または目標を述べ、制約を名前を付け、ソリューションの説明を削除することによって、PRの説明を書き直すことを意味します。例えば、バグ修正が正しい理由の説明を削除することは重要です。なぜなら、それはタスクをあまりにも簡単にするからです。
  2. 関連するテストを分割します。 テスト以外のファイルは、モデルが独自に再現する必要がある変更でした。そのため、テストファイルを脇に置き、コンパイルできることを確認しました。私たちのビルドシステムは、元のPRで変更されたファイルに依存するテストをすでに決定できるため、それらのテストターゲットをすべて実行しました。

この演習から得られたのは、ベンチマークにおける単一のタスクでした。以下に簡単な例を示します。

スクリプトとAIを使用して候補タスクを生成しましたが、各サンプルを手動で評価しました。場合によっては、元のPRのテストを、代替実装を可能にするため、またはより厳密にするために書き直す必要があり、それを手動(AIなし)で行いました。同様に、タスクの説明を改善して、それらを適切に指定する必要があるケースも見つかりました。

[画像: Before and after from the test suite]

図3: テストスイートの変更前と変更後:以前のテストは正確な文字列一致の検証に固定されており、モデルがタスクを解決しようとしたときにいくつかの失敗を引き起こしました。これは非決定論的な出力をテストするのに良い方法ではなかったため、動作を評価するように書き直されました。

コーディングエージェントのハーネスとモデルは、Databricksエンジニアが利用できるすべての一般的なツールを備えた、標準のすぐに使えるセットアップを使用してインスタンス化しました。

[画像: Set-up and review process]

エージェントがタスクを完了したと明示的に述べたとき、そのコードをチェックポイントし、保持されていたテストをパッチし、テストを評価して、そのタスクがモデル+ハーネスの組み合わせに対して「合格」であるかどうかを判断しました。LLMジャッジを正確性の評価に使用しませんでした。なぜなら、それは正しいことよりも正しく聞こえることを報酬する傾向があることがわかったからです。

追加のガードレール

[画像: Additional guardrails]

初期の実験では、いくつかのモデルのスコアが良すぎて信じられないほどに見えたため、何が起こったのかを理解するためにトレースを手動で検査しました。私たちの元のセットアップでは、「正しい」実装がまだワークツリーのGit履歴から回復可能であることがわかりました!すべてのタスクはマージされたコミットから発生していたため、シェルを持つエージェントがGit履歴を前方に歩いてそれを見つけるのを止めるものは何もありませんでした。この問題を解決するために、Git履歴を封印しました。各実行の長さの間、リポジトリから作業コピーを完全に切り離しました。

次は何ですか?

私たちは単純な質問から始めました。コーディングエージェントをもっと効率的に使用できるか?答えは明確な「はい」であり、データ駆動型になれるため、適切なモデルを自動的に選択し、効率を追跡するための機能の構築を開始できます。

どの企業も同様のことを行うことができます。マージされたPRのバックログを持つどのチームも、モデルがまだトレーニングしていない、チームが書いたテストで採点されたベンチマークをすでに持っています。私たちはタスクをさらに追加しています(特に難しいもの)、そしてすべての新しいエージェント/ハーネスをそれに通して実行し、私たちの選択についてより自信を持てるようになる予定です。

Databricksでは、ベンダーだけでなく、時間の経過とともにチームを柔軟でなくする仮定へのロックインを常に警戒してきました。その同じ本能が、オープンフォーマットと標準への初期の賭けを形作り、現在AIへのアプローチを形作っています。私たちが出荷するコードで実際に機能するものを測定し、エンジニアに一貫したガードレールを備えたモデルやハーネス間を移動する余地を与え、AIを効果的に使用するための最適化を行います。

次のブログ記事では、開発者が効率を維持しながら最もインテリジェントなエージェントを使用できるように、Unity GatewayおよびOmnigentのインテリジェントルーティング機能の使用方法について詳しく説明します。