ProgramBench Vetted: 実行可能なバイナリからのリバースエンジニアリング
ProgramBench Vetted: Reverse Engineering from a Runnable Binary (vetto.ai)
要約
この記事は、実行可能なバイナリからプログラムを再構築できるかという問いを探求するベンチマーク「ProgramBench Vetted」を紹介しています。この新しいバージョンは、タスク設計プロセスを改善し、テストの重複、環境の質、ハッキング可能性、公平性などの失敗モードに対する制御を強化することで、より公平で信頼性の高い評価を提供します。これは、AIエージェントの長期間にわたるコード生成能力を評価する上で重要な進歩です。
全文翻訳
ProgramBench Vetted
エージェントは実行可能なバイナリからプログラムを再構築できるか?これがProgramBenchの根底にある根本的な問いです。私たちは、同じ前提に基づき、タスク設計プロセスを改善することで、ベンチマークをより公平で信頼性の高いものにした50のタスクセットであるProgramBench Vettedを公開します。
測定可能な部分的な進捗と決定論的なテストベースの評価を維持することに加えて、私たちのタスク設計プロセスは、テストの重複、環境の質、ハッキング可能性、公平性に関連する失敗モードに対するより広範な制御を追加します。
ProgramBench Vetted モデル結果
モデル 0–20%
1 [画像]Claude Opus 5 (xhigh) Anthropic 14.0%
2 [画像]Grok 4.6 (xhigh) xAI 6.0%
3 [画像]GPT 5.5 (xhigh) OpenAI 2.0%
4 [画像]DeepSeek V4 Pro 0813 (xhigh) DeepSeek 2.0%
5 [画像]Claude Sonnet 5 (xhigh) Anthropic 2.0%
6 [画像]Muse Spark 1.2 (high) Meta 2.0%
7 [画像]GPT 5.6 Sol (xhigh) OpenAI 0.0%
8 [画像]Kimi K3 (max) Moonshot AI 0.0%
9 [画像]Gemini 3.7 Flash (high) Google DeepMind 0.0%
10 [画像]DeepSeek V4 Flash 0731 (high) DeepSeek 0.0%
11 [画像]GPT 5.6 Terra (xhigh) OpenAI 0.0%
12 [画像]GLM-5.2 (xhigh) Z.ai 0.0%
13 [画像]Gemini 3.6 Flash (high) Google DeepMind 0.0%
14 [画像]GPT 5.6 Sol (medium) OpenAI 0.0%
15 [画像]Gemini 3.1 Pro Preview (high) Google DeepMind 0.0%
16 [画像]GPT 5.6 Terra (medium) OpenAI 0.0%
17 [画像]Muse Glimmer 30B (high) Meta 0.0%
Resolved は、デフォルトの ProgramBench mini-swe-agent 設定での pass@1 において、50のタスクのうち100%のテストを通過した割合です。同率は、ほぼ(almost)の通過率、次に公開順で決定されます。
ProgramBench が重要なのは、プログラム再構築が非常に長期間にわたる作業を中心とした、比較的数少ないコーディングベンチマーク形式の1つだからです。エージェントは、拡張された軌跡全体でプログラムのモデルを維持・修正する必要があり、これによりこれらのタスクは長コンテキスト協調の研究に役立ちます。また、RLVR(強化学習からのフィードバック)にも価値があります。決定論的な行動チェックの多くは、エージェントがそのフィードバックを1つの首尾一貫した実装に統合する必要がある間、密な、行動駆動型の報酬を提供できます。これらのタスクは公開リポジトリから来ているため、一部は大規模モデルの事前学習データに現れた可能性があります。しかし、事前の露出は、モデルが観察された行動からコードに戻るように求められたときに、その実装をメモリから取得または再構築できることを意味するものではありません。Reversal Curseは、このギャップの有用なアナロジーを提供します。結果として生じる記憶のパラドックスとそのトレーニングへの影響については、付録Dで議論します。
ProgramBenchとは
Metaが2026年5月にリリースしたProgramBenchは、エージェントに実行はできるが読み取りはできないコンパイル済みプログラムと、その使用ドキュメントを提供します。エージェントは、観察された動作を再現する新しいコードベースを作成する必要があります。
200の各タスクは、小さなユーティリティからFFmpeg、SQLite、PHPインタープリターに至るまで、実際のオープンソースCLIプロジェクトです。意図されたタスクパッケージは密閉されたコンテナです。バイナリは実行専用で、ドキュメントは保持され、ソースコードとgit履歴は削除されます。エージェントはシェル、インターネットなし、1000ステップ、6時間を与えられます。行動テストが結果を採点します。テスト自体は、元のリポジトリとバイナリを調査したエージェントによって書かれました。
元の構築プロセスには3つのステージがあります。
- 参照の構築。コンパイル言語のレポジトリを選択し、ビルドエージェントにゴールドバイナリを生成させます。
- 行動テストの生成。テスト生成エージェントは、ソースコード、既存のテスト、ドキュメントにアクセスして、レポジトリとバイナリを探索します。アップストリームテストを適応させ、ソースラインカバレッジを使用してさらなる探索をガイドできます。
- 検証と封印。生成されたすべてのテストは、アサーションリンターに合格し、ゴールドバイナリに対してパスし、ダミーバイナリに対してフェイルする必要があります。その後、別のステップでモデルのワークスペースを実行可能ファイル、ドキュメント、および保持されたテストアセットに削減します。
評価時には、ソースコード、レポジトリテスト、git履歴は存在しません。エージェントはドキュメントを保持し、置換を構築しながら参照バイナリを実行できます。生成された行動スイートは、通過したテストの割合によって再構築を採点します。すべてのテストがパスした場合にのみタスクは解決されます。
保持されたドキュメントは仕様の一部を提供しますが、完全な行動契約ではありません。残りは、バイナリをプローブし、仮説を形成し、それを実装し、結果を比較し、修正することによって推測する必要があります。論文で分析された4つのフロンティアエージェントは、アクションの23%から34%を参照バイナリのプローブに費やしており、経験的な調査はセットアップステップではなくタスクの大部分を占めています。
ProgramBench Vetted の違い
ProgramBench Vetted は、単に難しくするために設計されたのではありません。各報酬ポイントが意図された動作をより忠実に表すように設計されています。私たちの目標は、調整された難易度です。タスクは意味のある部分的な進捗の余地を残すべきですが、浅いインターフェースの再現や評価の欠陥の悪用に対してほとんどのスコアを付与すべきではありません。
私たちの内部 ProgramBench 生成パイプライン
元の ProgramBench と同様に、私たちのパイプラインはレポジトリを2つの連携した成果物に変換します。クリーンルーム再構築環境と、その報酬を定義する行動テストスイートです。しかし、リリースされたデータセットの監査中に発見した失敗モードに対処するために、単一の最終レビューに依存するのではなく、構築全体にわたって検証と修復を追加しました。
研究者による継続的なレビューは、エージェントとしての審査員とエージェントとしての医師のシードを提供します。審査員はワークスペースを調査し、関連する動作をテストし、採点されたレポートとレビュー用の証拠を生成します。有望なタスクに修復可能な問題がある場合、医師はその証拠を使用して、タスクが同じチェックを再度通過する前に制約付きの変更を加えます。これらのループは、正確に測定できるプロパティに対する決定論的なゲートと、タスクまたはその報酬を積極的に悪用しようとする敵対的エージェントと並行して動作します。人間のレビュアーは曖昧なケースを処理し、最終決定を下し、繰り返し発生する失敗モードを後続のレビューのためのより強力な基準に変えます。私たちはこれらの専門化されたステージにコンピューティングを分散させます。なぜなら、ビルドの整合性、環境の漏洩、テストの質、報酬の悪用は、異なる種類の調査を必要とするからです。単一のスコアではそれらすべてをカバーできません。この専門化されたコンピューティングと蓄積されたレビュー知識の組み合わせは、タスクの構築方法の中心です。以下の4つの図は、プロセスを多くのステップを持つ接続されたステージに分割しています。
HumanAgentDeterministic process
ステージ 01 ソースとビルド
参照はテスト生成の前に存在する必要があります
参照プログラムをソース、ビルド、検証します。人間が選択したリポジトリは、ソースコード審査員、ビルドエージェント、決定論的なコンパイルゲート、および審査員-医師の修復ループを経て、ゴールドバイナリとクリーンルームの基盤を生成します。
HUMAN SELECTIONSource a CLImostly C, C++ and RustINVESTIGATIVE AGENTAgent as a “sourcing” judgescores viabilityBUILD STAGEBuild binary agentstrategy follows complexityDETERMINISTIC GATESVerify the binarycompile, launch, behaviorACCEPTED REFERENCEGold + cleanroom basisready for parallel stagesINVESTIGATIVE AGENTAgent as a “build” judgetests, scores, and reports×NREPAIR AGENTAgent as a “build” doctorrepairs, then returns to judgeAFTER ×N FAILURESHuman reviewinspect, fix, instruct, rejecthuman findings feed back into the sourcing judge, build judge, and build doctor
図 1 · ソースとビルド。研究者は適切なCLIリポジトリを選択し、次にソースコード審査員、ビルドエージェント、決定論的なゲート、および審査員-医師の修復ループが機能する参照を確立します。繰り返しの失敗は人間のレビューにエスカレートします。合格した結果は、ゴールドバイナリとクリーンルーム環境の基盤となります。
エージェントは審査員として評価し、エージェントは医師として修復します。各審査員はタスクを調査し、繰り返し発生する生成失敗から派生した基準を適用し、証拠を添えてスコアを生成します。ペアになった医師は、その証拠を使用して修正可能なタスクを修復し、それを同じ審査員に戻します。専門化されたペアにより、パイプラインは、ソースコード、ビルド、クリーンルーム、テスト、推論の失敗から、単一の一般的なチェックがすべてのレイヤーをカバーすることを期待するのではなく、個別に学習できます。
繰り返しの失敗は人間のレビューにエスカレートします。自動化されたループがラウンド制限に達すると、レビュアーは成果物と軌跡を検査し、タスクを拒否するか、承認して修復するか、関連する医師に明示的な指示を与えることができます。これらの発見は、後続の実行のためのより強力な基準と修復戦略となり、新規で曖昧なケースと最終的な承認決定は研究者に委ねられたまま、人間の作業の繰り返しを減らします。
ステージ 02 生成と重複排除
1つの参照、その動作を記述するための多くの独立した試み
行動テストを生成し、重複を排除します。リポジトリとバイナリは、最大15の独立したテスト生成ブランチに供給されます。決定論的な検証と専門化されたマルチステージの重複排除プロセスにより、候補となる行動スイートが生成されます。
INPUTSRepo + binarysource, docs, tests, binaryUp to ×15 branches · 5 frontier modelsINDEPENDENT GENERATIONMulti-branch test generationextended mini SWE harnesstools for behavioral explorationDETERMINISTIC CHECKSValidate generated testsgold passes · dummy failsexecution + flakiness checksMULTI-STAGE ANALYSISDeduplicaterepeated or subsumedbehavior across branchesOUTPUTBehavioral suiteactive requirementsdeterministic quality testsline coverage
図 2 · 生成と重複排除。5つのフロンティアモデルにわたる最大15の独立したブランチが、リポジトリと検証済みバイナリを探索します。決定論的なゲートは無効または不安定なテストを削除し、その後、マルチステージの重複排除プロセスが重複または包含された動作を候補スイートに統合します。
カバレッジは独立した検索から得られ、報酬は後で統合されます。5つのフロンティアモデルが、最大15回のテスト生成トライアルで各候補を探索します。生成されたチェックが報酬となる前に、決定論的なゲートは信頼性の高い実行、ゴールドバイナリからのパス、およびダミー実装からのフェイルを要求します。その後、重複排除により、追加のブランチが同じクレジットを乗算するのではなく、スイートを広げるように、重複または包含された動作が削除されます。
ステージ 03 監査と修復クリーンアップ
環境とスコアは1つのシステムとしてレビューされます
クリーンルームとテストを監査、修復、クリーンアップします。並行して動作する環境漏洩審査員とテスト品質審査員は、オプションの修復医師を呼び出すことができます。審査員によって承認された出力は直接候補タスクに進みます。繰り返しの失敗は人間のレビューにエスカレートします。
ENVIRONMENT LANECleanroomdocs, binary, required assetsINVESTIGATIVE AGENTAgent as a “leak” judgescores shortcutsoptional ×NOPTIONAL REPAIR AGENTAgent as a “leak” doctorrepairs, then returns to judgeTEST LANEDeduplicated testscandidate reward signalsINVESTIGATIVE AGENTAgent as a “test-quality” judgescores qualityoptional ×NOPTIONAL REPAIR AGENTAgent as a “test-quality” doctorrepairs, then returns to judgeJUDGE-APPROVED OUTPUTCandidate taskvalidated environmentplus validated testsHUMAN ESCALATIONHuman reviewinspect, fix, instruct, reject
図 3 · 監査と修復クリーンアップ。クリーンルームと重複排除されたテストは、別個だが結合された表面として調査されます。専門化された審査員は、漏洩、ショートカット、到達可能性、安定性、および行動の質をチェックします。オプションの医師は修正可能な失敗を修復し、未解決のケースは人間のレビューに移行してから、2つの表面が候補タスクとして再結合します。
レビューと再検証は、判断を必要とする失敗を対象とします。合成テスト生成は豊富ですが、無効なタスクの診断はそうではありません。ビルド、カバレッジ、および実行時専門知識がタスク間で転送されるコンテキストレビューに集中します。特にRust、C、C++に深みがあります。繰り返し発生する診断は、漏洩したオラクル、環境CLI、ロード可能なライブラリ、不安定なテスト、到達不可能な要件、およびショートカットしやすい報酬に対する明示的なチェックになります。
フラグは再生、修復、または拒否をトリガーできます。タスクが人間またはAI支援で修復されたかどうかにかかわらず、結果の成果物は、それが続行できる前に、影響を受ける受け入れ基準を再度クリアする必要があります。
ステージ 04 キャリブレーションと承認
モデルはタスクを解決します。敵対的エージェントは報酬を破壊しようとします
推論、敵対的推論、および最終承認。候補タスクは、通常のモデル推論と専門化された敵対的推論を並行して実行します。一般的な品質審査員は、両方のストリームを評価し、タスクを受け入れるか、修復するか、拒否するかという人間の決定のための証拠を準備します。
VALIDATED PACKAGECandidate taskcleanroom plus testsMODEL EVALUATIONInference w/ N modelstrajectories and test outcomesATTACK EVALUATIONAdversarial inferencetries to exploit the rewardINVESTIGATIVE AGENTAgent as a “general-quality” judgefairness, reliability,and hackabilityFINAL HUMAN DECISIONAcceptrepair or rejectrepairs return to the relevant stage and run again
図 4 · キャリブレーションと承認。現在のモデルは候補タスクを試行し、同時に敵対的エージェントが報酬へのより安価なパスを探します。一般的な品質審査員は、通常の証拠と敵対的な証拠を一緒に評価しますが、タスクを受け入れるか、修復するか、拒否するかという最終決定は人間が行います。あらゆる修復は、関連するステージに戻って再度実行されます。
現在の候補セット
候補セットには、検証済み審査員によって採点された50の保留タスクが含まれています。構築は、最大15回の独立したテスト生成トライアルで5つのフロンティアモデルを使用し、カバレッジ主導の探索、構造的な重複排除、漏洩チェック、および敵対的レビューを行います。
- ショートカットチェック。パイプラインは、名前付きの失敗クラスをプローブします。変動しないゴールドの動作、到達可能な参照実装、定数ピンニングテスト、および退化したスイート形状です。
- キャリブレーション。各候補に対して複数のモデルを実行し、部分的なクレジットの分布を調査します。観察されたスコアがタスクが測定しようとしている動作を反映していない場合、その理由を調査し、テスト、ドキュメント、または環境を修正し、タスクを再度実行します。目標は、有用な難易度範囲です。進捗を測定するのに十分なアクセス可能な動作、ヘッドルームを維持するのに十分な未解決の動作があり、再構築の品質が向上するにつれて変化するスコアです。ほぼ均一な成功、ほぼ均一な失敗、または急激なオールオアナッシングのしきい値に崩壊するタスクは、さらにレビューされます。
- 公平性とハッキング可能性。本物の実装では満たせない要件と、意図された動作を再構築せずにクレジットを獲得するショートカットの両方を調査します。公平なタスクは、指定された動作を到達可能にします。堅牢なタスクは、報酬へのより安価なパスを公開しません。元のデータセットでは、FFmpegは存在しない参照入力に依存しています(例)。ドキュメントのエコーは、コア動作を実装せずにcmatrixスイートの79.5%をクリアします(例)。タスク環境に既にインストールされているXZ実行可能ファイルの8行ラッパーは、そのアクティブな報酬の77.3%を獲得します(例)。これらのケースからの教訓を、難易度だけを品質の証拠として扱うのではなく、構築ゲートと修復としてエンコードします。疑わしいケースは、参照プログラムと封印された環境に対して再生され、テスト、ドキュメント、ランタイムイメージ、およびタスク契約は1つのシステムとしてレビューされます。証拠が到達不可能な要件、仕様が不十分なインターフェース、またはショートカットしやすい報酬を示している場合、関連するテスト、ドキュメント、または環境を修正し、タスクを再度実行します。
- 重複排除。同じまたは包含された動作をカバーすると分類されたペアを統合します。
リーダーボード比較
| Model | ProgramBench | ProgramBench Vetted | ||||
|---|---|---|---|---|---|---|
| mean reward | almost (≥95%) | resolved | mean reward | almost (≥95%) | resolved | |
| Claude Opus 5 (xhigh) | 74.7% | 37.0% | 4.5% | 81.9% | 50.0% | 14.0% |
| Grok 4.6 (xhigh) | - | - | - | 68.7% | 24.0% | 6.0% |
| GPT 5.5 (xhigh) | 69.8% | 13.5% | 0.5% | 85.2% | 28.0% | 2.0% |
| DeepSeek V4 Pro 0813 (xhigh) | - | - | - | 71.8% | 22.0% | 2.0% |
| Claude Sonnet 5 (xhigh) | - | - | - | 57.9% | 14.0% | 2.0% |
| Muse Spark 1.2 (high) | - | - | - | 55.5% | 6.0% | 2.0% |
| GPT 5.6 Sol (xhigh) | 69.9% | 15.5% | 1.0% | 82.8% | 28.0% | 0.0% |
| Kimi K3 (max) | 77.8%[](https://www.kimi.com/blog/kimi-k3) | - | - | 22.1% | 10.0% | 0.0% |
| Gemini 3.7 Flash (high) | 61.6% | 5.5% | 0.0% | 43.4% | 6.0% | 0.0% |
| DeepSeek V4 Flash 0731 (high) | - | - | - | 51.6% | 4.0% | 0.0% |
| GPT 5.6 Terra (xhigh) | - | - | - | 70.6% | 4.0% | 0.0% |
| GLM-5.2 (xhigh) | 64.6% | 8.5% | 0.0% | 59.1% | 4.0% | 0.0% |
| Gemini 3.6 Flash (high) | 55.7% | 4.0% | 0.5% | 57.8% | 0.0% | 0.0% |
| GPT 5.6 Sol (medium) | 57.8% | 2.5% | 0.5% | 61.2% | 0.0% | 0.0% |
| Gemini 3.1 Pro Preview (high) | 36.6% | 0.0% | 0.0% | 29.1% | 0.0% | 0.0% |
| GPT 5.6 Terra (medium) | - | - | - | 26.1% | 0.0% | 0.0% |
| Muse Glimmer 30B (high) | - | - | - | 7.2% | 0.0% | 0.0% |
図 5 · メトリクス。 Mean reward は、各タスクのテストスコアの分数に対するマクロ平均です。Almost は少なくとも95%に達したタスクの割合です。Resolved は100%に達したタスクの割合です。すべての ProgramBench Vetted 結果は pass@1 を使用します。ハイフンは、結果が利用できないことを示します。**[] ベンダー報告。スターはソースに従ってください。*
これらの列は、広範な部分的な進捗とエンドツーエンドの完了を分離します。GPT 5.5 は、平均報酬85.2%でProgramBench Vettedをリードしていますが、タスクの2%しか解決していません。Claude Opus 5は、わずかに低い平均報酬81.9%ですが、Almostで50%、Resolvedで14%をリードしています。評価された17モデルのうち6つが少なくとも1つのタスクを解決しています。両方のベンチマークで報告されている構成のうち、変化の方向は一様ではなく混合しているため、この表はProgramBench Vettedを単に簡単または難しいと見なすことを支持しません。
図6は、ProgramBenchの現在のリーダーボードと、私たちの完全なProgramBench Vetted pass@1評価の間で、部分的なクレジットがどのように分布しているかを比較しています。各モデルについて、曲線は、すべての分数テストスコアしきい値でクリアされたタスクの割合を示しています。Vettedパネルでは、曲線はしきい値範囲の大部分で視覚的に分離されたままであり、完全な解決を下回る意味のある部分的なクレジットを維持しています。このより広い分離を、データセットが現在のモデル間のパフォーマンスの違いを同じスコアバンドに圧縮するのではなく、より多く保持している証拠と解釈します。
曲線は、どちらのベンチマークが本質的に難しいかを確立するものではありません。パネルは実質的に異なるモデルセットを評価しており、構成のサブセットのみが正確にオーバーラップし、オリジナルにはGPT 5 miniのようなより小さなモデルが含まれており、いくつかの最近のフロンティア構成はProgramBench Vettedでのみ評価されました。
ProgramBench: fractional test score survival curves
ProgramBench.comのリーダーボードから手動で更新しました。しきい値にカーソルを合わせると、そのしきい値のすべてのモデルが表示されます。
ProgramBench Vetted: fractional test score survival curves
50の保留タスクに対する完全なpass@1評価。コンパイルまたは実行できない提出物はゼロスコアになります。元のパネルはリーダーボードに公開された曲線と一致します。しきい値にカーソルを合わせると、そのしきい値のすべてのモデルが表示されます。
図 6 · 分数テストスコア生存曲線。最初のパネルは、論文の図が最新の結果より前であるため、ProgramBenchの現在の拡張リーダーボードを再描画します。2番目のパネルは、同じしきい値スイープを私たちの完全なpass@1評価に適用します。ProgramBench Vettedでは、コンパイルまたは実行できない提出物はゼロスコアになります。元のパネルはリーダーボードに公開された曲線と一致します。
タスクレベルの難易度分布
このビューは、各ベンチマークの完全なモデルパネル全体での平均分数テストスコアに基づいてタスクをグループ化します。ProgramBench Vetted は、意図的に、ほぼ不可能なエンドのタスクを少なく含んでいます。ここで示されているモデルパネルでは、50タスク中46タスクが20%から80%の平均報酬の範囲内にあります。この調整された範囲は、意味のある部分的な進捗の余地を残しながら、改善されたモデルが進捗を解決済みタスクに変えるのに十分な動作を未解決のままにします。また、学習または評価信号をほとんど提供しないタスクにベンチマークを集中させることを回避します。2つのパネルは異なるモデルを評価するため、比較は記述的なままです。
Mean fractional test score per task
各ベンチマーク内のシェアを同じスケールで表示: 200のオリジナルタスク対50のVettedタスク。
図 7 · タスクごとの平均分数テストスコアの分布。各タスクは、そのベンチマークで利用可能な完全なモデル評価で平均化され、次に10パーセンテージポイントのビンに割り当てられます。バーは各ベンチマーク内で正規化されます。
タスクあたりの平均ステップ数
両方のベンチマークで評価されたすべてのモデル構成について、ProgramBench Vetted はタスクあたり平均してより多くのモデル呼び出しを必要とします。この比較は、小さいまたはあまり馴染みのないリポジトリから引き出された調整済みタスクでも、FFmpegのような異常に大きなプロジェクトに依存することなく、元のタスクセットよりも長い解決軌跡を維持できることを示しています。
Average model calls per task, matched configurations
図 8 · タスクあたりの平均ステップ数。各ペアは、2つのベンチマーク間で同じモデル構成を比較し、ProgramBench Vetted の平均で並べ替えられます。ステップは1回のモデル呼び出しです。長い軌跡はより多くのエージェントインタラクションを示しますが、それ自体では推論トークン、コスト、またはタスクの固有の難易度を測定するものではありません。
どのような種類のプログラム
すべてのタスクは、行動的にテスト可能なCLIプログラムですが、これは非常に異なる種類の作業を網羅しています。リリースが1種類のCLIに崩壊しないように、固定の分類法に候補を分類します。原型は言語実装です。インタープリター、コンパイラ、またはバイトコードVMであり、その入力空間は無限であり、探索が容易です。各新しいプログラムは入力として、ピン留めすべき別の動作です。
| Category | What it covers | Tasks |
|---|---|---|
| Interpreters, compilers, and virtual machines | small languages, bytecode VMs, compilers | 18 |
| Assemblers and disassemblers | assembly and disassembly for real and toy ISAs | 12 |
| Developer tools | developer utilities: runners, inspectors, generators, and log analysis | 4 |
| Structured data codecs | format parsers and converters | 7 |
| Media and geometry processing | media codecs, mesh transformation, simplification, and encoding | 4 |
| Mathematical and constraint-solving tools | numeric algorithms, expression evaluation, and constraint solvers | 3 |
| Machine and console emulators | machine and console emulators | 2 |
元のデータセットと新しいデータセットを構築した理由
当初、ProgramBench をより大きなベンチマークとトレーニングコーパスのレシピとして扱いました。このレシピを大規模に再構築したところ、2つの公開可能な発見がありました。意図的な監査における重複したアクティブ報酬、および意図されたプログラムを再構築せずに獲得された具体的なアクティブクレジットです。以下の主張は、リリースされた成果物と、私たちが調和させることができた実行されたケースに限定されます。
1 · 意図的な監査における重複したアクティブ報酬
リリースされたマニフェストには、1,759回のテスト生成実行にわたる247,723のアクティブなテストIDが含まれており、データセットではブランチと呼ばれています。
2つのテストは、同じまたは実質的に類似した動作を実行する場合、または一方によってチェックされる動作が他方に包含される場合に、重複と見なされます。分析には、生成トライアルの内外での正確および近接した重複が含まれ、各候補ペアのコードレベルレビューが行われます。図 10のポイントをクリックすると、一致したテスト本文を直接検査できます。監査されたセット全体で、中央値のタスクは、スコアリングされたスイートの11%を、別のスコアリングされたテストの削除可能な重複として保持しています。60の監査済みタスクの半数以上が10分の1を超えており、測定された最高シェアは37%です(図9)。
Duplicate share of the scored tests, per task (10 most affected in the 60 analyzed)
share of scored tests that duplicate another scored test · exact and near, within and across trials
図 9 · 60の監査済みタスクで測定され、各候補ペアのコードレベルレビューが行われました。各バーは、タスクのスコアリングされたスイートのうち、同じスイートの他の場所で既にカウントされている動作を繰り返す割合です。これはテール現象ではありません。中央値のタスクは11%であり、監査済みタスクの半数以上は10分の1を超え、スコアリングされたスイートの10分の1が削除可能な重複として保持されています。これらの60のタスクはランダムに選択されたものではありません。それらは言語、サイズ、およびプログラム形状を網羅するように選択され、意図的に弱いと疑われる追加のタスクが含まれていたため、これらのレートはサンプルを表しており、証明されたコーパス全体のレートではありません。
私たちの構築も複数の生成トライアルを使用するため、同じまたは包含された動作を実行すると分類されたテストを統合する重複排除ステージを追加しました。見つかった繰り返しのパターンはハーネス自体も変更しました。決定論的なゲートは正確および構造的な繰り返しをキャッチし、確率的エージェントベースのゲートは行動の類似性と包含を調べ、人間のレビューは曖昧なケースを解決し、新しいパターンをそれらのチェックにフィードバックします。インタラクティブビューは、直接検査のために利用可能なリンクされたテスト本文を示しています。