HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIが単独で完了できる最大のソフトウェアプロジェクトは何か?

What's the largest software project AI can complete on its own? (epoch.ai)

62 pointsby yusufozkan69 コメント

要約

MirrorCodeは、AIが単独で完了できるソフトウェアプロジェクトの規模を評価するためのベンチマークです。従来のベンチマークとは異なり、AIに十分な推論予算と、インターネットアクセスや元のコードベースへのアクセスを制限したサンドボックス環境を提供します。これにより、AIは人間でも数ヶ月かかるような複雑なタスクに挑戦し、公平かつ不正行為なしに評価されます。

全文翻訳

MirrorCode: AIが単独で完了できる最大のソフトウェアプロジェクトは何か?

AIは過去数年間、ソフトウェアエンジニアリングのベンチマークにおいて急速な進歩を遂げてきました。しかし、そのようなベンチマークのほとんどは、バグ修正や個々の機能の実装といった短いタスクに焦点を当てがちです。MirrorCodeは、METRと共同開発した当社のベンチマークであり、AIモデルの長期間にわたるコーディングタスクをテストするために使用されます。MirrorCodeのタスクでは、AIモデルは元のソースコードにアクセスせずに、プログラム全体をエンドツーエンドで再実装するよう指示されます。AIによって生成されたソリューションは、テストされていないエンドツーエンドテストにおいても、元のプログラムの出力と完全に一致する必要があります。MirrorCodeの25のターゲットプログラムは、Unixユーティリティ、データシリアライゼーションおよびクエリツール、バイオインフォマティクス、インタプリタ、静的解析、暗号化、圧縮など、コンピューティングのさまざまな分野にまたがっています。

MirrorCodeの差別化要因

スケールを考慮した評価

決定的に重要なのは、MirrorCodeタスクに真剣に取り組むための十分な推論予算を提供していることです。多くの既存のソフトウェアエンジニアリングベンチマークでは、タスクが人間にとって数週間かかる場合でも、推論費用を約1〜10ドルに制限しています。例えば、MirrorCodeのタスクの中で最も大きいものの1つは、単一の実行に2,600ドルかかり、AIが人間の介入なしに19日間作業しました。

困難だが公正

プログラム全体を再実装することは、人間のソフトウェアエンジニアにとって非常に困難です。AIなしの人間エンジニアであれば、最も複雑なMirrorCodeタスクを解決するのに数ヶ月かかるだろうと私たちは考えています。しかし、MirrorCodeのタスクは実行可能でもあります。タスクには十分な情報があり、公正であると私たちは確信しています。

設計による不正防止

AIモデルをサンドボックス化し、インターネットへのアクセス、元のコードベースへのアクセス、およびタスクでの不正行為の手段なしで作業を行うことを要求します。モデルがコード開発中に決して見ることのないエンドツーエンドテストがあるため、単純に元のプログラムの出力を模倣するためのルックアップテーブルを作成することはできません。

AIは既に一部の長期間コーディングタスクを実行可能

その難易度にもかかわらず、AIは既に長期間のMirrorCodeタスクを解決することができます。例えば、Claude Opus 4.7は、約16,000行のGoコードと40以上のコマンドを持つバイオインフォマティクスツールキットであるgotreeを再実装しました。1 この同じタスクは、AI支援なしの人間エンジニアであれば2〜17週間かかると私たちは考えています。Opus 4.7はこれを14時間で解決し、費用は251ドルでした。

これらの結果における重要な注意点の一つは、データ汚染です。MirrorCodeタスクはオープンソースプログラムの再実装を含むため、AIモデルは事前学習中に元のコードベースを目にしている可能性が高いです。これはベンチマークでのパフォーマンスを過大評価する可能性があります。しかし、AIは、当社の記憶スクリーニングを通過したいくつかのターゲットプログラムを正常に再実装し、スクリーニングが記憶の証拠を示したプログラムの再実装には失敗しました。これは、結果が記憶によって支配されているわけではないことを示唆していますが、記憶がAIのパフォーマンスに寄与する可能性を排除することはできません。全体として、MirrorCodeによって測定された能力は、未知のコードベースにも一般化されると予想されます。これについては、さらに詳しい結果とベンチマーク構築の詳細とともに、論文で議論しています。

リーダーボード

注: Claude Opus 5.5、Claude Fable 5.1、およびGPT-6 Astraは、以下のチャートにはまだ含まれていません。最新のMirrorCodeスコアについては、MirrorCodeベンチマークページを参照してください。

MirrorCodeは完全に解決されていません。定期的に更新されるリーダーボードでは、MirrorCode (ML, +Private, 2L) を報告しています。これは、MediumおよびLargeバケットの15のターゲットプログラムを実行し、Smallバケットをドロップすることを意味します。各ターゲットプログラムは2つの実装言語(通常はGoとAda)で評価され、30のタスクになります。各タスクを3回実行し、100億トークンと7日間の予算を使用し、APIがサポートする場合は高い推論努力を用います。2

オープンソースコード

当社のスキャフォールドと25のMirrorCodeターゲットプログラムのうち22(合計6つのサポートされているプログラミング言語にわたる132のタスクインスタンス)をオープンソースとしてリリースし、残りの3つのターゲットはプライベートテストセットとして保持しています。

この作業はMETRと共同開発され、METRからの助成金によって支援されました。MirrorCodeの著者は、Tom Adamczewski、David Owen、David Reinです。Florian Brand、Giles Edkins、Allen Hart、Daniel O’Connellが追加のターゲットプログラムに貢献しました。Rasmus Faber-Espensenは、重要なインフラストラクチャの改善を行い、エンジニアリングに関するアドバイスを提供しました。

注

  1. 最高スコアのAIによるgotreeの実装は、2000/2001のテストをパスしましたが、日付アノテーションを操作するニッチなコマンドのエッジケーステストで1つ失敗しました。その結果、タスクを100%完了したとは厳密には言えませんが、再実装はほぼ完璧であり、実質的にすべてのスコープされた機能がカバーされていると見なします。[画像: Return]

  2. 論文の「推奨命名規則」の定義を参照してください。「+Private」は、private_Mおよびprivate_L、つまりMediumおよびLargeバケットのプライベートターゲットを含むプライベートテストセットが含まれていることを示します。2Lマッピングの下では、ターゲットプログラムは一般的にGoとAda(1つの主流言語と1つの低リソース言語)を使用しますが、2つの例外があります。これらのスコアは、論文で評価された25のターゲットプログラムすべて、SmallおよびMediumバケットで6つのエージェント実装言語すべてを使用した、Largeターゲットを除く試行に10億トークンの予算を与え、時間制限なしであった評価とは直接比較できません。[画像: Return]