GVS5Hハーネスを使用した5つのQwen3.8-27BモデルがFable 5に匹敵

GVS5H: Five Qwen3.8-27B Models Match Claude Fable 5 on LiveCodeBench Hard

GVS5H: Gorilla vs. 5 Humans

［画像: 5人の少年が互いの肩の上に立ち、隣にいるゴリラと同じくらいの高さになっている］

［画像: slee-persis%2FGVS5H | Trendshift］

Results

［画像: LiveCodeBenchでの精度。7つのモデルについて、シングルコールとマネージャー使用時の精度をClaude Fable 5のシングルコールスコアと比較］

Opus 5は、以前のバージョンのスキャフォールド上で、ピン留めされたバックエンドで5回実行するのではなく、OpenRouter経由で提供されるシングルパスで実行されました。

［画像: 精度に対するタスクあたりの平均コスト。シングルコールとマネージャー使用時を、対数スケールのコスト軸で比較］

［画像: 1パスあたりのコスト。LCB-100、5パス、シングルコール対マネージャー、Fable 5との比較］

Abstract. 最先端のコーディング性能は、通常、高コストな大規模プロプライエタリモデルによって実現されます。我々は、学習不要のゼロショット自己オーケストレーションという、新しい手法を導入します。これは、モデルの新しいインスタンスが問題を分解し、計画、ノート、現在のソリューションを保持する共有ファイルシステムを通じて連携する、学習不要の方法です。最新の100個の難易度の高いLiveCodeBench問題において、11個のオープンウェイトおよびクローズドウェイトモデルでこの手法を適用した結果、ピン留めされたバックエンドでは最大25.6パーセンテージポイントの向上が見られ、最先端レベルの精度への2つのルートを提供します。オーケストレーションされたQwen3.8 Flash Nextは、Fable 5の90.4%に対して93.0%のpass@1を9%のコストで達成し、ローカルでホストされたオープンウェイトQwen3.8-27Bは66.8%から92.4%に上昇します。向上は普遍的ではなく、一部のモデルは変化がないか、あるいは悪化します。トランスクリプト分析は、この向上が分解と永続的なコンテキストによるものであると結論付けています。推論時の組織化は、コストのわずかな割合で最先端のコーディング精度に近づくか、あるいは自己ホスト可能なウェイトではそれをわずかに超えることができます。

— 論文

Running the code

uvと、テストしたいモデルのAPIキーが必要です。

cd codebase/v2-current
export OPENAI_API_KEY=...

LCB_RELEASE=release_v6 \
ESCALATION_CLOUD_MAX_TOKENS=128000 \
ESCALATION_CLOUD_TIMEOUT=7200 \
MULTIAGENT_MODEL=openai:gpt-5.6-terra \
uv run --no-project --python 3.12 --with 'datasets<4' --with numpy --with anthropic \
  python escalation/run_bench.py --engine multiagent --only lcb --lcb 100 --parallel 8

• --engine multiagentはマネージャーを実行します。--engine singleは1コールベースラインです。
• その他のモデル: anthropic:<model>, dashscope:<model>, openrouter:<model>。それぞれ独自の*_API_KEYが必要です。
• pass@1スコアは最後に表示されます。結果はruns/results.jsonに、ワークスペースはruns/ws/に書き込まれます。

License

コードはMITライセンスの下にあります。論文、図、実行データはCC BY 4.0の下にあります。LiveCodeBenchのフォーク、ベンチマーク問題文、LaTeXテンプレートファイルは、それぞれのライセンスを保持します。どのライセンスがどのパスをカバーしているかについては、NOTICE.mdを参照してください。

---