GPT-5.6 vs. Claude Fable 5 for Physical AI、どちらが最もパフォーマンスが高いか?
GPT-5.6 vs. Claude Fable 5 for Physical AI, which performs best? (juliahub.com)
要約
この記事は、物理AIタスクにおけるGPT-5.6とClaude Fable 5のパフォーマンスを比較評価した結果を示しています。fable、sol、terra、lunaといったモデル(またはバージョン)ごとに、実行時間(min)、スコア、コスト($)、派生(derive)、編集(edit)、コンパイル(compiles)といった指標が示されています。現時点では、fableが最も高いスコアを示していますが、コストも最も高くなっています。
全文翻訳
GPT-5.6 vs Claude Fable 5: 物理AIで最も優れたパフォーマンスを発揮するのはどちらか?
最新のフロンティアモデルであるgpt-5.6-terraをエージェントに組み込み、難易度の異なる5つのモデリングおよびシミュレーション問題でテストしました。結果は以下の通りです。
claude-fable-5
0.889
加重スコア
$9.60 / trial · 16.1 min
gpt-5.6-sol
0.814
加重スコア
$1.74 / trial · 13.4 min
gpt-5.6-terra
0.786
加重スコア
$1.25 / trial · 12.6 min
gpt-5.6-luna
0.727
加重スコア
$3.26 / trial · 25.0 min
物理AIは、モデル化された物理法則が正しいかどうかに生死がかかっています。航空機、分離塔、または荷電粒子のモデルは、エンコードされた物理法則が不可能であっても、クリーンにコンパイルして実行できる場合があります。エージェント型AIは、エージェントがテストからのフィードバックで操縦し、テストはそのエージェント自身によって書かれることが多いため、この失敗モードを悪化させます。Web開発やコンパイラのようなドメインでは、正しい動作が限定的でチェック可能であるため、このループは十分に機能します。エンジニアリングにおいて、本当の疑問は「現実世界と一致するか?」であり、これははるかに難しい問題です。エージェントは、自身が書いたすべてのテストに合格するかもしれませんが、それらのテストは、モデルが実際に使用されるレジームでは成り立たない単純化に基づいている可能性があります。
既存の数値に対する信頼性の問題もあります。モデルプロバイダーが自己申告したベンチマークを額面通りに受け取る人は誰もいません。それには正当な理由があります。スコアを公開するプロバイダーは、それに合わせて調整するあらゆるインセンティブを持つ同じ当事者です。私たちのインセンティブは逆を向いています。JuliaHubは複数のベンダーにわたるエージェントバックエンドを備えたDyadを出荷しており、どのラボのモデルが最高のDyad体験を提供するかによって、私たちは勝利します。あるモデルが物理モデリングに優れている場合、それを発見して推奨することが私たちの利益となります。そこで私たちは調査しました。実際にどちらが優れているのか?
どのフロンティアモデルがその作業を最もよく処理するかを測定するために、他のすべてを固定します。モデリングとシミュレーションワークフロー専用に構築されたDyad AIエージェントハーネスは、問題、推論努力(xhigh)、コンテキストウィンドウ(1M)、トークンバジェット(128k)とともに、すべてのトライアルで固定されます。唯一の変数はモデルです。OpenAIのGPT 5.6ファミリー(terra、sol、luna)とAnthropicのclaude-fable-5。5番目の長期間トライアルごとに、4つのコア問題それぞれで3回のトライアルを実行します。合計52回の評価済み実行です。
01 · 問題
物理AI評価の仕組み。
私たちは、内部評価のサブセットに基づいて調査を固めます。モデリングとシミュレーションの日常業務から抽出された5つの封印された問題です。それらを難易度順に並べます。難易度は、正しい解決策が通過しなければならない段階、小さなミスが致命的となる注意深い詳細、容易な近道、および仕様の解析からモデリング自体の周囲のエンジニアリング作業まで(すべて)定義されます。私たちはそれぞれを同じ特性のために選択しました。それらは、コンパイルして緑色で実行できる解決策を許容する一方で、物理的に間違っている可能性があります。したがって、評価はコードを無視し、封印された真実に対して完全なシミュレーション軌道をスコア付けします。5つのうち最も難しいのはNASAのHL-20飛行車両です。この問題の簡単なバージョンは、このビデオで詳細に説明されています。この研究では、より難しく封印されたバリアントを実行します。
02 · スコアボード
彼らが何をスコア付けしたか。
すべてのモデルをフルスイートで実行します。P1~P4のそれぞれで3回のトライアル、P5で1回のトライアルを実行し、すべてのトライアルを封印された真実に対して評価します。問題ごとのスコアは、難易度で重み付けされた平均を通じて単一の数値に折りたたまれ、最も難しいものが最も重く重み付けされます。コストと時間は重み付けされません。トライアルあたりの平均コストとトライアルあたりの平均壁時計時間はそれぞれタブで表示されます。
上記の単一の数値には構造があります。問題ごと、トライアルごとの平均で、同じ3つのレンズを使用します。
03 · 作業スタイルのフィンガープリント
各モデルには独自の取り組み方があります。
すべてのトライアルの背後にあるトランスクリプトを分析します。各ツール呼び出しは、エージェントがその時点で何を行っていたか(問題の方向付け、物理法則の導出とテスト、モデルの編集、コンパイル、またはコピーするものを探す)によってバケット化され、トライアルごとにカウントされ、モデルごとに平均化されます。結果は作業スタイルのフィンガープリントになります。
棒グラフは作業の分割方法を示し、トランスクリプトは背後にある気質を示します。4つのポートレートは、各モデルが最も厳しくテストされた場所から描かれています。
Fableは、失敗する例を構築することで検証します。相対論的ダイナミクス問題の1つのトライアルでは、ソルバーの許容誤差を3桁にわたってスイープし、質量シェル不変量u・uのドリフトを監視してから、1e-10で実行をコミットしました。独立した再実装に対して200のランダムなポイントでフィールドをチェックしました。その後、フィールドコンポーネントの符号を意図的に反転させて、チェックが失敗する可能性があることを証明しました(残差2.0間違っている、0.066正しい)。時間成分の初期4元速度を自由入力として扱うことを拒否し、代わりに質量シェル制約から導き出しました。トライアルあたり28回の呼び出しで、それは一度しか書かないモデルですが、書こうとしているものをすでに壊そうとしています。その確信の請求書は、後でトークンで届きます。
Solはタスクが要求するもの以上を指定します。その習慣は両刃の剣です。構成問題では、真に独立したオラクルのうちの1つをコホート内で構築し、セッションタイトル「独立したバルクモジュラス定義に対して更新を偽造する」の下で構成アイデンティティの求積チェックを3.7e-12に閉じました。相対論的問題では、同じ本能がそのミスを引き起こしました。問題は初期4元速度のz成分を-0.62に固定しますが、solは座標速度が-0.62になるように状態を正規化し、粒子に27%過剰な縦方向運動量を与えました。その自身の整合性チェックは、誤読を承認しました。質量シェルは正確に1、速度は読み取ったとおり、すべての下流チェックは自己整合的で間違っていました。精度は仕様への忠実さと同じではありません。
Lunaは調査すべきところで反復します。実行への構成要素が最も少なく、誰よりも多くの問題を読み取ります。これは、簡単な問題では役立ちます。物理法則が制約付き整合性問題で反発したとき、同じ気質がチャーンに変わりました。単一のトライアルで68回のツール呼び出し、コミットされた解決策はまだ30%オフでした。そのトライアルはコホートで最も検証されたものでもありました(22回のチェック、すべてが自身の数式をそれ自体に対して検証しました)。構成問題では、lunaはコミットされた数式から独立したものをテストしたことがない唯一のモデルでした。外部参照なしの検証は検証ではありません。
Terraは経済的に実行します。導出とテストに費やす時計時間の割合が最も少なく、編集に費やす割合が最も多いです。ファイルに対する試行錯誤が増えます。そして、それは概してうまくいきます。正しい定式化、研究で最も安価で最速のトライアルです。定常状態線形化問題でのミスは、研究で最も狭いミスであり、最も奇妙です。物理法則は正確でしたが、terraは必要なシミュレーションホライゾンを書き換えました(stop = 5.0がstop = 3.0になりました)。比較は、切り詰められた実行を超えて1.34%ドリフトします。残酷なひねり:terraは、その削減を検証するために非線形参照を構築した唯一のモデルでした。そして、それは参照に同じ切り詰められたホライゾンを与え、自身のチェックを盲目にしました。お金を節約する気質は、マージンを切り詰める気質と同じです。
04 · フロンティア問題
最も難しい問題、間近で。
P5は完全な飛行車両を要求します。NASAのHL-20リフティングボディが接近し、6自由度の剛体ダイナミクス、約170の風洞テーブルからの空力、標準大気、および2つのNASA技術覚書で説明されている制御サーフェスマミキサーを備えています。8つの物理シナリオが結果を評価します。重力のみの健全性チェックから、10秒間の閉ループ飛行まで。どのモデルもそれを解決しませんでした。これがフロンティアが分かれる場所です。
Terraは飛行マニュアルを読まずに飛行車両を出荷しました。NASAの覚書を抽出する試みは3.5分で失敗し、二度と試みませんでした。そのため、制御ミキサーを独自に作成し、シナリオテーブルからゲインをリバースエンジニアリングしました。4回フルフライトを実行しましたが、リターンコードを超えて見たことはありませんでした。自身のログは、仕様で指定された値から11度静止している制御サーフェスを示していますが、それは言及されていませんでした。コホートで最も安価な試み、最も悪いフルフライト。
Solはすべてを読み、部分を検証しました。3分までに両方の覚書を抽出し、提供されたテーブルのインタプリタとして空力を構築し、NASAがデータファイルに埋め込んだ24のチェックケースに対してそれらをロックしました。すべて24件がコホートで最も速い実行の27分までに合格しました。それが決して検証しなかったのは軌道です。そのダッチロール実行は海面下で48度の急降下で終了し、その結論は「ラダーの挙動は正しいようです」でした。
Lunaは飛行機を飛ばすことができませんでした。80分にわたって23回コンパイルエラーと戦い、その後、車両の垂直空力力とピッチトルクをゼロに配線し、0.1秒しか実行しなかったシナリオを出荷することで解決しました。コミットされた車両は回転することなく降下します。姿勢クォータニオンは動きません。2時間15分、544回のツール呼び出し、最下位。
Fableは、1行も書く前に実行時間の3分の1を読書に費やしました。仕様、テーブル、両方の覚書。PDFページを画像としてレンダリングして、曖昧な定数を1つ解決しました。その後、コンパイルに初めて成功した16個のファイルを書き込み、すべての8つのシナリオを実行し、見つけられるすべてのオラクルに対して偽造バッテリーを閉じて終了しました。外部参照が存在する場所では、コホートで最も高くスコア付けされました。存在しない場所では、他のすべてと同じように落ちました。
05 · 評決
評決。
実証された能力、つまりエージェントが問題セットのどの割合を解決できるかにおいて、答えは接戦ではありません。AnthropicのFableは、研究で最も高い難易度加重スコア(0.889)を投稿し、4つのコア問題すべてをスイープした唯一のモデルであり、未解決のHL-20でフィールドをリードしています。外部参照が存在するすべての評価済みテストでトップマークを獲得しています。それはその確信のために請求します。トライアルあたり$9.60、研究あたり$124.76で、GPTの3倍から8倍です。
OpenAIのGPT 5.6ファミリーはバリューフロンティアを所有しています。メリットでは2番目で、価格の5分の1で0.814、研究で最高の独立した検証の一部を途中で構築しました。Terraは、最も安価で最速の信頼できるスコアへの道であり、そこへ到達するためにマージンを切り詰めています。Lunaはすべての軸で遅れをとっています。スコアでは最下位、コストでは2番目に高く、兄弟機の壁時計時間の2倍です。
| モデル | 加重スコア | P1–P4トライアル | P5 (HL-20) | トライアルあたりの平均$ | 研究合計 | トライアルあたりの平均分 |
|---|---|---|---|---|---|---|
| claude-fable-5 | 0.889 | 12 / 12 | 0.69 | $9.60 | $124.76 | 16.1 |
| gpt-5.6-sol | 0.814 | 11 / 12 | 0.66 | $1.74 | $22.56 | 13.4 |
| gpt-5.6-terra | 0.786 | 11 / 12 | 0.59 | $1.25 | $16.24 | 12.6 |
| gpt-5.6-luna | 0.727 | 11 / 12 | 0.38 | $3.26 | $42.41 | 25.0 |
したがって、ベストが1ドルあたりの物理的量という意味なら、それはsolです。ベストがコミットされたモデルが実際に正しい確率が最も高いという意味なら、それは物理AIが最終的に責任を負う標準です。それはclaude-fable-5です。しかし、その表のすべての行に共通することに注意してください。各モデルは、その背後にある同じ楽器でこれらの数値を達成しました。コンパイラフィードバック、シミュレーションツール、および単に実行されるコードに魅了されないことを拒否するグレーダーです。
モデルは変数です。ハーネスは乗数です。
Dyad AI · Eval Infrastructure
06 · より大きなレバー
ハーネスが物事をどのように変えるか。
上記のすべてはモデルを変化させ、ハーネスを固定しました。その実験の正直な要約は、フロンティアリリースに関するマーケティングが示唆するよりも小さいです。最悪のモデルよりも最良のモデルを選択することは、0.162の加重ポイント(0.727から0.889)の価値がありました。私たちの付随する研究は逆の実験を実行しました。モデルを固定し、ハーネスを変化させました。同じフロンティアモデルを同じ封印された問題に、Dyad AIハーネスと一般的なコーディングエージェント(Claude Code、同じように調整されたドキュメントとDyadコンパイルツールが与えられた)に送信しました。
その逆実験はスコアをさらに動かします。同じモデル、同じ問題、ほぼ同じ支出。一般的なエージェントでは0.533、Dyadハーネス内では0.899です。0.366ポイントのギャップがあり、上記の最良と最悪のフロンティアモデルを分ける0.162よりも2倍以上です。そして、一般的なエージェントはスタイルポイントで負けませんでした。相対論的ダイナミクス問題では、実行したすべてのトライアルでゼロスコアでした。簡単に言えば、モデルを交換すると誰が勝つかが変わります。ハーネスを交換すると、物理法則がそもそも正しいかどうかが変わります。
両方のエージェントは同じように評価されます。それぞれがコミットする物理モデルはシミュレートされ、どちらも表示できない封印された参照軌道と比較されます。異なるのは、各ハーネスがグレードの前に何を強制するかです。一般的なコーディングエージェントも方程式と振る舞いを導き出すことができます。そして、それは検証することさえできます。それをさせることを何も止めませんが、それをさせることも何もありません。
Dyadハーネスは、ラップするLLMを物理モデリングの理想的なパスに導くために特別に設計されています。検証は構築によって行われるものです。それが「私のコードはコンパイルされる」と「私の物理法則はソルバーとの接触に耐えた」の違いであり、モデルの品質がそれを代用することはありません。
したがって、上記のフロンティアモデルのランキングは本物です。単一のハーネス内でのことです。しかし、それは二次項です。実証された能力、つまりエージェントが解決できる問題セットの割合が重要である場合、最初の決定は楽器(Dyad)であり、2番目はその中で購入できる最良のフロンティアモデルです。ハーネス対ハーネスの研究はそれ自体で記述されており、次に来ます。乞うご期待。
この研究の背後にあるエージェントスタックは、Dyad 3.0で出荷されるもので、モジュラー スキル システムを追加して、エンジニアがカスタムワークフローでエージェントを拡張できるようにします。ドキュメントは、言語、コンポーネントライブラリ、エージェントをカバーしています。Dyad 3.0ローンチパーティーはガイド付きツアーです。
07 · 結論
結論。
1. Fableは最も広範な能力を示しています。研究で最も高い難易度加重スコア(0.889)、4つのコア問題すべてをクリーンにスイープした唯一のモデル、および未解決のHL-20で最高の成果。外部参照が存在するすべての評価済みテストでトップを記録しています。コミットされたモデルが物理的に正しいことが要件である場合、Fableは購入すべきモデルです。
2. GPT 5.6 Solは価値で勝利します。メリットでは2番目で、0.814でトライアルあたり$1.74、Fableの価格の約5分の1で、研究で最高の独立した検証習慣の一部を備えています。日々のモデリング作業の大部分にとって、Solは合理的なデフォルトです。
3. ハーネスは大きなレバレッジを提供します。ここでの最良と最悪のフロンティアモデルのギャップは0.162の加重ポイントです。ハーネス間のギャップはそれの2倍以上です。最も鋭いポイント:同じフロンティアモデルは、Dyadハーネス内では0.899、一般的なコーディングエージェントでは0.533をスコア付けします。フロンティアモデルを交換するとランキングが0.1ポイント単位で変化します。楽器を交換すると、物理法則がそもそも正しいかどうかが変わります。まずハーネスを選び、次にその中で購入できる最良のモデルを選んでください。