Grok 4.5、GPT-5.5、Claudeが同じアプリをビルドした
We made Grok 4.5, GPT-5.5, and Claude build the same apps (tryai.dev)
要約
xAIの最新モデルGrok 4.5、OpenAIのGPT-5.5、AnthropicのClaude Opus 4.8およびClaude Fable 5を対象に、同一のプロンプトでHTMLファイルのみで構成されるインタラクティブなアプリをビルドさせる比較テストを実施しました。結果として、Grok 4.5は速度とコスト効率で優位に立ち、GPT-5.5はスタイリッシュな結果を、Claudeモデルは信頼性の高いビルド能力を示しました。
全文翻訳
Grok 4.5、GPT-5.5、Claudeに同じアプリを開発させた
Grok 4.5が今週リリースされ、xAIはこれをコーディングやエージェントワークのために「Cursorと共同でトレーニングされた」最もスマートなモデルだと呼んでいます。新しいコーディングモデルを評価するインターネットで最も一般的な方法はビルドオフです。つまり、一つのプロンプトを与えて、どのようなアプリが出力されるかを見て、その様子を投稿することです。今回は、それを本格的に実施しました。
私たちはGrok 4.5、GPT-5.5、Claude Opus 4.8、そしてClaude Fable 5に、全く同じ3つのプロンプトを与えました。それは、単一の自己完結型HTMLファイル(ライブラリなし、ネットワークコールなし)でインタラクティブなアプリを構築することです。各モデルに一度だけ、手助けなし、プロンプトの微調整なしで実行させました。その後、すべての結果を実際のブラウザで読み込み、操作して、何が起こるかを記録しました。以下の各クリップはモデルの生の出力であり、「ライブで再生」をクリックすると、実際に生成されたアプリを実行できます。
失敗に関するルール:アプリが全くレンダリングされなかった場合、1回の再試行を許可し、それを使用した場合はその旨を記載します。
ラウンド1:スクランブルとソルブができる3Dルービックキューブ
カラフルで3D風のルービックキューブを、「Scramble」と「Solve」ボタン付きで作成してください。キューブは回転のアニメーションを視覚的に表示する必要があります。
これは難しい課題です。リアルな3D数学、各面の状態、アニメーションがすべて1つのファイルで必要とされます。
| Grok 4.5 | GPT-5.5 |
|---|---|
| [動画: Grok 4.5による3Dルービックキューブのデモ] | [動画: GPT-5.5による3Dルービックキューブのデモ] |
| Claude Opus 4.8 | Claude Fable 5 |
|---|---|
| [動画: Claude Opus 4.8による3Dルービックキューブのデモ] | [動画: Claude Fable 5による3Dルービックキューブのデモ] |
ライブで再生: Grok 4.5 · GPT-5.5 · Opus 4.8 · Fable 5
この課題ではClaudeが圧勝しました。Opus 4.8とFable 5はどちらも、最初の試行で正しく色付けされた本格的な3Dキューブを生成し、スクランブルとソルブのアニメーション付き回転を実現しました。Grok 4.5はここでつまずきました。最初の試行ではタイトルとボタンは表示されましたが、キューブ自体は全く表示されませんでした(空白の空間)。そのため、許可された1回の再試行を使用し、2回目の試行でクリーンでカラフルな3Dキューブが生成されました。GPT-5.5は異質で、完全なキューブの代わりに、ほとんど色がなく、単一の暗い面のみをレンダリングしました。勝者:OpusとFable、同点。
ラウンド2:パーティクルの重力サンドボックス
キャンバス上にインタラクティブなパーティクル重力サンドボックスを作成してください。数百個のパーティクルに軌跡を表示し、クリックすると重いアトラクターを追加できるようにします。魅惑的にしてください。
| Grok 4.5 | GPT-5.5 |
|---|---|
| [動画: Grok 4.5による重力サンドボックスのデモ] | [動画: GPT-5.5による重力サンドボックスのデモ] |
| Claude Opus 4.8 | Claude Fable 5 |
|---|---|
| [動画: Claude Opus 4.8による重力サンドボックスのデモ] | [動画: Claude Fable 5による重力サンドボックスのデモ] |
ライブで再生: Grok 4.5 · GPT-5.5 · Opus 4.8 · Fable 5
ここでは全員が動作するサンドボックスを完成させました。そのため、結果は好みの問題となりました。GPT-5.5は最も本当に魅惑的なものを作成しました。光るネオンのアトラクターと、密集した渦巻くカラフルな軌跡です。Grok 4.5はクリーンで軌道的なアプローチを取り、整然としたアトラクターリングとカラフルな流星群のようなパーティクルを表示しました。Fable 5は柔らかく光る球体に重点を置き、Opus 4.8は最も賑やかでウェブらしいパーティクルフィールドと優れた物理演算を生成しましたが、視覚的な魅力はやや劣りました。勝者:GPT-5.5、雰囲気で。
ラウンド3:プレイ可能なブレイクアウトゲーム
キャンバス上にプレイ可能なブレイクアウト/レンガ崩しゲームを作成してください。パドルはマウスに追従し、ボールはカラフルなレンガを破壊し、スコアとライフを表示します。
| Grok 4.5 | GPT-5.5 |
|---|---|
| [動画: Grok 4.5によるブレイクアウトゲームのデモ] | [動画: GPT-5.5によるブレイクアウトゲームのデモ] |
| Claude Opus 4.8 | Claude Fable 5 |
|---|---|
| [動画: Claude Opus 4.8によるブレイクアウトゲームのデモ] | [動画: Claude Fable 5によるブレイクアウトゲームのデモ] |
ライブで再生: Grok 4.5 · GPT-5.5 · Opus 4.8 · Fable 5
デッドヒートです。4モデルすべてが、最初の試行でスコア、ライフ、光るパドルを備えた洗練された、実際にプレイ可能なブレイクアウトゲームを生成しました。Grok 4.5とGPT-5.5はネオンアーケード風の外観を最も強く打ち出しました(GPTはスクリプトがボールを打ち返している間にスコアを記録しました)。細かく見れば、4つすべてが製品レベルです。勝者:全員。
レシート:速度とコスト
見た目のデモは良いですが、各モデルの実行コストはいくらでしょうか?私たちは独自のハーネス(コーディング、推論、要約を網羅する3つの固定プロンプト、各3回実行、出力トークン400でキャップ)を使用して、アプリが使用するのと同じプロバイダーパスを通じて測定しました。スループットは、総壁時計レイテンシに対する出力トークン数で、すべてのプロバイダーで均一に測定されました。
| Model | |||||
|---|---|---|---|---|---|
| Grok 4.5 | 2.8s | 0.44s | 110 tok/s | $0.002 | 100% |
| GPT-5.5 | 2.0s | 1.26s | 53 tok/s | $0.004 | 100% |
| Claude Opus 4.8 | 2.6s | 1.16s | 47 tok/s | $0.004 | 100% |
| Claude Fable 5 | 6.3s | 3.47s | 28 tok/s | $0.009 | 100% |
ここでGrok 4.5が強みを発揮します。0.5秒未満で最初のトークンに到達し、約110トークン/秒(ここでの他のモデルの約2倍)でストリーミングし、この中で最も安価な応答でした。これはxAIが掲げた「時間とコストあたりの知能」というピッチに合致しています。中央値の壁時計レイテンシが中間的なのは、冗長(回答あたり最も多くのトークンを生成した)であり、テール(95パーセンタイルで約9秒)がスパイクしたためです。GPT-5.5は短い回答では最も迅速で、Opus 4.8はバランスの取れた中間、Fable 5は最も遅く最も高価で、知能チャートのトップを支払うための税金でした。
ボーナスラウンド:奇妙なものを描く
コーディングは一つの軸ですが、空間的な想像力はもう一つの軸です。各モデルに、意図的に奇抜なシーンを描く単一の手書きSVG(ラスター画像なし、ライブラリなし)を依頼しました。それは、月にいる宇宙飛行士の背中に乗った馬です。役割の逆転、2つのキャラクター、1つのファイルです。
| Grok 4.5 | GPT-5.5 |
|---|---|
| [画像: Grok 4.5によるSVGアート] | [画像: GPT-5.5によるSVGアート] |
| Claude Opus 4.8 | Claude Fable 5 |
|---|---|
| [画像: Claude Opus 4.8によるSVGアート] | [画像: Claude Fable 5によるSVGアート] |
生のSVG: Grok 4.5 · GPT-5.5 · Opus 4.8 · Fable 5
Fable 5がショーを盗みました。カウボーイハットをかぶった馬が「出発だ、人間!」と叫び、うつむいた宇宙飛行士が「ふぅ…ふぅ…」と息を切らしています。これは単なる絵ではなく、コメディです。GPT-5.5は「ウィー!」と叫ぶ楽しそうな馬で、僅差の2位でした。Grok 4.5は、カラフルで読みやすいシーンで、指示をきれいにこなしました。Opus 4.8もキャラクター性のある馬と宇宙飛行士の絵を描きましたが、生のSVGには厳密なSVGパーサーを混乱させる重複属性が含まれていました(上の画像では leniency を持たせてレンダリングしました)。これは小さな、しかし実際の正確性の低下です。
評決
- Grok 4.5は速度と価値のモンスターです。 優れたブレイクアウトゲームと洗練された重力シミュレーターを構築し、フィールドの約2倍の速度でストリーミングし、実行コストは最も安価です。唯一の本当のミスは最も難しいステートフルタスクでした(最初の試行で空白のキューブ、再試行で修正)。ワークロードが高頻度のコード生成で、レイテンシとコストが積み重なる場合、これに反論するのは非常に困難です。Grok 4.5 vs GPT-5.5を参照してください。
- Claude Opus 4.8とFable 5は最も信頼性の高いビルダーです。 3Dキューブを最初の試行でクリアしたのはこの2つだけで、Fableは最も面白いSVGを作成しました。レイテンシと価格、特にFableではその代償を払うことになります。Grok 4.5 vs Opus 4.8を参照してください。
- GPT-5.5は機敏なスタイリストです。 最も美しい重力シミュレーター、最も速い短い回答でしたが、キューブは失敗しました。
率直なヘッドライン:全く新しいローンチ日において、Grok 4.5は購入可能な最高のモデルと互角に戦い、速度とコストで圧倒しました。あなた自身のプロンプトで決着をつけたいですか?ここで紹介されているすべてのモデルは、1つのTryAIアカウントで、従量課金制で実行できます。モデルを閲覧して、あなた自身のビルドオフを開始してください。
自分で試す
ここで言及されているすべてのモデルは、TryAIで1つのアカウントで利用可能で、サブスクリプションなしの従量課金制です。