HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

GPT-5.6、Grok 4.5、Claude、Muse Sparkが同じ4つのアプリを構築

GPT-5.6, Grok 4.5, Claude, and Muse Spark build the same 4 apps (tryai.dev)

102 pointsby hershyb_53 コメント

要約

この記事では、GPT-5.6、Grok 4.5、Claude、Muse Sparkを含む12のAIモデルが、4つの異なるアプリケーション(レイキャスター迷路、3Dルービックキューブ、電卓、Conwayのライフゲーム)を構築する能力を比較しています。各モデルのパフォーマンス、コスト、時間を複数の試行で評価し、その強みと弱みについての観察結果を提供しています。

全文翻訳

GPT-5.6、Grok 4.5、Claude、Muse Sparkが同じ4つのアプリを構築

前回のビルドオフはHacker Newsのフロントページに掲載され、コメントでは多くの貴重なフィードバックをいただきました。それらを基に、GPT-5.6が3つのティア(Sol、Terra、Luna)で登場し、Metaがコーディングモデル(Muse Spark 1.1)をサプライズリリースしたことを受けて、今回はさらに大規模に、12のモデル、4つのアプリ、各5回の試行で再挑戦しました。

フィードバックに基づいて変更した点:

  • オープンウェイトモデルをミックスに含めてほしいという要望がありました。 そのため、比較対象としてGLM-5.2、Qwen 3.7 Plus、DeepSeek V4 Pro、Kimi K2.6を追加し、すべてFireworks経由で提供しました。
  • 「試行が奇妙だった」という意見がありました。 同意します。各モデルはタスクごとに5回の試行を行います。上部には各モデルのサンプル実行を1つ表示し、各タスクテーブルには、成功したと判断した試行の数(カウント方法も記載)と、最も気に入った試行へのリンクを示します。すべての試行は下部にリンクされており、モデルが実行ごとにどれだけ変動するかを確認できます。
  • 「客観的ではない」という意見がありました。 正しいです。科学的な結論を下すつもりはありません。大量の成果物を生成し、それらをすべて公開するので、ご自身で意見を形成してください。以下は、結果を観察した上での私たちの見解です。

生のビルドを直接確認したいですか? すべての試行にジャンプして、ご自身で実行してみてください。

参加モデルは12種類:新しいGPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna;MetaのMuse Spark 1.1;Grok 4.5、GPT-5.5、Claude Opus 4.8、Claude Fable 5;そしてオープンウェイトのグループ:Qwen 3.7 Plus、DeepSeek V4 Pro、Kimi K2.6、GLM-5.2です。

各タスクについて、上部には5回の試行から選んだベストなものを、その下に全5回のコストと時間を、そしてすべての生の試行へのリンクを投稿の下部に示しますので、ご自身で判断してください。

タスク1:Doom風レイキャスター迷路

WASDで移動できる一人称視点のレイキャスターで、壁は陰影付き、床と天井があり、衝突判定を備えています。

Grok 4.5Claude Opus 4.8GPT-5.5Qwen 3.7 Plus
[動画:Grok 4.5のレイキャスター迷路][動画:Claude Opus 4.8のレイキャスター迷路][動画:GPT-5.5のレイキャスター迷路][動画:Qwen 3.7 Plusのレイキャスター迷路]
Kimi K2.6Claude Fable 5DeepSeek V4 ProGLM-5.2
[動画:Kimi K2.6のレイキャスター迷路][動画:Claude Fable 5のレイキャスター迷路][動画:DeepSeek V4 Proのレイキャスター迷路][動画:GLM-5.2のレイキャスター迷路]
GPT-5.6 SolGPT-5.6 TerraGPT-5.6 LunaMuse Spark 1.1
[動画:GPT-5.6 Solのレイキャスター迷路][動画:GPT-5.6 Terraのレイキャスター迷路][動画:GPT-5.6 Lunaのレイキャスター迷路][動画:Muse Spark 1.1のレイキャスター迷路]

「プレイ可能」のカウント方法:迷路を実際に歩き回ったり、移動・旋回したりできるかどうかが唯一の基準でした。それが可能であればカウントしました。

モデル成功数ベストビルドコスト時間私たちの評価
Grok 4.55/5#4$0.2762秒価格に対して素晴らしい。
Claude Opus 4.84/5#2$0.5448秒一貫性はあるが、単調。
GPT-5.54/5#1$1.44138秒GPT-5.6登場前の総合ベスト。
Qwen 3.7 Plus2/5#4$0.1343秒—
Kimi K2.62/5#2$1.3788秒—
Claude Fable 53/5#1$2.35107秒結果は良好だが、一貫性に欠ける。
DeepSeek V4 Pro3/5#4$0.30318秒—
GLM-5.20/5—$0.12133秒詳細な描写はあったが、どの試行でもキャラクターが移動できなかった。
GPT-5.6 Sol5/5#5$1.35120秒ベストな結果:一貫性があり、GPT-5.5よりも優れ、ゲーム全体により詳細な描写があった。
GPT-5.6 Terra3/5#1$0.4439秒詳細描写は良いが、一貫性に欠け、常に歩けるわけではなかった。
GPT-5.6 Luna5/5#5$0.1523秒素晴らしい結果だが、私の意見ではGPT-5.5ほどではない。
Muse Spark 1.12/5#1$0.55169秒動作した場合は驚くほど素晴らしかった。5回のうち3回は壊れていたが、動作したものはFableやSolと同等で、GrokやOpusよりも良かった。

全体として、Claudeはこのタスクでは予想より劣っていました。GPTは他のすべてのモデルを上回り、Grokはその価格帯で実際に使用可能な代替案となり、Muse Sparkは動作した試行で大きな驚きをもたらしました。

タスク2:3Dルービックキューブ(シャッフル+ソルブ)

カラフルで3D風のルービックキューブを構築し、シャッフルとソルブボタンで回転アニメーションを視覚的に表示します。

Grok 4.5Claude Opus 4.8GPT-5.5Qwen 3.7 Plus
[動画:Grok 4.5のルービックキューブ][動画:Claude Opus 4.8のルービックキューブ][動画:GPT-5.5のルービックキューブ][動画:Qwen 3.7 Plusのルービックキューブ]
Kimi K2.6Claude Fable 5DeepSeek V4 ProGLM-5.2
[動画:Kimi K2.6のルービックキューブ][動画:Claude Fable 5のルービックキューブ][動画:DeepSeek V4 Proのルービックキューブ][動画:GLM-5.2のルービックキューブ]
GPT-5.6 SolGPT-5.6 TerraGPT-5.6 LunaMuse Spark 1.1
[動画:GPT-5.6 Solのルービックキューブ][動画:GPT-5.6 Terraのルービックキューブ][動画:GPT-5.6 Lunaのルービックキューブ][動画:Muse Spark 1.1のルービックキューブ]

「クリーンソルブ」のカウント方法:キューブをシャッフルしてソルブし、両方のアニメーションがスムーズに実行され、グリッチや色の変更がなかった場合のみカウントしました。

モデル成功数ベストビルドコスト時間私たちの評価
Grok 4.53/5#4$0.65191秒シンプルで良好な結果。
Claude Opus 4.80/5#1$0.5644秒完璧な例はなく、すべてに小さな問題があり、キューブの色が変わることもあったが、いくつかは近かった。
GPT-5.54/5#4$1.36136秒色のちらつきや、少しスムーズでない回転アニメーションのような小さな欠点はあるものの、良好な結果。
Qwen 3.7 Plus1/5#5$0.0724秒動作したときは、素晴らしい見た目だった!
Kimi K2.61/5#4$1.0559秒あまり良くなかった。
Claude Fable 55/5#2$2.0392秒特にコメントなし、非常に良い結果。
DeepSeek V4 Pro1/5#3$0.35380秒—
GLM-5.20/5—$0.0889秒驚くべきことに、動作する結果はなかった。
GPT-5.6 Sol4/5#5$1.0672秒素晴らしい結果。1つは奇妙なアニメーションで、1つはすべて黒いキューブ(興味深い選択)だったが、動作したものはうまく機能した。
GPT-5.6 Terra4/5#4$0.4238秒問題なく、奇妙なシャッフルアニメーションがあったが、GPT-5.5からの小さな進歩を感じた。
GPT-5.6 Luna0/5—$0.1424秒最初は通常正しくレンダリングされたが、シャッフルするとすぐに壊れた。
Muse Spark 1.12/5#1$0.54182秒OSSモデルより一段上だが、価格を考えるとGrokの代わりにはならない。

全体として、レイキャスターでの明確な3Dリードを考えると、GPTがここでパフォーマンスを落としたのは驚きでした。Claudeは再び素晴らしい仕事をしたものの、Fableが5回中5回クリーンソルブを達成したのに対し、Opusは奇妙なことに1回の完璧なソルブもできませんでした。

任意のモデルの5つの試行をすべてライブでプレイ:Grok · Opus · Qwen(他の試行には1-5の番号を入れ替えてください)。

タスク3:電卓

数字、演算子、クリア、イコール、正しい演算子優先順位、実際の電卓の外観。

Grok 4.5Claude Opus 4.8GPT-5.5Qwen 3.7 Plus
[動画:Grok 4.5の電卓][動画:Claude Opus 4.8の電卓][動画:GPT-5.5の電卓][動画:Qwen 3.7 Plusの電卓]
Kimi K2.6Claude Fable 5DeepSeek V4 ProGLM-5.2
[動画:Kimi K2.6の電卓][動画:Claude Fable 5の電卓][動画:DeepSeek V4 Proの電卓][動画:GLM-5.2の電卓]
GPT-5.6 SolGPT-5.6 TerraGPT-5.6 LunaMuse Spark 1.1
[動画:GPT-5.6 Solの電卓][動画:GPT-5.6 Terraの電卓][動画:GPT-5.6 Lunaの電卓][動画:Muse Spark 1.1の電卓]

「動作する」のカウント方法:網羅的ではなく、(((5 × 5) − 100) / 10) のような基本的な計算を行い、各モデルが演算順序をどのように処理し、結果をレンダリングするかを確認しました。

モデル成功数ベストビルドコスト時間私たちの評価
Grok 4.55/5#5$0.37110秒シンプルで一貫性のある結果、追加のスタイリングなし。
Claude Opus 4.85/5#1$0.4635秒—
GPT-5.54/5#1$0.9175秒時々追加のボタンが表示され、3Dでレンダリングしようとしたが、しばしば切り取られていた。
Qwen 3.7 Plus4/5#4$0.0412秒動作し、かなり一貫性があったが、1つは負の数を扱えなかった。
Kimi K2.60/5#5$0.7650秒動作したが、負の数を扱えなかった。
Claude Fable 55/5#1$1.2248秒スタイルだけで私の個人的なお気に入り。
DeepSeek V4 Pro3/5#3$0.28342秒1つは数字の順序がおかしく、1つの結果がレンダリングされなかった。
GLM-5.22/5#1$0.0763秒動作したときは素晴らしい結果だった。
GPT-5.6 Sol5/5#1$0.8461秒GPT-5.5のように過剰なスタイリングを試みる。それはレイキャスターでは役立ったが、ここでは煩わしく、クリーンで一貫性がある代わりに、一部のスタイルがオフだった。
GPT-5.6 Terra4/5#1$0.2820秒動作したときは良好な結果だった。
GPT-5.6 Luna5/5#1$0.1116秒Grokのものと似ており、良好で一貫性のある結果。
Muse Spark 1.15/5#5$0.3394秒目立った問題もなく、全体的にかなり良く、Grok 4.5と同等。時折、ボタンの順序が狂ったり、配置がおかしかったりして、スタイルポイントを失った。

全体として、これは明らかにClaudeの最高の仕事でした。OpusとFableの両方が5回すべてを完璧にこなし、Fableのスタイルは私たちの好みでした。GPT-5.6 Solは、Fableと同様に、過剰なスタイルと3Dでの電卓レンダリングを試みます。しかし、スタイルを完璧にこなせず、全体的な体験が悪化しています。よりシンプルなGPTモデルは、そのまま動作したため、より良い仕事をしたようです。

タスク4:ライフゲーム

グリッドキャンバス、再生/一時停止/ステップ/ランダム化/クリア、クリックでセルを切り替え、世代アニメーション。

Grok 4.5Claude Opus 4.8GPT-5.5Qwen 3.7 Plus
[動画:Grok 4.5のライフゲーム][動画:Claude Opus 4.8のライフゲーム][動画:GPT-5.5のライフゲーム][動画:Qwen 3.7 Plusのライフゲーム]
Kimi K2.6Claude Fable 5DeepSeek V4 ProGLM-5.2
[動画:Kimi K2.6のライフゲーム][動画:Claude Fable 5のライフゲーム][動画:DeepSeek V4 Proのライフゲーム][動画:GLM-5.2のライフゲーム]
GPT-5.6 SolGPT-5.6 TerraGPT-5.6 LunaMuse Spark 1.1
[動画:GPT-5.6 Solのライフゲーム][動画:GPT-5.6 Terraのライフゲーム][動画:GPT-5.6 Lunaのライフゲーム][動画:Muse Spark 1.1のライフゲーム]

ライフゲームについては個別の5回試行スコアリングパスを実行しなかったため、コストと時間、および以下の一般的な印象のみを示します。

モデルコスト時間
Grok 4.5$0.1438秒
Claude Opus 4.8$0.4835秒
GPT-5.5$1.0679秒
Qwen 3.7 Plus$0.0411秒
Kimi K2.6$0.9353秒
Claude Fable 5$1.2748秒
DeepSeek V4 Pro$0.25304秒
GLM-5.2$0.10121秒
GPT-5.6 Sol$0.9962秒
GPT-5.6 Terra$0.3625秒
GPT-5.6 Luna$0.1318秒
Muse Spark 1.1$0.3298秒

Grok 4.5はここでうまく機能しましたが、より大きな収穫は、このタスクがOSSモデルにとって非常に簡単だったことです。ライフゲームに関するオープンなサンプルコードが十分に存在するため、それらがはるかに低いコストでより良い仕事ができたのでしょう。Qwen 3.7 PlusとGLM-5.2は明らかにこの種のタスクに適していますが、他のタスクでまだ新規または複雑な作業に苦労していることが示されているため、一般的にそれらに頼るべきではありません。

レシート:生の速度とコスト(短い回答)

全体的な結果。

モデル時間トークン/秒コスト
GPT-5.6 Luna1.0秒97 トークン/秒$0.001
GPT-5.6 Terra1.5秒62 トークン/秒$0.001
GPT-5.6 Sol1.8秒45 トークン/秒$0.003
Qwen 3.7 Plus2.1秒204 トークン/秒$0.001
Claude Opus 4.82.5秒44 トークン/秒$0.004
GPT-5.53.0秒45 トークン/秒$0.003
Grok 4.53.0秒112 トークン/秒$0.003
Muse Spark 1.13.1秒125 トークン/秒$0.002
Kimi K2.64.5秒83 トークン/秒$0.01
Claude Fable 56.6秒30 トークン/秒$0.01
GLM-5.27.0秒58 トークン/秒$0.001
DeepSeek V4 Pro9.3秒37 トークン/秒$0.001

いくつかのオープンウェイトモデルは、応答全体をバーストでバッファリングし、400トークンキャップに達したため、トークン/秒はデコードレートではなく上限です。GPT-5.6ティアは短いプロンプトで最も高速なモデル(Lunaは約1秒で応答)であり、Qwenは驚くほど安価で高速、DeepSeekとGLMは非常に遅かったです。

ボーナス:馬に乗る宇宙飛行士を描く(SVG、5回のうちベスト)

ライブラリなしのワンショットSVG。各モデルの5回の試行からベスト(厳密に有効なSVGを優先し、次に最も詳細なものを優先)を示します。

Grok 4.5Claude Opus 4.8GPT-5.5Qwen 3.7 Plus
[SVG:Grok 4.5の馬に乗る宇宙飛行士][SVG:Claude Opus 4.8の馬に乗る宇宙飛行士][SVG:GPT-5.5の馬に乗る宇宙飛行士][SVG:Qwen 3.7 Plusの馬に乗る宇宙飛行士]
Kimi K2.6Claude Fable 5DeepSeek V4 ProGLM-5.2
[SVG:Kimi K2.6の馬に乗る宇宙飛行士][SVG:Claude Fable 5の馬に乗る宇宙飛行士][SVG:DeepSeek V4 Proの馬に乗る宇宙飛行士][SVG:GLM-5.2の馬に乗る宇宙飛行士]
GPT-5.6 SolGPT-5.6 TerraGPT-5.6 LunaMuse Spark 1.1
[SVG:GPT-5.6 Solの馬に乗る宇宙飛行士][SVG:GPT-5.6 Terraの馬に乗る宇宙飛行士][SVG:GPT-5.6 Lunaの馬に乗る宇宙飛行士][SVG:Muse Spark 1.1の馬に乗る宇宙飛行士]

個人的には、Claude FableはSVGレンダリングで素晴らしい仕事をしてくれます。多くの場合、面白く、質の高い結果をもたらしました。GPT-5.6モデルは、馬や宇宙飛行士のクリーンなレンダリングを含んでいなかったため、ここでは驚くほど平凡でした。Grok 4.5もここでかなりうまく機能しました。

ボーナス2:イーロンとベゾスがブルーオリジンの着陸を見守る(SVG、5回のうちベスト)

リクエストによるより難しいシーン:2人の著名なテック億万長者の似顔絵が、外洋に着陸するブルーオリジンのブースターを見守っています。これは構成と類似性に依存します。ここでもClaude Fableがフィールドを席巻しました。クリーンなレンダリングで素晴らしいディテールを生み出し、ベゾスの額には光沢があり、着陸パッドの周りには煙があります。GPTは再びかなりカートゥーン調の結果を生み出しました。もしそれが好みであれば、生成結果には常にマイナーなエラーがあるため、ワンショットの結果を改善してみてください。OSSモデルであるGLM-5.2とQwen 3.7も、このタスクでは非常にうまく機能しました。

Grok 4.5Claude Opus 4.8GPT-5.5Qwen 3.7 Plus
[SVG:Grok 4.5のイーロンとベゾス][SVG:Claude Opus 4.8のイーロンとベゾス][SVG:GPT-5.5のイーロンとベゾス][SVG:Qwen 3.7 Plusのイーロンとベゾス]
Kimi K2.6Claude Fable 5DeepSeek V4 ProGLM-5.2
[SVG:Kimi K2.6のイーロンとベゾス][SVG:Claude Fable 5のイーロンとベゾス][SVG:DeepSeek V4 Proのイーロンとベゾス][SVG:GLM-5.2のイーロンとベゾス]
GPT-5.6 SolGPT-5.6 TerraGPT-5.6 LunaMuse Spark 1.1
[SVG:GPT-5.6 Solのイーロンとベゾス][SVG:GPT-5.6 Terraのイーロンとベゾス][SVG:GPT-5.6 Lunaのイーロンとベゾス][SVG:Muse Spark 1.1のイーロンとベゾス]

TL;DR

  • フロンティアモデルは依然として難しいタスクで勝利しており、複雑なタスクでは差はかなり大きいです。 GPT-5.6 SolとClaude Fable 5が際立っていました。Solはレイキャスターで、Fableはルービックキューブで優れていました。他のモデルもそこそこでしたが、最高の成果は依然としてフロンティアにあります。
  • 最先端モデルとオープンウェイトモデルの間には、真に新規または複雑な作業において明確なギャップがあります。 これはレイキャスターとキューブタスクで見られます。しかし、ライフゲームのような単純で確立されたタスクでは、OSSモデルは互角に戦います。十分なサンプルコードが存在するため、Qwen 3.7とGLM-5.2はコストのわずかな割合でそれを完璧にこなします。この種の課題にはそれらを使用してください。ただし、他のタスクで難しい作業にまだ苦労していることが示されているため、一般的にそれらに頼るべきではありません。
  • Grok 4.5は、一部のタスクで実際に「Opusレベル」です。 ビジネスのためにコストを重視するなら、セカンダリ実行モデルとして躊躇なく選択するでしょう。Grok 4.5 vs Opus 4.8およびGrok 4.5 vs GPT-5.5を参照してください。
  • Muse Spark 1.1は嬉しい驚きでした。 あまり期待していませんでしたが、Grok 4.5より一段下で、一般的にはオープンウェイトより優れていると感じました。これは真のデビューですが、現時点ではまだ積極的に選びたいものではありません。

ローンチ日を過ぎても、この傾向は続いています。最新で最も高価なフラッグシップモデルが自動的に勝者とは限りません。これらのプロンプトを自分で実行したいですか? ここにあるすべてのモデルは1つのTryAIアカウントで利用可能で、従量課金制です。モデルを閲覧して、独自のビルドオフを開始してください。

すべての試行をプレイ

生成したすべての生のビルド、12モデルとタスクごとの5回の試行。番号をクリックすると、その試行を開いて自分で確認できます。赤いアスタリスク(*)は、そのモデルで最も気に入った試行を示しています(ライフゲームは試行ごとのスコアリングがなかったため、アスタリスクはありません)。

レイキャスター迷路
モデル試行
Grok 4.51 · 2 · 3 · 4* · 5
GPT-5.6 Sol1 · 2 · 3 · 4 · 5*
GPT-5.6 Terra1* · 2 · 3 · 4 · 5
GPT-5.6 Luna1 · 2 · 3 · 4 · 5*
Muse Spark 1.11* · 2 · 3 · 4 · 5
GPT-5.51* · 2 · 3 · 4 · 5
Claude Opus 4.81 · 2* · 3 · 4 · 5
Claude Fable 51* · 2 · 3 · 4 · 5
Qwen 3.7 Plus1 · 2 · 3 · 4* · 5
DeepSeek V4 Pro1 · 2 · 3 · 4* · 5
Kimi K2.61 · 2* · 3 · 4 · 5
GLM-5.21 · 2 · 3 · 4 · 5
ルービックキューブ
モデル試行
Grok 4.51 · 2 · 3 · 4* · 5
GPT-5.6 Sol1 · 2 · 3 · 4 · 5*
GPT-5.6 Terra1 · 2 · 3 · 4* · 5
GPT-5.6 Luna1 · 2 · 3 · 4 · 5
Muse Spark 1.11* · 2 · 3 · 4 · 5
GPT-5.51 · 2 · 3 · 4* · 5
Claude Opus 4.81* · 2 · 3 · 4 · 5
Claude Fable 51 · 2* · 3 · 4 · 5
Qwen 3.7 Plus1 · 2 · 3 · 4 · 5*
DeepSeek V4 Pro1 · 2 · 3* · 4 · 5
Kimi K2.61 · 2 · 3 · 4* · 5
GLM-5.21 · 2 · 3 · 4 · 5
電卓
モデル試行
Grok 4.51 · 2 · 3 · 4 · 5*
GPT-5.6 Sol1* · 2 · 3 · 4 · 5
GPT-5.6 Terra1* · 2 · 3 · 4 · 5
GPT-5.6 Luna1* · 2 · 3 · 4 · 5
Muse Spark 1.11 · 2 · 3 · 4 · 5*
GPT-5.51* · 2 · 3 · 4 · 5
Claude Opus 4.81* · 2 · 3 · 4 · 5
Claude Fable 51* · 2 · 3 · 4 · 5
Qwen 3.7 Plus1 · 2 · 3 · 4* · 5
DeepSeek V4 Pro1 · 2 · 3* · 4 · 5
Kimi K2.61 · 2 · 3 · 4 · 5*
GLM-5.21* · 2 · 3 · 4 · 5
ライフゲーム
モデル試行
Grok 4.51 · 2 · 3 · 4 · 5
GPT-5.6 Sol1 · 2 · 3 · 4 · 5
GPT-5.6 Terra1 · 2 · 3 · 4 · 5
GPT-5.6 Luna1 · 2 · 3 · 4 · 5
Muse Spark 1.11 · 2 · 3 · 4 · 5
GPT-5.51 · 2 · 3 · 4 · 5
Claude Opus 4.81 · 2 · 3 · 4 · 5
Claude Fable 51 · 2 · 3 · 4 · 5
Qwen 3.7 Plus1 · 2 · 3 · 4 · 5
DeepSeek V4 Pro1 · 2 · 3 · 4 · 5
Kimi K2.61 · 2 · 3 · 4 · 5
GLM-5.21 · 2 · 3 · 4 · 5