GLM 5.2 vs. Opus

GLM-5.2がリリースされ、オープンモデルができることの新たな一歩となりました。インターネットではすぐに話題となり、何が真実で何が誇大広告なのか判断が難しい状況です。そこで私たちは、GLM-5.2をClaude Opus 4.8と直接対決させました。同じワンショットプロンプトで、生のWebGLで3Dプラットフォーマーをゼロから構築するというものです。テストを実行し、ベンチマークと話題を掘り下げた結果がこちらです。私たちはOpusからメインを切り替えることはありません。私たちのテストでは、Opusの方が速く、よりクリーンで正確なゲームを出荷しました。また、テキストのみのGLM-5.2にはできない、自身の視覚出力をチェックする機能も備わっています。しかし、GLM-5.2は私たちの武器庫に恒久的な場所を勝ち取りました。それは、はるかに安い価格で本当に有能なモデルであり、オープンウェイトであるため常に利用可能です。クローズドモデルはほとんど警告なしに引退したり制限されたりする可能性があります（Fableが最近その例を示しました）。ダウンロードできるウェイトは取り上げられることはありません。両方のゲームを今すぐプレイしたり、ソースコードを入手したりできます。 GLM-5.2のゲーム: 3dgame-glm.d.ritzademo.com Opusのゲーム: 3dgame-opus.d.ritzademo.com 両方のソース: github.com/jamesdanielwhitford/glm-5.2-vs-opus-platformers GLM-5.2が最初から最後まで作成したもの。Opusが最初から最後まで作成したもの。どちらもゲームエンジンやThree.jsのような3Dレンダリングライブラリを使用せず、ゼロから書かれたブラウザゲームです。3DモデルはKenneyの無料のCC0アセットを使用しています。以下は、2つの実行の比較です。 MetricGLM-5.2 (Pi/OpenRouter)Opus (Claude Code) Wall-clock build time1h 10m 40s33m 30s Output tokens131,000216,809 Peak context window16% of 1M19% of 1M Tool calls128153 Cost$5.39 (real billed)~$21.92 (estimate, list pricing) GLM-5.2のコストははるかに低かった。Opusは半分の時間で終了し、よりクリーンなゲームを出荷した。理論上、ベンチマークはGLM-5.2をトップのクローズドモデルのすぐ後ろに位置付け、オンラインの話題は真のシグナルとアストロターフ（偽装された口コミ）が混在している。ゲームの後、以下で両方について掘り下げていきます。 GLM-5.2とは GLM-5.2はZ.aiの最新のフラッグシップモデルです。MITライセンスのオープンウェイトであり、ダウンロードして自分で実行したり、Z.aiのAPIを介して呼び出したりできます。長時間かかるタスク、つまり何時間もかかるような、長くて多段階のコーディングエージェント作業のために構築されています。1Mトークンのコンテキストウィンドウと、速度と能力をトレードオフする2つの思考レベル（HighとMax）が付属しています。 注記 GLM-5.2はテキストのみで、マルチモーダルではありません。画像を読み取ることができないため、スクリーンショットや図表を中心としたワークフローでは、Claude Opusのようなモデルが必要です。Z.aiは、GLM-5.2をClaude Opus 4.7と4.8の間に、同様のトークン使用量で位置付けています。詳細を知りたい場合は、彼らの発表を読んでください: @Zai_org on X 価格とアクセス オープンウェイトであるため、GLM-5.2は安価です。APIを介するとOpusの数分の1のコストで済み、ハードウェアがあれば無料で自分で実行できます。1Mトークンあたりの価格（ベンダー資料より）: InputCache readOutput Claude Opus 4.8$5$0.50$25 GLM-5.2$1.4$0.26$4.4 出力トークンに関しては、GLM-5.2はOpusの5分の1以下の価格です。ウェイトはHugging FaceとModelScopeでMITライセンスの下で公開されており、地域制限はありません。vLLM、SGLang、Transformersなどのフレームワークを使用してローカルで提供できます。 私たちのバイブテスト: ゼロからの3Dゲーム 雰囲気に流されず、Opus 4.8とGLM-5.2に同じワンショットプロンプトを与えました。ゲームエンジンや3Dライブラリを使用せず、生のWebGLで3Dプラットフォーマーゲームをゼロから構築するというものです。 なぜこのタスクなのか モデルは見た目の良いランディングページをゼロショットで作成できますが、コミュニティはすでにそれをあまりテストとして評価していません。生のWebGLで3Dプラットフォーマーを作成することは、1つのきれいなファイルでごまかすことはできません。そこには実際の構造があります。GLBモデルパーサー、行列とベクトル演算、GLSLシェーダー、スキンメッシュアニメーション、固定タイムステップループ、衝突判定、追従カメラ。この構造は、人々が一度に議論する両方のことをテストします。多層的で多ファイルにわたるビルドを多くのステップでまとめることは、エージェント的な部分であり、GLM-5.2が強いとされる部分です。エンジン内部、つまり見た目は問題ないが静かに壊れる部分を正しく実装することは、推論とセンスの部分であり、Opusが優れているとされる部分です。私たちは3Dアセットをローカルにバンドルしたため、テストはエンジンとレンダリングであり、ハーネスがモデルファイルをフェッチできるかどうかではありません。アート自体は人間が作成したアセットパック、KenneyのCC0 Platformer Kitであり、両エージェントには同じファイルが渡されました。 各モデルが構築しなければならなかったもの 終了するために、各モデルは以下を構築する必要がありました: Three.jsやその他のライブラリを使用しない、生のWebGLでの3Dエンジンとレンダラー。 提供された3Dキャラクターとワールドモデルのローダー。 重力と衝突判定を備え、アリーナを走り回ったりジャンプしたりするキャラクター。 追従カメラとキーボードコントロール。 全体を1つのコマンドでブラウザで実行可能にすること。 両モデルとも、そのほとんどを手作業で（ツールで？爪で？）行いました。GLBバイナリパーサー、行列と四元数演算、GLSLスキニングシェーダーを備えたWebGL2レンダラー、そしてキャラクターがプラットフォームをすり抜けるのを防ぐためのサブステップAABB衝突判定などです。両モデルとも同じプロンプト、同じアセット、そしてヒントなしの1回の試行を与えられました。私たちはOpus 4.8を「高」の拡張思考で、GLM-5.2を「高」の思考設定で実行しました（GLM-5.2には使用しなかったより高い「Max」ティアもあります）。両方の実行を自分で掘り下げることができます。 GLM-5.2のゲームをプレイ: 3dgame-glm.d.ritzademo.com Opusのゲームをプレイ: 3dgame-opus.d.ritzademo.com 両方のソース: github.com/jamesdanielwhitford/glm-5.2-vs-opus-platformers Opusビルドトランスクリプト: フルセッション GLM-5.2ビルドトランスクリプト: フルセッション かかった時間とコスト Opus 4.8はClaude Codeで構築され、GLM-5.2はOpenRouter経由でPiで構築されました。並列タイムラプス。Opusは34:00で終了し、GLM-5.2は1:11で終了しました。タイムラプスはビルド全体を圧縮して示しています。Opusはおよそ半分の実時間で作業を終え、GLM-5.2はより長く苦労しましたが、はるかに少ない費用でした。完全な数値は上部の結果表にあります。 両方のゲームのプレイテスト 私たちは両方のゲームを最初から最後までプレイしました。それぞれの状況は次のとおりです。 GLM-5.2、最初から最後まで。Opus、最初から最後まで。どちらも同じ種類のゲームを構築しました。同じコントロールを持つ三人称3Dプラットフォーマーです。WASDまたは矢印キーで移動し、スペースでジャンプ、シフトでスプリントし、マウスをドラッグしてカメラを回転させ、ホイールでズームします。目標も同じです。プラットフォーム上のコインを集め、スパイクの危険を避けながら旗に到達します。世界から落下すると最初に戻されます。 GLM-5.2 GLM-5.2のゲームは、全体的に少し粗い印象です。プレイの様子: 全体的にあまり良く見えません。キャラクターの一部のマテリアルが欠けています。スパイクの危険がキャラクターを殺しません。旗に到達しても何も起こりません。勝利条件がありません。したがって、それほど優れているわけではありません。しかし、一つだけ成功したことがあります。スプリングです。GLM-5.2のスプリング発射。スプリングに乗って次のプラットフォームに飛び上がることができます。 Opus Opusのゲームはよりクリーンで、うまく動作します。プレイの様子: カメラとコントローラーが機能しています。スパイクの危険がプレイヤーを殺すので、そのロジックは正しいです。しかし、それはレベルの脇にあり、パス上にはないので、わざわざ行かないと当たりません。全体的に良く見え、旗に到達して勝つことができます。実際の勝利条件があります。アニメーションは見た目も良く、スムーズに動作し、テクスチャも適切に適用されています。Opus: アニメーション、テクスチャ、コントローラーが機能しています。 各モデルがどのように自己確認を行ったか 両モデルとも、停止する前に作業を検証するよう指示されました。エージェントがこれを行う一般的な方法の1つは、完成品のスクリーンショットを撮ってそれを確認し、何も壊れたり欠けたりしていないかをチェックすることです。Opusはセッションでまさにこれを行いました。GLM-5.2は画像を読み取ることができないため、ここで問題に直面しました。それはマルチモーダルではありません。そのため、スクリーンショットを見る代わりに、ハッキング的な回避策に頼りました。それは、生のピクセルデータを読み取り、色がほぼ期待どおりに出力されたかどうかをチェックするスクリプトを書いたのです。 GLM-5.2の自己チェックがバグを見逃した理由 保存したスクリーンショットを見ることができなかったため、GLM-5.2はピクセルを読み取ってフレームを検証しようとしました。以下は、最終報告からの抜粋で、保存された画像を色をサンプリングすることで「分析」した箇所です: final_start/overview/flag.png analyzed for color: grass green, dirt brown, coin gold, flag red, character bluish, half-Lambert lit, no blac