HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

GLM 5.2 vs. Opus

GLM 5.2 vs. Opus (techstackups.com)

72 pointsby ritzaco41 コメント

要約

GLM-5.2はオープンモデルの進化を示す新しいモデルであり、本記事ではClaude Opus 4.8と、WebGLで3Dプラットフォーマーゲームをゼロから構築するという同一のタスクで比較しました。Opusはより速く、よりクリーンで正確なゲームを生成し、視覚的な出力を自己チェックできますが、GLM-5.2は大幅に安価で、オープンウェイトであるため常に利用可能であり、非常に有能なモデルとして評価されました。結果として、Opusが主要モデルであることに変わりはありませんが、GLM-5.2も重要なツールとしてその地位を確立しました。

全文翻訳

GLM-5.2 vs Claude Opus

GLM-5.2が登場し、オープンモデルの能力がまた一歩前進しました。インターネットはすぐに騒然となり、何が現実で何が誇大広告なのかを見分けるのが難しくなっています。

そこで、同じワンショットプロンプト(RAW WebGLで3Dプラットフォーマーをゼロから構築する)を使って、Claude Opusと直接対決させました。テストを実行し、ベンチマークと話題を掘り下げた上での私たちの見解は以下の通りです。

私たちはメインの作業をOpusから切り替える予定はありません。 私たちのテストでは、Opusの方が高速で、よりクリーンで正確なゲームを完成させました。また、テキストのみのGLM-5.2にはできない、自身の視覚出力をチェックする能力も持っています。しかし、GLM-5.2は、その価格のほんの一部で、真に有能なモデルであり、オープンウェイトであるため常に利用可能であるという点で、私たちのツールキットに永久的な場所を確保する価値があります。クローズドモデルは、ほとんど警告なしに廃止または制限される可能性があります(Fableが最近の例です)。ダウンロード可能なウェイトは取り上げられることはありません。

両方のゲームをすぐにプレイしたり、ソースコードを入手したりできます。

どちらもゼロから構築されたブラウザゲームで、ゲームエンジンやThree.jsのような3Dレンダリングライブラリは使用していません。3DモデルはKenneyから提供された無料のCC0アセットです。

実行結果の比較は以下の通りです。

メトリックGLM-5.2 (Pi/OpenRouter)Opus (Claude Code)
壁時計でのビルド時間1時間10分40秒33分30秒
出力トークン131,000216,809
ピークコンテキストウィンドウ1Mの16%1Mの19%
ツールコール128153
コスト$5.39 (実請求額)~$21.92 (推定、定価ベース)

GLM-5.2はコストが大幅に安く済みました。Opusは半分の時間で完了し、よりクリーンなゲームを完成させました。

理論上、ベンチマークではGLM-5.2はトップクラスのクローズドモデルにわずかに及ばない程度であり、オンラインでの話題は、本物の情報とやらせのミックスです。ゲームの後に、これらについて詳しく説明します。

GLM-5.2とは何か

GLM-5.2はZ.aiの最新フラッグシップモデルです。MITライセンスの下でオープンウェイトであり、ダウンロードして自分で実行したり、Z.aiのAPI経由で呼び出したりできます。

長時間のタスク、つまり数時間かかるような、長くて多段階のコーディングエージェント作業のために構築されています。1Mトークンのコンテキストウィンドウと、速度と能力をトレードオフする「High」と「Max」の2つの思考レベルを備えています。

注記

GLM-5.2はテキストのみであり、マルチモーダルではありません。画像を読み込めないため、スクリーンショットや図に基づいたワークフローには、Claude Opusのようなモデルが必要です。

Z.aiは、同程度のトークン使用量で、Claude Opus 4.7と4.8の間に位置づけています。詳細については、以下の発表をご覧ください。

@Zai_org on X

価格とアクセス

オープンウェイトであるため、GLM-5.2は安価です。API経由ではOpusの数分の一のコストで済み、ハードウェアがあれば自分で無料で実行することもできます。

価格(1Mトークンあたり、ベンダー文書より):

入力キャッシュ読み込み出力
Claude Opus 4.8$5$0.50$25
GLM-5.2$1.4$0.26$4.4

出力トークンにおいて、GLM-5.2はOpusの5分の1未満の価格です。

ウェイトはMITライセンスの下でHugging FaceとModelScopeで公開されており、地域制限はありません。vLLM、SGLang、Transformersなどのフレームワークでローカルに提供できます。

私たちのバイブテスト:ゼロから作る3Dゲーム

バイブ(雰囲気)を排除するために、Opus 4.8とGLM-5.2に同じワンショットプロンプトを与えました。「RAW WebGLで、ゲームエンジンや3Dライブラリを使わずに、3Dプラットフォーマーゲームをゼロから構築せよ」というものです。

なぜこのタスクなのか

モデルは、見た目の良いランディングページをゼロショットで生成できますが、コミュニティはそれをあまりテストとは見なしません。RAW WebGLでの3Dプラットフォーマーは、単一の美しいファイルでごまかすことはできません。実際の構造を持っています:GLBモデルパーサー、行列とベクトルの数学、GLSLシェーダー、スキニングされた骨格アニメーション、固定タイムステップループ、衝突判定、追従カメラなどです。

その構造は、議論されている両方の側面を同時にテストします。多くのステップにわたってレイヤー化された、複数ファイル構成のビルドを維持することはエージェント的な部分であり、GLM-5.2が得意とするところです。エンジン内部の、見た目は問題ないが静かに壊れる部分を正しく実装することは、推論とセンスの部分であり、Opusが得意とするところです。

3Dアセットはローカルにバンドルしたため、テストはエンジンとレンダリングに焦点を当て、ハーネスがモデルファイルをフェッチできるかどうかではありません。アート自体は人間が作成したアセットパック、KenneyのCC0 Platformer Kitであり、両方のエージェントには同一のファイルが渡されました。

各モデルが構築する必要があったもの

完了するために、各モデルは以下を構築する必要がありました。

  • RAW WebGLでの3Dエンジンとレンダラー(Three.jsやその他のライブラリは使用しない)。
  • 提供された3Dキャラクターとワールドモデルのローダー。
  • 重力と衝突判定を備え、アリーナ内を走りジャンプできるキャラクター。
  • 追従カメラとキーボード操作。
  • ワンコマンドでブラウザで実行可能な全体。

どちらも(ツールで?爪で?)ほとんどを手作業(手作業?)で行いました。GLBバイナリパーサー、行列とクォータニオンの数学、GLSLスキニングシェーダーを備えたWebGL2レンダラー、そしてキャラクターがプラットフォームをすり抜けないようにするためのサブステップAABB衝突判定です。

どちらも同じプロンプト、同じアセット、そしてヒントなしの1回の試行で実行しました。Opus 4.8は拡張思考を「High」で実行し、GLM-5.2は思考を「High」に設定して実行しました(GLM-5.2には使用しなかった「Max」という上位レベルもあります)。両方の実行結果を自分で詳しく調べることができます。

かかった時間とコスト

Opus 4.8はClaude Codeでビルドし、GLM-5.2はPi over OpenRouterでビルドしました。

[画像: ゲームをビルドするOpusとGLM-5.2のタイムラプスを並べて表示]

タイムラプスを並べて表示。Opusは34:00に完了し、GLM-5.2は1:11に完了しました。

タイムラプスはビルド全体を圧縮して示しています。Opusは壁時計時間で約半分の時間で作業を終え、GLM-5.2はより長くかかりましたが、コストははるかに低く済みました。完全な数値は、冒頭の結果テーブルにあります。

両ゲームのプレイテスト

両方のゲームを最初から最後までプレイしました。それぞれのゲームの出来栄えは以下の通りです。

どちらも同じ種類のゲームを構築しました。同じ操作性を持つサードパーソン3Dプラットフォーマーです。WASDまたは矢印キーで移動し、スペースキーでジャンプ、Shiftキーでダッシュ、マウスをドラッグしてカメラを回転させ、ホイールでズームします。目標も同じです。プラットフォーム上にコインを集めて旗に到達し、スパイクの危険を避け、ワールドから落下すると最初に戻ります。

GLM-5.2

GLM-5.2のゲームは、やや粗削りに見えます。プレイ映像から:

  • 全体的に見た目が良くない。
  • キャラクターのマテリアルが一部欠落している。
  • スパイクの危険がキャラクターを殺さない。
  • 旗に到達しても何も起こらない。勝利条件がない。

注記

更新:勝利条件は機能します。旗がトリガーされる前にすべてのコインを収集する必要があります。最初のプレイ映像ではこれを見落としていました。

したがって、あまり良くはありません。しかし、一つだけうまくやったことがあります。それはスプリング(バネ)です。

[画像: GLM-5.2のスプリング発射メカニズム]

GLM-5.2のスプリング発射。

スプリングに乗ると、次のプラットフォームに打ち上げられます。

Opus

Opusのゲームはよりクリーンで、プレイしやすいです。プレイ映像から:

  • カメラとコントローラーが機能する。
  • スパイクの危険がプレイヤーを殺すので、そのロジックは正しい。しかし、それはレベルの端に配置されており、パス上にはないため、わざわざ近づかないと当たらない。
  • 全体的に見た目が良く、旗に到達して勝利できる。実際の勝利条件がある。

アニメーションはうまく、スムーズに動作し、テクスチャも正しく適用されています。

[画像: Opusのアニメーション、テクスチャ、コントローラーが機能している様子]

Opus:アニメーション、テクスチャ、コントローラーが機能している様子。

各モデルが自身の作業をどのようにチェックしたか

両モデルとも、停止する前に作業を確認するように指示されていました。エージェントがこれを行う一般的な方法の1つは、完成した製品のスクリーンショットを撮り、何も壊れていないか、欠けていないかを確認することです。Opusはそのセッションでまさにそれを行いました。

GLM-5.2はここで問題に直面しました。なぜなら、画像を読み込めないからです。マルチモーダルではありません。そのため、スクリーンショットを見る代わりに、ハッキーな回避策に頼りました。生のピクセルデータを読み取り、色が予想通りに出力されているかを確認するスクリプトを作成したのです。

GLM-5.2の自己チェックがバグを見逃した理由

保存したスクリーンショットを見ることができなかったため、GLM-5.2は代わりにフレームのピクセルを読み取ることで検証しようとしました。最終レポートからの抜粋で、保存された画像を「分析」するために色をサンプリングしています。

final_start/overview/flag.png 色を分析:草の緑、土の茶色、コインの金、旗の赤、キャラクターは青みがかった、半ランバート照明、黒なし

予想していた色は存在したため、ゲームが完了したと確認して停止しました。しかし、以下の自身の最終スクリーンショットで見られるように、キャラクターはテクスチャが欠落したフラットな灰色であり、デバッグオーバーレイがシーン上に残っています。実際にスクリーンショットを見ることができるエージェントであれば、おそらく両方を検出し、修正に戻ったでしょう。

[画像: GLM-5.2の最終スクリーンショット。キャラクターのテクスチャが欠落し、デバッグオーバーレイがまだ表示されている]

GLM-5.2の最終スクリーンショット:キャラクターのテクスチャが欠落し、デバッグオーバーレイがオンのまま。フレームを見ていませんでした。

視覚的な結果を伴うタスクでは、画像を理解できる能力は、できないモデルに対して大きな優位性を与えます。

Opusが自身の作業をどのようにチェックしたか

Opusはマルチモーダルなので、スクリーンショットを直接読み取ることができました。そのハーネスはゲームをレンダリングし、フレームをキャプチャし、Opusはその画像を検証プロセスの一部として検査しました。以下は、セッションからの抜粋で、見たものについて説明しています。

最終シーンは正しくレンダリングされています:草で覆われたブロックと茶色の土の側面、階段が上に向かって伸び、金/銀のコインと宝石、右側の島にある青いスパイクブロックの危険、目標地点の頂上にある赤い旗、キャラクターが[…]スタート広場に立っている様子、そしてスコアHUD。ライティングとシェーディングは正しく、ジオメトリはクリーンです。

[画像: Opusの自己チェック用スクリーンショット。クリーンなHUD]

Opusのスクリーンショット:クリーンなHUD、デバッグの読み出しは削除されています。

フレームを見ることができたため、Opusは画面に残っていたデバッグの読み出しに気づき、終了する前にそれらをクリアしました。

バグ

両方のゲームにバグがありました。それぞれのゲームで壊れた点は以下の通りです。

GLM-5.2

GLM-5.2のバグは頻繁で目に見えるものであり、いくつかの基本的な問題が含まれていました。

キャラクターが逆を向いている。 正しい方向に歩きますが、モデルは常に後ろ向きになっています。

[画像: GLM-5.2のキャラクターの歩行と向きのバグ]

テクスチャの欠落と消える頭。 キャラクターはテクスチャではなくフラットな灰色でレンダリングされ、カメラが動くと頭が消えます。Kenneyのモデルは、テクスチャを埋め込むのではなく、別のファイルで共有カラーパレットを参照しており、GLM-5.2のレンダラーはそのファイルをロードしなかったため、フラットカラーにフォールバックしました。Opusはパレットをロードしたため、キャラクターはテクスチャ付きで表示されました。

[画像: GLM-5.2のアニメーションコントローラーのバグ]

デススパイクが殺さない。 キャラクターがスパイクの危険に直接着地しても何も起こりません。死亡もリセットもありません。

[画像: GLM-5.2のスパイク衝突バグ]

Opus

Opusのバグは少なく、より微妙なエッジケースでした。基本的な問題ではなく、エッジケースです。

空中に立っている。 キャラクターは、プラットフォームの横、空中にいても落下しません。これは「コヨーテタイム」の猶予期間で、エッジから踏み出した直後にジャンプできる短いウィンドウですが、少し寛大すぎます。壊れた基本ではなく、洗練された機能が少しやりすぎになっています。

[画像: Opusのコヨーテタイムのバグ。キャラクターはプラットフォームの横にいても落下しない]

遠すぎる場所からの勝利。 旗に到達するずっと手前で勝利がトリガーされます。

[画像: Opusの早期終了バグ。旗から遠すぎる場所で勝利がトリガーされる]

テストで示されたこと

両モデルとも、エンジンも3Dライブラリもなしで、単一パスで完全な3Dプラットフォーマーをゼロから構築しました。これは高いハードルであり、しばらく前まではどちらもクリアできなかったでしょう。それらがどのように分かれたかは以下の通りです。

GLM-5.2:遅い、粗い、安い

GLM-5.2は2倍以上の時間を要し、粗いゲームを完成させました。灰色でテクスチャのないキャラクター、殺さないスパイク、そして最後に画面に残ったままのデバッグオーバーレイです。そのバグのほとんどは基本的なものでした。コストは5分の1でした。

Opus:速い、クリーン、高価

Opusは半分の時間で完了し、よりクリーンで正確なゲームを完成させました。そのバグはエッジケースであり、壊れた基本ではありませんでした。コストは約4倍でした。

マルチモーダルの利点

Opusは画像を読み取ることができるため、自己チェックでレンダリングされたゲームを確認し、視覚的な問題を検出しました。GLM-5.2はテキストのみです。数値で検証し、キャラクターが灰色であることやデバッグオーバーレイがまだ表示されていることに気づきませんでした。視覚的なタスクでは、それが粗いエッジを検出して出荷してしまうかの違いでした。

1つのゲームは1つのデータポイントです。以下のベンチマークは、同じ種類の能力をスケールでテストします。

ベンチマーク

Z.aiは、モデルカード(https://huggingface.co/zai-org/GLM-5.2)で、このベンチマーク結果をリリースと同時に公開しました。各行で最良の結果は太字で表示されています。

* = Anthropicの自己申告。

ベンチマークGLM-5.2Opus 4.8GPT-5.5Gemini 3.1 Pro
推論
HLE40.549.8 *41.4 *45
HLE (ツール使用)54.757.9 *52.2 *51.4 *
AIME 202699.295.798.398.2
GPQA-Diamond91.293.693.694.3
IMOAnswerBench91.083.5–81
コーディング
SWE-bench Pro62.169.258.654.2
NL2Repo48.969.750.733.4
DeepSWE46.2587010
ProgramBench63.771.970.839.5
Terminal Bench 2.1 (Terminus-2)81.0858474
Terminal Bench 2.1 (最良ハーネス)82.778.983.470.7
SWE-Marathon13.026.012.04.0
エージェント
MCP-Atlas (公開)76.877.875.369.2
Tool-Decathlon48.259.955.648.8

ArtificialAnalysisによる独立した実行結果も概ね一致しています。

  • Intelligence Index v4.1:51(オープンウェイトモデルでトップ;MiniMax-M3 44、DeepSeek V4 Pro 44、Kimi K2.6 43)。
  • TerminalBench v2.1:78%(モデルカードの81% / 82.7%と比較 - ハーネスが異なる)。
  • タスクあたりの出力トークン:約43k(GLM-5.1:26k)。

これらの数値は私たちのテストと一致しています。GLM-5.2はオープンウェイトモデルのトップであり、推論では互角に戦いますが、コーディングとエージェントの多くの項目ではOpusが依然として優位です。

各ベンチマークが測定するもの

これらのベンチマークは3つの領域にまたがっています。以下は、表と同じようにグループ化された各ベンチマークがテストする内容です。

推論、難しい数学と科学の試験:

  • HLE。Humanity's Last Exam。多くの科目における専門家レベルの数千の質問で、非常に難しくなるように作られています。「ツール使用」の行は、ウェブ検索とコードが許可された同じ試験です。
  • AIME 2026。難しいアメリカの高校数学コンペティション。
  • GPQA-Diamond。簡単な検索では答えられない、大学院レベルの科学の質問。
  • IMOAnswerBench。数学オリンピックスタイルの問題で、最終的な答えで採点されます。

コーディング、バグ修正とプロジェクト全体の構築:

  • SWE-bench Pro。実際のコードベースの実際のバグ修正で、しばしば複数のファイルにまたがる変更が必要です。
  • NL2Repo。単一の仕様から、実行可能なコードベース全体を構築します。
  • DeepSWE。インターネットなしのサンドボックス化されたコンテナ内でのエージェント的なソフトウェアエンジニアリングタスク。
  • ProgramBench。ソースコードや仕様なしで、コンパイルされたバイナリとドキュメントのみから完全なプログラムを再構築します。
  • Terminal Bench 2.1。実際のターミナルを通じて完了するタスク。2つの行は固定ハーネス(Terminus-2)を使用し、各モデルの最良のハーネスを使用します。
  • SWE-Marathon。20個の超長期間にわたるエンジニアリングタスクで、それぞれ数時間実行されます。

エージェント、実際のツールの呼び出しと連鎖:

  • MCP-Atlas。実際のMCPサーバーに対して実行されるツール使用タスクで、それぞれ複数のツール呼び出しが必要です。
  • Tool-Decathlon。多くの実際のアプリケーションにわたる長期間のタスクで、それぞれ長いツールの呼び出しチェーンが必要です。

人々の声

ベンチマークと私たちのテストは一つの側面ですが、オンラインでの反応は別の側面です。多くは実績のないアカウントからの誇大広告なので、私たちは長年にわたってその判断が信頼できる人々やグループに限定しました。

Simon Willison:「おそらく最も強力なテキストのみのオープンウェイトLLM」

Simon Willisonは何年にもわたり、ほぼすべての注目すべきモデルリリースについて書いてきました。彼はGLM-5.2を「おそらく最も強力なテキストのみのオープンウェイトLLM」と評しました。

彼の標準テストは、モデルに自転車に乗るペリカンを描いたSVGを要求することです。GLM-5.2は、壊れた部分のない完全にアニメーション化されたSVGを返しました。彼はこれを「非常に印象的」と呼びました。

[画像: Simon WillisonのためにGLM-5.2が生成した、自転車に乗るペリカンのSVG]

2番目のテストである、スクーターに乗るオポッサムは、1バージョン前のGLM-5.1よりも悪い結果となりました。したがって、強力ですが、一様ではありません。

Artificial Analysis:トップのオープンモデルだが、トークンを多く消費する

独立したベンチマークグループであるArtificial Analysisは、Intelligence IndexでGLM-5.2をトップのオープンウェイトモデルとしてランク付けしました。スコアは51で、MiniMax-M3、DeepSeek V4 Pro、Kimi K2.6を上回り、そのレベルでは最も安価なモデルとしてコスト対知能のフロンティアに位置しています。

@ArtificialAnlys on X

彼らは私たちも遭遇した同じ点を指摘しています。それはトークンを多く消費するということです。タスクあたり約43kの出力トークンを使用し、そのほとんどが推論であり、彼らが測定した他の主要なオープンモデルよりも多いです。

Nathan Lambert:オープンとクローズドのギャップは縮まっている

Nathan Lambertは、Allen Institute for AIで生活のためにオープンウェイトモデルを追跡しています。GLM-5.2がLMArenaリーダーボードでどのように位置づけられているかを見て、彼は「Geminiよりも優れたエージェントを持っていると主張できる」と論じ、MITライセンスのオープンモデルにとって「真剣な成果」と呼びました。

@natolambert on X

彼のより広いポイントは、中国のラボがはるかに少ないコンピューティングリソースでこれらのスコアを達成しており、トップの米国モデルが全体をリードしているとしても、過小評価されるべきではないということです。これは私たちのテストと一致しており、Opusが優位でしたが、GLM-5.2はその価格とオープン性から示唆されるよりも近かったです。

結論

では、誇大広告は本当なのでしょうか? ほとんどそうです。

GLM-5.2は、Opusの価格のほんの一部で、真に強力なオープンモデルです。多くの作業において、その組み合わせは打ち負かすのが難しいです。しかし、それはOpusではありません。私たちのテストでは、Opusの方が高速で、よりクリーンで正確なゲームを完成させ、それを見て自身の作業をチェックすることができました。GLM-5.2ははるかに安価でしたが、より粗削りで、テキストのみでした。

コストとオープン性が重要で、作業が主にテキストとロジックである場合は、GLM-5.2を使用してください。正確さ、洗練さ、視覚的な判断が重要で、その対価を支払う場合は、Opusを使用してください。そして、GLM-5.2を常にツールキットに加えておいてください。それは、ベンダーがあなたから奪うことのできない、希少なフロンティアに近いモデルです。