HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Unsloth GLM-5.2 – ローカルでの実行方法

Unsloth GLM-5.2 – How to Run Locally (unsloth.ai)

224 pointsby TechTechTech101 コメント

要約

Z.aiの新しいオープンモデルであるGLM-5.2は、長期間のコーディング、推論、エージェントタスクにおいてSOTA(State-of-the-Art)性能を発揮します。Unsloth Dynamic GGUFを使用することで、このモデルをローカルで実行できるようになり、動的量子化により必要なディスク容量が大幅に削減されます。Unsloth Studioまたはllama.cppを通じて、Claude 4.8 OpusやGPT-5.5などのトップモデルに匹敵する性能を持つGLM-5.2を手軽に利用できます。

全文翻訳

GLM-5.2 - ローカルでの実行方法

Z.aiの新しいGLM-5.2モデルをローカルハードウェアで実行しましょう!

GLM-5.2はZ.aiの新しいオープンモデルで、長距離コーディング、推論、エージェントタスク全般でSOTA(State-Of-The-Art)の性能を発揮します。7440億パラメータ、アクティブパラメータ400億、そして100万トークンのコンテキストウィンドウを持ち、Unsloth Dynamic GGUFを使用してローカルで実行できるようになりました。GLM-5.2は、多くのベンチマークにおいてClaude 4.8 Opus、GPT-5.5、Gemini 3.1 Proに匹敵する、これまでの最も強力なオープンモデルです。

Dynamic 1-bitはトップ1精度で約76.2%を達成しつつ、86%小さくなっています。Dynamic 2-bitは精度約82%を達成しつつ、84%小さくなっています。これは、モデルが84%小さいからといって82%劣っているわけではなく、フルサイズの1.5TBモデルと比較して精度が約18%低いだけであることを意味します。Unslothにゼロデイアクセスを提供してくれたZ.aiに感謝します。GLM-5.2-GGUF

GLM-5.2チュートリアルを実行する量子化結果

⚙️ 使用ガイド

2ビットダイナミック量子化 UD-IQ2_M は、ディスク容量239GBを使用します。これは256GBのユニファイドメモリMacに直接収まり、MoEオフローディングを使用すれば24GB GPU x1とRAM 256GBでも良好に動作します。

1ビット量子化は223GBのRAMに、8ビット量子化は810GBのRAMに収まります。右側で1ビットGGUFの動作をご覧ください:

[画像: 1ビットGLM-5.2の実行デモ]

表: 推論ハードウェア要件 (単位 = 総メモリ: RAM + VRAM、またはユニファイドメモリ)

モデルサイズ (GB)223 GB245 GB290-360 GB372-475 GB570 GB810 GB
推奨RAM/VRAM223 GB245 GB290-360 GB372-475 GB570 GB810 GB

最適なパフォーマンスを得るには、VRAMとシステムRAMを含む利用可能な総メモリが、量子化されたモデルファイルのサイズを十分に上回っていることを確認してください。

推奨設定

GLM-5.2には3つの思考モードがあります。思考なしモードと、思考モード(2種類:High + Max)です。複雑なタスクにはMax Thinkingを使用してください。Unsloth Studioでは、UIでHigh + Max Thinkingと非思考モードを簡単に切り替えることができます。

ほとんどのユースケースでは、これらの設定を使用してください:

temperature = 1.0
top_p = 0.95

  • 最大コンテキストウィンドウ: 1,048,576。
思考の無効化、推論努力の変更

GLM 5.2はデフォルトで推論を使用します。また、reasoning_effortを「high」、「max」、または無効に設定できる推論努力もサポートしています。

思考を無効にするには、`--chat-template-kwargs '{