Show HN: GLM 5.2 を低スペックPCで動作させる
Show HN: Getting GLM 5.2 running on my slow computer (github.com)
要約
投稿者は、高性能なLLMであるGLM 5.2を、32GBのRAMを搭載した自身のPCで動作させることに成功しました。モデルをint4に変換し、ディスクからのストリーミングやキャッシュを活用する「Colibrì」というエンジンを開発することで、低速ながらも実用的な速度での実行を実現しました。このプロジェクトは、GPUやPython、BLASライブラリに依存せず、単一のCファイルで構成されています。
全文翻訳
数日前、GLM 5.2を試してみて、非常に良い感触を得ました。このLLMから得られる能力とセキュリティは、ClaudeやGPTのようなモデルから得られるものと同等であり、これは本当に驚きでした。
しかし、ふと思いました。「普通の自分のPCではどうだろうか?」そして何よりも、「自分のPCでOOM(Out Of Memory)に陥らずに動くだろうか?」そこで、この可能性をテストするためにエージェントの助けを借りて作業を開始しました。
モデルをint4に変換し、MTP(Mixture-of-Experts)の使用法を理解し、可能であればロングコンテキストのためにDSA(Dynamic Sparse Activation)を実装することから始めました。int4での応答性や、品質が維持されるかどうかを確認しました。そして、32GBのRAMを搭載した私のPCで、GLM 5.2と対話できるレベルに到達しました。もちろん、コールドスタート時の速度は速くありませんが、それでも0.1トークン/秒程度です。しかし、私にとって重要なのは速度ではなく、この目標に到達するまでの道のりでした。遅くとも、とにかく動いてほしいと強く願っていました。
そこで、Colibrìを作成しました。これは、正直に言うと非常にシンプルなアイデアから生まれましたが、あらゆる方法でテストされました。744BのMixture-of-Expertsモデルは、トークンあたり約40Bのパラメータしかアクティブにせず、トークンごとに変化するのはそのうち約11GB(ルーティングされたエキスパート)だけです。したがって:
- 密な部分(アテンション、共有エキスパート、埋め込み — 約17Bパラメータ)は、int4でRAM(約9.9GB)に常駐します。
- 21,504個のルーティングされたエキスパート(75個のMoEレイヤー × 256個のエキスパート + MTPヘッド、int4で各約19MB)はディスク(約370GB)に配置され、オンデマンドでストリーミングされます。各レイヤーにはLRUキャッシュ、オプションのピン留めされたホットストア、そしてOSのページキャッシュが無料のL2キャッシュとして機能します。
エンジンは、単一のCファイル(c/glm.c、約1,300行)と小さなヘッダーファイルで構成されています。実行時にBLASもPythonもGPUも必要ありません。GPUや本格的なハードウェアがないのは、私がそのようなハードウェアを持っていないため、それよりも強力なハードウェアでテストできないからです。Colibrìは一人で開発したプロジェクトで、12コアのラップトップ(RAM 25GB)で完全に作成・テストされました。上記の数値は、自宅で測定できる上限値です。
フィードバックは歓迎です!(もしプロジェクトに参加したい方がいれば、喜んでお迎えします)
リポジトリ: Colibrì