HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: GLM 5.2 を低スペックPCで動作させる

Show HN: Getting GLM 5.2 running on my slow computer (github.com)

879 pointsby vforno222 コメント

要約

投稿者は、高性能なLLMであるGLM 5.2を、32GBのRAMを搭載した自身のPCで動作させることに成功しました。モデルをint4に変換し、ディスクからのストリーミングやキャッシュを活用する「Colibrì」というエンジンを開発することで、低速ながらも実用的な速度での実行を実現しました。このプロジェクトは、GPUやPython、BLASライブラリに依存せず、単一のCファイルで構成されています。

全文翻訳

数日前、GLM 5.2を試してみて、非常に良い感触を得ました。このLLMから得られる能力とセキュリティは、ClaudeやGPTのようなモデルから得られるものと同等であり、これは本当に驚きでした。

しかし、ふと思いました。「普通の自分のPCではどうだろうか?」そして何よりも、「自分のPCでOOM(Out Of Memory)に陥らずに動くだろうか?」そこで、この可能性をテストするためにエージェントの助けを借りて作業を開始しました。

モデルをint4に変換し、MTP(Mixture-of-Experts)の使用法を理解し、可能であればロングコンテキストのためにDSA(Dynamic Sparse Activation)を実装することから始めました。int4での応答性や、品質が維持されるかどうかを確認しました。そして、32GBのRAMを搭載した私のPCで、GLM 5.2と対話できるレベルに到達しました。もちろん、コールドスタート時の速度は速くありませんが、それでも0.1トークン/秒程度です。しかし、私にとって重要なのは速度ではなく、この目標に到達するまでの道のりでした。遅くとも、とにかく動いてほしいと強く願っていました。

そこで、Colibrìを作成しました。これは、正直に言うと非常にシンプルなアイデアから生まれましたが、あらゆる方法でテストされました。744BのMixture-of-Expertsモデルは、トークンあたり約40Bのパラメータしかアクティブにせず、トークンごとに変化するのはそのうち約11GB(ルーティングされたエキスパート)だけです。したがって:

  • 密な部分(アテンション、共有エキスパート、埋め込み — 約17Bパラメータ)は、int4でRAM(約9.9GB)に常駐します。
  • 21,504個のルーティングされたエキスパート(75個のMoEレイヤー × 256個のエキスパート + MTPヘッド、int4で各約19MB)はディスク(約370GB)に配置され、オンデマンドでストリーミングされます。各レイヤーにはLRUキャッシュ、オプションのピン留めされたホットストア、そしてOSのページキャッシュが無料のL2キャッシュとして機能します。

エンジンは、単一のCファイル(c/glm.c、約1,300行)と小さなヘッダーファイルで構成されています。実行時にBLASもPythonもGPUも必要ありません。GPUや本格的なハードウェアがないのは、私がそのようなハードウェアを持っていないため、それよりも強力なハードウェアでテストできないからです。Colibrìは一人で開発したプロジェクトで、12コアのラップトップ(RAM 25GB)で完全に作成・テストされました。上記の数値は、自宅で測定できる上限値です。

フィードバックは歓迎です!(もしプロジェクトに参加したい方がいれば、喜んでお迎えします)

リポジトリ: Colibrì