HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: WebGPUで重量空間プログラミングの動作を観察する

Show HN: Watch weight-space programming in action with WebGPU (tabbyml.github.io)

22 pointsby wsxiaoys3 コメント

要約

WebGPUを使用して、大規模言語モデル(LLM)がモデルの重みを検査、編集、評価する完全な「重量空間プログラミング」ループをブラウザ内で構築しようとする試みを紹介します。VRAMの制約から、具体的な例に焦点を当て、勾配降下法なしでモデルの重みの一部を編集することで推論ループを削減するデモンストレーションを行っています。

全文翻訳

WebGPUで完全な重量空間プログラミングループをブラウザ内で構築したいと思いました。LLMにQwen3.5-0.8Bを検査させ、その重みを編集し、評価し、繰り返します。

完全なループにはVRAMが多すぎました。そのため、モデルの重みの0.016%を編集して推論ループを削減する具体的な例のインタラクティブなウォークスルーにしました。勾配降下法は使用していません。

「Sparks of Weight-Space Programming」のexp8に基づいています:https://news.ycombinator.com/item?id=50341174