AI・機械学習
Show HN: WebGPUで重量空間プログラミングの動作を観察する
Show HN: Watch weight-space programming in action with WebGPU (tabbyml.github.io)
要約
WebGPUを使用して、大規模言語モデル(LLM)がモデルの重みを検査、編集、評価する完全な「重量空間プログラミング」ループをブラウザ内で構築しようとする試みを紹介します。VRAMの制約から、具体的な例に焦点を当て、勾配降下法なしでモデルの重みの一部を編集することで推論ループを削減するデモンストレーションを行っています。
全文翻訳
WebGPUで完全な重量空間プログラミングループをブラウザ内で構築したいと思いました。LLMにQwen3.5-0.8Bを検査させ、その重みを編集し、評価し、繰り返します。
完全なループにはVRAMが多すぎました。そのため、モデルの重みの0.016%を編集して推論ループを削減する具体的な例のインタラクティブなウォークスルーにしました。勾配降下法は使用していません。
「Sparks of Weight-Space Programming」のexp8に基づいています:https://news.ycombinator.com/item?id=50341174