Show HN: AIが回答する前にその思考プロセスを可視化・編集できるWebツールを開発しました
要約
開発者は、Anthropicの「Verbalizable Representations Form a Global Workspace in Language Models」論文に着想を得て、LLMの内部状態を可視化・編集できるWebツール「Lucid」を開発しました。このツールを使うと、AIが単語(トークン)を決定する前の思考プロセスを観察し、内部状態を編集して回答の変化を確認できます。オープンソースモデルで動作し、誰でも無料で利用可能です。
全文翻訳
私は小さなAIラボとプレイグラウンドを運営しており、Anthropicの論文「Verbalizable Representations Form a Global Workspace in Language Models」(https://transformer-circuits.pub/2026/workspace/index.html)に非常に興奮しました。
この論文では、彼らが「Jacobian Lens」と呼ぶツールを使って、LLMが単語(トークン)を確定する前に、その動作中のミドルレイヤーを覗き見する方法について説明しています。
私は、これをオープンモデルで動作するバージョンを入手できるか試したかったのですが、驚いたことにうまくいきました! いくつかの実験を行い、誰でも自分のプロンプトで使える無料の公開ツールを構築しました。
モデルに「3本の水の曲線」というシンボルを説明するように求めると、「ocean」「sea」「surf」といった言葉が、それが「waves」に落ち着く数レイヤー前に光るのを見ることができます。
内部状態を編集することもできます。oceanのプロンプトの中間レイヤーに「fire」を挿入すると、回答は熱に関するものに変化します。
遊び心や好奇心から、モデルが自身の内部ワークスペースを読み取り、概念を抑制または増幅するかどうかを決定し、プロンプトを再度実行できるようにする機能も開発しました。
モデル全体で実行した興味深い発見があります。J-lensは一部のアーキテクチャではプレーンなlogit lensよりも優れており、他のアーキテクチャでは何も効果がありません。これはサイズの問題ではありません。0.5BのQwenは2.8BのPythiaよりも読みやすいです。私が試したすべてのPythiaモデルは基本的に何も改善しませんでしたが、LlamaとQwenモデルは大幅に改善しました(https://lucid.earthpilot.ai/research)。
これは、最新の研究に基づいた48時間前のプロジェクトで、小規模なモデル、少数のプローブセット、レンタルGPUで構築されましたが、私はこれを本当にエキサイティングだと感じました。コードはオープンソースです。
また、表示されている内容についてチャットできる「Docent」AIエージェントというページコンテキストも含まれており、何が起こっているのかを理解するのに役立ちます。
皆さんがいじくり回して壊してくれるのを喜んでお待ちしています。
モデルが自己反省したり内部状態を編集したりすることを許可することの応用は、アライメント、信頼性、バイアス検出などに役立つと想像しており、このツールを使えばその初期段階を体験できます。