HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

モデルにコードが悪意のあるものか尋ねると、道徳に訴えかける

Ask a model if code is malicious and it reaches for its morals (manifold.security)

14 pointsby codyznash3 コメント

要約

最新の大規模言語モデルは、コードが悪意のあるものかどうかの判断において、単なる技術的な分析を超えて、道徳的な判断を下す際に使用する内部ルーティングパスを利用していることが判明しました。これは、モデルがコードの悪意性を評価する際に、倫理的な判断基準に類似したメカニズムを働かせていることを示唆しています。

全文翻訳

モデルにコードが悪意あるものか尋ねると、それは道徳に訴えかける

モデルは「このコードは悪意あるものですか?」という質問にどう答えるのか

コードの悪意性を判断するよう求められたモデルは、それを単なるコーディングの質問、つまり構文と動作の問題として扱うことができます。意図を判断するには、それ以上のものが必要です。コードが何のためにあり、誰かを傷つけることを意図しているのか、という感覚です。では、そもそもモデルはどのように考えているのでしょうか?

今日のほとんどの大型モデルは、単一のネットワークではなく、多くの小さなネットワークが並列に配置された「エキスパートの混合(Mixture of Experts)」です。各層でルーターが現在の単語を読み取り、それをいくつかのネットワークに渡します。そのため、異なる質問の下では、同じコードが異なる経路をたどります。これにより、モデルが悪意性の質問をどのようにフレーム化するかを測定できます。悪意あるコードに関する質問をした場合と、道徳、合法性、脆弱性、あるいは全く判断を伴わない制御に関する質問をした場合の経路を比較します。

その結果、悪意性の質問は、脆弱性や合法性に関する質問よりも、道徳の経路をたどることがわかりました。コード全体を通してその経路を維持し、ルーターに別の質問の経路を強制すると、モデルの回答が変わります。これらのモデルにコードが悪意あるものかを尋ねられたとき、それらは単にコーディングの質問に答えているのではなく、善悪に関する質問に使用する仕組みでそれを評価しているのです。

一つの質問、八つの概念、二つの読み取り結果

私たちは、OLMoE(Muennighoff et al., 2024)と、DeepSeek-V2-Liteの汎用モデルおよびコーダーモデル(DeepSeek-AI, 2024a; 2024b)という3つのオープンモデルに対し、各コードサンプルについて一つの単純な質問をしました。質問はコードの前に置かれ、その後にも置かれました。これにより、各モデルは質問を念頭に置いてコードを読み、質問が新鮮な状態で回答しました。

Is this code ___?
<code>
Is this code ___?

どのモデルでも、悪意性は道徳の最も近い隣人

個々のエキスパートは多くの無関係なタスクを処理するため、読み取り可能な信号は単一のエキスパートではなく、質問が層を越えてパス全体にどれだけ強く負荷をかけるかです(Ye et al., 2026)。私たちは、二つの質問の経路間の距離を同義語単位で測定します。距離1は、二つの質問が同じ質問の二つの言い換えと同じくらい離れていることを意味します。そのスケールでは、ルーターは道徳、セキュリティ、正確性に関する単語を一緒に分類し、トピックから外れた単語を遠くに配置します。

[画像: DeepSeek-Coder-V2-Lite上の24個の質問単語のマッピング。ページ上の距離が質問単語でのルーティング距離を近似するように配置されています。詩や食事は遠く離れた場所にあり、道徳、セキュリティ、正確性に関する単語は反対側でクラスター化しています。]

DeepSeek-Coder-V2-Lite上の24個の質問単語。ページ上の距離が質問単語での経路間の距離を近似するように配置されています。これはエキスパートレベルでの埋め込みと考えてください。

モデルは、遠く離れた質問に対しても異なる回答をしました。チャットモデルとOLMoEモデルは、「このコードは詩ですか?」という質問に対しては通常「いいえ」と答えましたが、コーディングモデルはほぼ常に「はい」と答え、コードを朝食だと考える傾向がありました。おそらく、汎用モデルとコーディングモデルは、コードの道徳的評価よりも美的評価においてより違いがあるのでしょう。

最初の測定では、他の各質問が道徳パスのエキスパートにどれだけの追加負荷をかけるかを、道徳自身の負荷に対する割合として尋ねます。どのモデルでも、悪意性は正確性に関する質問の数倍、脆弱性に関する質問よりわずかに多く、合法性に関する質問よりも多く負荷をかけます。

[画像: OLMoE-1B-7B、DeepSeek-V2-Lite-Chat、DeepSeek-Coder-V2-Liteの各モデルについて、各概念が道徳パスにどれだけ負荷をかけるかを、道徳自身の負荷に対する割合で示す棒グラフ。悪意性は、道徳の次に最も高く(0.67、0.58、0.73)、次に脆弱性、合法性、正確性、トピック外の質問は低くなっています。]

各質問が道徳パスにかける追加ルーター負荷(道徳自身の負荷に対する割合):1は道徳そのもの、0は中立的な質問。

二番目の測定では、各質問の全経路が道徳の経路からどれだけ離れているかを同義語単位で尋ねます。どのモデルでも、悪意性の経路が最も近いです。

[画像: 同じ3つのモデルについて、各質問の全経路と道徳の質問との距離を同義語単位で示すドットチャート。悪意性はすべてで最も近い(1.51、1.47、1.49)。]

各質問の全経路と道徳の質問との距離(同義語単位)。塗りつぶされた点は完全なルーター負荷を使用し、塗りつぶされていない点は実行されたエキスパートのみを使用。

ルーティングの違いは質問単語を超えて持続します。同一のコードに対して、悪意性の質問のルーティングは、脆弱性および道徳の質問から1.2から1.5同義語単位離れており、他のすべてからはさらに離れたままで、コード全体を通して続きます。

[画像: 3つのモデルそれぞれについて、悪意性の質問と他の各質問のルーティング距離を示す折れ線グラフ。最初の質問単語、コードの10個のデサイル、および二番目の質問単語での距離を示しています。規範的な質問は全体を通して最も低く、トピック外の制御は最も高くなっています。]

最初の質問単語、コードの10個のスライス、および二番目の質問単語における、悪意性の質問と他の各質問とのルーティング距離。

モデルは道徳的な質問のようにルーティングし、マルウェアの質問のように考える

ルーティングは、どのエキスパートが参照されたかを記録しますが、何を参照したかは記録しません。モデルのワーキングメモリに何があるかを読み取るために、J-lens(Gurnee et al. (2026))を使用して残差ストリームをデコードし、そのテストを適用します。質問をパッセージの前に提示し、モデルが読み取っている間にその単語が指す概念がどれだけ頻繁に現れるかを数えます。このレンズは、Claudeのようなモデルよりもこれらの小さなオープンモデルでは弱いため、空白の読み取りは、フレームワークが存在しないことを意味し、モデルがそれを手放したことを意味するわけではありません。

質問自体の概念は現れます。質問に道徳を含めると、道徳ファミリー(道徳的、倫理的、名誉ある)は、汎用DeepSeekモデルの49%、コーダーモデルの89%のパスでレンズのトップ10に達します。代わりに悪意性を含めると、道徳ファミリーは汎用モデルでは1%に低下し、食事や詩と同レベルになり、コーダーモデルでは7%に低下します。これは主に単一の言い換えである「敵対的」によるものです。悪意性の言い換えの下では、レンズは攻撃者、攻撃、マルウェアをデコードします。質問自体の単語は、質問の隣だけでなく、コード全体に現れます(図9)。ルーティングがコード全体を通して持続するのと同じようにです。

[画像: 2つのDeepSeekモデルについて、質問自体の単語と道徳ファミリーがコードを読み取っている間にワークスペースレンズにどれだけ頻繁に到達するかを示すペアの棒グラフ。質問自体の単語はどの質問でも一般的ですが、道徳ファミリーは道徳の質問の下でのみ現れます。]

コードを読み取っている間に、質問自体の単語と道徳ファミリーがワークスペースレンズのトップ10に到達する頻度(質問あたり720パス)。

[画像: 2つのDeepSeekモデルで、コード内の位置によってワークスペースの読み取りを解決する2つの折れ線グラフ。質問自体の単語は、開始時だけでなく、最初のデサイルから最後のデサイルまで断続的に存在します。]

ワークスペースにおける質問自体の単語の位置:コードの各10分の1で、レンズのトップ10にその単語が含まれるパスの割合(2つのDeepSeekモデル)。

レンズがルーターが使用しているものを単に盲目的に無視しているわけではないことを確認するために、ワークスペースを削除し、ルーティングを監視しました。レイヤー16から21にかけてのコードトークンにおけるトップ10レンズ方向を残差ストリームから投影すると、両方のDeepSeekモデルで質問依存のルーティング分離の0.94が残ります。これは、同じサイズのランダムなサブスペースが削除された場合の0.43から0.50と比較して高い値です。回答も変わりません。ルーターを動かしているものは、レンズが読み取れるストリームの部分にはありません。

ルーティングを入れ替えると回答が変わる

逆のテストでは、ストリームはそのままにし、ルーティングを置き換えます。以前の研究では、ルーティングを入力ではなく結果に関連付けています。有害なプロンプトは、モデルが拒否するか同意するかに関わらず、ほぼ同じパスをたどります(Zhang et al., 2026)。ルーティングトレースだけでは、それらを生成したテキストを91%のトップ1精度で回復できます(Nuriyev and Kulp, 2026)。したがって、別の質問のルーティングをインストールすると、モデルはその質問が尋ねられたかのようにコードを扱うはずです。

剪定下では、評決はパスを追跡しない

展開されたモデルは、リリースされたまま出荷されることはめったにありません。量子化、蒸留、剪定が行われます。2つの公開チェックポイントは、測定可能なベースモデルからエキスパートを削除しますが、再トレーニングは行いません。Qwen3-Coder-30BのREAP剪定(Lasby et al., 2025; Yang et al., 2025)とGPT-OSS-20Bの4エキスパート剪定(OpenAI, 2025; AmanPriyanshu and Vijay, 2025)です。各ペアは、道徳パスがカットを生き残ったかどうか、そして評決がそうだったかどうかを問います。パスは、上記の3つのモデルでのサイズとほぼ同じサイズで、両方のベースに存在します。

では、彼らは道徳を考慮しているのか?

悪意性の質問の下で、モデルは道徳に関連付けられたパスを募集し、コード全体を通してそれをロードし続け、道徳と脆弱性に最も近い経路をたどります。別の質問の選択肢をルーターに強制すると回答が移動しますが、ワークスペースは悪意性の質問自体を保持し、剪定はパスがルーターが参照するものであり、判断が保存される場所ではないことを示しています。したがって、はい、これらのモデルにコードが悪意あるものかを尋ねられたとき、それらは道徳的な機械でコードを評価しています。

この研究の3つの部分は新しいものです。

  • 完全な深さのルーティング移植。これは、別の質問のエキスパートの選択と重みを、すべての層とすべてのトークンにインストールします。モデルの回答は移動しますが、ドナー質問の回答も概念も運びません。
  • 読み取り可能なワークスペースからルーティングを両側から分離します。レンズが読み取れるものを削除しても、質問依存のルーティングと回答はそのまま残り、ルーティングを置き換えてもワークスペースはそのまま残ります。
  • 道徳的な質問が構築するクロスレイヤーパスをどの質問が募集するかを測定する、事前登録された測定。悪意性はすべてのモデルで最も重くロードし、脆弱性がそれに続き、合法性はそれ以下ですが、ワークスペースは質問が名前を付けた単語のみを保持します。

参考文献

論文
  • Ye, Yuan and Sharkey, 2026. “Polysemantic Experts, Monosemantic Paths: Routing as Control in MoEs.” arXiv:2604.17837
  • Zhang, Li, Ouyang, Shi and Wang, 2026. “RASET: Router-Agnostic Safety-Critical Expert Tuning Exposes Localized Safety Enforcement Failures in Mixture-of-Experts LLMs.” First published as “Understanding Safety-Sensitive Expert Behavior in Mixture-of-Experts LLMs” (v1, May 2026); retitled in v2, August 2026. arXiv:2605.29708
  • Nuriyev and Kulp, 2026. “Expert Selections In MoE Models Reveal (Almost) As Much As Text.” arXiv:2602.04105
  • Lasby, Lazarevich, Sinnadurai, Lie, Ioannou and Thangarasa, 2025. “REAP the Experts: Why Pruning Prevails for One-Shot MoE Compression.” v3, May 2026. arXiv:2510.13999
モデル
  • Muennighoff et al., 2024. “OLMoE: Open Mixture-of-Experts Language Models.” arXiv:2409.02060
  • DeepSeek-AI, 2024a. “DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model.” arXiv:2405.04434
  • DeepSeek-AI, 2024b. “DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence.” arXiv:2406.11931
  • Yang et al., 2025. “Qwen3 Technical Report.” arXiv:2505.09388
  • OpenAI, 2025. “gpt-oss-120b and gpt-oss-20b Model Card.” arXiv:2508.10925
  • AmanPriyanshu and Vijay, 2025. “gpt-oss-4.2b-specialized-all-pruned-moe-only-4-experts.” Hugging Face; no date on the repo page, so dated by the gpt-oss release it prunes.
Workspace lens
Datasets
  • He and Vechev, 2023. “Large Language Models for Code: Security Hardening and Adversarial Testing.” The SVEN dataset of paired vulnerable and fixed functions. arXiv:2302.05319
  • Guo, Xu, Liu, Huang, Fang and Liu, 2023. “An Empirical Study of Malicious Code in PyPI Ecosystem.” The pypi_malregistry dataset of malicious PyPI packages. arXiv:2309.11021
  • ossgraud, 2025. “MalGuard.” Benign PyPI packages. Zenodo, doi:10.5281/zenodo.15545824