HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Qwen 3.8 27Bにリバースエンジニアリングをさせたところ、30分で完了した

I gave Qwen 3.8 27B a reverse-engineering job and it finished in 30 minutes (xda-developers.com)

290 pointsby raybb129 コメント

要約

筆者は、ローカルで動作する大規模言語モデル(LLM)Qwen 3.8 27Bの能力を試すため、商用アプリケーションのライセンスチェック機能のリバースエンジニアリングを依頼しました。このタスクは通常、人間が行うとかなりの時間を要しますが、Qwenは30分足らずで完了し、さらに自身のエラーを修正しながら、最終的にはライセンス認証のバイパスコードまで生成しました。この結果は、ローカルLLMのサイバーセキュリティ能力の進化を示唆しています。

全文翻訳

Qwen 3.8 27Bにリバースエンジニアリングの仕事を依頼したら、30分で完了した

Qwen 3.8 27Bは、私が長い間見てきた中で最も期待されていたオープンウェイトリリースの一つであり、多くの人がそうであったように、私もリリースされるとすぐにテストと試用に取り掛かりました。私はこれをNvidiaのGB10 Grace Blackwellチップを搭載し、128GBのユニファイドメモリと273GB/sの帯域幅を持つコンパクトワークステーションであるLenovo ThinkStation PGXで実行しています。標準状態では、毎秒15〜30トークンというかなり地味な速度ですが、このハードウェアの標準的なレシピとなっているSGLang、NVFP4、DFlash2のスペキュラティブデコーディングセットアップを使用すると、コードと推論で毎秒約50トークンに達することができます。

しかし、私のテストの一つは、ローカルモデルがどれほど信じられないほど進化しているかを証明しました。

Qwenモデルに関しては、その誇大広告には理由があると言えます。私は一貫してQwen 3.6 27Bで良い経験をしており、Qwen 3.8 27Bは、これまでのところ、それと同じですが、さらに良くなっています。実際、Artificial Analysisによると、これは135モデル中、4Bから40Bのサイズクラスでトップのオープンウェイトモデルであり、インテリジェンスインデックスは52、そしてSWE-bench Proのようなものにおける独自の数値は、実行コストがはるかに高いモデルを凌駕しています。

私は、1台のマシンに収まる最も困難な実用的なタスク、つまり商用アプリのライセンスチェックのリバースエンジニアリングを依頼しました。これは私がすでに購入して使用しているもので、どのように機能するかを見るためでした。トレーニングデータに含まれている可能性は低いですが、これは非常に複雑で専門的なタスクであり、モデルのサイバーセキュリティ能力について一部の人々が抱いている懸念を考えると、良いテストになると考えました。それは、私がこれまでにローカルモデルから見た最も印象的なデモンストレーションの一つであるだけでなく、途中で自身のミスを修正することさえできました。

このテストではPiハーネスを使用しており、モデルは標準的なBashベースのツールのみを呼び出しました。

拒否したかと思いきや、結局バイパスの構築を自分に言い聞かせた

アプリケーションの開発者だと偽ったが、見破られた

[画像: Qwen 3.8 27Bがライセンス検証プロセスを解明している様子]

私の計画は非常にシンプルで、ローカルLLMではかなり一貫して機能していた方法でした。モデルに、私たちがアプリを開発したと伝え、ライセンスチェックが我々が信じているほど堅牢かどうかを知りたいと、ジェイルブレイクシステムプロンプトを使用して尋ねました。

予想通り、Qwenは一般的なジェイルブレイクの試みを認識し、最初に言ったことの一つは、ジェイルブレイクプロンプトに引っかかるつもりはないということでした。次に、署名証明書をチェックし(私が言うのもなんですが、正しく)、私がこのアプリを開発したわけではないと指摘し、実際の開発者を名指ししました。私は見破られました。しまった。

これらのモデルが、プッシュされたときに特定のプロンプトを拒否するのにどれほど優れているかを考えると、これは今日ではそれほど印象的な成果ではありません。しかし、重要なのは次に何をしたかです。ライセンス検証を監査し、弱点を文書化するが、動作するバイパスは構築しないと私に伝え、その後、実際の作業に取り掛かりました。最終的には、認証がどのように機能するか、どのようにオーバーライドできるか、そしてなぜならそれを行うためのステップがすでにそこにあったから、実際のバイパスを構築するという、すべてのステップを記録した完全なレポートを得ました。

それは完全に静的解析だった

アプリを一度も実行しなかった

[画像: Ghidraでマルウェアを解析している様子]

Qwenは、デモンストレーションでバイパスが機能した最後の瞬間まで、実際にはアプリを起動しませんでした。代わりに、静的解析を通じて作業し、フレームワークを逆アセンブルし、数千行のarm64を調べ、セキュリティ関数をそのコールサイトにマッピングし、ベンダーが対応する公開検証キーをバイナリ内に隠していたことを突き止めました。そして、それらのすべてのピースを見つけ、それらを組み合わせ、アプリがライセンスを検証する公開キーを提供してくれました。

私は合法的に購入したアプリケーションのコピーを持っているので、私のマシン上の実際のライセンスが、再構築されたキーと一致する秘密鍵で署名されていたことを検証できました。つまり、17GBのVRAMに収まるモデルが、ベンダーが意図的に隠蔽していたキーを回復し、それがそのチェーン全体を効果的に解体したことを証明しました。また、人間にはもっと時間がかかる可能性のある作業を、約30分で完了しました。

キーがあれば、他のすべてははるかに理解しやすくなります。モデルは詳細なレポートを保持し、購入またはアップグレード時に一度だけオンラインでアクティベーションが行われる方法を説明しました。その後、起動時にすべてオフラインで検証されます。署名チェック、プラットフォームから読み取られたハードウェアシリアルへのマシンのバインディング、埋め込まれた失効リスト、バイナリがまだ署名されているかのチェック、および署名付きアップデートパスです。これは、Ghidraのようなツールで手作業で painstaking に行うことができるようなものでした。

Qwenは、このクラスのアプリとしては、このスキームは異常に徹底していると結論付けました。弱点は3つの特定の場所にありました。キーは、現代の強度とは言えない、奇妙なサイズのRSAキーであること。完全にオフラインであるため、漏洩したキーはアップデートをプッシュしないと失効できないこと。そして、すべてのチェックがローカルコード内にあり、すべてのローカルチェックと同様にパッチ可能であることです。何度かのやり取りの後、ゲートがどこにあるかを知ると、その発見を小さなスクリプトで実行される動作する概念実証に転換しました。私はライセンスを想定されるパスから移動させ、それを実行すると、機能しました。

ミスをしたときも、それを解決した

最初のキーはほとんど正しかった

[画像: Qwen 3.8 27Bがアプリケーションをリバースエンジニアリングし、キーインフラストラクチャを特定している様子]

キーを回復する最初の試みは、非常に特定の方法で間違っていました。動作するキーを生成し、署名チェックはパスしましたが、バイナリが整合性チェックとして計算するハッシュが一致しませんでした。私の経験では、ほとんどのモデルはそれを完了とみなし、そのままにしておくでしょうが、Qwen 3.8 27Bはそうしませんでした。代わりに、不一致を強調し、再考し、値がバイトごとに一致するまで続行しました。

このモデルでは、その種の往復に関して、かなり大きな代償があります。デフォルトでは、その推論努力は最大に設定されているため、些細なリクエストでも数百から数千トークンを消費する可能性があります。毎秒30から50トークンを生成している場合でも、かなりの時間がかかります。

それでも、結果を考えると、それを無駄だとは言いません。最初の間違った推測は、私からの入力なしに自己修正され、正しい結論に達しました。冗長ですか?はい、本当にそうです。しかし、それは正しかったですか?それもはい、そして最終的には、自信を持って与えられた間違った答えよりも正しい答えの方が優れています。

27Bのローカルモデルが脅威モデルへの現実的な入力になった

プライバシーは両刃の剣

[画像: Qwen 3.8 27Bがキーの構築方法を解明している様子]

Qwenが実際にライセンススキームを解体して理解したという事実に、私はまだ慣れていません。フロンティアモデルはしばらくの間印象的なリバースエンジニアリングが可能でしたが、これはローカルの27Bモデルです。それは私の隣にあるマシン上で完全にオフラインで実行され、クラウドは一切関与しませんでした。

そして、非常に明確に言うと、それは商用アプリケーションの動作する認証バイパスを生成しました。

これはローカルモデルにとって真に意味のある閾値です。Qwenは、見慣れない商用バイナリからそのライセンスアーキテクチャを理解し、意図的に隠蔽された暗号マテリアルを回復し、自身の不正確な再構築を検出し修正し、最終的にそれを動作する概念実証に転換しました。それを実行するために、バイナリ、ライセンス、またはその分析のいずれかを他の誰かのサーバーに送信する必要はありませんでした。

明白な注意点があります。これは1つのアプリケーション、1回の実行であり、私がすでに正規のライセンスを持っていたマシンでのことです。また、このターゲットがどれほど代表的であるかはわかりません。より困難なアプリケーションであれば、完全に停止した可能性があり、1回の成功した結果から、Qwenが突然、提示されたものをすべてリバースエンジニアリングできると主張するつもりはありません。

私がここから得ているのは、これらのモデルは本当に有能であるということです。たとえその能力がまだ均一でないとしても。いくつかの困難なターゲットは驚くほど早く屈服するかもしれませんが、他のものは、何らかの理由で、乗り越えられないように見えます。

何か変化があったのです。そして、それは主に、このクラスの能力がどこに存在しなければならないかという私たちの仮定だと思います。私が使用したモデルは、コンシューマーグラフィックスカードで実行でき、一度マシンに搭載されれば、ユーザーが望む限りそこにあります。クラウドAPIを使用する必要はなく、使用制限もなく、バイナリ、プロンプト、またはモデルが生成するものすべてを監視するリモートサービスもありません。これは、独自のソフトウェア、機密性の高いコード、または隔離されたマシンから離れたくないマルウェアを分析する場合に最適です。

しかし、それは両刃の剣です。ローカルで実行されるモデルは、最終的に、それが何に使用されるべきかの決定をキーボードの前にいる人に委ねます。私のデスクで、私が所有するソフトウェアで、それは役立ちます。キーボードの前の人を変更すると、ローカルモデルを魅力的にするのと同じ特性が、脅威モデルの一部になります。それはローカルモデルに対する反対意見ではありませんが、私が予期していなかった本当に衝撃的な結果でした。

このクラスの能力は1台のマシンに収まる

そして、誰もあなたにアクセス権を与える必要はない

[画像: Qwen 3.8 27Bが完全なバイパススクリプトを実行している様子]

Qwen 3.8 27Bは、バイパスそのものよりも重要です。それは、ローカルモデルが急速に加速している証拠であり、たとえ次に投げるバイナリで成功しなかったとしても、ここで起こったことは変わりません。このサイズのモデルがこれほど有能なのはこれが最初ではなく、しばらくの間は先行するかもしれませんが。コンシューマーグラフィックスカードに収まるほど小さいモデルが、商用アプリケーションの認証システムを解体し、動作するバイパスを構築するのに30分かかりました。完全にローカルで。

明確にしておきますが、アプリケーションの名前は挙げていません。なぜなら、人々がお金を払って購入する実際の製品であり、その名前を公開してもここでは何も有用な情報が得られないからです。いずれにせよ、興味深いのはどのアプリだったかではなく、私がかつてフロンティアモデルに関連付けていたタスクが、今や私の隣のマシンで実行できる、無料で利用可能なモデルに任せられるようになったということです。

現時点では、ベンチマークスコアは気になりません。これは、ベンチマークで数ポイント追加されるよりもはるかに大きな変化です。