結局、みんなLLMで思考するようになったのか

結局、みんなLLMで思考するようになったのか

最近、このブログのほとんどの記事について「このAIモデルを使ってこれを調べたの？」という質問をよく受けます。その答えは常に私の脳であり、これまで一度も、公開した研究にAIを使ったことはありません。

次に聞かれるのは「なぜ？」で、「Claude Mythosを使えば無敵になれるのに」と言われます。この記事では、なぜ私がAIを研究に使うのが好きではないのか、そして開発とサイバーセキュリティの両方におけるLLMに対する私の一般的な意見を説明します。

なぜAIを使わないのか

単純な話、私はこれを楽しみのためにやっているからです。自分で何かを調べる代わりに、その楽しさをすべてAIに与えるのは楽しいと思えません。言い換えれば、自分の脳を使うのが好きなのです。

コーディングが好きです。デバッガーやBinary Ninjaなどを何時間も見つめるのが好きです。GitHubのコード検索と夢だけを頼りに、奇妙なライブラリのソースコードを探索し、それをトレースするのが好きです。それが私にとって楽しいのです。このブログではお金のために何もしていません。楽しみのためにやっています。お金は単なる嬉しい副産物です。

でも、面倒な部分はAIに任せればいいんじゃないの？

面倒な部分の多くは、それでも楽しい部分です。そうでない部分もありますが、LLMが代わりにやってくれたことに対して、私は責任を取ることができません。そして、LLMがやってくれたことを自分の個人ブログに書き出すことには、ひどく抵抗があります。

このブログは私のものです。その上のすべての作業は私のものです。あるいは、明確にクレジットされている他の人との共同研究です。LLMが代わりにやってくれたことに対して、私は責任を取ることができませんし、LLMを適切にクレジットすることもできません。なぜなら、彼らは人間ではないからです。

LLMを使うと気が狂いそうになる

試してみるために、以前からLLMを使おうと本当に試みました。研究として公開するつもりだったものではありませんが、本当にできませんでした。そして、もう二度とLLMを使いたくないと思わされました。

他の多くの人がこれを経験しないのが不思議で仕方ありません。LLMの出力をじっと見ていると、最終的に間違った情報にたどり着くプロセスに気づいたり、実行しているコマンドを見ると、それがやっている非常に愚かなことを見て、イライラして、回答する前に止めてしまうことがあります。自信満々に間違っているもの（最終的にはそれでもたどり着くかもしれませんが）に耐えられません。

これらのモデルが強力であることを否定しているわけではない

LLMは非常に強力なマシンです。最近、それが証明されました。確かに、それらは依然として、実際よりも強力であるかのように広くマーケティングされていますが、それらが実際には強力ではないと主張することはできません。なぜなら、それらは強力だからです。

LLMは依然としてガイダンスを必要とする

もしあなたがLinuxカーネルにLLMを投げつけて、他のガイダンスなしでRCEを見つけろと言ったら、おそらくできないでしょう。現在の状態では、LLMをガイドするにはスキルと経験が必要です。

私たちがパニックになっているこれらの脆弱性のすべては、LLMを使用した熟練した研究者によって発見されています。おそらく、彼らに十分なトークンを与えるために大企業にいるのでしょう。なぜなら、LLMは依然としてガイダンスを必要とし、OpenAIやAnthropicがあなたに何を伝えようとしても、誰もがこれをできるわけではないからです。

マーケティングとphp2shell

AI企業はサイバーセキュリティをマーケティング戦略として捉えており、それは明らかです。良い例がphp2shellです。3つの企業が協力しました。

• Calif (リサーチファーム)
• OpenAI (OpenAIが誰かはご存知でしょう)
• Wiz (リサーチファーム)

これらすべてが協力し、それぞれ異なる物語を持つかのようなブログ記事を公開しました。

Califは、AIが人間のガイダンスを受けてこれらのPHP脆弱性を発見したという物語で進めました。一方、OpenAIは、エージェントが重要な脆弱性を発見したという物語で進めました。Wizは、それでもかなりOpenAI風の中間地点を取りました。

「世界をパッチする」

OpenAIは、メンテナーがこれらの問題をパッチし、より多くの人々のために、より迅速に緩和するのを助けたとたくさん話しました。ある程度はそうしたのでしょうが、彼らができる限りのことをすべてやったとは思いません。

もし彼らが望むなら、AIの助けを借りてこれらのセキュリティ修正をPHPの古いバージョンにバックポートすることも容易にできます。コンピューティング能力がないわけではありません。彼らは持っています。彼らはたくさんのコンピューティング能力を持っています。彼らはOpenAIなのですから。

パッチ前にPoC動画を公開する

これは最近のAIベースのサイバーセキュリティの一般的な傾向であり、研究者や企業が、まだパッチされていないゼロデイのPoC動画をTwitterに投稿しています。なぜか知りませんが。

これは明らかにマーケティングであり、セキュリティの観点からは何も良くしていません。これらのPoC動画には、どれだけ隠そうとしても（そして、多くはあまり隠しませんが）、かなりの量の有用な情報が含まれており、恐怖を煽るだけで何も良いことはありません。

ハッシュもこれの一部です。ハッシュは、公開される前に脆弱性や一般的な成果に対する証明を主張する方法として常に使われてきました。恐怖を煽るためではありません。ハッシュの横に製品名を含めるべきではありません。それはハッシュが存在する理由ではありません。

しかし、多くの企業や一般の人々が今、それをキャンディのようにばらまいており、無用なパニックを引き起こしています。少なくともPoC動画があれば、脆弱性が何であるかはわかります。ハッシュと製品名だけでは、それさえわかりません。脆弱性が存在することだけを知っているのです。

Tailworm

これはそれほど大きな話ではありませんでしたが、それでもかなり大きいです。Blueskyで、「セキュリティ研究者」がTailscaleのゼロデイを発見したと主張しました。彼らは、「tailscale特権昇格」というキャプションとともにハッシュを投稿しました。

［画像: "Erica Windisch"が"tailscale privilege escalation"とハッシュを投稿している様子］

明らかに、これは人々を非常に心配させました。Tailscaleの特権昇格とは何を意味するのでしょうか？ACLルールをすべてバイパスできるのでしょうか？何が起こりうるのでしょうか？

心配しないでください！なぜなら、私たちはBlueskyのスレッドを通じて、脆弱性に関する情報を徐々に得ていくからです。

［画像: "Erica Windisch"が、まずTailnetデバイスすべてに影響するわけではないこと、攻撃者はTailnet上にいる必要があること、影響を受けるシステムは「デフォルトではないが広く展開されサポートされている構成」である必要があること、そして「影響にはHeadscaleを使用しているシステムが含まれる」ことを言及し、その後、Tailscale SSHをオフにするCLIコマンドを含む別の投稿をしている様子］

さて、これのポイントは何だったのでしょうか？あなたはほとんど情報を提供せず、1時間後にさらに曖昧な情報を提供し、そしてさらに1時間後に脆弱性がどこにあるかをすべて明かしましたか？

私は、ここで責任ある開示が行われていると仮定していました。だからハッシュがツイートされたのでしょう、など。

これが責任ある開示ではなかったと信じますか？

次の日、この人物が所有する（一人で運営している）会社は、Blueskyでこのウェブサイトを公開しました。

［画像: tailworm.comというキャッチーなドメインの、AI生成テキストがたくさん載ったVibeコードなウェブサイト］

完全なウェブサイト。明らかにVibeコードで、彼らの発見のすべてが載っています。その多くは全く重要でなかったり、クリティカルでなかったりします。「特権昇格」は実際には存在しましたが、すでにそのマシンへのACLルールがあり、Tailscale SSHが有効になっている必要がありました。

脆弱性は、そのマシンでルート権限に特権昇格できるという事実でした。それだけです。それほど恐怖を煽られたことですが、翌日、Tailscaleにパッチを当てさせるために連絡することさえせず、公に公開しました。

fancyな名前さえ与えられました。キャッチフレーズさえ。しかし、誰もそれを責任を持って開示することを考えず、代わりにソーシャルメディアプラットフォームに投稿しました。

これが起こった理由は非常に明確でした。それは、世界をより良くするためではなく、会社を宣伝するためでした。それは、Tailscaleのクリティカルな問題を暴露した会社について誰もが考えさせ、おそらく監査を依頼させるためでした。

これらすべての脆弱性をAIが見つけているわけではない

私の意見では、最大のものの1つはeMudhraでした。ご存知の通り、CA秘密鍵が「4」だった会社です。これはAIによって発見されたのではなく、単に人間がGoogle製の古いライブラリであるparanoid_cryptoを使って、好奇心からキーをスキャンしていただけでした。

それが私の意見では美しいところです。最大のものがすべてAIに見逃され、代わりに人間がランダムなことをしていただけでした。

結論

人々はAI万能の波に乗りすぎて、自分で物事をすることを大幅に軽視していると思います。自分でコードを書くこと、自分でデバッグすること、ミニファイされたJSバンドルを何時間も眺めること、ランダムで面白そうなサブドメインを巡回すること、これらすべては依然として非常に楽しいです！そして、人々がそれを少し忘れているように感じます。

AIは「何でもできる」かもしれませんが、自分でやるのは楽しいことです。仕事のためにAIを使うことは完全に理解できます。私たちは、ソフトウェアエンジニアがこれまで以上に速く動くことを期待される世界に生きており、私の意見では、それは良い前例ではありませんが、私たちが生きなければならない現実です。

個人プロジェクトは、楽しんで、好きなことをする場所です。そして、それらをAIに与えることは、創造することの楽しみさえ台無しにすると私は思います。

少なくとも私にとっては、最終製品よりも、どこかにたどり着くプロセスの方が興味深いです。なぜなら、途中で学ぶことを楽しみ、どこにも行かない原始的なものに頭をぶつけることを楽しむからです。

私は多くのことをいじり、多くのことを見つけます。しかし、ほとんどそれらはこのブログには載りません。なぜなら、私は新しいブログ記事ごとに自分自身を上回る必要があると感じており、さらに面白く、同時にさらにクリティカルなものを見つけるために自分自身に挑戦し続けているからです。それは私がすでに知っていることよりもはるかに多くを学ばせてくれます。

コードを書くこと自体が楽しいことです。たとえ計画を与えてAIに書かせたとしても、自分で書かないことによって、多くの学習機会を逃しています。なぜなら、完璧なインフラ計画というものは存在せず、コードを書いている最中に状況は変化するからです。

古いIoTデバイスをリバースエンジニアリングしたり、4番（数字の4）を必要とする奇妙に見える中国製の自動ペットフィーダーをインターネット接続でMITMしたり、あなたがよく使うがフロントエンドが非常に悪いウェブサイトの新しいフロントエンドを作成したりしてください。いじくり回すことで多くを学びます。

追伸：次の書き上げは近日公開（予定）™