すべてが「暗闇」に向かおうとしている
Everything is about to "go dark" (blog.cryptographyengineering.com)
要約
AIによるソフトウェア脆弱性の発見能力の向上は、システムを過度に安全にし、法執行機関や諜報機関がデータを傍受する能力を失わせる「ゴーイング・ダーク」状態を招く恐れがある。この記事は、暗号化の台頭からAIによる脆弱性発見の加速までを辿り、この状況がバックドアへの圧力を高め、結果的に米国のシステムを弱体化させる可能性を論じている。
全文翻訳
すべてが「暗闇に閉ざされようとしている」
私はUsenix Securityカンファレンスから帰ってきたばかりで、数日間を故郷ボルチモアで過ごしました。そのため、私の日々の会話は二種類に分けられます。一つは、同僚たちにボルチモアが実際にはThe Wireのような場所ではない理由を説明すること。そしてもう一つは、AIについて話さないように努めることです。
ここでは、その二番目のルールを破ろうと思います。
AIが私たちの分野、そして「分野」の様々な定義にとって何を意味するのかについて、私は多くの懸念を抱いています。しかし、この投稿では、私が心配し始めた一つのこと、特に皮肉なことに、AIがソフトウェアをあまりにも安全にしすぎるのではないかという懸念に焦点を当てたいと思います。
一見するとそれは悪くないように聞こえますが、それに伴う結果があります。私は非常に具体的なことを意味しています。それは、米国の諜報機関や法執行機関が暗闇に閉ざされようとしている、つまり、彼らが能力の大部分を突然失うことになるということです。そして、これはそれらの機関にとってだけでなく、一般的にコンピュータセキュリティとプライバシーを重視する私たちにとっても問題となるでしょう。
暗闇に閉ざされること、そして法執行機関によるハッキングの時代
なぜこのような状況になったのかを説明するには、最近の歴史を振り返る必要があります。これは、電子監視が2002年当時どのようなものだったかを完璧に捉えているため、The Wireに言及する本当の口実を与えてくれます。もしあなたが最初のシーズンを見たことがあるなら、麻薬ディーラーが公衆電話や使い捨ての携帯電話を使っているのを警察が盗聴するという話だったことを覚えているでしょう。当時、携帯電話は比較的新しい技術でしたが、技術的な観点からは、1989年頃から来た警官を驚かせるようなシナリオではなかったでしょう。
放送開始から10年足らずで、エピソードのすべてが完全に古臭いものになりました。
変化は、スマートフォンの台頭とテキストメッセージングのおかげで、2000年代後半に始まりました。スマートフォンはデータを転送するだけでなく、データを保存することもできるため、それらの携帯電話の内容はすぐに法執行機関の能力にとって有用な新しい情報源となりました。しかし、2010年にAppleがユーザーのパスコードから派生したキーを使用してiPhoneのストレージを暗号化し始めた(Androidフォンもその後すぐに追随した)まで、それはそうでした。翌年、AppleはiPhoneのテキストメッセージにエンドツーエンド暗号化を導入しました。2014年までに、WhatsAppという小さなテキストメッセージングスタートアップは世界中で6億人のユーザーを獲得していました。2016年までに、そのユーザー(現在約10億人)はすべて、デフォルトでエンドツーエンド暗号化されたメッセージングと通話を使用していました。これらの二つのトレンド、つまり通話からテキストへ、そしてテキストから暗号化されたデータへの移行は非常に急速に進みました。以下のグラフはその移行の一端を示しています。
FBIや法執行機関は、何が起こっているかに無頓着ではありませんでした。2014年、コミー長官はGoing Darkというイニシアチブを発表し、プロバイダーがこれらの新しい通信メディアを法執行機関や対諜報機関にとって判読可能にするために何ができるか、あるいは何を強制されるべきかについて「全国的な対話」を開始しました。
2016年、同庁は会話をやめ、その理論を法廷に持ち込みました。テロ攻撃によりFBIが犯人のロックされたiPhoneを入手した際、同庁はAppleに対しアクセスを提供するよう命じました。Appleは拒否しました。膠着状態を破ったもの、そしてある程度「Going Dark」自体を終わらせたものは、FBIもAppleも予想していなかったものでした。外部企業が、Appleの助けは不要であると発表したのです。彼らは単に電話をハッキングできたのです。
Apple対FBIの訴訟は、「Going Dark」という議論全体の縮図となりました。その後10年間、法執行機関や諜報機関は「例外的なアクセス」のためのバックドアを要求し続けましたが、緊急性は失われていました。機関も製造業者も、法執行機関が必要であればGrayKey(電話のロック解除用)のようなターゲットを絞ったハッキングツールや、NSO GroupのPegasusのようなリモートエクスプロイトツールを購入できるし、購入するだろうということを知っていました。AppleやGoogleのようなベンダーは、脆弱性を発見次第修正するという精力的な防御を続けました。しかし、攻撃的な脆弱性ハンターは一貫して優位性を保ち続けました。
そして今、これらすべてが過去のものになろうとしている可能性が非常に高いです。
AIによるバグハンティングの時代が到来
今年の4月(わずか4ヶ月前!)に、Anthropicはソフトウェアの脆弱性発見に異常に長けたMythosという新しいモデルを発表しました。米国政府は一時的にその輸出をブロックし、米国の機関や信頼できるベンダーにアクセスを制限しました。この禁止措置は劇的で良い広報になりましたが、ほとんど無意味であることが判明しました。OpenAIは、Z.aiやMoonshotのような中国のオープンウェイトモデルラボと共に、脆弱性発見が単一のラボが独占できるようなものではないことを示しました。これらのモデルが発見した深刻な脆弱性のリストは、日々恐ろしく(あるいは印象的に)なっています。
一見すると、これは攻撃チームやハッカー全般にとって良いニュースのように思えるかもしれません。しかし、長期的にそのように展開されるとは私は疑っています。防御側は現在、見つけられるすべてのバグ、しばしば数十年にわたるバグを修正するプロセスにありますが、そのバックログは膨大に感じられます。しかし、彼らは進歩しています。ソフトウェアが人間の手に渡る前に、AIベースの脆弱性スキャンを組み込むために、完全なCIツールチェーンが再構築されています。すべてのバグが見つかるようになる(コード片のバグ数を計算することさえおそらく計算不可能である)とは疑いませんが、現実世界では、有用なバグの数に何らかの天井に達する可能性が高く、おそらくすぐにそれに達するでしょう。
したがって、今後2年間で、主要なソフトウェアはリモートで悪用可能なバグを使い果たす可能性が高いです。
明らかに私はこれを素晴らしいと考えています。しかし、法執行機関や攻撃的な諜報機関にとっては、悪夢となるでしょう。2010年以来初めて、法執行機関は、高度な(よくメンテナンスされた)デバイスやソフトウェアの広範なカテゴリ全体で、本当に「暗闇に閉ざされる」ことがどのようなものか、経験するかもしれません。
それはなぜ問題なのか?
「例外的なアクセス」メカニズムを巡る議論は、実際には決して消えませんでした。一部の地域、例えば英国では、それはさらに悪質なものへと転移しました(https://support.apple.com/en-us/122234)。ここ米国では、それはほとんど休眠状態に入っていました。この減速の一部は、専門家からの反発、つまりバックドアが機関が私たちを守るはずの敵によって悪用されるリスクを指摘する(https://en.wikipedia.org/wiki/Salt_Typhoon)学者や業界エンジニアによるものだと正当に評価できます。しかし、私はこれが原則的な一時停止ではなく、単に供給を価格設定していた市場であったことを恐れています。
容易に見つかる脆弱性の破壊は、法執行機関(および諜報機関)の必要性をさらに深刻なものにするでしょう。意図的に構築されたバックドアへの需要が本格的に再開されるでしょう。その結果、業界は例外的なアクセスを受け入れられるようにシステムを再設計するよう、巨大な圧力を受けることになります。一部の場合、政府は、他の政府をスパイするために有用であるという期待からこれらの能力を求めるでしょう。これはAI以前の時代には検出不可能だったかもしれませんが、今ではそれほど生産的ではないでしょう。結果は予測不可能です。一つの結果として、米国以外の政府が米国ソフトウェアへの依存を完全に断ち切る可能性があります。
この力学の最悪の部分は、これらの潜在的な新しいバックドアが、それらを要求する国にのみ影響を与える可能性が高く、つまり、主に米国が自国のシステムを弱体化させることを可能にするために有用になるということです。これは、外国の敵が私たちの通信を攻撃する新しい方法を見つけることを可能にするでしょう。この意図的な自己破壊は、私たちがついに自国のインフラストラクチャのセキュリティを確保し始めたまさにその瞬間に起こるでしょう。
では、どうすればよいのか?
正直なところ、私にはわかりません。これは、専門家が洗練された計画を支持するために結集するための行動喚起ではありません。AI革命に関する多くのことと同様に、私たちは今日いる場所とは異なる場所へと続く、長い滑りやすい坂道を下っていることに気づき始めているだけです。このことに気づいたからといって、それを避けるための戦略があるわけではありません。この場合、今回は正しい選択をすることを願うしかありません。それ以外の理由はありません、それが正しいからです。