すべてが「暗闇」に向かおうとしている

Usenix Securityに数日間参加し、ボルチモアから戻ったばかりです。そのため、私の日々の会話は2種類のもので占められていました。まず、同僚たちにボルチモアが実際には「The Wire」のような場所ではないことを説明すること。そして第二に、AIについて話さないように努めることです。ここでは、その両方のルールを破ろうと思います。AIが私たちの分野、様々な定義における「分野」に何をもたらすかについて、私は多くの懸念を抱いています。しかし、この記事では、私が懸念し始めたことの一つ、特に皮肉なことに、AIがソフトウェアをあまりにも安全にしすぎるのではないかという点に焦点を当てたいと思います。表面上は悪くないように聞こえますが、それには結果が伴います。私は非常に具体的なことを意味しています。米国の諜報機関や法執行機関が「ゴーイング・ダーク」、つまり、彼らが能力の大部分を突然失うことになるのではないかと懸念しています。そして、これはそれらの機関にとっての問題だけでなく、一般的にコンピューターセキュリティとプライバシーを重視する私たちにとっても問題となるでしょう。 ゴーイング・ダーク、そして法執行機関のハッキング時代 どうしてこうなったのかを説明するには、最近の歴史を振り返る必要があります。これにより、「The Wire」を参照する正当な理由が得られます。この番組は、2002年当時の電子監視がどのようなものであったかの現実的なスナップショットを埋め込んでいるからです。もし番組をご覧になったなら、警察がペイフォンやバーナーフォンを使い、主に音声通話に使用する麻薬ディーラーを監視しようとしているのを覚えているでしょう。番組中の携帯電話は比較的新しいものでしたが、技術的な観点からは、1989年から来た警官を驚かせるようなシナリオではありませんでした。番組の放送から10年足らずで、すべては完全に変わりました。変化は、スマートフォンの台頭とテキストメッセージのおかげで、2000年代後半に始まりました。スマートフォンはデータを伝達するだけでなく、データを保存することもできるため、それらの電話は法執行機関にとって新たな能力の源となりました。偶然にも、2010年頃にAppleはユーザーのパスコードから派生したキーを使用してiPhoneのデータを暗号化し始めました（Androidフォンもすぐにそれに続きました）。翌年、AppleはiPhoneのテキストメッセージにエンドツーエンド暗号化を導入しました。2014年までに、WhatsAppというテキストメッセージのスタートアップは世界中で6億人のユーザーを獲得していました。2016年までに、これらのユーザーはほぼ10億人に達し、すべてデフォルトでエンドツーエンド暗号化されたメッセージングを使用していました。以下のグラフは、その変化がいかに急速に進んだかの一例を示しています。 FBIや法執行機関は、何が起こっているかに無関心ではありませんでした。2014年、コミー長官は「ゴーイング・ダーク」と呼ばれるイニシアチブを発表し、これらの新しい通信メディアを法執行機関や対諜報活動にとって判読可能にするために、プロバイダーができること、あるいは強制されることについての「国民的対話」を開始しました。2016年、同庁は単なる話し合いをやめました。FBIがテロ攻撃の後、射殺犯のロックされたiPhoneを手にしていたとき、同庁はAppleにアクセスを提供するよう命じました。同社は拒否しました。この膠着状態を打破し、ある程度「ゴーイング・ダーク」自体を終わらせたのは、FBIもAppleも予想していなかったことでした。外部企業が、Appleの支援は不要であると発表したのです。彼らは電話をハッキングできたのです。Apple対FBIの訴訟は、この議論全体の縮図であることが判明しました。その後10年間、法執行機関や諜報機関は「例外的なアクセス」バックドアを要求し続けました。しかし、もはや緊急性はありませんでした。機関や製造業者は、法執行機関がターゲットを絞ったハッキングツール（電話のロック解除のためのGrayKeyなど）や、必要であればNSO GroupのPegasusのようなリモートエクスプロイトツールを購入できることを知っていました。AppleやGoogleのようなベンダーは、脆弱性を発見次第すぐに修正するなど、精力的な防御を行いました。しかし、それは十分ではありませんでした。商用の攻撃型脆弱性ハンターは、常に優位性を保っていました。そして今、そのすべてが過去のものになろうとしています。 AIバグハンティングの時代が到来 今年の4月（わずか4ヶ月前！）Anthropicは、ソフトウェア脆弱性発見に最適化されたMythosという新しいモデルを発表しました。米国政府は一時的にその輸出をブロックし、米国の機関に限定しました。この禁止措置は劇的で、良い広報になりましたが、ほとんど無意味であることが判明しました。OpenAIは、Z.aiやMoonshotのような中国のオープンウェイトモデルラボとともに、脆弱性発見が単一のラボが独占できるものではないことをすでに示しています。これらのモデルが見つけた深刻な脆弱性のリストは、日々恐ろしくなる（または印象的になる）ばかりです。当初、これは攻撃チームやハッカー全般にとって良いニュースのように思えるかもしれません。しかし、そのように展開するとは思いません。防御側は現在、発見できるすべてのバグ、しばしば数十年にわたるバグをパッチするプロセスにあります。そのため、バックログは膨大に感じられます。しかし、彼らは進歩しています。ソフトウェアがハッカーの手に渡る前に、AIベースの脆弱性スキャンを組み込むために、完全なCIツールチェーンが再構築されています。すべてのバグが見つかるとは思えませんが（コード片のバグ数を計算することさえおそらく計算不可能ですが）、現実世界では、有用なバグの数に何らかの天井に達する可能性が高く、おそらくすぐにそれに達するでしょう。したがって、今後2年間で、主要なソフトウェアはリモートでエクスプロイト可能なバグを使い果たす可能性が高いです。明らかに、これは素晴らしいことだと思います。しかし、法執行機関や攻撃型諜報機関にとっては、悪夢となるでしょう。2010年以来初めて、法執行機関は、広範な高度な（よく維持されている）デバイスやソフトウェアのカテゴリ全体で、本当に「ゴーイング・ダーク」とはどのようなものかを経験するかもしれません。 では、これはなぜ問題なのでしょうか？「例外的なアクセス」メカニズムに関する議論は、決して消えていませんでした。英国のような一部の地域では、それは実際にさらに悪いものへと変質しました。ここ米国では、ほとんどが休眠状態に入っていました。この減速の一部は、専門家からの反発、つまり、バックドアがそれらを保護するために設計されたまさに敵によって悪用されるリスクを指摘する学者や業界エンジニアによるものと正当に評価できます。しかし、市場は単に供給を価格設定していただけだと恐れています。低レベルの脆弱性フルーツの破壊は、法執行機関（および諜報機関）の必要性をさらに深刻にするでしょう。意図的に構築されたバックドアへの需要が本格的に始まります。例外的なアクセスに優しいようにシステムを再設計するよう、業界に多大な圧力がかかるでしょう。場合によっては、政府は他の政府をスパイするのに役立つという期待から、これらの能力を要求するでしょう。これはAI以前の時代には検出不可能だった戦略かもしれませんが、現在はおそらく検出可能になるでしょう。これにより、他の政府は米国ソフトウェアへの依存を減らす可能性があります。実際、このダイナミクスの最悪の部分は、これらの潜在的な新しいバックドアが、主に米国が自国のシステムを弱体化させることを可能にするために使用され、それが結果として外国の敵が私たちの通信を攻撃する新しい方法を見つけることを可能にするということです。この意図的な自己破壊は、私たちがついに自国のインフラストラクチャを防御する方法を学んでいるまさにその瞬間に起こるでしょう。 では、どうすればよいのでしょうか？正直なところ、私にはわかりません。これは、専門家が洗練された計画を支持するために集まるための行動喚起ではありません。AI革命に関する多くのことと同様に、私たちは今日いる場所とは異なる場所に向かう、長い滑りやすい坂道を滑り落ちているのだと気づき始めているだけです。これを認識したからといって、それを回避するための巧妙な計画があるわけではありません。この場合、今回は正しい選択をすることを願うしかありません。それ以外に理由はありません。関連情報マシュー・グリーン私はジョンズ・ホプキンス大学の暗号学者であり教授です。私は無線ネットワーク、決済システム、デジタルコンテンツ保護プラットフォームで使用される暗号システムを設計・分析してきました。私の研究では