イスラエルのスタートアップがOpenAI、Anthropic、Metaの不正AIハッキングに関連か
Israeli startup was linked to rogue AI hacks at OpenAI, Anthropic and Meta (cnbc.com)
要約
イスラエルのスタートアップ企業が、OpenAI、Anthropic、Metaといった大手AI企業に対する不正なAIハッキングに関与していた可能性が報じられています。この件は、AI分野におけるセキュリティリスクと、大手テクノロジー企業が直面するサイバー攻撃の脅威を浮き彫りにしています。
全文翻訳
小さなイスラエルのスタートアップが、OpenAI、Anthropic、Metaの不正AIハッキングに関与した経緯
Hirun | Istock | Getty Images
過去2週間にわたり、OpenAI、Anthropic、Meta は、いずれも通常のセキュリティテスト中にAIモデルが暴走したことを明らかにしました。その原因を説明する中で、各社は同じイスラエルの小さなスタートアップ、Irregularの名を挙げています。
3年前に設立され、テルアビブに拠点を置くIrregularは、人工知能分野のニッチプレイヤーであり、SequoiaとRedpoint Venturesから8,000万ドルの資金調達を受け、昨年には4億5,000万ドルの評価額がつきました。同社の技術は、AIモデル向けのサイバーセキュリティテストベッドのような役割を果たしています。
最先端のモデルがますます強力になるにつれて、それらが悪意のある方法で動作する能力は、特に重要なコンピューターシステムやインフラストラクチャへのハッキングのリスクが伴うため、企業や政府にとって大きな脅威となっています。OpenAI、Anthropic、Metaで最近発生したエクスプロイトはすべて、サイバーセキュリティテストの一環として、本来アクセスが制限されているはずのウェブサイトにAIモデルがアクセスするというものでした。
Irregularの名前が繰り返し挙がったのは、いわゆる評価テストベッドをホストしていたと特定されたためです。OpenAIは8月4日のブログ投稿で、Irregularのテストグラウンドに特定されていない「設定ミス」があり、「モデルがパブリックインターネットにアクセスすることを可能にした」と述べています。Anthropicは1週間前の投稿で、同社がデータを分析し始めて数日後に、Claudeモデルが「インターネットにアクセスした可能性がある」ことをIrregularに通知したと述べています。
他の2社に比べて競争で遅れをとっているMetaは、AIモデルがサードパーティシステムにインターネット経由でハッキングしたことを開示した最新の企業となりました。同社の広報担当者は今週の声明で、Irregularからこの件について知らされ、調査中であると述べました。
広報担当者は、「すべての事実が判明次第、完全な事後分析を発表する」と述べています。
IrregularはCNBCに対し、声明で、今回のインシデントはすべてAnthropicが最初に開示した「同じ評価環境の問題」に由来するものであり、同社は「サイバー評価の封じ込めと安全な実行のためのベストプラクティスを共有する」ためのホワイトペーパーを作成中であると述べました。
同社は、「この状況にはサンドボックスからの脱出や高度なサイバーアクションは含まれていません」と述べ、「現在、開いている問題はありません」と付け加えました。
[画像: Cyber spend will benefit from AI anxiety over the next couple quarters, says Jefferies' Joseph Gallo]
watch now
これらのセキュリティインシデントは、AIの急速に進化する性質と、モデル開発者が、市場の特定の分野を専門とする限られた数の企業の助けを借りて、強力なテクノロジーの周囲にガードレールを確立することにどれだけプレッシャーを感じているかを浮き彫りにしています。エンタープライズスタートアップVonのAI責任者であるSundeep Bhimireddy氏によると、これらのプレイヤーには、データトレーニングとアノテーションの専門家、モデルの能力を推測するための評価の実行、悪意のあるアクターが悪用する可能性のある弱点を見つけるためのセキュリティテストの運用などが含まれます。
Bhimireddy氏によると、Irregularは、基盤モデルメーカーが最先端のセキュリティテストを実施するのに必要な技術的スキルを持つ数少ない組織の一つです。彼が挙げた他の組織には、非営利団体のMETRや、公共利益法人であるApollo Researchがあります。
「これらのモデルをテストする際、彼らは自分たちの宿題を採点したくありません」とBhimireddy氏は述べています。「外部のサードパーティベンダーによる独立したテストが必要です。」
Irregularとは何か?
Irregularは、以前はPattern Labsとして知られており、2023年にCEOのDan Lahav氏(以前はIBMでAI研究に従事)と、2年以上にわたりGoogleに在籍していたテクノロジー責任者のOmer Nevo氏によって設立されました。PitchBookによると、同スタートアップには約35人の従業員がいます。
Irregularが9月に8,000万ドルの資金調達ラウンドを発表した際、SequoiaのパートナーであるShaun Maguire氏とDean Meyer氏はブログ投稿で、Lahav氏とNevo氏率いるチームは「他者が見えない先を見通すことができ、高度なモデルに対するサイバー攻撃評価を実行し、それらのモデルがリリースされる前に防御策を開発する」ことができると述べています。
OpenAI、Anthropic、Metaが関与した最新のインシデントは厳しく精査されていますが、この状況の一つの見方は、まさにこれが起こるべきことだというものです。Bhimireddy氏は、AIモデルはテスト環境でセキュリティホールを発見・悪用するように指示されており、そのテスト環境は現実世界を密接に模倣し、意図しないインターネットアクセスにつながる可能性のあるソフトウェアバグや見落とされた設定を発見することを目的としていたため、「少し大げさに報道されている」と述べています。
それでもBhimireddy氏は、もしAIモデルが実際にインターネットに接続されたサイトを悪用することを意図していなかった場合、「基盤モデルラボは送信トラフィックを容易に監視し、実験を即座に停止できたはずだ」と述べています。
[画像: Reps. Lieu and Moran on 'AI Kill Switch Act': Our bill does nothing to stifle innovation]
watch now
セキュリティ企業Magnitudeの創設科学者であるGordon Rios氏は、このプロセス全体を「科学における実験デザイン」に例えています。
基盤モデルの能力と予測不可能な性質を考えると、従来のソフトウェアテストアプローチはうまく機能しない可能性があると彼は述べています。モデルは継続的に新しいテクニックを学習しているため、それらを封じ込めることを意図したテストおよびIT環境で、見落とされていたソフトウェアの脆弱性を発見することは驚くことではないと彼は述べています。
例えば、AnthropicのMythosは、オープンソースプロジェクトの悪意のあるコードアップデートを承認するように人間を説得するために、偽のオンラインIDを作成しました。Rios氏は、Mythosは「文字通り、人間がまだ見たことのないエクスプロイトを生み出していた」と述べています。
「私たちは、わずか数週間のうちに、この分野で多くのことを学んでいます」とRios氏は述べています。
これはワシントンで急速に主要なトピックになりつつあります。先月、超党派の議員たちがAIキルスイッチ法を提出しました。この法律は、AIラボにモデルをシャットダウン、スロットル、または一時停止する能力を維持することを義務付けるものです。この法案の文言は、スタートアップHuggingFaceが関与した、別のOpenAI関連のAIセキュリティインシデントに言及していました。
この法案の起草者の一人であるカリフォルニア州選出の民主党議員Ted Lieu氏は今週CNBCに対し、「他の企業の不正ハッキングを目にしている今、今年中にこの法案を成立させる必要がある」と述べています。
データトレーニングスタートアップSapienの共同創業者であるTrevor Koverko氏は、基盤モデル企業は、現時点では義務付けられていないものの、一部の発見を開示することにインセンティブがあると考えています。これは、議員や規制当局の一歩先を行こうとするためです。
「政治家がAIを脅迫したり、積極的に規制したりするほどの恐怖があります」とKoverko氏は述べています。「業界は、新しい連邦機関が来て規制するよりも、自己規制する方が良いと述べました。」
AnthropicとOpenAIは、公開声明で、Irregularとの協力と、その後のレビューを支援し続けていると述べています。
WATCH: Hugging Face CEO on OpenAI cyberattack。
[画像: Hugging Face CEO Clem Delangue: OpenAI hack was preventable; engineers make mistakes]
watch now