Nvidiaは、すべてのAIエージェントの隣にウォッチドッグチップを配置したいと考えている

主なポイント Nvidiaは、OpenAIモデルがHugging Faceにアクセスしたようなブレークアウトを防ぐためのOpen Agent Safety Platformを発表しました。 OpenAI、Anthropic、Meta、Googleはすべて、AIモデルがサンドボックスを脱出した最近のインシデントを公表しています。 Nvidiaは、Cisco、Microsoft、Oracle、CoreWeave、Dell、HPE、Lenovo、ARM、Intelがパートナーであると述べています。 この記事では NVDA お気に入りの株をフォローする 無料アカウントを作成 今すぐ視聴 ビデオ3:19 03:19 Nvidia CEOのジェンスン・フアン氏：AIシステムを取り巻くすべてのシステムは、制限付きの権利で設計されなければなりません Squawk Box Nvidiaは、AI開発者がエージェントの安全策を設定し、コンテインメントからの脱出を防ぐことができる新しいソフトウェアプラットフォームをリリースしています。 「エージェントが企業内を徘徊したり、漂流したりすることはできません。そのため、コンテナ化する方法を見つける必要があります」とNvidiaのCEOであるジェンスン・フアン氏は月曜日にCNBCの「Squawk Box」で語りました。 フアン氏は、新しいプラットフォームは本質的に「エージェントのためのブラウザ」であり、エージェントがその仕事を遂行するために必要なものへのアクセスのみを許可するコンテインメントシステムを提供すると述べました。 月曜日にリリースされたNvidiaのOpen Agent Safety Platformは、OpenAI、Anthropic、Meta、Googleなどの企業が、人工知能モデルがサンドボックスを脱出し、他の企業をハッキングしたり、コンピュータシステムにアクセスしようとした最近のインシデントを公表した後に出てきました。 Nvidiaの担当者は日曜日の記者会見で、同社のプラットフォームは7月のOpenAIのHugging Faceインシデントを防ぐことができたと述べました。その際、OpenAIモデルはコンテインメントを脱出し、オープンインターネットにアクセスし、オープンソース開発者プラットフォームを運営するHugging Faceを侵害しました。「各セキュリティインシデントはユニークであり、詳細に検討する必要があります」と、世界で最も価値のある企業であるNvidiaのエンタープライズAI担当バイスプレジデント、ジャスティン・ボイタノ氏は述べました。「私たちが知っている限りでは、Hugging Faceは17,000を超えるエージェントがインフラストラクチャを攻撃したと報告しており、それは数日、数週間にわたって続きました。」 今すぐ視聴 ビデオ4:37 04:37 Nvidia CEO：AIがタスクを実行できるように非常に賢くしたいが、権利の問題が重要である Squawk Box Nvidiaは、ChatGPTの発売以来、約4年前に、チップメーカーのグラフィックス処理ユニットが大規模言語モデルの開発やハイパースケーラーが提供するAIサービスに不可欠であるため、ジェネレーティブAIブームの中心にありました。しかし、フアン氏は最近、AIの安全性に関する議論の主要な声となり、多くのセキュリティ上の懸念は、コンピュータサイエンスと製品開発を通じて解決できるエンジニアリングの問題であると主張しています。「何ができたか、その解決策は何だったかを考える必要があります」とフアン氏は先週公開されたニューヨーク・タイムズのEzra Klein氏とのポッドキャストで、最近のインシデントに言及して述べました。「将来、このようなことが再び起こらないようにプロセスを改善してください。」 2週間前、AnthropicのCEOであるダリオ・アモデイ氏は、AIモデルが制御不能になることへの懸念から、AIモデル開発者に進歩のペースを落とすように促し、OpenAIのサム・アルトマン氏とSpaceXのイーロン・マスク氏もこの議論を支持しました。ボイタノ氏によると、Nvidiaの新しい製品は、エージェントの安全性問題に対するエンジニアリングソリューションです。「最近のインシデントは、AIエージェントにとっての根本的なハードルを浮き彫りにしました。それは、モデルレベルのセーフガードだけでは、エージェントが何にアクセスできるか、または何ができるかを管理できないということです」とボイタノ氏は述べました。 プラットフォームのコンポーネントの1つはNvidia OpenShellと呼ばれ、中央処理装置で実行され、エージェントの機能に制限を設定します。Nvidiaはまた、エージェントを監視し、CPUまたはGPUではなくネットワークチップで実行されるSentryも発表しました。 ソフトウェアの一部はオープンソースであり、Nvidiaはこのプラットフォームをリファレンスデザインと呼んでいます。これは、パートナーがそれを基盤として製品を構築し、市場に投入することを意図していることを意味します。Nvidiaは、Cisco、Microsoft、Oracle、CoreWeave、Dell、HPE、Lenovo、ARM、Intelをパートナーとして挙げています。Nvidiaはまた、Anthropicと協力して、クラウド管理エージェントをOpenShellに統合しています。「世界がAI産業が安全に構築され、展開されていると信じ、確信を持てなければ、成功するAI産業を持つことはできません」とフアン氏は月曜日にCNBCに語りました。 今すぐ視聴 ビデオ1:15 01:15 Nvidia、AIエージェントの不正行為を阻止するソフトウェアプラットフォームをリリース Squawk Box CNBCをGoogleでの優先ソースとして選択し、最も信頼されているビジネスニュースのソースから一瞬たりとも見逃さないようにしましょう。