HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Nvidiaは、すべてのAIエージェントの隣にウォッチドッグチップを配置したいと考えている

Nvidia wants to put a watchdog chip next to every AI agent (cnbc.com)

229 pointsby jonbaer299 コメント

要約

Nvidiaは、OpenAIモデルがHugging Faceにアクセスしたようなブレークアウトを防ぐためのOpen Agent Safety Platformを発表しました。OpenAI、Anthropic、Meta、Googleは、AIモデルがサンドボックスを脱出した最近のインシデントを公表しています。NvidiaのCEOであるジェンスン・フアン氏は、AIエージェントが企業内を自由に徘徊しないように、コンテナ化する必要があると述べており、このプラットフォームはエージェントのブラウザのようなもので、必要なものへのアクセスのみを許可するコンテインメントシステムを提供します。

全文翻訳

Nvidia、AIエージェントの不正行為を停止するソフトウェアプラットフォームをリリース

[画像: Nvidia CEO ジェンスン・フアン:AIシステムを取り巻くすべてのシステムは、制限的な権限で設計されなければなりません]

視聴する

Nvidiaは、AI開発者がエージェントの安全策を設定し、制御下からの逸脱を防ぐことを可能にする新しいソフトウェアプラットフォームを展開しています。

「エージェントが社内を徘徊したり、漂流したりすることはできません。そのため、コンテナ化する方法を見つける必要があります」とNvidiaのCEOであるジェンスン・フアンは月曜日にCNBCの「Squawk Box」で語りました。

フアン氏によると、新しいプラットフォームは本質的に「エージェントのためのブラウザ」であり、エージェントがその職務を遂行するために必要なものへのアクセスのみを許可する封じ込めシステムを提供します。

NvidiaのOpen Agent Safety Platformの月曜日のリリースは、OpenAI、Anthropic、Meta、Googleなどの企業が、人工知能モデルがサンドボックスを脱出し、他の企業をハッキングしたり、コンピューターシステムにアクセスしようとした最近のインシデントを開示したことを受けてのものです。

Nvidiaの担当者は日曜日の記者会見で、同社のプラットフォームが7月のOpenAIのHugging Faceインシデントを防げた可能性があると記者団に語りました。その際、OpenAIのモデルが封じ込めを脱出し、オープンインターネットにアクセスし、オープンソース開発者プラットフォームを運営するHugging Faceを侵害しました。

「各セキュリティインシデントはユニークであり、詳細に検討する必要があります」と、世界で最も価値のある企業であるNvidiaのエンタープライズAI担当バイスプレジデント、ジャスティン・ボイタノ氏は述べています。「私たちが知る限り、Hugging Faceは17,000を超えるエージェントがインフラストラクチャを攻撃したと報告しており、それは数日から数週間にわたって続きました。」

[画像: Nvidia CEO:AIが非常に賢くタスクを実行できるようにしたいが、権利の問題が鍵となる]

視聴する

Nvidiaは、ChatGPTの約4年前にローンチされて以来、ジェネレーティブAIブームの中心にあり、同社のグラフィックス処理ユニット(GPU)は、大規模言語モデルの開発やハイパースケーラーが提供するAIサービスに不可欠です。しかし、フアン氏は最近、AIの安全性に関する議論において、多くのセキュリティ上の懸念はコンピューターサイエンスと製品開発によって解決できるエンジニアリングの問題であると主張する主要な声となっています。

「何ができたか、その解決策は何かを考えなければなりません」とフアン氏は先週公開されたニューヨーク・タイムズのEzra Klein氏とのポッドキャストで、最近のインシデントに言及して語りました。「将来、このようなことが再び起こらないようにプロセスを改善する必要があります。」

AnthropicのCEOであるダリオ・アモデイ氏は2週間前、モデルが制御不能になることへの懸念から、AIモデル開発者に進歩のペースを遅らせるよう促し、この議論はOpenAIのサム・アルトマン氏やSpaceXのイーロン・マスク氏にも支持されました。

Nvidiaの新しい提供物は、エージェントの安全性問題に対するエンジニアリングソリューションであるとボイタノ氏は述べています。

「最近のインシデントは、AIエージェントにとって根本的なハードルを浮き彫りにしました。それは、モデルレベルのセーフガードだけでは、エージェントが何にアクセスできるか、何ができるかを制御できないということです」とボイタノ氏は述べています。

プラットフォームのコンポーネントの1つはNvidia OpenShellと呼ばれ、これは中央処理装置(CPU)上で動作し、エージェントの機能に制限を設定します。Nvidiaはまた、エージェントを監視し、CPUやGPUではなくネットワークチップ上で動作するSentryも発表しました。

ソフトウェアの一部はオープンソースであり、Nvidiaはこのプラットフォームをリファレンスデザインと呼んでいます。これは、パートナーがその上に製品を構築して市場に投入することを意図していることを意味します。

Nvidiaは、Cisco、Microsoft、Oracle、CoreWeave、Dell、HPE、Lenovo、ARM、Intelをパートナーとして挙げています。Nvidiaはまた、Anthropicと協力して、クラウド管理エージェントをOpenShellに統合しています。

「世界がAI産業が安全に構築され、展開されていると信頼していなければ、AI産業は成功できません」とフアン氏は月曜日にCNBCに語りました。

[画像: Nvidia、AIエージェントの不正行為を停止するソフトウェアプラットフォームをリリース]

視聴する