HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

オープンウェイトモデルに関する我々の見解

Our position on open-weights models (anthropic.com)

1068 pointsby surprisetalk1539 コメント

要約

AnthropicのCEOであるDario Amodei氏は、オープンウェイトモデルの禁止には反対の立場を表明しています。同氏は、危険な能力を持たないオープンウェイトモデルは公共財であり、ビジネス、開発者、研究者に価値を提供すると述べています。国家安全保障上の懸念に対しては、強力なチップの対中輸出規制、産業規模の蒸留(ディスティレーション)操作の取り締まり、そして全ての能力の高いモデルに対する義務的な安全性テストの実施を支持しています。

全文翻訳

発表 オープンウェイトモデルに関する我々の見解 2026年7月27日 Dario Amodei、Anthropic CEOによる投稿 ここ数日間、オープンウェイトモデル、特に中国製のモデルについて多くの議論がありました。一部の米国当局者が、米国企業による中国製オープンウェイトモデルの使用を禁止することを検討しているという報道があります。これに対し、多くのテクノロジー企業がオープンウェイトモデルを支持する書簡に署名し、一部の人々はAnthropicがビジネスを守るためにオープンウェイトモデルを禁止したいと考えていると非難さえしています。私の過去の執筆を読んだことのある人なら誰でも、私がそのような禁止を有用な措置とは見なしていないことを知っているはずですが、疑いの余地がないように明確に述べさせてください。Anthropicはオープンウェイトモデルの禁止を一度も提唱したことはありません。 危険な能力を持たないオープンウェイトモデルは公共財です。それらは、実行に必要なコンピューティング能力以外には何も費用がかからず、ビジネス、開発者、研究者に価値を提供します。 保護主義的な禁止は、私の最も深刻な国家安全保障上の懸念に対処するものではありません。具体的には、私は2つの悪夢のようなシナリオを懸念しています。私は6ヶ月前のエッセイ「テクノロジーの思春期」でこれらを概説しました1。そして長年一貫してこれらの立場を維持しています。 私の主な懸念は、権威主義的な政府(中国共産党だけではありませんが、明らかにCCPが最も能力のある脅威です)が米国よりも強力なAIモデルを構築し、それを使用して永続的な軍事的優位性を達成したり、自国民に対して信じられないほど深い抑圧を行ったりするリスクです。この懸念は米国政府内で広く共有されています。Vance副大統領は昨年パリで、「権威主義体制はAIを盗んで軍事、諜報、監視能力を強化するために使用した」と警告し、情報コミュニティの2026年年次脅威評価は、「他の世界の強国のAIにおける堅調な進歩が、米国の経済競争力と国家安全保障上の優位性に挑戦している」と発見しました。これらのモデルがオープンウェイトでリリースされるかどうか、ましてや米国企業によって使用されるかどうかは無関係です。実際、最も危険なモデルは、秘密裏にトレーニングされ、人民解放軍にドローン用、国家安全保障省に監視・抑圧用としてのみ提供されるものかもしれません。 私の二次的な懸念は、強力なAIモデルが悪用されてサイバー攻撃や生物攻撃が行われるリスク、そして深刻なアライメント問題を持つリスクです。オープンウェイトモデル(中国製か否かは関係ありません)は、クローズドモデルよりも高いリスクをもたらす可能性があります。なぜなら、それらにガードレールを適用したり、使用状況を監視したりすることが非常に困難であり、一度ウェイトがリリースされると取り消すことができないからです2。しかし、米国企業によるこれらのモデルの使用を禁止しても、このリスクに対処することにはなりません。なぜなら、悪意のあるアクターは正規の米国企業である可能性が低いからです。それは米国のAI企業を競争から保護することになりますが、それは私の目標ではありません。 これらの懸念に対処するために、私は以下の3つの措置を支持しており、私とAnthropicは一貫してこれらを提唱してきました。 強力なチップやチップ製造装置を中国に販売すべきではなく、そのようなチップへのアクセスを得るために使用される横行する密輸3や回避策を取り締まるべきです。中国は国内生産能力が限られているため、スケーリングの法則により、米国チップなしでは米国よりも強力なモデルを構築できません。これは脅威1を阻止する最も効率的かつ直接的な方法であり、米国の法律の及ばないモデルのトレーニングを妨げることで、脅威2にも間接的に役立ちます。 産業規模の蒸留(ディスティレーション)操作を取り締まるべきです。蒸留は、ゼロからモデルをトレーニングするよりもはるかにコンピューティング効率の高いプロセスです。これにより、中国はチップの数からは通常考えられないほど優れたモデルを構築でき、それによってチップの禁止を部分的に回避できます。蒸留はCCPに米国と同等またはそれ以上のAI能力を取得させるものではありませんが、中国のフロンティアを米国フロンティアの数ヶ月以内に近づけることができます。これらの操作を実行している企業の多くがオープンウェイトモデルをリリースしていることは事実ですが、オープンウェイトよりも、操作が米国をフロンティアで追い越そうとしている権威主義国家によって支援されているという事実の方がはるかに重要です。私たちはこの行動を抑止するための政策介入を行うべきです。オープンウェイトモデルの包括的な禁止は、正しい解決策でも、私たちが求めたものでもありません4。 十分に能力のある全てのモデル(オープンかクローズドかを問わず)は、義務的な安全性テストを受けるべきです。脅威2に対処する最善の方法は、リリース前にサイバー、生物学的、アライメントのリスクについてモデルを直接テストすることです。この考えは実際、コンセンサスに近いと思います。トランプ政権が最近この方向で動いたこと、そして最近の業界提案が、それらのモデルの能力に関わらず、それらのモデルにそのようなテストを適用するという提案(ただし、スタートアップや学術界からのモデルのような能力の低いモデルは完全に免除する)に心を動かされています。オープンモデルが実際にリスクを高めるかどうか、そしてそのリスクが軽減できるかどうかは、事前に決定されるのではなく、テストから明らかになるべきです。また、オープンウェイトモデルの安全性を向上させる有望な方法があるかもしれません。これには、モジュラートレーニング戦略に関するAnthropicの最近の研究も含まれます。効果的なテストにはグローバルな実施が必要であり、それはCCPも参加する必要があることを意味します。私はこれは実際可能だと思います。テクノロジーの思春期で書いたように、AI生物兵器の防止に関する限定的な協力は、中国の利益にもなるため、可能かもしれません。 これでオープンレターの話になります。私はその多くに同意します。オープンウェイトはAI経済へのアクセスを拡大し、少なくとも一部のユースケースでは競争を強化し、顧客に greater control を与えます。蒸留に関する懸念は、ターゲットを絞った法的および商業的フレームワークを通じて対処されるべきです。これは私が上記で説明したのと同じ措置です。しかし、オープンウェイトモデルが必然的にセーフガードの開発を容易にするという、または能力への広範なアクセスが必然的に攻撃者よりも防御者を助けるという、レターの主張には同意しません。私には、その逆が少なくとも同じくらい可能性が高いように思えます。例えば、生物学においては強力な攻撃者-防御者非対称性があることを懸念しています。十分に能力のあるモデルは、広く利用可能な材料でパンデミックレベルのウイルスを迅速に兵器化できるかもしれませんが、これらのエージェントに対する防御は、最良の場合でも数年かかる運用タスクです(Operation Warp Speedで見たように)5。このような問題は、事前に仮定されるのではなく、厳密なリリース前テストによって経験的に回答されるべきです。 私とAnthropicの立場を要約すると、私たちはオープンウェイトモデルのカテゴリとしての禁止を提唱しておらず、また提唱していません。代わりに、強力なチップを権威主義者の手に渡さないこと、産業規模の蒸留を停止すること、そして十分に能力のある全てのモデル(オープンかクローズドかを問わず)に安全性テストを義務付けることに焦点を当てるべきです。 脚注 1 このエッセイのセクション3と2では、権力掌握のための誤用と生物学的リスクの議論について説明しています。 2 UK AI Security Instituteのこのレポートを参照してください。特に:「これらの利点の基盤となっている同じオープンネスは、クローズドモデル開発者が誤用を検出し中断したり、脆弱性が現れたときにセーフガードを反復したり、ユーザーアクセスを制御したり、モデルを撤回したりするために使用できる多くの安全対策を排除します。オープンウェイトモデルがリリースされると、これらの選択肢は永久に失われます。セーフガードは削除でき、コピーはダウンロード、再配布、および監視外のプライベートシステムで実行できます。サイバー能力の高いモデルを含む危険な能力を持つモデルの場合、オープンウェイトリリースは誤用の永続的かつ不可逆的なリスクを生み出します。」 3 ここ、ここ、ここでも参照してください。 4 ここを参照してください。 5 ここを参照してください。