オープンウェイトモデルに関する我々の見解
Our position on open-weights models (anthropic.com)
要約
AnthropicのCEOであるDario Amodei氏は、オープンウェイトモデルの禁止には反対の立場を表明しています。同氏は、危険な能力を持たないオープンウェイトモデルは公共財であり、ビジネス、開発者、研究者に価値を提供すると述べています。国家安全保障上の懸念に対しては、強力なチップの対中輸出規制、産業規模の蒸留(ディスティレーション)操作の取り締まり、そして全ての能力の高いモデルに対する義務的な安全性テストの実施を支持しています。
全文翻訳
オープンウェイトモデルに関する私たちの見解
この数日間、特に中国製のオープンウェイトモデルに関して、多くの議論がなされています。一部の米国当局者が、米国企業による中国製オープンウェイトモデルの使用を禁止することを検討していると報じられています。これに対し、多くのテクノロジー企業がオープンウェイトモデルを支持する書簡に署名し、一部の人々はAnthropicが自社のビジネスを守るためにオープンウェイトモデルを禁止したがっていると非難さえしています。私の過去の執筆を読んだことのある人なら誰でも、私がそのような禁止を有効な措置とは見なしていないことを知っているはずですが、疑いの余地がないように明確に述べさせてください:Anthropicはオープンウェイトモデルの禁止を一度も提唱したことはありません。
危険な能力を持たないオープンウェイトモデルは公共財です。それらは、実行に必要なコンピューティング能力以外に費用はかからず、ビジネス、開発者、研究者に価値を提供します。
保護主義的な禁止措置は、私の最も深刻な国家安全保障上の懸念に対処するものではありません。具体的には、2つの悪夢のようなシナリオを懸念しています。私は6ヶ月前のエッセイ『The Adolescence of Technology』でこれらを提示し1、長年にわたり一貫してこれらの立場を維持してきました:
- 私の主な懸念は、権威主義的な政府(中国共産党に限定されるわけではありませんが、中国共産党が明らかに最も能力のある脅威です)が、米国が構築したものよりも強力なAIモデルを構築し、それらを永続的な軍事的優位性を達成するため、あるいは自国民に対する信じられないほど深い抑圧を実行するために使用するリスクです。この懸念は米国政府内で広く共有されています。バイスプレジデントのヴァンスは昨年パリで、「権威主義体制はAIを盗み、軍事力、諜報能力、監視能力を強化するためにAIを使用した」と警告し、情報コミュニティの2026年年次脅威評価は、「他国のグローバルパワーの堅調なAI進歩が米国の経済競争力と国家安全保障上の優位性に挑戦している」と結論付けています。これらのモデルがオープンウェイトでリリースされるかどうか、ましてや米国企業によって使用されるかどうかは無関係です。実際、最も危険なモデルは、秘密裏にトレーニングされ、人民解放軍にはドローン用、国家安全保障省には監視と抑圧用としてのみ提供されるものかもしれません。
- 私の二次的な懸念は、強力なAIモデルが悪用されてサイバー攻撃や生物兵器攻撃が行われるリスクであり、深刻なアライメント問題を抱える可能性があることです。オープンウェイトモデル(それが中国製であろうとどこ製であろうと関係ありません)は、クローズドモデルよりも高いリスクをもたらす可能性があります。なぜなら、それらにガードレールを適用したり、使用状況を監視したりすることが非常に困難であり、一度ウェイトがリリースされると取り消すことができないからです2。しかし、これらのモデルの米国企業による使用を禁止しても、このリスクに対処することにはなりません。なぜなら、悪意のあるアクターは正規の米国企業である可能性は低いからです。それは米国のAI企業を競争から保護することにはなるでしょうが、それは私の目標ではありませんでした。
これらの懸念に対処するため、私は以下の3つの措置を支持しており、私とAnthropicは一貫してこれらを提唱してきました:
- 強力なチップやチップ製造装置を中国に販売すべきではありません。また、そのようなチップへのアクセスを得るために使用される、蔓延している密輸3や回避策を取り締まるべきです。中国は国内の生産能力が限られているため、スケーリング則により、米国のチップなしでは米国よりも強力なモデルを構築することはできません。これは脅威1を阻止する最も効率的かつ直接的な方法であり、米国の法律の及ばないモデルのトレーニングを妨げることで、脅威2にも間接的に役立ちます。
- 産業規模のディスティレーション(蒸留)操作を取り締まるべきです。ディスティレーションは、ゼロからモデルをトレーニングするよりもはるかにコンピューティング効率の高いプロセスです。これにより、中国はチップの数からは通常考えられないほど優れたモデルを構築でき、チップ禁止を部分的に回避できます。ディスティレーションは中国共産党が米国と同等またはそれ以上のAI能力を取得することを可能にするものではありませんが、中国のフロンティアを米国のフロンティアから数ヶ月以内に近づけることができます。これらの操作を実行している多くの企業がオープンウェイトモデルをリリースしていることは事実ですが、オープンウェイトは、操作が米国をフロンティアで追い越そうとしている権威主義国家によって支援されているという事実よりもはるかに重要ではありません。私たちはこの行動を抑止するための政策介入を行うべきです。オープンウェイトモデルの包括的な禁止は、正しい解決策でも、私たちが求めてきたものでもありません4。
- 十分に強力なすべてのモデル(オープン、クローズドを問わず)は、必須の安全テストを受けるべきです。脅威2に対処する最善の方法は、リリース前にサイバー、生物、アライメントのリスクについてモデルを直接テストすることです。この考えは実際、コンセンサスに近いと思います。トランプ政権が最近この方向で動いていること、そして最近の業界提案が、これらの最も強力なモデルに、その原産国やオープンかクローズドかに関わらず、そのようなテストを適用することを提案していることに勇気づけられています(ただし、スタートアップや学術界のモデルなど、能力の低いモデルは完全に除外します)。オープンモデルがリスクを増大させるかどうか、そしてそのリスクが軽減できるかどうかは、事前に決定されるのではなく、テストから明らかになるべきです。また、AE StudioとAnthropicによるモジュラー学習戦略に関する最近の研究を含む、オープンウェイトモデルの安全性を向上させる有望な方法があるかもしれません。効果的なテストにはグローバルな実施が必要であり、それは中国共産党も参加する必要があることを意味します。これは実際には可能だと思います。『The Adolescence of Technology』で書いたように、AI生物兵器の防止に関する限定的な協力は、中国の利益にもなるため、可能かもしれません。
ここでオープンレターに話を移します。私はその多くに同意します。オープンウェイトはAI経済へのアクセスを拡大し、少なくとも一部のユースケースでは競争を強化し、顧客に greater control を与えます。ディスティレーションに関する懸念は、私が上記で説明したのと同じ措置である、ターゲットを絞った法的および商業的フレームワークを通じて対処されるべきです。しかし、オープンウェイトモデルが必然的にセーフガードの開発を容易にするという、あるいは能力への広範なアクセスが必然的に攻撃者よりも防御者を助けるという、レターの主張には同意しません。むしろその逆が真実である可能性が少なくとも同じくらい高いように思われます。例えば、生物学においては強力な攻撃者・防御者非対称性があり、十分に強力なモデルは、広く入手可能な材料でパンデミックレベルのウイルスを迅速に兵器化できる可能性がある一方で、これらの病原体に対する防御は、最良の場合でも数年かかる運用タスクです(Operation Warp Speedで見たように)5。このような問題は、事前に仮定されるのではなく、厳密なリリース前テストによって経験的に回答されるべきです。
私とAnthropicの立場を要約すると、私たちはオープンウェイトモデルをカテゴリーとして禁止することを提唱しておらず、また提唱したこともありません。代わりに、強力なチップを権威主義者の手に渡さないこと、産業規模のディスティレーションを停止すること、そして十分に強力なすべてのモデル(オープンかクローズドかを問わず)に安全テストを義務付けることに焦点を当てるべきです。
*編集 28 July: モジュラー学習戦略に関する引用研究が、AnthropicとAE Studioの共同作業であったことを追記しました。