AIのルールを誰が定義するのか？

AIのルールを誰が決めるべきか？

Cohere共同創業者兼CEO、エイダン・ゴメス氏の見解

人工知能は私たちの生きる世界を再構築しています。一世代のうちに、医薬品の発見方法、電力網の管理方法、国家インフラの保護方法は完全に変革されるでしょう。多くの人々はすでにこのことを認識し、責任ある未来を築くために取り組んでいます。しかし、多くの人々は来るべき変化の規模とペースを過小評価しています。一方で、この変化を予見したと主張し、それを自身の目的のために利用しようとする人々もいます。

誰もが十分に明確に尋ねていない問いがあります。それは、シリコンバレーの市場支配的な少数のAI企業が、世代を超えたテクノロジーのルールや安全基準を世界全体のために定義する権利を持つべきか、ということです。同時に、このテクノロジーの進歩速度を決定する権利も持つべきでしょうか？私たちは過去に非常に悪い結果を招いた経験があります。再び、公衆を保護するという名目で恐怖を利用し、これらの寡占企業は競争ルールを曲げ、他のすべての人々に対して条件を dictate することを許可されるよう求めています。羊の皮を被った狼、別の名前で呼ばれるカルテルです。

私はAIテクノロジーが世界に利益をもたらす可能性を信じており、リスクを軽視しているわけではありません。私は、銀行、通信ネットワーク、国防省の内部で展開されているAIシステムを構築する会社を経営しています。これらは最もリスクの高い環境の一部です。なぜなら、これらの分野での失敗は、個々のユーザーをはるかに超える結果をもたらす可能性があるからです。金融システム、重要インフラ、国家安全保障、そして不可欠なサービスを大規模に混乱させる可能性があります。あなたのコードの脆弱性を見つけるのと同じ能力が、他人のコードの脆弱性を見つけることもできます。サイバー攻撃は、防御が改善されるよりも速く安価になっています。このギャップは、私たちを心配させるのと同じくらい、あなたも心配させるべきです。

AIにはガードレールが必要です。それは争点ではなく、決して争点ではありませんでした。争点は、誰がそれらを書き、誰が参加でき、誰の利益がルールによって保護されるかということです。この問いは、科学的証拠に基づいて選択する自由を持つべきか、それとも人類史上最も重大なテクノロジーの舵を少数のシリコンバレーの幹部に委ねるべきか、ということに尽きます。

私たちは以前にもこの経験をしている

大手の研究所が推進している自己中心的なフレームワークを分解し、代替案のアイデアを提供する前に、最近の過去からいくつかの教訓を学び、カルテルという言葉について考えてみましょう。その歴史は具体的であり、正確な用語です。

1975年、証券取引委員会は資本規制のために信頼できる債券格付けを必要としていました。委員会は3つの企業を「全米認定統計格付機関（Nationally Recognized Statistical Rating Organizations）」に指定しましたが、他の企業がどのようにその指定を得られるかの基準を公表しませんでした。これらは政府公認の外部評価機関であり、格付け対象の証券発行者自身から報酬を受け取り、規制当局自身が築いた障壁の後ろに座っていました。25年後も、これらの評価機関は3つしかありませんでした。その後、彼らはサブプライム住宅ローン証券をトリプルAと格付けし、世界経済を崩壊寸前に追い込みました。

ヨーロッパは1985年にこの実験を繰り返しました。自動車メーカーは、現代の車両は複雑で安全性が重要であるため、メーカーは誰がそれらを販売・整備する資格があるかを管理する必要があると主張し、広範な独占禁止法の免除措置である「自動車ブロック免除（Motor Vehicle Block Exemption）」をロビー活動で獲得しました。その後の規制により、メーカーは安全で信頼性の高い車両の利益のために、施設、設備、スタッフのトレーニングに関する基準を設定できるようになりました。しかし、その結果安全な車が増えたわけではありませんでした。欧州委員会が改革に約25年を費やしてそれを巻き戻し、当初から明白であったはずのことを確立するのに時間がかかりました。それは、「厳格な安全基準を維持しながら、既存企業にそれを満たす独占権を与えることは可能である」ということです。

どちらのケースも、カルテルを構築しようとした人はいませんでした。どちらのケースも、表明された目標は安全性でした。しかし、結果として、公衆の利益に資するという名目の下で、既存企業を保護し、競争を制限する市場構造が生まれました。関係者の誠実さを疑うものではありません。多くの人がリスクを懸念し、真剣に解決しようと努力しました。しかし、複雑な問題は必ずしも最初から解決されるわけではなく、責任ある科学者、エンジニア、または立法者は、新しい問題を解決するためには過去の歴史から学ぶ必要があることを知っています。

提案されていること

ここで、AnthropicのCEOであるダリオ・アモデイ氏が今週発表した、安全性の名の下に独占禁止法の免除を政府に求めるロードマップについて説明します。このロードマップは、AIを取り巻く規制環境を形成しようとするシリコンバレーの既存企業による最近の取り組みの最新版です。

私たちが同意する点については、明確にしておきたいと思います。高度なAIシステムの独立したレビューは良い考えであり、私たちはそれを支持します。しかし、提案の多くの側面は根本的な疑問を投げかけます。レビューが適用する基準を誰が書くのか？レビューを実施または監督するのは誰か？ルールを設定する会話に誰が参加できるのか？

これらの質問に対して、提案は明確です。一国に拠点を置く最も強力な研究所のいくつかが、共有された基準と技術の進歩速度の上限に合意します。そして、ここが重要な点です。競合他社が生産量を制限することに合意することは通常違法であるため、この計画は、その協調を合法化するために、政府に狭い独占禁止法の免除を求めています。さらに、他のすべてのAI開発者が、参加者たちが合意した内容に盲目的に従うことを政府に求めています。たとえ他の開発者やより広い社会が、その影響について意見を述べたり、科学に関する見解を共有したりする機会を得られなかったとしてもです。

これは、会話に1社か2社を追加する問題ではありません。椅子を1つ追加しても、根本的な問題は解決しません。問題は、決定がすべての企業、すべての政府、そして尋ねられなかったすべての市民に及ぶ可能性があるのに、リストが存在することです。両方を同時に持つことはできません。もしこれが人類史上最も重大なテクノロジーであるなら、それに対するルールは、独占禁止法の免除の背後にある、商業的に連携した少数の企業によって書かれることはできません。ここにはパブリックコメントの期間はありません。協議も投票もありません。国民は結果に関わらずそれに従わなければなりません。

少数の研究所によって設計された安全体制は、彼らが安全システムを構築して評価してきたリスクに対してのみ厳格であり、それ以外のすべてについては完全に沈黙します。これにより、彼らの市場での地位はさらに強化され、競争は制限されます。これらの既存のフレームワークにおけるリスクは、規模の関数として定義されるため、巨大なシステムを持つ企業だけが判断する資格があるとされます。評価対象となるリスクの種類も、科学的な議論や調整ではなく、あらかじめ定められています。例えば、生のモデルサイズから、それを囲むハーネスまで、どれだけ攻撃的な能力が生まれるかについては、この分野で意見の相違があります。うまくオーケストレーションされた小さなモデルは、ツールや検証ステップを使用して、大規模なモデルができないことを実行できます。サイバースウォームは、単一のモデルとは全く異なるリスクサーフェスです。これらのどれも、巨大なコンピューティング閾値を中心に構築された体制には現れません。

エッセイには、競争当局が懸念するであろう一文があります。それは、協調的なアプローチが、商業的優位性を犠牲にすることなく、開発者にこの安全作業を行う時間を与えるだろうと約束しています。しかし、それは誰の利益のためでしょうか？フレームワークを作成している企業は、今日の市場のトップにいる企業です。すべての人を遅らせながら、既存の商業的優位性を明確に維持するメカニズムは、AIをより安全にするものではありません。それは、今日の支配的なAI企業が、その現在の優位性を競争安全に必要な基準に変えるリスクを冒します。安全ルールは、市場のリーダーが誰であるか、または誰がルールから利益を得るかに関係なく、リスクを軽減すべきです。

提案に示されている参入要件は、残りのすべてを物語っています。膨大なコンピューティングパワー。継続的な監視インフラ。専用のセキュリティ組織。デスクとバッジを持つ常駐評価チーム。シャットダウンアーキテクチャ。それをすべてナビゲートするのに十分な深い政府関係。非常に限られた「独立した」評価者のプールであり、同じフロンティア研究所が繰り返し頼っている同じ組織から資金提供を受けています。

政府を説得して、AIが存亡の危機であると思わせれば、競争相手を禁止させることができます。意図は明確であり、それはより安全な世界を創造するものではありません。

より良いルールとは

では、安全で責任あるAI開発を可能にするものは何でしょうか？明確にしておきますが、私自身がすべての答えを持っているとは思いませんし、私がルールを作るべきだとも考えていません。むしろ、政府や立法者が民主的な力を行使して進むべき方向を設定する際に、他の多くの人々のアイデアと並んで検討できる、実用的で効果的なアイデアを提案しようと思います。

それらのアイデアは4つの柱に基づいています。

1. 証拠に基づいたリスクフレームワーク。 まず第一に、テストや監査を義務付ける前に、懸念している危害、どのAI能力がどの危害を引き起こすか、どのような条件下で、どのような文脈で、そして政府が介入すべき時点はいつか、についての合意された公開された説明が必要です。その説明は、このテクノロジーを開発しているすべての国にまたがって構築され、国家安全保障の名の下に密室で行われるのではなく、公開される必要があります。どの単一の国にも主導されない、それらの国のグループによって、このフレームワークを開発するための協調的で国際的な努力を確立してください。テクノロジストを、政策専門家や、金融、重要インフラなどの重要分野の専門家と並んで部屋に配置してください。互いに意見の異なる研究者や科学者を含め、その意見の相違を公表してください。なぜなら、正直なプロセスは、その結論を発表するのではなく、その議論を示すからです。テスト能力自体は、公的研究機関や既存のセクター別リスク管理システムを通じて資金提供されるべきです。そうすれば、科学は測定される企業の予算に依存しなくなります。そして、AIシステムが何ができるかに基づいて拘束されるルールを書き、危険な能力は、それが1兆ドルの研究所から生まれたか、大学の学部から生まれたかに関わらず、同じように扱われるようにしてください。AI関連のリスクの科学は、企業や政府がAIの使用と展開について行う決定から切り離されるべきではなく、また、今日の医療、グローバル金融システム、防衛、重要インフラを管理する既存の堅牢なリスク管理システムからも切り離されるべきではありません。
2. 必須の透明性。 AI開発者は、モデルやシステムがどのように構築されているか、その意図された目的と能力、潜在的なリスク、および実施されたリスク軽減策について透明であるべきです。モデルカードは、生成AIモデルが大規模に展開される際に、業界全体で広く公開されており、どのテストが実行され、モデルがどのようにパフォーマンスを発揮したかをカバーしています。しかし、開発および展開スタック全体で企業が可視性と制御を持つレイヤーで重大なインシデントを報告する方法や、実際の損害が発生した場合に実際の責任を付与するメカニズムに関しては、さらに多くのことができます。
3. 証拠によって範囲が定められたテスト。 最も高度なAIモデルとシステムは、独立したテストに直面する必要がありますが、それは、少数の選ばれた企業にその定義を委ねるのではなく、リスクフレームワークが実際に危険であると特定した能力と文脈に対してのみ行われるべきです。実際には、それはサイバー攻撃、偽造詐欺、音声クローニング、大規模な操作、物理的または生化学兵器の生成能力、および重要インフラに触れるあらゆるものに対する能力を意味するでしょう。それは、すべてのシステムをすべてのリスクに対してテストすることを意味するのではなく、最大の企業が吸収できる予算に何でも合わせるように拡大するコンプライアンス演習になるべきではありません。より高度なモデルやシステム、または特定の文脈で展開されるモデルやシステムが、それらを開発するために投入されたリソースに関係なく、より厳格なテストに直面する、段階的で比例したフレームワークは、安全性の向上に最も貢献するでしょう。人々と社会に危害を及ぼす可能性のあるものをテストし、誰がペンを持っているかではなく、証拠がテストを必要とするものを決定するようにしてください。認証は、すべての企業が利用できるものでなければならず、指定されたティアのAI開発者に限定されるべきではありません。そして、基準は、測定される企業以外の関係者によって合意される必要があります。これが許されるべきでないのは、小さな研究所が何かを出荷する前にそれらを窒息させる高価な官僚制度になることです。これは、範囲が無制限で、既存企業がそれを設定している場合にまさに起こることです。
4. 真の保証メカニズム。 AIモデルとシステムがどのようにテストされるかを決定するパラメータと、それらのテストを検証するメカニズムは、金融機関がライセンスを取得する方法、航空会社が厳格な安全基準を維持する方法、原子力施設が検査を受け入れる方法と同様に、真に独立していなければなりません。そのような高リスク産業はすでに多層的な保証に依存しています。開発者はシステムをテストし、顧客はそれらを自身のリスク要件に対して検証し、必要に応じて独立した第三者が追加の保証を提供し、規制当局がフレームワークを監督します。AIは、前例のない例外性を主張し、安全性が永続的に組み込まれた単一クラスの評価者に依存すると仮定するのではなく、これらの試行されテストされたアプローチに基づいて構築されるべきです。保証は、3つの条件が満たされた場合に機能します。1つ目は、テストと検証が共同で開発され公開された基準に基づいていること。2つ目は、関与する第三者は、多様な意見を含める権限を持ち、レビュー対象の当事者から決して報酬を受け取らないこと。3つ目は、発見が、対立のない形で何らかの形で公表されること。最も重要なのは、保証作業のどの側面が厳格な基準で社内で最もよく行われ、どれが第三者を必要とするかについての柔軟性です。これは、監査の重要性と専門知識およびリソースの最も効率的な使用に基づいています。これは、財務的またはイデオロギー的な利益相反を持つ監査人が、それらを監査する当事者から選ばれるだけでなく、それらによって選ばれる保証システムとは全く対照的です。少数の支配的な企業が選んだ監査人に業界全体への継続的なアクセスを与えるという提案は、安全性や信頼ではなく、規制やイデオロギーの捕捉への道です。

パニックが置き去りにしているもの

これらの柱は、実用的でリスクベースのアプローチがどのように見えるかの基盤です。次に、最大の既存企業が現在武器化しているSFシナリオと比較してみましょう。

科学について話すことは非常に重要だと信じています。多くの論理的な飛躍や結論が、賢い人々によってなされています。しかし、それらが何であるか、そしてそれが何を意味するかを、手で払いのけるのではなく、議論することが重要です。

今週初め、ある研究者が大手研究所を辞め、超知能システムが10年以内に人類を滅ぼすだろうと大声で警告しました。ある上級同僚は、その確率を10パーセント以上に置いていると公に付け加えました。彼らの懸念が善意で本物であることを疑いません。しかし、それらの数字が根本的な現実から来ていないことを覚えておきましょう。それらは、投資家が利益を得る幹部によって増幅され、メディアによって1週間、数学的分析であるかのように報道された、小数として表現された直感、バイブスです。

懸念が実際には何であるかについて正確であることは価値があります。これらのシステムがより有能になるにつれて、私たちが求めたものと実際に得たものとの間の距離は気づきにくくなり、見逃した場合のコストはより高くなります。抜け穴を見つけるのが得意なシステムは、私たちがチェックすることを考えもしなかった抜け穴を見つけるのも得意です。世界で行動するツールと、私たちの作業をレビューする能力を上回る改善率を与えれば、問題が発生したずっと後に、あるいはゲートを出た直後に、それらをキャッチすることを想像できます。

しかし、そのような問題がこれらのツールが私たちの制御下になくなったことを意味するという主張は、判断であり、発見ではありません。

しかし、その区別こそが、科学とSFの全違いであり、次に何をすべきかを決定します。このような未解決の質問は、まさに公開され、議論され、証拠に基づいたプロセスが解決するために存在するものです。未解決の質問に対して決してしてはならないのは、ある特定の視点を持つ人々に、それから拘束力のあるルールを作成し、それを他のすべての人に課す権限を与えることです。

7月に報告された失敗は、世界で最も資金力のある2つの研究所内で発生しました。そこには最大の安全チーム、最も内部レビューがあり、あるケースでは2月までMETRを通じて外部評価者の配置がすでに進められていました。提案されている解決策は、それが壊れたときに実施されていたものとほぼ同じです。能力の閾値ではそれを捕捉できなかったでしょう。なぜなら、それらのシステムは能力を評価するために積極的にトレーニングされ、評価されていたからです。コンピューティング制限はエージェントを遅くするかもしれませんが、その能力を低下させることはありませんでした。失敗したのは、指示の質、テストの周りの壁の強度、そしてエージェントが観察なしに作業を続けられた時間でした。提案はこれらのどれにも対処していません。

役立つのは、はるかにドラマチックなものではありません。重大なインシデントが報告されることを要求し、ある企業での欠陥のあるトレーニング設定が、ブログ記事の段落ではなく、分野全体の教訓となるようにしてください。既知の悪用されるギャップに対してシステムをテストしてください。テスト時の可観測性（または少なくともログ記録）の基準を確保し、悪い行動が早期に検出されるようにしてください。病院から変電所まで、重要インフラに接続されているものはすべて隔離し、可能であればオンプレミスに配置してください。そうすれば、悪いスコアを追求するシステムが、重要なものに到達できなくなります。そして、それをすべて、システムがどこに展開され、何に触れることができるかに応じて適用してください。それがそれを構築した会社の規模に関係なくです。病院内にある小さく、不適切に指定されたモデルは、今日、現実のリスクであり、フロンティアのみの体制では誰もそれに注目していません。

ビッグテックの利益に資する物語が、このような出来事を捉え、超強力で制御不能なテクノロジーが人類の絶滅につながる可能性のあるという考えに世間の注目を集めるとき、それは彼らが犯している選択や間違い、そして現在、実在の人々が経験している危害から都合よく私たちをそらします。例えば、電話料金よりも安い音声クローニングツールは、数分で年金受給者の口座を空にすることができます。同様に、自動化された意思決定システムは、不可欠なサービスへのアクセスに実際の影響を与える可能性があります。私たちは、仮説上の超知能を封じ込めるために設計されたものではなく、今日、市民や組織に直接影響を与えるこれらの現実、問題に対処するための安全体制を必要としています。

誰がルールを書くのか？

私たちは岐路に立っており、今後数ヶ月間に行われる決定は、一世代にわたって世界経済を形作るでしょう。リスクは現実であり、それらには真剣で執行可能な安全策が必要です。だからこそ、ルールは、それが管理する企業によって免除の背後で起草されることはできません。2つか3つのシリコンバレーの企業が、地球上のすべての政府のためにAIの創造者、ゲートキーパー、そしてルールメーカーとして行動するという考えは、口に出しただけで成り立ちません。

重要インフラは、閉鎖されたインターフェースの背後にある外国の独占企業から国家能力を借りることで確保することはできません。病院、決済ネットワーク、国防省は、誠実に、最も機密性の高い運用データと独自の知識を他者のサーバーにパイプし、ベンダー契約が有効であると盲目的に信頼することはできません。データ漏洩を可能にする抜け穴は、すでに今日悪用されています。

私たちは、この現実のためにまさにCohereを構築しました。世界中の政府と緊密に協力するグローバル企業として、私たちはこれらの経済を運営する機関が実際に何を必要としているかを見ています。彼らは、自社の壁の中で、自社が制御するインフラストラクチャ上で動作し、彼らに責任を負い、交換可能なプロバイダーからの、高度なシステムを必要としています。セキュリティは、主権、ローカル展開、そして技術的多様性から生まれます。多くの能力のあるサプライヤーがいる競争市場は、1つのサプライヤーの失敗を吸収できます。国家公認のカルテルには、隠れる場所がありません。

AIに関するルールは、いずれにしても書かれます。まだ開かれているのは、誰もが参加できるグループによって、誰もがチェックできる証拠に基づいて書かれるのか、それともドアが閉まった部屋で少数の企業によって書かれるのか、ということです。より多くの声は、それを遅くします。それはそれを難しくします。それらの声の一部は、私たち残りが聞きたくないことを言うでしょう。それがポイントです。それは、公衆が信頼する理由を持つ唯一のバージョンです。

価値のあるプロセスには、Cohereのような企業でさえ不利になる人々が含まれるでしょう。商業的利害のない学者。この業界の誰もが速すぎると考えている市民社会グループ。より小さな研究所やオープンソース開発者。私たちの言葉を鵜呑みにしない独自の理由を持つ政府。このテクノロジーが私たちの生きる世界を再構築していることに同意するなら、少数のCEOと彼らが支払うグループが、このテクノロジーの進化方法に関するすべての決定を下すことはできません。私たちはテーブルにもっと多くの声が必要です。

安全性について話すこと、進歩が持続可能であることを保証するためにペースを落とすこと、そして責任ある行動を確保するために他の人が介入する必要性について話すことができます。あるいは、単にそれを行い、責任を持って持続可能なペースで構築し、パートナーに主権を付与し、立法者や安全専門家と協力し、耳を傾けることができます。Cohereでは、後者を選択しています。