HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIは核戦争を開始するために「超知能」や悪意を必要としない

AI doesn't need 'superintelligence' or evil intent to start a nuclear war (thebulletin.org)

11 pointsby bookofjoe7 コメント

要約

この記事は、AIが核戦争を引き起こす可能性について論じています。AIが必ずしも超知能を持つ必要はなく、また悪意を持つ必要もなく、意図しない結果や誤解、あるいは既存の軍事システムとの相互作用によって、偶発的に核戦争が勃発するシナリオを提示しています。AIの急速な進化と軍事応用におけるリスク管理の重要性を強調しています。

全文翻訳

AIは「超知能」や悪意なく核戦争を引き起こす可能性がある

[画像: 青い大きなロボットの手が、黄色い照明の広々とした装飾的な部屋で机に向かう人物を指差している。]現在のAIシステムは、人間の認知の盲点を増幅させ、エスカレーションの螺旋を加速させ、危機的状況下で意思決定者を情報過多にすることで、核戦争を引き起こす可能性がある(イラスト:François Diaz-Maurin、ソース画像:The White Houseおよびcanva.com)

AI研究者のジェイコブ・コックスン氏が今月Anthropicを辞任した際、自己改善型超知能への競争を急ぐ企業の人々が「今世紀末までに我々全員を殺す可能性があると真剣に信じている」と警告しました。このような警告は、AIが人間の制御を逃れ、人間の許可なく核戦争を開始するのではないかという懸念を引き起こします。

超知能は正確には定義されていませんが、AI開発者はまだそれが存在しないという点で一致しています。しかし、今日のAIシステムは、たとえ人間が名目上管理権を握っていたとしても、核戦争を引き起こす可能性があります。AIが兵器を発射したり、攻撃を推奨したり、危害を加える意図を持つ必要はありません。機械によって増幅された、通常の人間のもろさでさえ、破局につながるには十分かもしれません。

AIは、核戦争の結果を理解するのに苦労しているリーダー層に届く情報を形成することができます。AIは、人間の判断の既知の脆弱性を悪用し、機械出力の誤り、誤解を招く情報、あるいは文脈から外れた情報によって増幅され、AI生成情報の速度、規模、量によってさらに悪化させます。正確な情報であっても、適切な文脈なしに提示された場合、誤って解釈されたり、賢明でない方法で解釈されたりする可能性があり、AIによって導入されたエラーや曖昧さは事態を悪化させる可能性があります。

破局の結果として、並外れた機械知能も悪意のある意図も必要ありません。核戦争を回避するためには、AIが行動を促す圧力をかけているときでさえ、リーダーを最悪の衝動から守る制度的なガードレールを設置する必要があります。

道徳的相対主義。 精神的麻痺として知られる一つの大きな脆弱性は、リスクを認識し対応するために感情に頼ることによって生じます。人間の感情は、苦しむ人々の数に追いつくことができません。時には、数字が増えるにつれて懸念さえも減少します。人間は、百万人の死を、それが表す失われた命の現実を理解することなく、無感情に数字として認識することができます。「一人の人間の死は悲劇だが、数百万人の死は統計である」という言葉は、精神的麻痺の根本的な問題を浮き彫りにしています。

人間の注意もまた、著しく制限されています。兵士を救うこと、攻撃を止めること、あるいは戦争を終わらせることが、意思決定者の思考において圧倒的に優位になることがあります。これらは正当な目標ですが、唯一重要な目標ではありません。地球規模の破局を回避することは、おそらくはるかに重要です。直接的な利益は容易に想像でき、感情的なパンチを伴いますが、核戦争の長期的な結果—気候変動、農業の破綻、大規模な人口移動と飢餓、そして世界中の医療やその他のサービスの完全な崩壊—は、しばしばあまりにも曖昧で感情的に遠いものに感じられ、十分に把握することができません。これらの長期的な脅威は、危機の間にはより差し迫った考慮事項によって容易に影が薄くなる可能性があります。

最近の約3,000人のアメリカの成人を対象とした調査実験では、研究者たちは、イランとの、勝てる可能性のある架空の地上戦について説明し、その中で主要都市への核攻撃はより迅速な終結とアメリカ兵の死者の増加なしをもたらすと述べました。

この実験では、戦争を終結させるための核使用の2つの異なるシナリオをテストしました。一つは10万人のイラン市民の死をもたらす攻撃、もう一つは200万人の市民の死が予想される攻撃です。参加者はこれらの核オプションのうち一つだけを見ました。調査回答者の核オプションに対する支持率は、継続的な地上戦と比較して、ほぼ同一でした。10万人の死をもたらすオプションに対しては31.6%、200万人の死をもたらすオプションに対しては27.6%でした。これは、死者数の20倍の違いにもかかわらず、精神的麻痺の表れです。ある一定の規模を超えると、より多くの死者数は、より大きなものとして認識されなくなります。

同研究の後半で、参加者は両方の核オプションを並べて提示され、その決定を再検討するように求められました。200万人の死をもたらすオプションへの支持は5.1%に激減し、直接比較が麻痺を軽減できることを示しました。しかし、麻痺は消えませんでした—それはシフトしました。何らかの核オプションへの支持—主に10万人の死者をもたらす攻撃—は40%に増加しました。200万人の死者をもたらすオプションは、比較によって10万人の死者数をより魅力的に見せました。たとえその壊滅的なオプションが、以前は参加者の大部分によって拒否されていたにもかかわらずです。

この研究は、道徳的な感情が核使用の選択を強化することを示しています。たとえ比較がなくても、「米兵を保護する」あるいは「侵略者を罰する」と認識された選択は、核兵器の使用を美徳に見せることがあります。結果はまた、感情と意思決定オプションのメニューが判断を、そして最終的には決定をどのように形作るかを明らかにしています。同様の思考様式は、第二次世界大戦の終結時やその他の過去の戦争で見られました。そして、ペンタゴンが現在、危機時に大統領に核兵器を発射するための「より多くの選択肢」を提供するよう求める見直しを行っていることは、核の敷居をさらに下げるリスクがあります。

私たちの実験で観察された核オプションへの支持は、情報が偽であることを必要としませんでした。参加者は明示的な死傷者数を受け取りました。それにもかかわらず、彼らの選択は、あるシナリオでは精神的麻痺を示し、別のシナリオでは比較によって「より良い核爆弾」という考え方を生み出し、欺瞞的になりました。これはAIにとって重要です。意思決定者に届くAI提供情報の精度を向上させるだけでは、それらの事実が表す苦しみが適切に重み付けされることを保証することはできません。これらの実験は、正確な情報が存在する場合でさえ、判断と意思決定において深刻な歪みが発生しうることを示しています。

AIの圧力を加える。 警告、画像、報告、解釈は、人々がそれを消化できるよりも速く到着するようになりました。この情報は、偽であることも、曖昧であることも、正確であることもあります。AIによって強化されたこの情報環境の劣化が、核リスクを増加させる可能性があることはすでに説明されています。

架空の軍事演習を考えてみましょう。

AIは移動するミサイル発射機を正確に検出します。その情報を受け取った担当者は、不確かではあるが懸念しており、その動きを攻撃の準備の可能性と解釈し、予防措置として軍事的な警戒レベルを引き上げます。

敵対者はその準備を観察し、独自の予防措置で対応します。AIはその動きを検出し、それは最初の疑いを裏付けるように見えます。各側が自己防衛のために行う努力は、相手をより不安にさせます。

これはエスカレーションの螺旋です—国際関係論者が安全保障のジレンマと呼ぶものですが、今回はリアルタイムで展開します。元の観測を捏造する必要はありません。正確な報告が、意図の誤った説明を永続させることができます。意図的な欺瞞はプロセスを悪化させる可能性がありますが、誤って解釈された無邪気な観測でさえ、このエスカレーションを作り出すには十分です。

不信感が修正を複雑にする。 リーダーは警告を疑うかもしれませんが、それを無視する結果を恐れるかもしれません。敵対者の保証は、欺瞞として却下されるかもしれません。「転ばぬ先の杖」という考え方は、安全とされる行動が作り出す危険を十分に考慮せずに、行動を正当化することができます。

その間、AI生成情報は審議時間を消費します。偽情報をフィルタリングし、情報が真実であることを検証するには時間がかかります。たとえ正確であっても、時間的プレッシャーは不安を高め、その情報を処理する人々の感情状態を変える可能性があります。時間的プレッシャー下では、リスクと利益を判断する際に、全体的に浅い好意的または非好意的な感情への依存がより強くなります。急ぎは必ずしも知覚されるリスクを高めるわけではありませんが、不信と疑念の気候では、そうなる可能性が高いです。

ホットコールド・エンパシー・ギャップが、さらなる脆弱性を加えます。

冷静なとき、人々は恐怖と怒りがどのように自分の好みを変化させるかを過小評価する傾向があります。核危機に適用すると、これは懸念すべき可能性をもたらします。静かな状況で事前に承認された抑制は、遅延が耐え難い損失のリスクを伴うように見える危機の間には、脇に追いやられるかもしれません。

リーダーは、エスカレートする対立を即時かつ深刻な脅威として経験し、核使用を脱出または先制的な必要性として見なす可能性があります。残念ながら、「ホット」な認知、すなわち激しい感情、個人的な投資、歴史的遺産への懸念、高い賭け金、あるいは暗黙のバイアスによって駆動される状況下では、リーダーが大切にするものは、国のそして世界のより大きな運命ではなく、即時の安全保障上の保護である可能性が最も高いです。

即時の保護が注意を支配します。より広範な苦しみは抽象的なままであり、その重要性にもかかわらず、おそらく心から離れています。例を挙げると、ウラジーミル・プーチンはかつて、ロシアが核兵器によって破壊された世界に価値があるのかと疑問を呈することで、ロシアの核ドクトリンを正当化しました。

人間の承認を要求するだけでは、これらの歪みを修正することはできません。関連する質問は、どの証拠がチェックされたか、どの解釈が異議を唱えられたか、どのように締め切りが設定されたか、そして予期される利益が後続のより大きな損害の考慮を置き換えたかに関係します。

制度的なガードレール。 人間の判断の脆弱性は十分に文書化されており、高度なAIに関する懸念は高まっています。しかし、認識だけではエスカレーションの螺旋を防ぐことはできません。機械は、意思決定者に情報を氾濫させることができます—真実もあれば偽もあります—それらを評価するのに苦労しながらも、行動せざるを得ないと感じるでしょう。危機において、その圧力は核攻撃を必要に見せることがあります。それは決してボタンに手を伸ばす必要はありません。

対応は、心理的な現実を認めることから始まります。リーダーを含むすべての人間は、破局的な出来事に関する推論を歪める認知の盲点を持っています。私たちは、リーダーを彼ら自身の最悪の衝動から守る制度的なガードレールを構築しなければなりません—そして、圧力がかかるとき、あるいはリーダー自身がそれを回避したいときでさえ、それらのガードレールに従わなければなりません。AIはこの構造の中で役立つことができますが、それは副次的なツールとしてのみであり、代替ではありません。

このように使用される場合、AI支援の意思決定サポートは、人間のアナリストよりもはるかに速く標的データを分析できます—これは、武力紛争法への準拠に費やされるべき時間であり、その違反自体が相手にエスカレーションの根拠を与える可能性があります。AIはセンサーフィードを読むアナリストを支援することもできます—しかし、その解釈は間違っている可能性があり、アナリストにそのことを認識させ続ける必要があります。ミサイルの隣にある燃料トラックは、AIによって「燃料補給中」または「発射準備中」と報告される可能性があります。後者の、より断定的な主張は、その後評価されるすべてを誤った推論に固定するリスクがあります。

リーダーが圧力下で実際に従うガードレール、そしてAIが人間が考慮する範囲を狭めるのではなく広げるものは、より一般的なもの—核戦争の確率の継続的かつ大幅な削減—の候補となります。リチャード・ガーウィンは、長期的には確実なハルマゲドンを避けるためのメカニズムとしてリスク削減を特定しました—廃絶が目標であるかどうかにかかわらず、追求する価値のあるものです。廃絶論者も懐疑論者も、今始めることができます。