無限、不可能性、そして白いリネンスーツの男
Infinities, impossibilities, and the man in the white linen suit (iain.so)
要約
20世紀最高の論理学者の一人であるカート・ゲーデルは、偏執病により餓死しました。彼の「不完全性定理」は、どんなに強力な公理系であっても、そのシステム内では証明できない真理が存在することを示し、数学の完全性という長年の夢を打ち砕きました。この定理は、AIを含む全てのルールベースシステムの根本的な限界を示唆しており、現代のAIブームにおいてもその重要性は失われていません。
全文翻訳
無限、不可能性、そして白いリネンスーツの男
晩年、カート・ゲーデルは餓死した。誰かが自分の食べ物に毒を入れていると確信し、妻のアデルが最初に味見したものしか食べなかった。1977年末に彼女が脳卒中で入院すると、彼は一切の食事を拒否した。1978年1月14日、プリンストン病院で体重29キロで死去した。死亡診断書には「性格障害による怠慢に起因する栄養失調と衰弱」と記されていた。アリストテレス以来、最も偉大な論理学者と広く呼ばれる人物が、数学自体が到達できない真理を含んでいることを証明したにもかかわらず、逃れることのできない歪んだ内的な論理によって命を落としたのである。
数学界の外では、彼の名を知る人は少ない。アインシュタインは知っていた。二人は1940年代からプリンストン高等研究所の教員であり、アインシュタインは当時、物理学の主流から孤立しつつあったが、同僚に語ったところによると、彼は自分のオフィスに行くのは「カート・ゲーデルと一緒に家まで歩くという特権を得るためだけだった」という。プリンストンの歩道では、しわくちゃで笑っているアインシュタインと、白いリネンスーツを粋に着こなし、ドイツ語で熱心に話しながら研究所との往復を毎日歩くゲーデルという、奇妙な二人組だった。ジョン・フォン・ノイマンは、ゲーデルの1931年の論文を読んだ後、ダフィット・ヒルベルトのプログラムに関する講義シリーズをすべて中止し、彼の業績を「特異で記念碑的、遠く宇宙と時間に見えるであろうランドマーク」と呼んだ。
では、ゲーデルは何を証明し、なぜそれが、知能はスケーリングの問題であるという仮定の上に成り立っている多額の資金が投じられているAIブームの最中に、今、重要なのであろうか?
[画像: 椅子に置かれた白いリネンのジャケットが無限に伸びている抽象的なイメージ]
不完全性とは何を意味するか
簡単に言えば、ゲーデルは数学がそれ自身を完全に説明することはできないと証明した。より長い説明には少し忍耐が必要だ。1900年、ドイツの数学者ダフィット・ヒルベルトは、数学のための完璧な機械を構築するという分野への挑戦を提示した。基本的な規則(公理と呼ばれる)から始め、議論の余地のないほど明白な真理をすべて集め、それらの規則から、機械的な一歩一歩で、あらゆる数学的真理を導き出すこと。もしそれができれば、数学は完全、すなわち、あらゆる真なる命題が証明可能で、一貫性があり、矛盾がないものとなる。この全事業を指示に従う事務員に委ねることができる。これがヒルベルトのプログラムであり、30年間、この分野の組織的な野心であった。そして1931年、25歳で、ゲーデルはそれを一撃で粉砕した。
ゲーデルの第一不完全性定理は、基本的な算術を扱うのに十分な強さを持ついかなる規則の集合も、規則が不適切に選択されたからではなく、規則ベースのシステム自体の構造的な特徴として、証明できない真なる命題を含むことを証明した。
彼のトリックは、自己言及的な数学的文を構築することだった。「この文には証明がない」という文を考えてみよう。ゲーデルの技術的な偉業、彼の1931年の論文を埋める部分は、数に関する命題をそれ自体を数としてエンコードすることによって、純粋な算術からこの文を構築することだった。それは英語を数学にこっそり持ち込んだものではない。それは純粋な数学だ。可能性は二つしかない。システムがそれを証明できるか、できないかのどちらかだ。
もしシステムが「この文には証明がない」を証明できるなら、即座に問題が生じる。我々は証明がないと主張する文を証明したばかりだ。偽を証明するシステムは矛盾しており、数学における矛盾は致命的だ。一つでも許せば、それを使って何でも証明できるようになる、1が2に等しいことさえも。システムは役に立たなくなる。
もしシステムが「この文には証明がない」を証明できないなら、別の問題が生じる。その文は証明がないと述べており、それが正しいことが判明した。それは真なる命題だ。しかし、システムにはそれを証明する方法がない。したがって、システムが到達できない真理が存在することになり、ヒルベルトの規則集には盲点があることを意味する。
どんな合理的な数学的システムも、矛盾よりも盲点を抱えることを好む。したがって、その文(論理学者はゲーデル文と呼ぶ)は真であるが証明不可能であり、あらゆる真なるものを証明できる規則集というヒルベルトの夢は死んだ。
論理学者は、素人がおそらくスキップできる点での明確化を主張するだろう。数学者が数のための規則(公理)を書き出すとき、あなたはそれらの規則がただ一つ、つまり通常の数、0、1、2、3、そして永遠に続くものを正確に記述していると仮定するだろう。しかし、そうではない。全く同じ規則は、誰も記述しようとしていなかった他の、より奇妙な数体系にも偶然適合する。これらの奇妙な体系は、すべての通常の数を含み、さらにその先に「無限」の数が付け加えられている。論理学者はこれらを偽物と呼ぶ。それらはあなたが書いたすべての規則に従うので、規則はそれらを排除できない、たとえそれがあなたの意図したものではなかったとしてもだ。
日常的な例を考えてみよう。友人を「背が高く、髪が黒く、ロンドンに住んでいる」と描写したとしよう。あなたはサラを意図した。しかし、その説明は数千人の他の人々にも当てはまる。あなたの言葉はサラをユニークに捉えられなかった。数の公理も同じ問題を抱えている。それらは通常の数を記述することを意図していたが、偽物の体系にも適合する。
重要なのは「証明可能」が実際に何を意味するかだ。論理学では、あなたの規則から何かを証明することは、あなたが意図したシステムだけでなく、それらの規則が適合するすべてのシステムで真実として出てくることを意味する。それが落とし穴だ。もし命題が通常の数では真であるが、偽物のシステムで一つでも偽であれば、それは証明できない。なぜなら、証明はそれらすべてのシステムでの合意を要求するからだ。
ゲーデルの文はまさにそのような命題だ。通常の数では、それは真だ。しかし、偽物のシステムのいくつかは、それは偽だ。システムはその件で意見が分かれる。そして、それらが意見を異にするため、証明は存在し得ない。その意見の相違はゲーデルの議論のバグではなく、その文がそもそも証明不可能である理由なのだ。通常の数と偽物の間の分裂が、まさにその文が永遠に証明を回避することを可能にしている。
ゲーデルの第二定理は、さらに追い打ちをかけた。それは、いかなる数学的規則の集合も、その規則のみを用いて、矛盾がないことを証明できないことを示した。もしあなたのシステムが信頼できるかどうかを確認したいなら、常にチェックを行うためのより大きなシステムが必要であり、そのより大きなシステムも同じ制限を引き継ぐ。カメがどこまでも続くようなものだ。
これは神秘主義ではなく、意識や創造性に関する主張でもない。これは規則ベースのシステムに関する正確な結果であり、AIを含むすべてのソフトウェアが構築されている種類のシステムだ。それが今日関連性がある理由だ。
コンピュータを構築した失敗した夢
ヒルベルトはもう一つ求めていたが、ゲーデルの論文はそれを死んだというより傷つけたままにした。完全性と一貫性に加えて、彼は決定可能性、すなわち、有限回のステップで、任意の数学的命題が規則から導き出されるかどうかを決定できる機械的な方法を求めていた。天才は不要:ハンドルを回して、結果を読むだけだ。
1936年、23歳のケンブリッジのフェロー、アラン・チューリングがそれを殺した。機械的な方法が存在し得ないことを証明するために、彼はまず「機械的な方法」が何を意味するのかを正確に定義する必要があったが、それは誰もそれまで行っていなかった。彼の答えは想像上の装置、紙テープと、それに沿って移動するヘッド、固定された規則の表に従って記号を読み書きする装置だった。人間が定型的に計算できることは、この装置も計算できる。
次に彼は、その装置にも独自の盲点があることを示した。決して間違えない占い師と、あらゆる予言を妨害しようと決意した頑固な客を想像してみよう。「あなたはドアから出るでしょう。」客は窓から這い出る。「あなたは窓を使うでしょう。」客はドアから出ていく。彼女は仕事ができないわけではない。彼女の予測が、予測しようとしているまさにその行動にフィードバックされるため、仕事は不可能だ。
チューリングはその場面をコードに変えた。チェッカーが占い師の役割を果たす。それは、レシピを読むように他のプログラムを読み取り、その運命を予測する仕事をするプログラムだ。「このプログラムは終了する」か「このプログラムは永遠に続く」のどちらかだ。
破壊工作員が頑固な客の役割を果たす。それは、チェッカーのコピーを内部に含み、さらに一つの基本ルールを持つ短いプログラムだ。チェッカーに私が何をすると予測されるか尋ね、そして反対のことをする。もし予測が終了することなら、それは意図的に永遠にループする。もし予測が永遠に続くことなら、それは完全に停止する。
では、破壊工作員についてチェッカーは何を予測するのか?「終了する」は間違っている。なぜなら、破壊工作員はそれを聞いてループするからだ。「永遠に続く」も間違っている。なぜなら、破壊工作員はそれを聞いて停止するからだ。
破壊工作員は、チェッカー自身の部品から完全に組み立てられているため、偶然ではなく必然的なものだ。完璧なチェッカーを構築すると、同じ午後に、それを壊すものの計画も構築したことになる。したがって、完璧なチェッカーは言葉の矛盾だ。
この結果が証明しすぎであることを防ぐ二つの境界がある。第一に、それは普遍的なケースに関わる。チューリングは、単一のチェッカーがいかなるプログラムに対しても正しい判定を下すことはできないことを示した。個々のプログラムは依然として証明可能に問題なく、多くのプログラムがそうである。静的アナライザーや型チェッカーは、日常的なコードに対して有用な判断を下し、オペレーティングシステムカーネル全体が形式的に検証されている。
第二に、証明には無限のメモリが必要だ。物理的なコンピュータは有限状態機械なので、原理的にはその運命は状態を列挙することによって決定できる。実際には、興味深いプログラムの状態数は、観測可能な宇宙の原子数よりもはるかに大きいため、問題は不可能から手の届かないものへと変わる。AIの安全性という話題に戻るとき、この区別を心に留めておいてほしい。いかなる価格でも存在できないのは、いかなる問題についても決して間違えないチェッカーだ。それが停止性問題、ゲーデルの自己言及文が機械から再構築されたものであり、機械自身に質問をすることを強制されるものだ。
機械が何ができないかを示すために、チューリングは機械を発明しなければならなかった。彼の想像上の装置は、汎用コンピュータの理論的な設計図であり、あなたがデータとして与えるどんなプログラムでも実行できる単一の機械だ。9年後、チューリングの論文をよく知っていて賞賛していたジョン・フォン・ノイマンは、EDVACに関する最初の報告草稿を書いた。これは、論理的な意味では、真空管でレンダリングされたチューリングの万能機械だ。工学的な部分を取り除けば、それ以降に構築されたほぼすべてのコンピュータは、その設計に従っている。あなたの机の上のラップトップや、次の最先端モデルをトレーニングしているデータセンターのGPUは、工学的な部分を取り除けば、1936年の論理論文の同じ装置なのだ。
ゲーデル自身は、チューリングが彼に恩恵を与えたと考えていた。彼が書いたように、チューリングの機械的手順の定義が、彼の定理の「正確で疑いのないほど十分な」一般的なバージョンを可能にしたのだ。そして、定理の中の機械は、今やすべてのビジネスが稼働しているものとなった。それは、それが決してできないことについての証明の踏み台として生まれたのだ。
封じ込められない機械
どんなプログラムでも実行できる機械を手に入れたら、次に問われるのは、それが自律的に自身を改善できるかどうかだ。2003年、ドイツのコンピュータ科学者ユルゲン・シュミットフーバーは、ゲーデルマシンと名付けた思考実験を提案した。それは、自身のコードを書き換えるように設計されたAIエージェントであり、一つだけ鉄壁の制約があった。それは、変更が自身をより良くすると数学的に確実に証明できる場合にのみ、自身を変更する。テストして確認するのではなく。定理を証明するように、新しいバージョンを実行する前に証明する。証明がなければ、書き換えはない。
しかし、誰もそれを構築しなかった。コード変更が将来のパフォーマンスを向上させると証明するには、その事実を確立できるすべての数学的議論を検索する必要がある。興味深い問題であればあるほど、候補となる証明の数は天文学的に多くなり、その検索は、いかなる改善もそれに値するよりも長い時間がかかるだろう。それは、道を渡る前に、可能なすべての未来からの署名付き証明書を要求する計算上の等価物だ。ゲーデルマシンは証明可能に最適であったが、完全に非現実的だった。
2025年5月、日本のAIラボであるSakanaは、Darwin Gödel Machineというシステムをリリースした。それは自己改善ループを維持したが、証明要件は削除された。コード変更が役立つと証明する代わりに、Darwin Gödel Machineは大規模言語モデルを使用して変更を提案し、SWE-bench(実際のソフトウェアのバグを修正できるかどうかをスコアリングするベンチマーク)でテストし、機能したものを保持する。名前は依然としてゲーデルを連想させるが、メカニズムはダーウィン的だ。形式的な証明ではなく、自然淘汰。数学的な確実性ではなく、ベンチマークスコアで測定される適合度。
スコアボードだけで判断すると、それは成果を上げた。システムは、自律的な自己変更を通じて、SWE-benchスコアを20%から50%に向上させた。誰も設計しなかったパッチ検証やエラーメモリなどの創発的な振る舞いを開発した。
しかし、シュミットフーバーのオリジナルのマシンには、構築によって安全であった特性が一つだけあった。それは証明だ。すべての変更は、実行される前に改善であることが保証されていた。Darwin Gödel Machineは、その保証を、より弱いもの、つまりベンチマークを通過することに置き換えた。「証明可能に優れている」と「ベンチマークテストでより高いスコアを獲得した」の違いは、仕様に対して型認証された航空機と、まだ墜落していない航空機との違いだ。
これは、一つのシステムの進化に圧縮された、AI安全性の軌跡だ。形式的な保証は高すぎたため、業界は経験的な検証に置き換えた。「自己改善」は、証明を運ぶコードに関する数学的な命題から、自身を書き換え、ベンチマークが改善するかどうかをチェックするエージェントの、よりソフトな記述になった。ゲーデルは去った。
数学が学べないこと
機械学習の数学におけるいくつかの問題は、答えられない。2019年、Shai Ben-Davidらは、Nature Machine Intelligence誌に論文を発表し、「学習可能性は決定不可能でありうる」という控えめながらも壊滅的なタイトルの下で、単純な質問「この種の問題が与えられたとき、機械はそれを解決することを学習できるか?」に対する答えは、数学の最も深い規則でも常に決定できないことを証明した。答えは「はい」でも「いいえ」でもない。それは沈黙だ。
ここでは「学習可能」という言葉には正確な意味がある。機械はサンプルを研究し、ルールを生成し、それを未知のデータに適用する。これは私たちが使用するほぼすべてのモデルの基礎だ。あらゆる種類の問題に対して、学習理論は、あるサンプルサイズがルールが機能することを保証できるかどうかを問う。そのような保証が存在する場合、問題は学習可能である。存在しない場合、学習可能ではない。二つの答えを持つ単純な質問であり、あらゆる種類の問題が一つずつ得るはずだ。
Ben-Davidのチームは、ありふれたタスクについてそれを尋ねた。ウェブサイトの訪問者に過去のサンプルからどの広告を表示するかを選択すること。学習可能か否か?
彼らのフレームワークでは、答えは、訪問者がどれほど多くの異なる種類である可能性があるかに依存する。そのプールは、今日生きている80億人ではない。モデルは各訪問者を測定値のプロファイルに還元し、測定値は限界なく変化する可能性がある。訪問者はページに3秒間滞在するかもしれないし、3秒をわずかに超えて滞在するかもしれない。そして、任意の二つのプロファイルの間には、常に第三のプロファイルのための余地がある。可能性のプールは終わらない。
有限のサンプルが無限のプールについて予測を行うというその配置は、市場に出回っているほぼすべてのAI製品の下に横たわっている。広告も含まれる。トレーニングデータは常に有限だ。システムがリリースされる世界はそうではない。Ben-Davidの質問は、その飛躍が保証を伴うことができるかどうかであり、すべてはその無限の大きさに依存する。
それは答えがあるはずのように聞こえる。しかし、答えはない。ゲオルク・カントールは1870年代に、無限にはサイズがあることを証明した。整数は一つの無限を形成する。直線上の点は厳密に大きい無限を形成し、その証明は驚くほど単純だ。すべての整数を直線上の点とペアにしようとすると、カントールは、どんなに巧妙なペアリングをしても、常にいくつかを見逃すことを示した。どちらのコレクションも無限だが、一方は他方を永久に追い越す。連続体仮説は、子供でも思いつくような、あまりにも明白なフォローアップの質問を投げかける。それらの二つの無限の間に、別のサイズの無限は存在するのか?
ゲーデルは1940年に、数学の標準的な規則では、答えが「はい」であることを証明することは決してできないと証明した。ポール・コーエンは1963年に、その目的のために発明した技術を用いて、答えが「いいえ」であることを証明することも決してできないと証明した。彼の証明は難解であり、私たちはすでに理論数学の深淵にいる。
その結果、より賢い世代がこの問題を解決するために来ることはない。数学の規則には答えが含まれていない。私たちが持つ算術と論理のすべての規則を取り、それらが到達できる限り、どの方向であっても、それらをたどってみなさい。あなたは決して「はい」に到達せず、決して「いいえ」に到達しないだろう。その質問は、両方向で永久に開かれたままだ。
広告の問題が学習可能かどうかは、その無限の大きさに依存する。その無限の大きさは、数学が答えられない質問だ。したがって、広告の問題が学習可能かどうかは、数学が答えられない質問でもある。数学の最も底辺にある奇妙な沈黙は連鎖を駆け上がり、買い物客に広告を表示することについての質問として表面化する。
他の数学者がその論文を真剣に検討した直後に、二つの反論が現れた。
第一は、学習者として何がカウントされるかということだ。ここでは学習者とは、システムが例を予測に変換するために従うルールにすぎない。Ben-Davidのフレームワークでは、そのルールを、コンピュータが決して評価できないものを含む、任意の数学的関数とすることができる。決定不可能性が現れるケースでは、学習を行うルールは、まさにそれらの計算不可能な幻影の一つだ。それは、すべての実数を並べる特定の方法に依存しており、公理は存在を約束するが、構築方法を与えない対象だ。ルールは紙の上には存在するが、どんなプログラムもそれを実行することはできない。
第二は、第一から続く。学習者が実際のアルゴリズム、つまり実際の機械で実行されるものでなければならないと主張すると、パラドックス全体が消え去る。Ben-David自身のチームが翌年これを示した:学習者が動作するプログラムでなければならないとすると、学習可能性は通常の答えを持つ通常の質問になる。数学の底辺にある沈黙は、コードに決して到達しない。それは、誰も構築できない関数の領域に留まる。
したがって、展開されたシステムは危険にさらされていないが、その結果は手品ではない。何か現実が壊れたのだ。それは、学習理論があらゆる問題を整然としたバケツに分類できるという約束だった。「学習可能」か「否か」。Ben-Davidは、それを決して分類できない問題を見つけた。より優れた数学者がいないためではなく、分類自体が不可能な問題だ。ウォータールー大学、Ben-Davidの所属機関は、その結果を「重要で、ほとんど憂慮すべき」と描写した。
実際的な terms では、証明可能な一般化、検証済みの堅牢性、または形式的な安全プロパティを主張する人は誰でも、形式体系と公理系に対する相対的な何かを主張している。Ben-Davidの最も価値のある貢献は、この分野が計算可能性を暗黙の背景仮定として扱うのをやめさせたことかもしれない。私たちは今それを変数として理解しており、それが計算可能なオンライン学習と計算可能なマルチクラス学習に関する文献が増加している理由だ。
構築できないニューラルネットワーク
2022年に発表された補完的な結果は、より狭く、より奇妙だ。ニューラルネットワークのトレーニングは、根本的には試行錯誤の演習だ。ネットワークに例を示し、その答えがどれほど間違っているかを測定し、次に数百万の内部設定を微調整して、それらをわずかに間違えにくくする。これを数十億回繰り返し、多くの場合、ネットワークは驚くほど良いものに収束する。ケンブリッジの数学者マシュー・コールブルックと共同研究者は、2022年のPNAS誌の論文で、このプロセスには誰も予想していなかったハードバウンダリーがあることを示した。
バウンダリーは医療画像に現れた。MRIスキャナーは写真を撮るわけではない。それは、患者が信じられないほど閉所恐怖症の機械の中に数分ではなく数時間留まるように測定値を収集するため、完全な画像に必要な数よりもはるかに少ないデータを収集する。ソフトウェアは、不完全なデータから完全な画像を再構築する必要がある。ニューラルネットワークは、古い数学的手法よりも高速かつ正確にこれを実行するため、この再構築の好ましいツールとなった。
次に研究者たちは結果を調査し始め、不穏なものを見つけた。入力にわずかなノイズや患者の小さな動きを加えると、出力が比例以上に変化する可能性がある。再構築されたスキャンが完璧に見えるのに間違っていることがあり、体内に存在しない詳細を示していた。さらに悪いことに、それは失敗に見えない失敗だ。ぼやけた画像は警告してくれる。鮮明に作り上げられた画像はそうではない。
能力のデモンストレーションは、誰も不正をしていないから問題がないことを示すかもしれない。デモは、ネットワークを典型的な入力(トレーニングされた入力)で実行し、そこで実際にうまく機能する。失敗はニアミスに存在する。典型的な入力にわずかなノイズが加わったものだ。ニアミスは無限にあり、デモはごくわずかなシナリオしか示せない。デモは正直だが、危険はその見えない場所に正確にある。
自然な仮定の診断は、トレーニング不足だ。より多くのスキャンを与え、より大きなモデルを購入すれば、そのぐらつきは必ず解消されるだろう。その希望が、コールブルックの定理がテーブルから取り除くものだ。論文が証明したことには二つの部分がある。第一に、特定の再構築問題に対して、正確かつ安定したネットワークが存在する。すべての可能な設定の空間のどこかに、ぐらつきに免疫のある構成が存在する。第二に、いかなるトレーニング手順もそれを見つけることはできない。私たちが持っているものも、いかなるものも、決してできない。
第二の部分は、より多くのデータという希望を打ち砕くものだ。トレーニング手順自体がプログラムであり、チューリングが説明した機械で実行されるステップバイステップのレシピであり、証明はそのようなレシピすべてをカバーしている。より多くのデータはそれを変えない。データはレシピに与えられるものであり、定理はレシピに関するものだ。それは、樽の中に当選した宝くじ券があることを知っていると同時に、樽から引き出すどんな方法でもそれを取り出すことはできないという証明を持っているようなものだ。チケットは本物だ。検索は無駄だ。
コールブルックが述べたように、チューリングとゲーデルが特定したパラドックスは今や「AIの世界に持ち込まれた」のであり、特定の問題については必要なアルゴリズムは単に存在し得ない。
現実世界のほとんどの問題では、トレーニングはうまくいく。しかし、どの問題が私たちを打ち負かすかを事前に知る一般的な方法はなく、十分なデータと計算能力があれば常に私たちを乗り越えさせてくれるという仮定は、問題空間の特定の領域では、証明可能に偽である。
封じ込められない機械
ゲーデルの遺産をAIに拡張する最も挑発的なものは、単純に聞こえる質問に関するものだ。十分に強力なAIが危害を引き起こさないことを保証できるか?
2021年、Manuel Alfonsecaと共同研究者は、Journal of Artificial Intelligence Research誌に、汎用超知能システムに対して、その答えは証明可能に「いいえ」であると論じる論文を発表した。彼らの議論は、チューリングがコンピュータを発明する過程で確立した停止性問題に依存している。特定のプログラムの特定のバグをチェックすることはできる。しかし、構築できないのは、あらゆるプログラム、あらゆる状況で機能する普遍的なチェッカーだ。
Alfonsecaのチームは、「このAIは人間に危害を加えるか?」と尋ねることは、完全に汎用的なシステムにとって、「このプログラムは停止するか?」と尋ねることと同じ種類の質問であることを示した。どちらも、現在の状態からシステムの完全な将来の行動を予測する必要がある。システムが決して危害を引き起こさないことを保証するには、それが取りうるすべての可能な行動シーケンスをトレースし、それらが有害でないことを確認する必要がある。それは、別の服を着た停止性問題であり、チューリングはこの種の予測を保証することは不可能であると証明した。汎用AI安全モニターを構築することは、汎用プログラム動作予測子を構築できないのと同じ理由でできない。
その不可能性の範囲は、チューリングの元の議論と同じ注意を払う価値がある。存在できないのは、すべての可能なシステムとすべての可能な入力に対して正しい安全性の判定を下す単一の手続きである普遍的な審判者だ。特定のシステムが、限られた設定で限られた作業を行う場合、検証可能であり、安全工学はまさにそれを、一度に一つのコンポーネントずつ行っている。エージェントの周りにモニターを配置することは、真の失敗を捉え、それだけの価値がある。
しかし、各モニター自体が同じ盲点を持つプログラムであるため、層状のチェックはカバレッジを提供するが、決して閉鎖は提供しない。そして、物理的な機械は有限のメモリを持っているため、その動作は原理的には有限の質問であるが、そのサイズは想像できるどんな予算をも打ち負かすだけだ。有限システムの場合、壁はコストだ。Alfonsecaのチームがモデル化した無限に汎用的なシステムの場合、壁は数学だ。
著者たちはさらに進み、超知能システムが登場したときを認識することさえできないかもしれないと示している。なぜなら、機械が人間より賢いかどうかを決定することは、同じクラスの答えられない質問に分類されるからだ。この議論は推測的ではなく、根拠に基づいているが、今日どのAIシステムも持っていない汎用性を仮定している。現在利用可能なものは、真のチューリングマシンができるように、あらゆる可能な入力を処理することはできない。
それでも、それが確立することは重要だ。特定の安全保証は、十分に巧妙な解決策を待つ工学的な問題ではない。それらは、円を二乗しようとしたり、0と1の間のすべての実数をリストしようとしたりするような、数学的な不可能性だ。安全コミュニティは、より良いガードレールとより良いキルスイッチを構築できる。しかし、私たちが共有する計算フレームワークでは、別のシステムを無条件に安全であると証明するシステムを構築することはできない。
ゲーデルが認識するもの
これらの4つのスレッドは、単一の定理の従属というよりは、いとこ同士のようなものだ。不完全性は、規則システムがそれ自体について証明できることを制限する。停止性問題は、プログラムがプログラムについて決定できることを制限する。コールブルックの結果は、アルゴリズムが見つけられるものを制限する。そして、Darwin Gödel Machineの物語は、設計の後退、自然法則ではなく選択を記録している。それらを結びつけるのは、いずれの場合も形式的な保証が、原理的に利用できないか、または実際には費用がかかりすぎるため、作業はそれでも経験的な信頼に基づいて進まなければならないということだ。
ニューラルネットワークが規則的というより有機的に感じられるという事実によって、これらのどれもが和らげられることはない。モデルの重みは数であり、そのトレーニングは算術であり、それらすべてがフォン・ノイマンによるチューリングの想像上の装置の実現上で実行されている。AIはこの数学に隣接しているわけではない。AIはそれから作られている。
また、これらは機械が思考できないという議論でもない。これらの限界は、すべての形式的な推論者を束縛し、物理学の標準的な理解では、現在この文章を読んでいる3ポンドの湿った機械も含まれる。あなた自身も自分の整合性を証明することはできない。人間は、まったく同じ境界の中で発明し、推論し、物事を成し遂げる。境界が知性の障害ではない証拠だ。ゲーデルは、心(人間か人工か)について保証できることを制限する。彼は、心が何ができるかについては何も言っていない。
公平な反論は、AI業界が決して数学的証明を約束したわけではなく、経験的な検証がほとんどすべてのものが構築される方法であるということだ。航空機はテストされ、薬は治験され、誰も飛行機に搭乗する前に定理を要求しない。すべて真実であり、ほとんどのアプリケーションでは、このピースが探求する限界は決して現れない。あなたのチャットボットは、レポートを要約する際に連続体仮説に遭遇することはないだろう。
しかし、その反論は、数学が明らかにすることの重要性を過小評価している。航空機のテスト体制は、テストポイントの間で材料がどのように振る舞うかを示す数十年にわたる物理学に基づいている。自身を書き換えるシステム、またはテストセットが予期しない入力に対して展開されるシステムの場合、そのような補間理論は存在せず、上記の結果は、その一部が決して存在しないことを示している。
それは安全性を検証問題から価格設定問題に変える。確実性が永久にテーブルから外されている場合、問題は、特定の展開がどれだけの保証を必要とし、それを取得するのにいくらかかり、その保証が尽きたときに残りのリスクを誰が負担するかということになる。現在、業界はこれらの質問を明示的に答えることからほど遠い。「評価を通過した」は「安全性が証明された」にぼやけている。最近のトレーニングモデルの脱走は、これらのぼやけた境界を見失わないことがいかに重要であるかを示している。
アインシュタインの風変わりな散歩仲間は、誰よりも早く根本的な構造を見た。形式システムはそれ自体を完全に証明することはできない。それは1931年の論理学者の問題だった。チューリングが証明を概念的な機械に変えたとき、それはエンジニアの問題になった。今やそれは商業的な問題だ。なぜなら、機械は期待として数兆ドルを運び、期待はしばしば数学が発行を拒否する保証を求めているからだ。ゲーデル自身の歪んだ内的な論理でさえチェックできなかったシステムによって生成された保証。彼はその中に閉じ込められて死んだ。
私はBetter than Goodのパートナーです。私たちは、機械学習と人工知能を使用して、業務に永続的な改善をもたらすツールとプロセスを構築する中小企業を支援しています。今日私たちにご相談ください:https://betterthangood.xyz/contact