検証は知識ではない：科学には答え以上のものが必要

検証は知識ではない

これは、ノースウェスタン大学のコンピュータサイエンス教授であり政策フェローであるジェシカ・ハルマン氏によるゲストエッセイです。

［画像: ディエゴ・ベラスケス、『蜘蛛の糸の寓話』（1657年頃）］

数学的進歩における厳密な証明の役割についての論文で、ビル・サーストンは、数学研究における成功の尺度は「私たちがやっていることが、人々に数学についてより明確かつ効果的に理解し、考えることを可能にするかどうか」であると述べています。科学のためのAIに関する最近の多くの議論は、理解と答えの間の緊張関係に焦点を当てています。科学とは、人間が洞察を得ることでしょうか、それとも検証可能な解を記録することでしょうか。

一方の側は、成果を優先します。進歩は、たとえ人間がその作成に関与していなくても、長年の未解決問題の検証可能な証明や病気の治療法に見られると示唆されています。もう一方の側は、人間の理解が最も重要であると主張します。なぜなら、それが新しい発見を正典に統合する原動力となり、次世代を形成し、鼓舞するからです。しかし、最初の側、つまり正しい成果を重視する人々は、これをゲートキーピングやノスタルジアとして却下します。

テリー・タオが最近の講演で、AIが生成したがん治療法（正式な正しさの証明書とフェーズ3試験の合格を含む）を、その発見方法について人間が全く理解していない状態で受け入れることに、どれほど快適に感じるかという思考実験を提起したとき、批評家たちはタオの推論は要点を外していると示唆しました。ステージ4のがん患者がその治療法を歓迎するのは当然のことです。

他の例は、著者の曖昧さに関係しています。トム・ディエトリッヒは、人間が専門知識を持たないと思われる著者によって提出された論文に関するarXivの増大する問題について書いています。多くの人が、検証が解決されているのであれば、説明責任（つまり、主張に対して説明責任を負い、その主張が何に基づいているかを説明でき、異議が唱えられたときに応答できること）がなぜ重要なのかと疑問視しました。私は、査読者は、AIによって書かれたと強くフラグ付けされないテキストに対して、専門家の判断を留保し、人間的な交換としてのレビューを優先することを提案しましたが、一部の人々はこれを真理探求の障害と見なしており、それを維持しようとする試みとは見なしていません。

問題は、もし私たちが皆、成果が重要であること、つまり長年の未解決問題の解決策を気にかけ、最終的に病気の治療法を知りたいと望んでいることに同意するならば、理解は何か別のものとして現れるということです。それは、治療法や証明そのものの隣にあるオプションのように見える精神状態として提示され、最初の場所に到達するために歴史的に必要だったからという理由で、二次的な制約として簡単に却下されてしまいます。

理解の擁護者がこの分離に異議を唱えないと、彼らはすぐに議論に負けてしまいます。成果を優先する側は、彼らが新しい未来を想像しようと十分に努力していないだけだとレッテルを貼ることが容易になります。しかし、私たちが繰り返し頼っている理解の表層的な枠組みは、これらの例が共有するより深い懸念を覆い隠しています。それらは、誰かの精神状態よりも、何かがうまくいかなくなったときに何が起こるかということに関するものです。タオのシナリオは、AIが試験自体の弱点を悪用して試験に合格した可能性にかかっています。その主張を説明できない著者の論文は、その主張が失敗した場合に相談できる相手を残しません。

どこで、科学的価値は正しさのみにあると信じるようになったのでしょうか？

この直感は、見かけほどAIに関するものではありません。AIに科学を主導させる傾向は、AIとの未来についてどれほど先見の明があるかを示すものではなく、冷戦時代から私たちの思考を形作ってきた「価値中立的な理想」の症状です。つまり、証拠が示すものを判断する際に、認識論的な基準（倫理的および社会的な価値観ではない）のみが場所を占めるべきであるという見方です。それがAI for Scienceに関する私たちの議論に浸透しているのは驚くことではありません。価値中立的な理想を否定することが哲学の主流になったのは、ほんの数十年前のことです。

この理想は非現実的な期待を生み出し、AIの成果が科学記録に急速に浸透することへの抵抗が、反AIでも反科学でもないことを見えなくさせます。リスクは、単一の議論や分野よりも大きいです。価値中立的な理想は、私たちが真理を探求する方法を歪め、検証された結果を知識と誤認させます。それは、科学を支える人間の能力を脅かし、批判と説明責任を、知識生産のメカニズムではなく、不便なオーバーヘッドと見なさせます。それは、理解とは何か、そしてそれゆえにそれがなぜ重要なのかについて、私たちを混乱させます。

科学は「自然に整合」しているのか？

科学の社会契約は、第二次世界大戦後の米国で生まれた、科学と社会の間の理想化された関係を表しています。科学者は公的資金と自律性を受け取り、その見返りに社会はその探求の恩恵を受けます。純粋科学と応用科学の区別と、基礎研究が応用研究を支える「線形モデル」に基づいたこの契約は、理解の価値についての抽象的な議論を実社会の利益に置き換え、科学を見る方法を再形成します。1800年代後半の懸念する科学者たちの議論を引用すると、彼らは電灯や蒸気機関のような新しい発明の公的な賞賛が、彼らがより本質的な貢献と見なしていたものへの尊敬を圧迫することを心配していましたが、それはまた、科学の核心は「文脈的な価値観」から切り離されなければならないという価値中立的な理想を形成するのに役立ちました。科学的進歩のモデルとして、社会契約が広範な社会的同意を得る（そしてそれに伴って科学研究への政府投資を強化する）ためには、真理探求を、政治的または社会的な圧力に影響されない、方法の非個人的な適用と想像する必要がありました。

科学哲学者は、単に「認識論的」（または「認知的」）価値のみに基づいた探求を熱望しました。科学者の意図や価値観からのいかなる影響も、正しい方法が最小限に抑えるべきリスクと見なされるようになり、主張が正しければ誰がその主張をしたかはなぜ重要なのかという今日の疑問の基盤を築きました。

AIの科学における役割に関する多くの議論は、科学的真理が正しい手順の使用だけで実現できるかどうかの意見の相違に帰着します。19世紀後半から20世紀初頭にかけて、科学プロセスからできるだけ多くの科学者自身を排除しようとする、ほぼ道徳的な推進力があり、個人の信頼をシステムへの信頼に置き換えることができました。

科学文献上で自由に活動し、実験的に検証および介入できるAIエージェントは、19世紀の科学倫理の長年の待ち望まれた実現のように見えます。「AI for Science」というレトリックの多くは、私が「科学は自然に整合している」という前提と呼ぶものを引き継いでいます。つまり、さまざまな正当化手順を持つ科学的方法を大規模に実行することで、真理を生み出すために人間の判断を必要としなくなる場所に到達できるということです。

真実であることは、理解や説明責任から本当に切り離せるものでしょうか？数学は最近の議論の中心となっています。なぜなら、それは正しさをきれいに切り離せる事例を提供してくれるからです。証明は、人間がその仕組みを理解していなくてもAIによって検証できます。検証の後、数学者が依然として求めているのは、機械的な客観性では提供できない手がかりです。

真理は価値主導の実践である

科学哲学者は現在、価値中立的な理想が適切または有益であるという考えを主に否定しています。価値観は、仮説を拒否するか受け入れるかが結果の重み付けに依存するため、入り込んできます。数学のような抽象的な領域でさえ、それらをふるいにかけるために価値観を持ち込まないようにするには、あまりにも多くの可能な真理があります。数学者は、原理的には機械が与えられた公理のセットから証明できる定理のセットを列挙できることを長い間受け入れてきました。しかし、この空間の規模は巨大であり、人々はそれを探索するための巧妙なショートカットを求める動機となっています。

しかし、自動化された定理証明を大規模に行っても、すべての定理が人々にとって等しく興味深いわけではありません。価値観は、特定の未解決問題が広く支持を得る選択、そしてコミュニティが結果を受け入れ内部化するプロセスに固有です。フェルマーの最終定理は、当初、本質的に重要な推測だったからではなく、フェルマーが証明を持っていると主張したが提供しなかったため、他の人々が挑戦するように誘惑したために注目を集めました。それは、モジュラー推測から導き出されることが示されたときに中心的なものになりました。モジュラー推測は、それまで予期されていなかった異なる数学分野間のつながりを提案しました。正式な検証が最近まで行われなかったにもかかわらず、ピアレビューによってエラーが露呈し、元の証明の修正版につながった後、解決されたと見なされました。認識論的な好みは、それがなければ、事実の区別がつかない洪水に直面するため、発達します。好みとは、問題を選択し、それらの一部を追求し、どれが新しい理解やアイデアを生み出すかを見ることで、私たちが時間とともに発達させる能力です。

AIが選択を引き継ぐと、そもそも科学的判断能力を養いたいと多くの人が動機づける個人的な満足感とコミュニティの協力を失うリスクがあります。タオは、未解決問題を目的地ではなく灯台として描写することで、同様の点を指摘しています。AIによって時期尚早に到達すると、その周辺の分野が不毛になる可能性があります。分野がAIによって変革され、興味深く人間の願望に沿ったものを判断できる人々を育成しなくなると、基本的な人間の利益に役立たない科学に行き着くかもしれません。その結果は、対象者から注目を集めるでしょうが、その後の発見の糧を提供することも、次世代を形成するプロセスに貢献することもありません。

これは、AIが平均的な数学者よりも優れているにもかかわらず、人間の反省と探求が維持されることを保証する、新しい種類の線形モデルの動機付けのように聞こえ始めます。人間の介入なしに進むリスクは漂流です。作業を実行するためにエージェントに大きく依存している人は誰でも知っています。アイデアを実装および検証するための明確に指定されたパイプラインを提供していると考えている場合でも、予期していなかったブランチのニュアンスに陥りやすいです。認識論的な主体性を主張しないと、「どこからも見えない視点」に行き着きやすくなります。それは純粋な客観性の一形態ではなく、対応する質問のない答えです。整合性を維持することは、一度解決して次に進む問題ではありません。それは、価値観を明確にし、それらの間で裁定できる人間の供給を必要とします。

機械的な客観性は、個人への信頼を手順への信頼に置き換えようとしましたが、その置き換えは意図したとおりには決して起こりませんでした。その理由を理解するには、真理探求が依存する相互作用を見る必要があります。

社会性は合理性の汚染ではない

科学の社会的側面を合理性に反対するものと見なす傾向があります。科学の社会的な側面は、悪い慣習、集団行動、権威への服従のような病理を引き起こす可能性があります。しかし、私たちが知っている科学的知識は、常に、外部の検証エンジンからではなく、価値観と専門知識を持ち込み、異議申し立てに応答して見解を修正する多くの認識論的エージェントの産物でした。

科学哲学者ヘレン・ロングノが論じているように、客観的な公的知識の基盤は、共有された言語と、私たちが認識する方法とは独立して存在するものを記述していると信じることです。もし私たちが世界の記述に同意できるなら、2つのことが可能になります。私たちは知識を得るために他者の経験に頼ることができ、科学的主張を意味のある方法で批判できます。

科学コミュニティは、私たちが互いの発見の上に構築することを可能にする共有の基準と語彙を発展させます。私たちはすべてを直接検証する必要はありません。そして、他者の発見に頼ることが、特に彼らが私たちに欠けている証拠や専門知識を持っている場合、それを私たち自身で調査するよりも、何かを信じるためのより良い根拠を与えることがあります。

批判なしには、客観性はありえません。それは、ロングノが言うように、「特定の科学コミュニティで発生する変革的な尋問の深さと範囲に依存」しています。批判が変革的であるためには、それを受け取る義務のある誰かが必要です。

ピアレビューや出版後の批評のような実践は、偽陽性をふるいにかけるための単なる事実確認ではありません。それらは、コミュニティのメンバーがお互いを彼らの主張が意味することに対して責任を負わせ、個人的な好みの影響の線引きを交渉することに関するものです。ロングノが説明するように、「ピアレビューの機能は、データが正しく、結論が十分に推論されていることを確認するだけでなく、現象に対する別の視点をもたらすことであり、その表現は元の著者（たち）が彼らの観察と結論をどのように考え、提示するかを改訂する可能性があります。」

方法論自体は、社会的なプロセスとして最もよく理解されており、進歩はコミュニティが批判的な対話をどれだけうまく維持できるかに依存します。この対話は、その中の人々を構築し、彼らが知識を生産すると同時に、理解し判断を行使することが何を意味するかを形作ります。

もし批判と他者の主張を信頼する能力が知識生産に不可欠であるなら、AIがこれらの同じ機能を果たすことができるかどうかを尋ねることができます。モデルは人間の関与なしに変革的な批判を実現できるでしょうか？直接的な理解を得ることなしに、AIエージェントの主張を信頼できるでしょうか？そして、もしそうするなら、私たち自身の疑問を持ち、批判し、結果の背後に立つ能力はどうなるのでしょうか？

何かを真実であると主張するとはどういうことか？

結果が正しければ、誰がその結果を主張したかは関係ないという見方は、哲学における信頼性論的認識論に対応します。古典的な認識論は、真の信念は、信者がその信念の理由を提示できる場合にのみ知識であると主張しました。対照的に、信頼性論的認識論は、真の信念は、少なくともいくつかのケースでは、信者が正当化する理由を提示できなくても、それらの状況で真の信念の信頼できる生産者である能力を行使してそれらの信念に到達した場合、本物の知識を表すことができると主張します。

しかし、信頼性が提供できるものには限界があります。哲学者ロバート・ブランドンは、メンバーが真の信念を持ち、信頼できる手段でそれを獲得したが、そのいずれについても理由を提示できないコミュニティを想像しています。彼らの信念の源に信頼性を帰することはそれ自体推論に基づく正当化の一形態を提供するので、コミュニティはそれらが信頼できることを知ることができません。それらは、周囲の何かを示す道具としては信頼できますが、それ自体を認識することはできません。信頼性という概念さえ持つことができないブランドンは、彼らは知識を持つことができないと結論付けています。

信頼性だけでは知識を生み出せない場合、何が知識を生み出せるのでしょうか？ブランドンの応答は、何かを知識と呼ぶことは社会的な行為であるということです。誰かの持っているものを「知識」と呼ぶためには、私たちは彼らにコミットメント（彼らがそのことを信じていること）と、その信念に対する権利（それが正当化されていること）を帰属させる必要があります。しかし、私たちがそのコミットメントを自分自身で引き受ける必要もあります。つまり、私たちはその信念を支持するということです。

主張を最初に述べた科学者は、私たちがその主張を繰り返すこと（そしてそこから結論を導き出すこと）を可能にし、異議が唱えられた場合にそれを正当化する責任を彼らに負わせます。人間科学ではこれを比較的容易に行います。なぜなら、もし元の主張に何か問題があったことが判明した場合、それを解決するために相談できる責任ある情報源があるからです。主張は社会的な意味を持ちます。なぜなら、私たちは元の著者を、述べられたことに対して責任を負わせることができるからです。

しかし、理解できないAIの結果に依存する場合、頼れるのは結果に名前が載っている人だけです。これがarXivが懸念している問題です。著者は自分が理解できないことに対して責任を負うことはできず、したがって、それが何に基づいているのか、または撤回されるべきかどうかを述べることで批判に応答できません。言い換えれば、形式的な著作者は存続しますが、実質的な著作者は弱まります。そして、私たちは、そもそも「客観的」な結果という私たちの概念を維持している変革的な批判の可能性を失います。

AIは説明責任のある認識論的エージェントとして機能できるか？

自然な疑問は、AIエージェント自体に批判を向け、それが結果を擁護するか、譲歩して修正するかを決定させることができるかどうかです。AIがその主張にコミットできる認識論的エージェントであるとはどういう意味でしょうか？

今日のAIエージェントには、克服する必要のあるいくつかの課題があります。一つは、人々が帰属させる意味での持続性とアイデンティティの欠如です。あるセッションで主張したことを撤回するエージェントは、次のセッションでもその修正またはその背後にある理由を維持する義務はありません。新しい結果が新しいカスタムマルチエージェントインフラストラクチャによって生成される場合、人間の科学者のネットワーク内で自然に発生するような「スコアを付ける」ことが困難になります。

科学知識の生産は、利害関係を持つ認識論的エージェントに依存しています。誤った主張をすることは、科学者のコミュニティ内での地位を変え、それによって個人への信頼が調整されます。AIエージェントがその主張を撤回する際に直面する同等の損失は、特にその持続性の欠如を考えると不明確です。

そのような限界を克服するには、AIの開発方法に大きなシフトが必要です。各交換で最大限に役立つことから、人間の科学者が傾向があるように、それらの交換全体で説明責任を負う方向へと。これは十分に可能かもしれません。しかし、説明責任のあるAIだけでは、私たちの人間的な視点から意味のある科学を維持するには十分ではないと思います。

主張に対して応答できるエージェントを開発することに成功したとしましょう。これは説明責任が要求することの半分ですが、証拠を求め、仮定に疑問を呈し、答えが回避的であると認識することによって、それらを説明責任を負わせることができる他の人々も必要です。他者の主張の承認は、私たちが承認しているものに関与する能力と同じくらい良いものです。

これらは、問題を選択し、仕事を擁護し、論文をレビューし、他者の結果に異議を唱えることによって、それらを行使することによって構築される能力です。それらを行使しないと、それらを失います。誰もその答えの良さを判断できない場合、完全に説明責任のあるAIから何を得るかは不明確です。理論上は真理探求があっても、それを実行できる人は誰もいないでしょう。

サーストンの数学的成功の概念は、彼が示唆している、分野の知識を尋問し、拡張し、修復するこの共有された能力を指しています。彼が言うように、「その分野の人々がアイデアが機能することに快適である限り、正式な書面による情報源を持つ必要はない。」検証は、結果が技術的な意味でチェックアウトすることを示してくれますが、それを裏付ける準備ができている人々のコミュニティだけが、それを知識に変えることができます。

もし私たちが、正しさがすべてであると見なす価値中立的な理想に訴え続けるなら、私たちは、それらを価値あるものにする人々による真理探求と理解を無視して、成果を優先するツールを構築し続けるでしょう。

コスモス・インスティテュートは、人間の繁栄のためのAIを構築する哲学者ビルダーのアカデミーです。私たちはフェローシップを実行し、迅速なプロトタイプに資金を提供し、オックスフォード大学、アスペン・インスティテュート、リバティ・ファンドなどの機関とセミナーを開催しています。