HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

バラの花びらが私たちに帰納法について教えてくれること

What Rose Petals Teach Us about Induction (oranlooney.com)

31 pointsby olooney5 コメント

要約

この記事は、観察から理解に至る普遍的な方法論、すなわち「帰納法」の根本的な問題を探求しています。著者は、バラの花びらの数をサイコロの出目から予測するシンプルな例を用いて、機械学習アルゴリズムがこの問題にどうアプローチするかを分析します。アルゴリズムの性能は「帰納的バイアス」に大きく依存し、問題の構造に合致したバイアスを持つものが迅速に学習できることを示しています。

全文翻訳

バラの花びらが帰納法について教えてくれること

[画像: バラの花びらの写真]


リチャード・ハミングはベル研究所の同僚に、「あなたの分野で最も重要な問題は何ですか?そして、なぜあなたはそれに懸命に取り組んでいないのですか?」と尋ねるのが常でした。それに対して彼らは、「ディック、まだ朝の8時半だ。コーヒーもまだ飲んでいない。そんな会話を始める人がいるか?」と答えたことでしょう。

それでも、良い質問ですよね?私にとって、その答えは明白です。「帰納法のための一般的な方法は存在するのか?」さて、皆さんは、科学的方法や統計学などがあるため、人類は帰納法をかなり理解していると思うかもしれません。しかし、そうではありません。私たちの理解の基盤にはギャップがあり、そこを渡ることができるのは、時折、場当たり的に過ぎません。

Hume はそれを「帰納の問題」と呼びました。よりキャッチーな名前は「ノー・フリーランチ定理」ですが、これは「定理」とはかけ離れたものです。それは単純に、観察から理解へと至る一般的で体系的な方法はない、ということです。

もしあなたがこれまでにこの問題に触れたことがなければ、なぜそれが大問題なのか理解できないかもしれません。私たちは皆、考えもせずに常にこれを行っているのではないでしょうか?行っていますが、どのように行っているのかを知りません。それは、それをどう教え、どう自動化し、あるいは正しく行っているのかさえ分からないということです。

必要なのは、数学的な洗練を特に必要とせずに、その考え方を説明するシンプルで具体的な例です。私はまさにそのような例を挙げ、様々なアルゴリズム的アプローチがどのように機能するかを示し、問題の中心にある避けられないトレードオフを説明しようとします。

すべてがうまくいけば、あなたは最も基本的な未解決問題の1つについて重要なことを学ぶだけでなく、例えば、フランソワ・ショレがARC-AGIベンチマークを導入した理由、AI研究者がワールドモデルについて話し続ける理由、そしてTransformerアーキテクチャが言語モデルにとってスイートスポットであると言うことが何を意味するのかを理解するのに役立つ実践的な直観を養うことになるでしょう。

ゲーム

ちょっとしたオタクの伝承から始めましょう。これは通常、トリックを知っていて、あなたがそれを楽しむタイプの人間だと判断した友人から伝えられるものです。私はここで可能な限りその経験を再現しました。必ずしも解く必要はありませんが、根本的な教訓を完全に理解したいのであれば、誠実な努力をする必要があります。

終わりましたか?素晴らしい!どのような方法を使いましたか?その方法を子供に教えられますか?その方法を実装するプログラムを書けますか?いいえ?私もできません。それがこの記事のテーマです。しかし、既製の機械学習アルゴリズムをいくつか使って試してみましょう。それが何か教えてくれるかどうか見てみましょう。

以下、ネタバレ注意!

アルゴリズム的アプローチ

私がやったことはこうです。様々な機械学習アルゴリズムに、徐々に増加する数の例が示されました。各例は、5つのサイコロの出目の数値と、それらのサイコロに対応するバラの花びらの正しい数で構成されています。各アルゴリズムは、それぞれ独自の方法で、サイコロの出目を花びらの数にマッピングする関数を学習します。その後、その性能は、別の例のセット、つまり、まだ見ておらず、訓練されていない例で評価されます。関数が出力した数値は最も近い整数に丸められ、真の花びらの数と完全に一致した場合にのみ正解とマークされます。0.5ずれていても不正解となります。テスト精度は、正解したサイコロの出目の割合です。あるアルゴリズムが100%の精度に達したら、ベンチマークを飽和したとみなし、停止します。100%の精度に達するために必要な最小例数は、点としてマークされ、凡例の$N$として示されます。

(ちなみに、完全なソースコードと要約レポートはGitHubで入手できます。詳細に興味がある方はご覧ください。)

すぐに各ケースを詳しく見て、なぜ各アプローチがうまくいくか、あるいはうまくいかないかを理解しようとしますが、まずは全体的な結果を見てみましょう。

[画像: 様々なアプローチの要約チャート]

一見しただけでも、グラフから非常に興味深い結論をいくつか引き出すことができます。まず第一に、いくつかはほとんどすぐに問題を解決し、いくつかはパターンに気づくまで長く苦労し、いくつかは決して解決しないことが明らかです。つまり、あるアプローチを他のアプローチよりもこの特定のタスクに適している、あるいは不向きにしている何かがあるということです。

また、根本的に異なる学習アルゴリズム間でも、各曲線が同じ特徴的な形状をたどっているように見えるのも興味深いです。それぞれ、学習を開始する前に一定の最小限の例数が必要ですが、一度理解すると進歩は急速になり、すぐに100%に達します。これはあなたの経験を反映しているかもしれませんね。

したがって、当然の疑問は、なぜ異なるアルゴリズムが「バラの花びら」問題を「解く」ために異なる数の例を必要とするのかということです。それは単なる偶然でしょうか?それは不透明で知ることができず、私たちはただランダムに異なるアプローチを試すしかないのでしょうか?全く違います。

帰納的バイアス

鍵となる概念は帰納的バイアスと呼ばれます。モデルの帰納的バイアスとは、大まかに言えば、その事前知識と仮定の組み合わせです。つまり、それが好む、あるいはよく適合するパターンの種類と、それが可能なすべての解に持つべき構造のことです。

データセットの特定の構造に適合する帰納的バイアスを持つモデルは、数個の例からでも、それを迅速に学習します。より一般的で、探索する仮説空間が大きいモデルは、パターンを拾うためにより多くの例を必要とします。そして、間違った帰納的バイアスを持つモデルや、問題の真の構造と直接矛盾する仮定をするモデルは、何も学習できなくなります。

これらのアルゴリズムのいくつかに具体的に飛び込んで、何がそれらをこの問題に適している、あるいは不向きにしているのかを理解しましょう。

ナイーブ線形回帰

ベースラインとして意図的に弱い線形モデルから始めましょう。

[画像: ナイーブ線形回帰の結果]

このアプローチが「ナイーブ」である理由は、サイコロ1つにつき1つの数値特徴量を使用しているだけだからです。ML愛好家なら誰でも、それは愚かだと言うでしょう。しかし、少し後で、生のデータをこの形式で与えられても問題なく機能するいくつかの他のモデルを見るでしょう。なぜ線形モデルにだけ手厚くする必要があるのでしょうか?

グラフからわかるように、このアプローチは1,000例を見せられても進歩していませんが、実際にはそれ以下です。このアルゴリズムは問題を解決できません。決して解決しないでしょう。その帰納的バイアスには、真のモデルがそのパラメータにおいて線形であるという仮定が含まれていますが、この問題ではそうではありません。

結果として、このモデルは真の解を表現することが文字通り不可能です。私は主に、帰納的バイアスが間違った場合に何が起こるかについての警告として、これを記載しています。間違った仮定をすると、学習に少し時間がかかるという問題ではなく、機能しないモデルに行き着く可能性があります。

カテゴリカル特徴量を持つ線形回帰

もちろん、これは標準的な特徴量エンジニアリングを使用することで簡単に修正できます。サイコロの出目をカテゴリカルなレベルとしてワンホットエンコーディングすると、モデルはより良い「語彙」を得ます。

[画像: カテゴリカル特徴量を持つ線形回帰の結果]

これで各面を個別のケースとして扱うことができ、解を見つけることができます。しかし、ご存知のように、特に速くはありません。その理由は単純です。各サイコロを個別に扱っており、サイコロごとにルールを「再学習」する必要があります。もし花びらのルールが「最初のサイコロ、中央のサイコロ、最後のサイコロの合計を取り、他の2つは無視する」のようなものであれば、それは有益でしょう。モデルはサイコロごとに異なるパラメータを学習するのに十分柔軟だからです。しかし、ルールはそうではないため、このアプローチはわずかに遅くなります。

ビンカウントピボット

線形回帰が問題を非常に迅速に解決できる、さらに優れた特徴表現があります。各サイコロを特徴量として扱う代わりに、6つの特徴量を用意し、それぞれが特定の値を表示するサイコロの数を表すのはどうでしょうか?

def bincount(X: npt.NDArray[np.int_]) -> npt.NDArray[np.int_]:
    return np.array([np.bincount(row, minlength=7)[1:7] for row in X])

この特徴量エンコーディングにより、回帰部分は単純化され、予想通り$N=6$で問題を解決します。

しかし、これはモデルが何も学習しているようには感じられません。私たちは基本的に問題を代わりに解いてしまいました。この表現を試すという考えに至れば、パターンがあまりにも明白なので、回帰を使う必要すらありません。

[画像: バブルチャート]

それでは、この特定の問題を解決するためにハードコーディングされたとは感じられない、より一般的なモデルを見てみましょう。

全結合ニューラルネットワーク

ニューラルネットワークは、特徴量エンジニアリングを回避する方法としてよく販売されます。時にはそれが真実です。時には、非常に柔軟なモデルに、遅く、信頼性が低く、高コストで特徴量エンジニアリングを行わせるだけです。ここでは間違いなくそのケースです。私たちが使用した大規模な全結合ニューラルネットワークは、非常に強力で汎用的なモデルであり、生の(カテゴリカルエンコーディングなしの)特徴量で動作できます。しかし、それを解決するには1,000例以上かかります。

[画像: FCNNの結果]

これはハイパーパラメータ最適化後の数値です。Optunaに数百の設定(活性化関数、層のサイズ、学習率)を試させましたが、数百万の可能なFCNNモデルの中から、これが最良のものでした。これを少しの間座って、実際に行われている決定と、それらがなぜ機能するのかを考えてみましょう。

まず、この問題にはシグモイド活性化が最適です。これは、現代のディープラーニングネットワークではシグモイドが最適な選択肢ではないことが多いので興味深いです。ReLUやSwiGLUのような「ヒンジ」スタイルの活性化が通常はより優れています。しかし、シグモイドはステップ関数を構築しやすく、ここで勝利します。

[画像: 活性化関数ハイパーパラメータ最適化の結果]

ハイパーパラメータのもう一つの非常に興味深い役割は、モデルの全体的な「複雑さ」を調整することです。例えば、2番目の隠れ層には約150個のニューロンの周りに強いグローバルミニマムがあります。

[画像: 隠れニューロン数ハイパーパラメータ最適化の結果]

このモデルは、解を表現するだけであれば150個もの隠れニューロンを必要としませんが、業界の経験では、ニューラルネットワークは解を学習するために多くの「余分な」隠れニューロンを必要とすることが示されています。これは、ランダムな初期化により、真の関数を学習するように準備されたサブセットのみが存在するためです。それでも、多すぎると高次元の迷宮に迷い込み、少なすぎると良い解を見つける前に局所的ミニマムに陥ってしまいます。

私がハイパーパラメータ最適化について言及する理由は、帰納的バイアスはアルゴリズムファミリーの選択だけの関数ではないという点を強調するためです。ほとんどのアルゴリズムは、特定のデータセットに最適なバイアスを持つように調整できます(そして調整すべきです)。それは、適切な構造(この場合はシグモイド活性化)と適切な複雑さのレベル(隠れニューロン数)の両方の形をとります。

FCNNに関する最後の点です。このアニメーション(単純化のため、最初の2つのサイコロの応答面のみを示しています)では、その「理解」が時間とともに進化し、徐々に真の解に収束していく様子を見ることができます。

[画像: FCNN学習応答面の С анимация]

モデルは学習していることがわかりますが、人間が行うような方法ではありません。それはルールを探しているのではなく、単に「高い」または「低い」場所についての直観を構築し、洗練させているだけです。

Deep Sets ニューラルネットワーク

より良い結果を求めて、有用な帰納的バイアスを持つ、ややマイナーなアーキテクチャであるDeep Setsを試してみましょう。Deep Setsアーキテクチャ[ ootnote{https://www.oranlooney.com/post/rose-petals/#footnote2}]は、サイコロの順序は関係ないという仮定を組み込んでいます。

[画像: Deep Set アーキテクチャ]

これはかなりエキゾチックなディープラーニングモデルですが、コードはPyTorchでほとんど恥ずかしいほどシンプルです。PyTorchは、望むトポロジーでニューラルネットワークを配線するのに非常に優れています。

class DeepSetNN(nn.Module):
    def __init__(self) -> None:
        super().__init__()
        self.phi = nn.Sequential(
            nn.Linear(6, 8),
            nn.ReLU(),
            nn.Linear(8, 1),
            nn.ReLU(),
        )
        self.rho = nn.Sequential(
            nn.Linear(1, 8),
            nn.ReLU(),
            nn.Linear(8, 1),
        )

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        phi_x = self.phi(x)
        sum_phi = phi_x.sum(dim=1)
        return self.rho(sum_phi)

真のルールは実際に順列不変性を示すため、この帰納的バイアスはパターンを迅速に学習するのに役立つはずです。実際、その違いは歴然としています。

[画像: Deep Set の結果]

Deep Setsモデルは、サイコロの位置ごとにルールを「再学習」する必要はありません。実際、各例から基本的に5つの独立した「レッスン」を得ており、わずか6つの例(合計30個のサイコロ)からルールを完全に学習できます。

しかし、リスクは高いです。もし真のルールが順列不変でなかったらどうでしょうか?その場合、Deep Setsモデルは、たとえどれだけ多くの例を見せられても、最初に見たナイーブな線形例のように、ルールを全く学習できなかったでしょう。

決定木

最後に、構造化されたカテゴリカルデータに対して、しばしば最高のオフザシェルフモデルとなる決定木を試してみましょう。ここでは、連続的なサイコロの値を自動的にカテゴリにビン分割できるsklearnのHistGradientBoostingRegressorを使用します。

すべてのツリーモデルは、特定の帰納的バイアスを共有しています。それは、世界が軸に沿った箱でできていると信じることです。それらは、「3番目のサイコロは少なくとも3を示していますか?もしそうなら、5以下ですか?」といったルールで特徴空間を分割します。これは、シグモイドを積み重ねて見つかるソフトな境界線とは対照的に、シャープで軸に沿った決定境界線をもたらします。

[画像: ニューラルネットワーク vs. ツリーの応答面]

この場合、その帰納的バイアスはまさに正しいことが判明します。面は離散的なので、「この特定のサイコロは3ですか、それとも5ですか?」という質問は、分割が尋ねることができる種類の質問であり、ツリーはニューラルネットワークが行ったように、滑らかなシグモイドをステップ関数に苦労して曲げる時間を無駄にする必要がありません。しかし、それも完璧な帰納的バイアスではありません。サイコロが無秩序なセットであることをツリーに伝えた人はいません。そのため、カテゴリカル回帰と同様に、各サイコロの位置で同じルールを、1つの分割ずつ再発見する必要があります。

これにより、ツリーは興味深い中間地点となります。間違ったバイアス(ナイーブ線形回帰、決して解決しない)でもなく、完璧なバイアス(Deep Sets、6つの例で解決する)でもなく、「まあまあ」のバイアスが中間地点に着地します。

スコアカード

要約の要約:

アプローチ学習速度帰納的バイアス限界
ナイーブ線形回帰neverルールは面の値の線形関数ルールは面の値に対して線形である必要がある
全結合NNslowルールは5つの数値の滑らかな関数大量のデータが必要
LR, カテゴリカル特徴量medium各サイコロ/面の組み合わせに独自の効果があるサイコロ間の相互作用を考慮しない
決定木mediumルールは離散的な軸に沿った分割で構成される滑らかな、回転した、または対角線の構造に苦労する
LR, ビンカウントピボットfast各面のカウントのみが重要位置依存のルールや相互作用はない
Deep Sets NNfastサイコロは順序のないセット位置依存のルール

テーブルを下に流れるトレードオフに注目してください。帰納的バイアスが強いほど、問題の真の構造に密接に一致し、必要な例が少なくなります。一方で、単一の悪い仮定でもモデルは完全に壊れます。

本当に解決したのか?

あなたがルールを解き明かし、そして12面ダイスへのこの一般化を見せられたと想像してみてください。そのようなダイスは十二面体であり、五角形の面を持っています。左のサイコロのバラの花びらの数は?右のサイコロは?

[画像: 5と6の目を持つd12]

もしあなたが「n-1だがnが奇数の場合のみ」というルールを学んだとしたら、それは完全に間違った答えになります。しかし、すべての手がかりを聞き、ルールを本当に理解していれば、元の訓練セットの範囲をはるかに超えて一般化しているにもかかわらず、即座に自信を持って答えることができるでしょう。

これは少し不公平に感じるかもしれませんが、機械学習の専門家はモデルの「汎化性能」、つまり、元々訓練された例以外の例でどれだけうまく機能するかを評価することに多大な重点を置いています。それは、単に特定の例を記憶するのではなく、何らかのルールやパターンを実際に学習したことを証明します。

しかし、私が試した機械学習アプローチのどれも、実際にはこれを行うことができなかったことに注意してください。どれも実際にサイコロを「見ている」わけではありません。単に5つの数字を見ているだけです。12面体ケースに一般化する方法はありません。

もちろん、画像を入力として受け取るモデルはありますが、理論的には、そのようなモデルは少なくとも真のルールを学習するために必要な生の情報を保持しているでしょう。問題は、現在の世代のビジョンモデルは、まだ視覚的推論が苦手であるということです。Vision Language Models are Blindという論文は、この点を多くの方法で示しています。私たちは、ビジョンモデルが何かを見ることができることにしばしば感銘を受けすぎて、それらが5歳の子供よりも詳細の把握がはるかに劣っているという事実を見落としがちです。

だからこそ、フランソワ・ショレのARC-AGIベンチマークは(おそらく)良い目標なのです。ビジョンモデルがそれを解決できるようになれば、真の視覚的思考に一歩近づくでしょう。もちろん、長期的な目標はワールドモデルです。周囲の世界の首尾一貫した3Dモデルを学習できるモデルは、おそらく空間的な関係を本当に理解することによって、「正しい」方法でバラの花びら問題を解決できるでしょう。

言語モデル

学んだことを応用してみましょう。「バラの花びら」はトイ問題ですが、同じような考え方をあらゆる種類のモデル、例えば大規模言語モデルにも適用できます。

LLMを「単なる次のトークン予測器」として却下するのは一般的です。これは技術的には真実ですが、要点を外しているとも言えます。マルコフ連鎖、RNN、Transformerはすべて言語モデルであり、「次のトークン予測器」と見なすことができますが、それらがすべて同じようにうまく機能するわけではありません。より良い質問は、「このモデルの帰納的バイアスは何ですか?」です。

マルコフ連鎖(n-gramモデル)は、次の単語が前のn単語に依存し、n単語の各可能な組み合わせが完全に独立したパラメータを持つと仮定します。(アンドレイ・マルコフは1世紀以上前にこの言語モデルの使用を提案し、現代のLLMの祖父となりました。)したがって、語彙サイズがVの場合、学習すべきパラメータは$V^n$個あります。たとえ5のような比較的小さなnでも、それは仮説空間を爆発させ、インターネット全体のような巨大なテキストコーパスからさえ学習できる範囲を超えてしまいます。同時に、前の5単語だけのコンテキストウィンドウは、現実世界の言語をモデル化するには著しく不十分です。上記のFCNNのように、このモデルは帰納的バイアスが弱すぎるという問題を抱えています。

RNNは、すべての履歴を単一の固定サイズの状態ベクトルに圧縮し、一度に1トークンずつ更新することで、この問題を修正しようとしました。しかし、その圧縮自体が過酷な仮定です。過去について覚えておく価値のあるすべては、各ステップで小さなボトルネックを通過する際に生き残らなければなりません。実際には、RNNモデルは数文後にはすぐに文脈を見失います。局所的には、生成されるテキストは文法的に正しく、意味のあるように見えますが、少しズームアウトすると、それらは基本的にナンセンス生成器です。私たちのナイーブな線形モデルのように、このモデルは帰納的バイアスが強すぎるという問題を抱えています。

Transformerはスイートスポットを見つけます。最近の履歴をワーキングメモリとして保持し、異なる時間に異なる部分に注意を向けることで、Transformerのバイアスは言語の実際の構造に適合します。代名詞の参照対象、動詞の主語、閉じられるのを待っている括弧などです。それだけでなく、Transformerの特定の構造、基本的にコンテキストウィンドウからの意味ベクトルに重み付けされた合計は、経験的に、野生で見つかる現実世界の言語の構造に「十分に良い」一致であることが示されています。

Transformerは他の可能な言語モデルよりも「賢い」わけではありません。単に、その帰納的バイアスがちょうど良い「ゴルディロックスゾーン」に着地しているだけです。

ギリシャ哲学

さて、この時点であなたは「帰納がそんなに難しいなら、私たち(人間)はどうやってそれをやっているのか?」と疑問に思っているかもしれません。これは古い質問であり、古い答えを見る価値があります。この場合、アリストテレスがそれについて何を言ったかです。

ギリシャ哲学は演繹を非常に重視しましたが、演繹は証明されていない第一原理(公理)に依存します。それらはどこから来るのでしょうか?アリストテレスは完全な答えを持っていませんでしたが、彼は問題を認識し、人間が実際にそれをできることを知っていました。彼はこの能力をヌースと呼びました。それは第一原理を発見する私たちの能力です。

それは単なる観察、感覚からの事実の積み重ねではありません。彼の論理学の書で、アリストテレスはヌースは演繹とは異なると説明しました。なぜなら、演繹は何かに基づいて開始する必要があるからです。それはパターンを見つけ、具体から普遍へと移行する人間の理性の部分です。

定義するのは難しいですが、もしあなたが「バラの花びら」問題を解決したなら、私はそれを定義する必要はありません。あなたはそれを自分で、直接体験したのです。

もちろん、アリストテレスもこの主題について最後の言葉を持っていたわけではありません。

科学的方法

人間は帰納的バイアスから自由ではないことを指摘することは重要です。職業として帰納を行う人々、つまり私たちが通常「科学者」と呼ぶ人々は、それぞれ独自の個人的なバイアスを持っており、私たち種全体は多くの非合理的な帰納的バイアスを共有しています。

有名な例を挙げると、アインシュタインは純粋な幾何学への帰納的バイアスを持っていました。それが彼を特殊相対性理論、そして最終的には一般相対性理論へと導きました。宇宙を少数の幾何学的公理を特定するための思考実験を行うことで理解できるという、岩のように硬い、根源的な信念から、そこから演繹的に作業しました。このバイアスは相対性理論においては彼にうまく機能しましたが、粒子を点として考えることが単に間違った直観である量子力学においては彼を裏切りました。

ここでアインシュタインを単独で取り上げたいわけではありません。全く同じ幾何学的バイアスが、弦理論とその仲間たちによって物理学の分野全体を盲腸に導いた可能性があります。(ただし、それについてはまだ結論は出ていません。)それは一部の問題には美しく機能しましたが、他の問題には全く機能しませんでした。

この問題に対処するために、私たちは一種のアルゴリズムを開発しました。個人が異なる帰納的バイアスを持っている場合、より多くのそれらを使用する必要があります。何千人もの最も優秀で創造的な頭脳を問題に投入し、そのうちの誰かが、純粋に偶然、問題解決に理想的に適した帰納的バイアスを持つ遺伝的素因を持っていることを願うのです。どの方法が成功するかを事前に知ることはできないため、並列で総当たりします。学術界を経験した人なら誰でも知っているように、このプロセスは驚くほど非効率的であり、率直に言って、このプロセスでほとんどおが屑に過ぎない大学院生にとっては少し厳しいものです。

反論

まだ、対処しなければならない大きな象が部屋にいます。帰納法の一般的な方法が見つかれば便利でしょうが、原理的にもそのような方法が存在しないという強力な議論もいくつかあります。

自然の根本法則は、ある意味で非常に単純でなければならないと信じる理由があるかもしれませんが、すべての現象がそれ自体よりも単純な解決策や説明を必要とするという理由は全くありません。エントロピー、乱流、進化のような創発現象は複雑なシステムから生じ、経験的に研究されなければなりません。時には見つけるべきルールがない場合、正しいルールを見つけるための一般的な方法がどのようにして存在するのでしょうか?

ポール・フェイエラバントは『方法への反論』という本を書きました。彼は実際に実践された科学の歴史をじっくりと見つめ、科学は固定された、再現可能な方法では進歩しなかったと指摘しました。実際、すべての方法論とベストプラクティスを放棄したときにこそ、大きな飛躍が起こるのです。明確にするために、彼は厳密さや慎重な思考に反対していたのではなく、硬直した、固定的な方法、つまりあなたの脳を自動操縦に乗せるような方法に反対していました。言い換えれば、成熟した分野で時間の経過とともに発展しがちな、過去の芸術へのまさにその種のカーゴカルト的な遵守です。これは、一般的な帰納法を特定しようとする試みが単に運命づけられているだけでなく、積極的に有害である可能性を示唆しています。

幸いなことに、私にとって、潜在的な害は純粋に理論的な可能性です。なぜなら、現時点では、それをどう行うかについてかすかな手がかりさえ持っていないからです。

[画像: 現在の進捗状況の概要]

有望な道筋

実際、それは完全には真実ではありません。フランシス・ベーコンがそれを体系化しようと試みた400年間で、帰納についてかなりのことを学びました。機械学習は、計算学習理論と苦労して得た実践の両方の観点から、学習がどのように機能するかを多く教えてくれます。コンピュータサイエンスは、学習を仮説空間上の探索と最適化として再構築します。そして、計算効率が理論的な洗練さをしばしば上回ることを思い出させてくれます。現代統計学は、内生性と因果推論を分析するためのツールを提供します。認知心理学は、レイヴン・プログレッシブ・マトリックス、ギルフォードの代替用途テスト(「レンガの用途をいくつ思いつきますか?」)、そしてリモート・アソシエイツ・テストのような道具を使って非演繹的推論を調査します。最後に、科学哲学は、悪い理論を拒否し、仮説演繹法を通じて仮説をテストすることについて多くの良い助言を持っています。ただし、良い仮説がそもそもどこから来るのかについては、あまり語っていません。

したがって、人々がこの問題に取り組んでいない、あるいは進歩していないという印象を与えたくはありません。私たちは間違いなく進歩しています。しかし、その一般的な形式において、帰納の問題はまだ未解決です。実際には、私たちはまだフェイエラバントの「何でもあり」、アリストテレスの不明瞭なヌース、そしてファインマンの引用符付き「アルゴリズム」に stuck しています。[ ootnote{https://www.oranlooney.com/post/rose-petals/#footnote1}]

  1. 問題を書き出す
  2. 懸命に考える
  3. 解を書き出す

結論

なぜ帰納は難しいのでしょうか?なぜ「無料のランチ」がないのでしょうか?それは究極的には計算上の問題だと私は信じています。すべての可能な仮説の空間は、盲目的に総当たりするにはあまりにも大きすぎるのです。したがって、進歩するためには、私たちを導くためのヒューリスティクス、つまり合理的な仮説へと私たちを導く何らかの洞察が必要です。ヒューリスティクスが問題と一致すればすべてが順調ですが、一致しない場合は、霧深く月明かりのない夜に迷子になったようなものです。

LLMがこれに役立つかもしれないと思うかもしれませんが、それが少しできるとしても、人間よりも優れているわけではありません。LLMがインターネットのぼやけたJPGであり、インターネット自体が全人類知識のサブセットであるなら、なぜ私たちがまだ自分で理解していない能力をそれらに期待するのでしょうか?

私たちの最良のアプローチは、「科学」と呼ばれる技術と社会構造の集合体ですが、それはかなり非効率的なプロセスです。科学的進歩は、最も小さな洞察のために生涯を費やして測定されます。私たちは、いくつかの点を通して楕円をフィットさせるのに何千年もかかりましたし、手を洗うことが重要だと気づくのに何千年もかかりました。もっと良い方法があるはずです。

私たちはすでにパズルの多くのピースを持っています…ただ、まだそれらを組み合わせることができていません。皮肉なことに、必要なのはヌース、つまり単一の輝かしい洞察への帰納的飛躍です。すべての困難にもかかわらず、私は私たちが近づいていると感じています。誰かが根本的なブレークスルーをすぐに達成するでしょう。もしかしたら、それはあなたかもしれません。


注釈

[ ootnote{https://www.oranlooney.com/post/rose-petals/#maintext2}] この図はChatGPTによって生成されました。ChatGPTは最近、科学的および技術的な図を生成する驚くべき、しかし依然として信頼性の低い能力を開発しました。 戻る

[ ootnote{https://www.oranlooney.com/post/rose-petals/#maintext1}] スティグラーの命名法の法則に従い、ファインマンのアルゴリズムはマレー・ゲルマンによって考案されました。 戻る