チョムスキーと統計的学習の二つの文化

チョムスキーと統計的学習の二つの文化

2011年にMITの150周年記念の一環として開催された「脳、心、機械」シンポジウムで、テクノロジーレビューはノーム・チョムスキー教授が

純粋に統計的手法を用いて世界の何かに似た振る舞いを生成する機械学習の研究者を嘲笑し、その振る舞いの意味を理解しようとしない

述べたと報じています。

トランスクリプトが公開されたので、チョムスキー自身の言葉を引用しましょう。

確かに、様々な言語問題に統計モデルを適用しようとする多くの研究が行われてきました。いくつかの成功はあったと思いますが、多くの失敗もありました。成功という概念には…科学の歴史においても斬新なものだと思います。それは、未解析のデータに近似することをもって成功と解釈します。

［画像］
ノーム・チョムスキー

チョムスキーの発言は、統計的手法で訓練された確率モデルの成功についてスティーブン・ピンカーから受けた質問への応答でした。この記事は、ピンカーとチョムスキーへの応答であり、以下の問いに答えます。

1. チョムスキーは何を意味し、彼は正しいのか？
2. 統計モデルとは何か？
3. 統計言語モデルはどの程度成功しているのか？
4. 科学の歴史に、彼らの成功の概念に似たものはあるか？
5. チョムスキーは統計モデルの何が気に入らないのか？

チョムスキーは何を意味し、彼は正しいのか？

チョムスキーの主張は以下の通りだと解釈します。

1. 統計言語モデルは工学的な成功を収めているが、それは科学とは無関係である。
2. 言語的事実を正確にモデル化することは、単なる蝶の採集に過ぎない。科学（特に言語学）で重要なのは、その背後にある原理である。
3. 統計モデルは理解不能であり、洞察を与えない。
4. 統計モデルは現象の正確なシミュレーションを提供するかもしれないが、そのシミュレーションの方法は完全に間違っている。人間は、前の単語にキーを付けた確率表を参照して文の3番目の単語を決定するのではなく、内部的な意味形式から統語ツリー構造へとマッピングし、それを単語に線形化する。これは確率や統計を一切用いずに行われる。
5. 統計モデルは言語を学習する能力がないことが証明されている。したがって、言語は生得的でなければならず、なぜこれらの統計モデラーは間違った事業に時間を浪費しているのか？

彼は正しいのか？それは長年の議論の的です。以下に私の短い回答を示します。

1. 工学的な成功が科学の唯一の目標や尺度ではないことには同意します。しかし、科学と工学は共に発展しており、工学的な成功は、何かが正しく機能していることを示しており、科学的に成功したモデルの証拠（ただし証明ではない）であると観察します。
2. 科学は、事実の収集と理論の構築の組み合わせです。どちらも単独では進歩できません。科学の歴史において、事実の骨の折れる蓄積は支配的なモードであり、斬新なものではありません。言語を理解する科学も、この点では他の科学と変わりません。
3. 数十億のパラメータを含むモデルを理解するのが難しい場合があることには同意します。確かに人間は、個々のパラメータの値を見ることでそのようなモデルを理解することはできません。しかし、モデルの特性—それが成功し、失敗する場所、データの関数としてどの程度学習するかなど—を調べることで洞察を得ることができます。
4. 単語の確率のマルコフモデルが言語のすべてをモデル化できないことには同意します。確率のない簡潔なツリー構造モデルが言語のすべてをモデル化できないことも同様に真実です。必要なのは、単語、構文、意味論、文脈、談話などを網羅する確率モデルです。チョムスキーは、50年前の特定の確率モデルの欠点のために、すべての確率モデルを却下しています。チョムスキーが確率モデルは不要であるという結論に至る経緯は理解できます。それは言語の生成の研究から来ています。しかし、解釈タスク（音声認識など）を研究する人々の大多数は、解釈が本質的に確率的な問題であることにすぐに気づきます。ノイズの多い入力ストリームが耳に入ってきたとき、話者が最も可能性の高い意味は何だったのでしょうか？アインシュタインは、すべてを可能な限り単純にせよ、しかしそれ以上に単純にしてはならないと言いました。科学における多くの現象は確率的であり、それらの最も単純なモデルは確率モデルです。私は言語もそのような現象であり、したがって確率モデルが言語に関する事実を表現し、言語をアルゴリズム的に処理し、人間が言語をどのように処理するかを理解するための最良のツールであると信じています。
5. 1967年のゴールドの定理は、形式数学言語に対する論理的演繹の理論的な限界を示しました。しかし、この結果は自然言語学習者が直面するタスクとは何の関係もありません。いずれにせよ、1969年までに、確率的文脈自由文法（確率的推論）がそれらの限界に左右されないことがわかっていました（ホーニングはPCFGsの学習が可能であることを示しました）。人間には自然言語を学習する何らかの生得的な能力があることは否定できないというチョムスキーの意見には同意しますが、その能力がどのように機能するかについては十分な知識がありません。それは確かに確率的な言語表現や統計的学習のようなものを使用している可能性があります。そして、その生得的な能力が言語に特異的なものなのか、それとも言語や他の物事にも働くより一般的な能力の一部なのかはわかりません。

この記事の残りの部分は、各回答のより長いバージョンで構成されています。

統計モデルとは何か？

統計モデルとは、データ点の入力によって修正または訓練される数学モデルです。統計モデルは、しばしば確率的ですが、常にそうであるとは限りません。区別が重要な場合は、「統計的」という言葉だけでなく、以下の構成要素の用語を注意深く使用します。

• 数学モデルは、変数間の関係を指定します。これは、入力を出力にマッピングする関数形式（例: y = m x + b）または関係形式（例: 以下の (x, y) のペアは関係の一部である）のいずれかです。
• 確率モデルは、厳密な決定論的関係（例: y = f(x)）ではなく、確率変数（例: P(x, y)）の可能な値に対する確率分布を指定します。
• 訓練済みモデルは、ある訓練/学習アルゴリズムを使用して、可能なモデルのコレクションとデータ点（例: (x, y) のペア）のコレクションを入力として受け取り、最良のモデルを選択します。多くの場合、これは統計的推論のプロセスを通じてパラメータ（上記の m や b など）の値を選択する形式をとります。

［画像］
クロード・シャノン

例えば、チョムスキーの10年前に、クロード・シャノンは単語のマルコフ連鎖に基づいた確率的通信モデルを提案しました。もし10万語の語彙と、単語の確率が前の2つの単語に依存する2次マルコフモデルがあるとすると、モデルを指定するために1000兆（10^15）個の確率値が必要になります。この10^15個の値を学習する唯一の現実的な方法は、データから統計を収集し、データがない多くのケースに対して平滑化手法を導入することです。したがって、ほとんどの（すべてではない）確率モデルは訓練されます。また、多くの（すべてではない）訓練済みモデルは確率的です。

別の例として、ニュートンの万有引力の法則を考えてみましょう。これは、質量 m1 と m2 の2つの物体が距離 r だけ離れているときの力 F は次のように与えられると述べています。

F = G m1 m2 / r2

ここで G は万有引力定数です。これは訓練済みモデルです。なぜなら、万有引力定数 G は、確率的な実験誤差を含む一連の実験結果に対する統計的推論によって決定されるからです。また、これは決定論的（非確率的）モデルでもあります。なぜなら、それは厳密な関数関係を述べているからです。チョムスキーはこの種の統計モデルに異議はないと思います。むしろ、彼はシャノンのような、1つか2つではなく、1000兆ものパラメータを持つ統計モデルに対して批判を留めているようです。

（この例は別の区別を提起します。重力モデルは連続的で定量的ですが、言語の伝統は離散的、カテゴリ的、定性的なモデルを好んできました。単語は動詞であるかそうでないかのどちらかであり、その動詞らしさの度合いという問題はありません。これらの区別について詳しくは、クリス・マニングの記事「確率的構文」を参照してください。）

関連する確率的統計モデルは、理想気体の法則です。これは、気体の圧力 P を分子数 N、温度 T、ボルツマン定数 K の関数として記述します。

P = N k T / V.

この方程式は、統計力学のツールを使用して第一原理から導き出すことができます。これは不確実で不正確なモデルです。真のモデルは、個々の気体分子の運動を記述する必要があります。このモデルは、その複雑さを無視し、個々の分子の位置に関する私たちの不確実性を要約しています。したがって、統計的かつ確率的であり、現実を完全にモデル化していなくても、それは良い予測と洞察の両方を提供します。個々の分子の真の動きを理解しようとするよりも、洞察が得られます。

次に、スペル規則「I の前に E、C の後を除く」で表される非統計的なスペルモデルを考えてみましょう。これを確率的で訓練済みの統計モデルと比較します。

P(IE) = 0.0177         P(CIE) = 0.0014        P(*IE) = 0.163
P(EI) = 0.0046         P(CEI) = 0.0005        P(*EI) = 0.0041

このモデルは、1兆語のコーパスからの統計に基づいています。P(IE) は、このコーパスからサンプリングされた単語が連続する文字「IE」を含む確率です。P(CIE) は、単語が連続する文字「CIE」を含む確率、P(*IE) は、C以外の文字の後にIEが続く確率です。統計データは、IEがEIよりも実際に一般的であること（約4対1）、そしてIEの優位性がCの後に続く場合に減少することを確認していますが、規則に反して、CIEは依然としてCEIよりも一般的（約3対1）です。「CIE」という単語の例には、「science」「society」「ancient」「species」などがあります。「I before E except after C」モデルの欠点は、あまり正確ではないことです。以下を検討してください。

Accuracy("I before E") = 0.0177/(0.0177+0.0046) = 0.793
Accuracy("I before E except after C") = (0.0005+0.0163)/(0.0005+0.0163+0.0014+0.0041) = 0.753

より複雑な統計モデル（例えば、すべての4文字シーケンスの確率や、すべての既知の単語の確率を与えるもの）は、スペルのタスクにおいて10倍正確になる可能性がありますが、スペルがどのように機能するかについての簡潔な洞察は提供しません。洞察には、音素、音節化、言語の起源を知るモデルが必要でしょう。そのようなモデルは訓練される（またはされない）可能性があり、確率的である（またはない）可能性があります。

洞察の別の例として、最高裁判所判事の握手の理論を考えてみましょう。最高裁判所が招集されるとき、出席しているすべての判事は他のすべての判事と握手をします。出席者数 n は0から9の整数でなければなりません。与えられた n に対して、握手の総数 h はいくつですか？ここでは3つの可能な説明を示します。

1. n 人の判事それぞれが他の n - 1 人の判事と握手しますが、それはアリト/ブレイヤーとブレイヤー/アリトを2つの別々の握手として数えるため、総数を半分にする必要があります。したがって、h = n × (n - 1) / 2 になります。

2. 二重カウントを避けるために、判事を序列で並べ、より年長/より年少の握手のみを数え、より年少/より年長の握手は数えません。したがって、各判事について、より年少の判事との握手を数え、それらを合計すると、h = Σi = 1 .. n (i - 1) になります。

3. この表を見てください。

   n:	0	1	2	3	4	5	6	7	8	9
   h:	0	0	1	3	6	10	15	21	28	36

一部の人はAを好み、一部の人はBを好み、掛け算や足し算が遅い人はCを好むかもしれません。なぜでしょうか？これら3つの説明は、n の可能な値の全範囲（最高裁判事の数が9人を超えない限り）に対して、n から h への同じ関数、つまり同じ理論を記述しています。したがって、理論自体以外の理由でA（またはB）をCよりも好むかもしれません。AまたはBは、問題の理解を深めるのに役立つかもしれません。AとBは、議会が追加の判事を任命する権限を行使した場合に何が起こるかを理解する上で、Cよりも確かに役立ちます。理論Aは、ホッケーの試合の終わりに（各選手が対戦チームの選手と握手する場合）握手の理論を開発したり、MITシンポジウムで奇数回の握手をした人の数が偶数であることを証明したりするのに最も役立つかもしれません。

統計言語モデルはどの程度成功しているのか？

チョムスキーは、統計言語モデルはいくつかの応用分野で限定的な成功を収めたと述べました。言語を扱うコンピュータシステムと、「世界に関する正確な予測を立てること」によって定義される「成功」の概念を見てみましょう。まず、主要な応用分野です。

• 検索エンジン: 主要プレイヤーの100%は訓練済みで確率的です。その動作は単純な関数では記述できません。
• 音声認識: 主要システムの100%は訓練済みで確率的であり、主に確率的隠れマルコフモデルに依存しています。
• 機械翻訳: NISTなどのコンペティションのトップ競合者の100%は統計的手法を使用しています。一部の商用システムは、訓練ベースとルールベースのアプローチのハイブリッドを使用しています。機械翻訳システムがカバーする4000の言語ペアのうち、日本語-英語を除くすべてのペアで統計システムが圧倒的に優れており、トップの統計システムはトップのハイブリッドシステムとほぼ同等です。
• 質問応答: この応用はあまり開発されていませんが、多くのシステムは検索エンジンで使用される統計的・確率的アプローチを強く基盤としています。IBM Watsonが最近Jeopardy!で勝利したシステムは完全に確率的で訓練されていますが、ボリス・カッツのSTARTはハイブリッドです。すべてのシステムは少なくともいくつかの統計技術を使用しています。

次に、エンドユーザーではなく、計算言語学者のみが関心を持ついくつかのコンポーネントを見てみましょう。

• 単語の意味曖昧性解消: SemEval-2コンペティションのトップ競合者の100%は統計的手法を使用しており、ほとんどは確率的です。一部はWordnetなどのソースからのルールを組み込んだハイブリッドアプローチを使用しています。
• 照応解析: 現在のシステムの大多数は統計的ですが、ハギハギとクラインのシステムに言及すべきです。これは主に訓練ベースではなくルールベースのハイブリッドシステムと記述でき、トップの統計システムと同等の性能を発揮します。
• 品詞タグ付け: 現在のシステムのほとんどは統計的です。ブリルタガーは、統計データから決定論的ルールのセットを学習する成功したハイブリッドシステムとして際立っています。
• 構文解析: 複数のアプローチを使用する多くの構文解析システムがあります。最も成功しているもののほとんどは統計的であり、大多数は確率的です（決定論的パーサーもかなりの少数派です）。

統計モデル（および確率モデル）が限定的な成功しか収めていないと言うのは明らかに不正確です。むしろ、それらは圧倒的に支配的な（ただし排他的ではない）地位を確立しています。

成功のもう一つの尺度として、あるアイデアが研究者コミュニティをどれだけ捉えているかがあります。スティーブ・アブニーが1996年に書いたように、「過去10年間で、統計的手法は計算言語学ではほとんど知られていない状態から、基本的な前提へと移行しました。...少なくとも専門用語を説得力を持って使える人でなければ、ACL（計算言語学協会）の晩餐会の厨房スタッフと間違われる危険があります。」

もちろん、多数派が支配するわけではありません。誰もがバンドワゴンに乗っているからといって、それが正しいとは限りません。しかし、私も転換しました。約14年間、論理規則を使って言語モデルを機能させようと試みた後、確率的アプローチを採用し始めました（ジューデア・パールによる確率全般、そして初期採用者であるデカイ・ウーのような同僚のおかげです）。そして、周りの誰もが同じように転換していくのを見ました。そして、逆方向に進む人はいませんでした。私たちは皆、古いツールの限界と新しいツールの利点を見ていました。

そして、経済的な成功の尺度を考慮するのは、下品で反知性的に見えるかもしれませんが、シャノンの理論の知的子孫が毎年数兆ドルもの収益を生み出しているのに対し、チョムスキーの理論の子孫は10億ドルをはるかに下回る収益しか生み出していないことに注目します。

このセクションでは、計算言語学者の大多数が統計モデルを使用する理由の一つが工学的な理由であることを示しました。統計モデルは最先端のパフォーマンスを発揮し、ほとんどの場合、非統計モデルは最悪のパフォーマンスを発揮します。この記事の残りの部分では、科学的な理由に焦点を当てます。すなわち、確率モデルは言語的事実をより良く表現し、統計的手法はそれらの事実をより容易に理解できるようにします。

科学の歴史に、これ（統計的な成功の概念）に似たものはあるか？

チョムスキーが「それは非常に斬新な科学的成功の概念です。科学の歴史においてこれに似たものは知りません」と言ったとき、彼は「世界を正確にモデル化する」という成功の概念が斬新であり、科学の歴史における唯一の真の成功の尺度は「洞察を提供する」こと、つまり物事がなぜそのようになっているのかを説明することであり、単にどのようになっているかを記述することではない、という意味だったようです。

科学の辞書的定義は「観察と実験を通じた物理的および自然界の構造と振る舞いの体系的な研究」であり、洞察よりも正確なモデリングを強調していますが、私には両方の概念が科学を行う上で常に共存してきたように思えます。それを検証するために、科学の極致であるScience を参照しました。現在の号を見て、タイトルと要約をランダムに選びました。

［画像］

有機デバイスとの互換性のための高仕事関数を持つ塩素化酸化インジウムスズ電極

有機EL（OLED）では、透明電極（酸化インジウムスズ、ITO）の低い仕事関数（約4.7電子ボルト（eV））から、発光材料の深いエネルギー準位（約6 eV）への電荷の流れを促進するために、複数の有機層のスタックが使用されます。ここでは、高効率の有機ELでアクティブな発光材料のエネルギー準位に直接一致する、6.1 eVを超える仕事関数を持つ塩素化ITO透明電極を実証します。アウトカップリング強化を使用した、最大外部量子効率（EQE）54％、電力効率230ルーメン/ワットの非常に単純化されたグリーンOLED、および10,000カンデラ/平方メートルでEQE 50％、電力効率110ルーメン/ワットを実証しました。

この論文は、「洞察を提供する」よりも「世界を正確にモデル化する」ことに焦点を当てているように見えます。この論文は確かに理論の体系に適合しますが、主に特定の実験とその結果（例: 効率54%）を報告しています。

次に、Science の現在の号のすべてのタイトルと要約を見ました。

• 分裂酵母の比較機能ゲノム学
• ニッケル酸化物超格子における電子相転移の次元性制御
• ナノスケールにおける超伝導現象とコンドー・スクリーニングの競合
• 有機デバイスとの互換性のための高仕事関数を持つ塩素化酸化インジウムスズ電極
• 米国西部下の the asthenosphere の密度、温度、弾性率の探査
• 極域オゾン層破壊が亜熱帯降水に与える影響
• 哺乳類脳の起源に関する化石証拠
• イギリスのセメンタリスズメハマキガの産業的黒化は、単一かつ最近の突然変異に由来する
• セラギネラゲノムは、維管束植物の進化に関連する遺伝的変化を特定する
• クロマチン「前パターン」とヒストン修飾因子が肝臓と膵臓の運命決定に関与
• 食事が哺乳類系統およびヒトの腸内細菌叢の機能に収束をもたらす
• トール様受容体2経路がヒト微生物叢の共生菌の定着を確立する
• 真核生物ゲノム全体に再構築されたヌクレオソーム組織のパッキング機構
• tRNA結合の古典的およびハイブリッド状態における細菌リボソームの構造

そして、Cell の現在の号についても同様に行いました。

• NPHP-JBTS-MKSタンパク質ネットワークのマッピングは、線毛病変遺伝子と経路を明らかにする
• 二本鎖切断修復非依存的なBRCA2の役割：MRE11による停止複製フォークの分解を阻止する
• 代替クロマチン状態の確立と維持：多コピー遺伝子座において
• 一塩基性嗅覚受容体発現のエピジェネティックシグネチャー
• 異なるp53転写プログラムが急性DNA損傷応答と腫瘍抑制を指示する
• ADIOL-ERβ-CtBP転写抑制経路がミクログリア媒介性炎症を負に調節する
• ホルモン依存性モジュールがエネルギーバランスを調節する
• クラスIIaヒストンデアセチラーゼは、FOXOおよび哺乳類グルコース恒常性のホルモン活性化調節因子である

そして、2010年のノーベル賞 の科学分野について。

• 物理学：二次元材料グラフェンに関する画期的な実験に対して
• 化学：有機合成におけるパラジウム触媒クロスカップリングに対して
• 生理学または医学：体外受精の開発に対して

私の結論は、これらの記事と賞の100%が「洞察を提供する」ことよりも「世界を正確にモデル化する」ことにより焦点を当てているということです。ただし、すべてに理論的な洞察の要素も含まれています。どちらか一方を判断するのは困難で定義が曖昧なタスクであり、私が固有のバイアスを持っている可能性があるため、自動的に私の判断を受け入れるべきではありません。（機械タークで無作為な回答を得る実験を実行することを検討しましたが、機械タークに詳しい人は、これらの質問は平均的なターカーにはおそらく難しすぎると言いました。したがって、読者の皆さんは自分で実験を行い、同意するかどうかを確認してください。）

チョムスキーは統計モデルの何が気に入らないのか？

統計モデルが確率モデルと混同されることがあると述べましたが、まずチョムスキーの異議が実際には確率モデルに関するものである程度を検討しましょう。1969年に彼は有名な著書で次のように書いています。

しかし、「文の確率」という概念は、その用語のいかなる既知の解釈の下でも、完全に無用であると認識されなければならない。

彼の主な議論は、彼が知っているどの解釈の下でも、新しい文の確率はゼロでなければならず、新しい文は実際にあらゆる時点で生成されているため、矛盾があるということです。この矛盾の解決策は、もちろん、新しい文に確率ゼロを割り当てる必要はないということです。実際、現在の確率モデルでは、平滑化を行い、新しい出現にゼロ以外の確率を割り当てるのが標準的な慣行です。したがって、この批判は無効ですが、数十年間影響力がありました。以前は、『統語構造論』（1957年）でチョムスキーは次のように書いています。

確率モデルは、統語構造の基本的な問題のいくつかについて、特別な洞察を与えないと結論せざるを得ないと思います。

この結論の脚注で、彼は有用な確率的/統計的モデルの可能性を検討し、「…ありえないと議論するつもりはないが、明白な欠陥のない提案は知らない」と述べています。主な「明白な欠陥」は次のとおりです。参照：

1. 私は決して、決して、決して、決して…電気機器をいじることはありません。
2. 彼女は決して、決して、決して、決して…電気機器をいじることはありません。
3. • 私は決して、決して、決して、決して…電気機器をいじることはありません。
4. • 彼女は決して、決して、決して、決して…電気機器をいじることはありません。

「ever」の繰り返しをいくら挿入しても、文1と2は文法的であり、3と4は非文法的です。n 個の状態を持つ確率的マルコフ連鎖モデルは、n 個を超える「ever」のコピーがある場合、必要な区別（1または2と3または4の間）をすることは決してできません。したがって、確率的マルコフ連鎖モデルは英語のすべてを処理することはできません。

この批判は正しいですが、マルコフ連鎖モデルに対する批判であり、確率モデル（または訓練済みモデル）全般に対する批判ではありません。1957年以来、マルコフ連鎖単語モデルを超える多くの種類の確率言語モデルが登場しています。例1〜4は、実際には連鎖ではない有限状態モデルで区別できますが、他の例ではより高度なモデルが必要です。最もよく研究されているのは確率的文脈自由文法（PCFG）であり、ツリー、単語のカテゴリ、個々の語彙項目上で動作し、有限状態モデルの制限を一切持ちません。PCFGsは構文解析性能において最先端であり、非確率的カテゴリ文脈自由文法よりもデータから学習するのが容易であることがわかっています。他の種類の確率モデルは、意味論的および談話構造をカバーしています。

すべての確率モデルは決定論的モデルのスーパーセットです（決定論的モデルは確率が0または1に制限された確率モデルと見なすことができるため）。したがって、確率モデルに対する有効な批判は、表現力が不足しているからではなく、表現力が過剰であるからでなければなりません。

［画像］

『統語構造論』で、チョムスキーは有限状態確率モデルに対するもう一つの批判となる、今では有名な例を提示しています。

(a)「色なし緑のアイデアは激しく眠る」も (b)「激しく眠るアイデア緑色なし」も、それらの部分のいずれも、英語話者の過去の言語経験に現れたことはない。しかし、(a)は文法的であるが、(b)はそうではない。

チョムスキーは、1955年以前に出版された文献にはどちらの文も現れなかったという点で正しいようです。「それらの部分のいずれか」で彼が何を意味したのかは定かではありませんが、確かに2単語の部分はすべて現れていました。例えば：

• 「それは中立的な緑、色なしの緑、地下室に横たわる青緑色の水のようなものです。」パリを覚えています, エリザベス・フィンリー・トーマス（1942年）。
• 「その緑のアイデアを特定することはほとんど必要ありませんが、あなたはD.H.ロレンス氏を満足した美学者の役割で見ることができます。」ニューリパブリック：第29巻 p. 184、ウィリアム・ホワイト（1922年）。
• 「アイデアは本の中に眠る。」カレントオピニオン：第52巻, （1912年）。

しかし、「部分」が何を意味するかにかかわらず、統計的に訓練された有限状態モデルは、実際にはこれらの2つの文を区別することができます。ペレイラ（2001年）は示したように、単語カテゴリで拡張され、新聞テキストで期待値最大化によって訓練されたそのようなモデルは、(a) が (b) よりも200,000倍確率が高いと計算します。これがチョムスキーの文自体が新聞テキストに紛れ込んだ結果ではないことを証明するために、ラプラシアン平滑化とカテゴリなしの、はるかに粗いモデルを使用し、1800年から1954年までのGoogle Bookコーパスで訓練した実験を繰り返したところ、(a) が約10,000倍確率が高いことがわかりました。

さらに、統計モデルは、例えば「Effective green products sell well.」と比較した場合、両方の文が極めて確率が低いという判断を提供する能力があります。チョムスキーの理論はカテゴリ的であるため、この区別をすることはできません。文法的/非文法的を区別するだけです。

チョムスキーの異議のもう一つの部分は、「子供が108秒しか続かない幼少期に109個のパラメータの値を学習すると真剣に提案することはできない」というものです。（現代のモデルは1960年代に検討された109個のパラメータよりもはるかに大きいことに注意してください。）しかし、もちろん、これらのパラメータが一つずつ学習されると提案している人はいません。正しい学習方法は、ゼロに近い大きな範囲のパラメータを平滑化または正則化手順で同時に設定し、観測が入ってくるにつれて高確率のパラメータを継続的に更新することです。マルコフモデル自体が人間の言語パフォーマンスの真剣なモデルであると示唆している人はいません。しかし、私（および他の人々）は、確率的で訓練されたモデルが、カテゴリ的で非訓練のモデルよりも人間の言語パフォーマンスのより良いモデルであると示唆しています。そして、はい、英語の成人話者が数十億の言語事実を知っていることは明らかです（話者は、例えば、重要なフットボールゲームについて話すときに「大きなゲーム」と言うが「大きなゲーム」とは言わないなど、さまざまな文脈での単語の適切な使用に関する多くの事実を知っています）。これらの事実は脳に何らかの形でエンコードされているはずです。

文の確率、あるいはその妥当性の程度を判断するには、確率モデルの方が優れていることは明らかです。しかし、これらの要因に関心がなく、文の文法性のみに関心がある場合でも、確率モデルの方が言語的事実をより良く記述しているように思えます。形式言語の数学的理論は、言語を文の集合として定義します。つまり、すべての文は文法的であるか非文法的であるかのどちらかであり、このフレームワークでは確率の必要はありません。しかし、自然言語はそうではありません。自然言語の科学的理論は、母語話者が文法性について不確かな多くのフレーズや文を説明しなければなりません（クリス・マニングの記事とその「as least as」フレーズに関する議論を参照してください）。そして、ある話者には完全に文法的であり、他の話者には完全に非文法的であり、さらに他の話者は機会ごとに意見を変えるようなフレーズもあります。最後に、言語ではまれですが、実際のデータに関心がある場合は無視できない用法があります。例えば、動詞quakeは辞書では自動詞としてリストされており、カテゴリ理論の文法によれば、(1)は文法的で、(2)はそうではないことを意味します。

1. 地球は揺れた。
2. ？それは彼女の腸を揺るがした。

しかし、(2)は実際には英語の文として現れます。これはカテゴリ理論にジレンマをもたらします。(2)が観察された場合、理論的根拠なしに、モデルの範囲外のエラーとして恣意的に却下するか、(2)を許可するように理論を変更する必要があります。後者の場合、多くの場合、非文法的としたい多くの文を受け入れることになります。エドワード・サピアは1921年に「すべての文法は漏れる」と述べました。しかし、確率モデルでは問題ありません。quakeは自動詞として使用される確率が高く、他動詞としての使用確率は低い（そして、気になれば、サブカテゴリ化によってそれらの使用をさらに記述できます）と言うことができます。

スティーブ・アブニーは、確率モデルが言語変化のモデリングに適していると指摘しています。彼は、15世紀のイギリス人が毎日パブに行って「エール！」と注文する例を挙げています。カテゴリモデルの下では、大母音推移がパブリカンのパラメータが反転する1日前に彼の心のブールパラメータを反転させたため、ある日彼がウナギを出されると予想するのは合理的かもしれません。確率的フレームワークでは、複数のパラメータがあり、おそらく連続値を持つため、シフトが2世紀にわたって徐々にどのように起こるかを容易に理解できます。

したがって、文法性はカテゴリ的で決定論的な判断ではなく、本質的に確率的な判断であるように思われます。これは、実際の文のコーパスを観察することに時間を費やす人には明らかになりますが、自分の直感のセットを研究対象と考えている人には不明なままかもしれません。観察と直感の両方が科学の歴史で使用されてきたため、どちらも「斬新」ではありませんが、科学の支配的なモデルは直感ではなく観察です。

次に、チョムスキーが統計モデルを嫌う主な理由である「正確な記述」と「洞察」の間の緊張を考えてみましょう。これは古い区別です。チャールズ・ダーウィン（生物学者、1809-1882）は、洞察に富んだ理論で最もよく知られていますが、正確な記述の重要性を強調し、「偽の事実は科学の進歩に非常に有害である。なぜなら、それらはしばしば長く存続するからである。しかし、いくつかの証拠に裏付けられた偽の考えは、ほとんど害をなさない。なぜなら、誰もがそれらの偽りを証明することに健全な喜びを感じるからだ」と述べています。より最近では、リチャード・ファインマン（物理学者、1918-1988）は、「証明なしでも物理学は進歩できるが、事実なしでは進歩できない」と書いています。

［画像］
蝶

一方、アーネスト・ラザフォード（物理学者、1871-1937）は、単なる記述を軽蔑し、「すべての科学は物理学か切手収集かのどちらかである」と言いました。チョムスキーは彼と共にいます。「蝶を採集して多くの観察をすることもできます。蝶が好きなら、それは結構です。しかし、そのような仕事は、説明原理の発見に関わる研究と混同してはなりません。」

両方の側面を認めているのは、ロバート・ミリカン（物理学者、1868-1953）です。彼はノーベル賞受賞スピーチで、「科学は理論と実験という2つの足で歩む…時にはまず一方の足が踏み出され、時にはもう一方の足が踏み出されるが、継続的な進歩は両方の足を使うことによってのみ達成される」と述べました。

二つの文化

［画像］
レオ・ブライマン

これらの著名な科学者たちの意見を聞いた後、現在の議論に最も関連性の高い貢献は、レオ・ブライマン（統計学者、1928-2005）による2001年の論文、統計モデリング：二つの文化だと思います。この論文でブライマンは、C. P. スノーに言及して、二つの文化を説明しています。

まず、データモデリング文化（ブライマンの推定では、統計学者の98%がこれに属する）は、自然は入力変数から出力変数へのマッピング（おそらくランダムノイズが少し加わる）を持つ、比較的単純な根本的なモデルを持つブラックボックスとして記述できると考えています。統計学者の仕事は、自然の現実を反映する根本的なモデルを賢く選択し、そのモデルのパラメータを推定するために統計データを使用することです。

次に、アルゴリズムモデリング文化（統計学者の2%と、生物学、人工知能、その他の複雑な現象を扱う分野の研究者の多くがこれに属する）は、自然のブラックボックスは必ずしも単純なモデルで記述できるとは限らないと考えています。複雑なアルゴリズムアプローチ（サポートベクターマシン、ブースト決定木、ディープビリーフネットワークなど）を使用して、入力変数から出力変数への関数を推定しますが、この複雑なアルゴリズムから現れる関数の形式が自然の真の根本的な性質を反映しているという期待はありません。

チョムスキーが最も激しく反対しているのは、アルゴリズムモデリング文化のようです。モデルが統計的（または確率的）であるだけでなく、現実に正確にモデル化する形式を生成しますが、人間が容易に解釈できず、自然が使用する生成プロセスに対応するという主張もしないことです。言い換えれば、アルゴリズムモデリングは何が起こるかを記述しますが、なぜそうなるのかという問いには答えません。

ブライマンの論文は、データモデリングに対する彼の異議を説明しています。基本的に、データモデリングによってなされる結論は、モデルに関するものであり、自然に関するものではありません。（余談：2000年に、火星へのバイキング探査のリーダーであったジェームズ・マーティンが、宇宙船エンジニアとしての彼の仕事は火星に着陸することではなく、地質学者が提供する火星のモデルに着陸することだったと言っていたのを覚えています。）問題は、モデルが自然をうまく模倣しない場合、結論は間違っている可能性があるということです。例えば、線形回帰は統計学者のツールボックスの中で最も強力なツールの1つです。したがって、多くの分析は「データは線形モデルによって生成されると仮定する…」から始まり、データが実際にそのように生成されていない場合に何が起こるかの十分な分析が欠けています。さらに、複雑な問題に対しては、通常、適合度の尺度が非常に似ている多くの代替の良いモデルが存在します。データモデラーはそれらの間でどのように選択するのでしょうか？何かが犠牲にならなければなりません。ブライマンは、入力から出力への自然の関数の真の根本的な形式を一意にモデル化できるという考えを諦めるように求めています。代わりに、観測されたデータをうまく説明し、新しい、以前に見たことのないデータにうまく汎化する関数で満足するように求めていますが、それは複雑な数学的形式で表現される可能性があり、それは「真の」関数の形式（もしそのような真の関数が存在するとしても）とは関係がないかもしれません。チョムスキーは逆のアプローチをとります。彼は単純でエレガントなモデルを維持することを好み、モデルがデータをうまく表現するという考えを諦めます。代わりに、彼は、彼がパフォーマンスデータと呼ぶもの—人々が実際にやっていること—は言語学の範囲外であると宣言します。本当に重要なのはコンピタンス—彼が想像する彼らがすべきこと—です。

[［画像］]
ビル・オライリー
［画像］
ラプラス

2011年1月、テレビタレントのビル・オライリーは、彼の声明「潮は満ち、潮は引く。決して誤解はない。それを説明できない」で複数の文化戦争に言及しました。彼はこれを神の存在の証拠として提案しました。オライリーは、潮汐が太陽、地球、月の重力相互作用を記述する偏微分方程式のシステムによって簡潔かつ簡潔に説明できることを知らなかったため、彼の批評家たちに嘲笑されました（この事実はラプラスによって1776年に最初に解明され、それ以来大幅に洗練されています。ナポレオンに、なぜ創造主が彼の計算に登場しないのかと尋ねられたとき、ラプラスは「その仮説は必要ありませんでした」と答えました）。（オライリーはまた、デイモスとフォボス（太陽系で私のお気に入りの月、エウロパ、イオ、タイタンと共に）、火星と金星が太陽の周りを公転していること、そして金星に月がない理由はその太陽に近すぎて安定した月の軌道のためのスペースがほとんどないことも知らないようです。）

しかし、オライリーは、彼の批評家たちが彼の天文学的無知をどう考えても構わないことを認識しています。なぜなら、彼の支持者たちは、彼がまさに核心的な問題に到達したと考えているからです。なぜ？彼は潮汐がどのように機能するかには関心がなく、なぜ機能するのかを教えてほしいのです。なぜ月は穏やかな潮汐を提供し、地球の自転軸を安定させる効果を発揮するのに適切な距離にあるのでしょうか？なぜ重力はそのように機能するのでしょうか？なぜすべてが存在するのでしょうか？オライリーは、これらのなぜという問いは、科学ではなく、神話作り、宗教、または哲学によってのみ対処できるという点で正しいです。

チョムスキーは、深いなぜに焦点を当てるべきであり、単なる現実の説明は重要ではないという考えに基づいた哲学を持っています。この点で、チョムスキーはオライリーと完全に同意します。（前の文は、新聞やテレビのコーパスで訓練された確率モデルでは非常に低い確率を持つだろうと認識しています。）チョムスキーは、言語の理論は、線形回帰モデルのように、我々が根本的なプロセスが直線であることを知っており、私たちがしなければならないのは傾きと切片を推定することだけであるように、単純で理解しやすいものであるべきだと信じています。

例えば、チョムスキーの『統語論入門』（1981年）にある、チョムスキーのプロドロップ言語という概念を考えてみましょう。英語では、「I'm hungry」のように代名詞「I」を表現します。しかしスペイン語では、「Tengo hambre」（文字通り「空腹である」）という思考を表現し、代名詞「Yo」を省略します。チョムスキーの理論は、「プロドロップパラメータ」というものがあり、スペイン語では「真」、英語では「偽」であり、すべての言語を記述する少数のパラメータのセットを発見すれば、真の理解を達成できるというものです。

［画像］
デイナ・カービー

しかし、現実はこの理論よりも複雑です。ここでは英語での代名詞省略の例をいくつか示します。

• 「やらない。賢明ではない。」（デイナ・カービー、ジョージ・H・W・ブッシュの模倣）
• 「我々を出し抜けるとでも思っているのか？」（エヴリン・ウォー、『ザ・ラブド・ワン』）
• 「彼は戦うのが好きだと思っているのか？」（S.M.スターリング、『ザ・サンライズ・ランド』）
• 「彼は自分がすべてだと思っている。」（ケイト・ブライアン、『ラッキーT』）
• 「散歩に行こうか？」（数え切れないほどの犬の飼い主）
• 「つかまえた！」「見つけた！」「私には良く見える！」（一般的な表現）

言語学者はこれらの事実の解釈について何時間でも議論できますが、言語の多様性は、単一のプロドロップパラメータのブール値よりもはるかに複雑であるように思われます。モデルを単純にすることに重点を置く理論的枠組みを受け入れるべきではありません。現実を正確に反映することよりも。

最初から、チョムスキーは言語の生成側面に焦点を当ててきました。この側面からは、非確率的な物語を語ることは合理的です。私は表現したいアイデアを知っています—単一の意味形式から始めています—したがって、私がしなければならないのは、それを言うための単語を選ぶことだけです。なぜそれが決定論的でカテゴリ的なプロセスであってはならないのでしょうか？もしチョムスキーがクロード・シャノンのように、もう一方の側面、解釈に焦点を当てていたら、彼は考えを変えたかもしれません。解釈（音声認識など）では、リスナーはノイズが多く曖昧な信号を受け取り、多くの可能な意図されたメッセージの中から最も可能性の高いものを決定する必要があります。したがって、これは本質的に確率的な問題であることは明らかです。これは、音声認識のすべての研究者、および解釈を行う他の分野の科学者によって早くから認識されていました。天文学者のラプラスは1819年に「確率論は計算に還元された常識にすぎない」と述べ、物理学者のジェームズ・マクスウェルは1850年に「この世界の真の論理は確率の計算であり、それは合理的な人間の心にある、あるいはあるべき確率の大きさを考慮に入れている」と述べました。

最後に、チョムスキーが統計モデルを嫌うもう一つの理由は、それらが言語学を数学的科学（形式言語のモデルの数学的性質の研究であり、言語そのものではない）ではなく、経験的科学（人々が実際に言語を使用する方法についての科学）にする傾向があることです。チョムスキーは後者を好み、彼の『統語論の理論』（1965年）で次のように述べています。

言語理論は精神主義的である。なぜなら、それは実際の行動の根底にある精神的な現実を発見することに関心があるからである。観察された言語の使用…は証拠を提供するかもしれない…しかし、それが真剣な学問であるならば、言語学の主題を構成することは決してできない。

ラプラスが、惑星の観測が軌道力学の主題を構成できないとは言えないだろう、あるいはマクスウェルが、電荷の観測が電磁気学の主題を構成できないとは言えないだろうと想像できます。物理学は、現実世界の混乱から抽象化された理想化を考慮に入れています。例えば、力学の問題の一クラスは摩擦を無視します。しかし、摩擦が物理学の主題の一部と見なされないという意味ではありません。

［画像］
プラトン

では、チョムスキーは言語の観察が言語学の主題になり得ないとどうして言えるのでしょうか？それは、彼のプラトン主義者、合理主義者、そしておそらく少し神秘主義者としての視点から来ているようです。プラトンの洞窟の比喩のように、チョムスキーは、私たちが言語の背後にある理想的で抽象的な形態に焦点を当てるべきであり、現実世界で知覚可能な言語の表面的な現れに焦点を当てるべきではないと考えています。だからこそ、彼は言語のパフォーマンスに関心がないのです。しかし、チョムスキーはプラトンのように、これらの理想的な形態がどこから来るのかを答えなければなりません。チョムスキー（1991年）は、彼が神秘的な答えに満足していることを示していますが、「魂」から「生物学的素質」へと語彙をシフトさせています。

プラトンの答えは、知識は以前の存在から「記憶」されているというものだった。その答えはメカニズムを必要とする。おそらく不滅の魂…プラトンの答えを、今日私たちにより馴染みやすい言葉で言い換えれば、認知システムの基本的な特性は心に生得的であり、人間の生物学的素質の一部であると言うだろう。

［画像］
ラスコーの馬

例えば、馬の理想が、世界で知覚できる個々の馬よりも重要であると考えることは、プラトンにとって合理的でした。紀元前400年、種は永遠で不変であると考えられていました。私たちは今、それが真実ではないことを知っています。ラスコーの別の洞窟の壁にある馬は、今では絶滅しており、現在の馬はゆっくりと進化し続けています。したがって、単一の理想的な永遠の「馬」の形態というものは存在しません。

また、言語も同様であることを今では知っています。言語は、進化と文化の変化の気まぐれに左右される、複雑でランダムで偶発的な生物学的プロセスです。言語を構成するものは、少数のパラメータの設定によって表される永遠の理想的な形態ではなく、複雑なプロセスの偶発的な結果です。それらは偶発的なものであるため、確率モデルでしか分析できないように思われます。人々は、他者の不確実で曖昧でノイズの多い発話を絶えず理解しなければならないため、確率的推論のようなものを使用しているに違いありません。チョムスキーはなぜかこれを避けたいので、実際の言語使用の事実を範囲外と宣言し、真の言語学は彼が望む形式主義を課すことができる数学の領域にのみ存在すると宣言しなければなりません。そして、この抽象的で永遠の数学的な領域から人々の頭の中に言語を移すために、彼は永遠の領域に正確に調整された神秘的な能力を捏造しなければなりません。これは数学的な観点からは非常に興味深いかもしれませんが、言語が何であり、どのように機能するかという点を見失っています。

感謝

このエッセイに関するコメントや提案をいただいたAnn Farmer、Fernando Pereira、Dan Jurafsky、Hal Varian、その他の方々に感謝します。

注釈付き参考文献

1. Abney, Steve (1996) Statistical Methods and Linguistics, in Klavans and Resnik (eds.) The Balancing Act: Combining Symbolic and Statistical Approaches to Language, MIT Press.

   言語処理への統計的アプローチの優れた全体的な入門書であり、言語変化や個人差など、あまり取り上げられない分野もカバーしています。

2. Breiman, Leo (2001) Statistical Modeling: The Two Cultures, Statistical Science, Vol. 16, No. 3, 199-231.

   ブライマンは、二つのアプローチを説明し、彼のアプローチの利点を説明し、著名な統計学者であるコックス、エフロン、ホードリー、パーゼンとの非常に興味深いコメントで彼の主張を擁護しています。

3. Chomsky, Noam (1956) Three Models for the Description of Language, IRE Transactions on Information theory (2), pp. 113-124.

   有限状態文法、句構造文法、変換生成文法を比較します。「色なし緑のアイデアは激しく眠る」を導入します。

4. Chomsky, Noam (1967) Syntactic Structures, Mouton.

   チョムスキーの理論を本全体で説明したもので、10年間言語学の主要な説明でした。確率モデルは統語論に洞察を与えないと主張しています。

5. Chomsky, Noam (1969) Some Empirical Assumptions in Modern Philosophy of Language, in Philosophy, Science and Method: Essays in Honor o Ernest Nagel, St. Martin's Press.

   「文の確率」という概念は完全に無用な概念であると主張しています。

6. Chomsky, Noam (1981) Lectures on government and binding, de Gruyer.

   チョムスキーの理論の改訂版。このバージョンでは普遍文法が導入されています。プロドロップなどのパラメータのカバーのために引用します。

7. Chomsky, Noam (1991) Linguistics and adjacent fields: a personal view, in Kasher (ed.), A Chomskyan Turn, Oxford.

   プラトンの引用は、大英共産党によって出版されたこの記事に含まれていました。この出版物は、言語学の訓練を受けていない人物によって、政治的意図を持って行われたようです。

8. Gold, E. M. (1967) Language Identification in the Limit, Information and Control, Vol. 10, No. 5, pp. 447-474.

   ゴールドは形式言語理論において、ある結果を証明しました。これは、あるゲームを想定して説明できます。プレイヤーは「推測者」と「選択者」です。選択者は推測者に、「無限の言語があります。その中から1つを選び、その言語から来る文を読み上げます。N番目の誕生日に、まだ聞いていない100の文を与えられ、それらがその言語から来るかどうかを判断しなければならない、という真偽クイズがあります。」と伝えます。無限の言語のセットと、選択者が文を選ぶ方法（彼は意図的にトリッキーになることができますが、同じ文を繰り返し読むことはできません）にはいくつかの制限があります。ゴールドの結果は、無限の言語セットがすべて文脈自由文法によって生成される場合、推測者がNを誕生日としてどれだけ選んでも、常に100%正しくなることを保証する戦略はないということです。この結果は、チョムスキーらによって、子供たちが生得的な「言語器官」なしでは人間の言語を学習することは不可能であるという意味で受け取られました。ジョンソン（2004年）らが示すように、これは無効な結論でした。クイズで100%正解するというタスク（ゴールドはこれを言語同定と呼んだ）は、子供が行う言語獲得のタスクとは何の関係もありません。したがって、ゴールドの定理は関連性がありません。

9. Horning, J. J. (1969) A study of grammatical inference, Ph.D. thesis, Stanford Univ.

   ゴールドが否定的な結果（文脈自由言語は例から同定できない）を見つけたのに対し、ホーニングは肯定的な結果（確率的文脈自由言語は（任意の小さな誤差の範囲内で）同定可能である）を見つけました。人間が言語を理解するための独自の生得的な能力を持っていることを疑う人はいません（ただし、これらの能力が言語にどれほど特異的で、シーケンス形成や抽象化形成といった一般的な認知能力にどれほど関連しているかは不明です）。しかし、ホーニングは1969年に、ゴールドの定理は、パラメータのいくつかの設定を除いて言語全体を指定する生得的な言語器官の説得力のある議論として使用できないことを証明しました。

10. Johnson, Kent (2004) Gold's Theorem and cognitive science, Philosophy of Science, Vol. 71, pp. 571-592.

    ゴールドの定理が実際に何を意味し、何が主張されているか（正しくも誤っても）について、私が読んだ中で最も優れた記事です。ゴールドの定理は形式言語については何かを語るが、子供の言語獲得については何も語らないと結論付けています。

11. Lappin, Shalom and Shieber, Stuart M. (2007) Machine learning theory and practice as a source of insight into universal grammar., Journal of Linguistics, Vol. 43, No. 2, pp. 393-427.

    刺激の貧困、すべてのモデルにはバイアスがあるという事実、教師あり学習と教師なし学習の違い、そして現代の（PACまたはVC）学習理論について議論している優れた記事です。普遍文法を固定された二値パラメータのセットとして構成するというモデルに代わるものを提示しています。

12. Manning, Christopher (2002) Probabilistic Syntax, in Bod, Hay, and Jannedy (eds.), Probabilistic Linguistics, MIT Press.

    確率的構文学への説得力のある入門であり、それがカテゴリ構文学よりも言語的事実のより良いモデルである理由を説明しています。「コーパス言語学の喜びと危険」をカバーしています。

13. Norvig, Peter (2007) How to Write a Spelling Corrector, unpublished web page.

    確率的、統計的なスペル訂正アルゴリズムを実装する動作コードを示しています。

14. Norvig, Peter (2009) Natural Language Corpus Data, in Seagran and Hammerbacher (eds.), Beautiful Data, O'Reilly.

    上記の論文を拡張しています。テキストセグメンテーション、暗号解読、スペル訂正（前の論文よりもやや完全な形式で）の3つのタスクを実装する方法を示しています。

15. Pereira, Fernando (2002) Formal grammar and information theory: together again?, in Nevin and Johnson (eds.), The Legacy of Zellig Harris, Benjamins.

    あなたが読んでいるページを書くために取り掛かったとき、私はケンブリッジ、マサチューセッツで起こった出来事、つまり自宅から4800km離れた場所に焦点を当てていました。いくつかの調査を行った後、この主題に関する3つの最高の記事のうち2つの著者が私の机から10メートル以内にいることを知り、驚きました。（3番目のスティーブ・アブニーは3700km離れた場所にいます。）しかし、驚くべきではなかったかもしれません。Googleでのコーパスベース言語モデルに関するACLでの講演を行った際、当時ペンシルベニア大学の教授だったフェルナンドから「私は素粒子物理学者で、あなたは唯一のスーパーコライダーを持っているような気分です」というコメントを受けました。数年後、彼はGoogleに移籍しました。フェルナンドはまた、「年を取るにつれて、チョムスキー階層をさらに下っていく」という言葉でも有名です。この記事では、私の記事と同じような内容を扱っていますが、利用可能な確率モデルの範囲とそれらがどのように役立つかをより詳しく説明しています。

16. Plato (c. 380BC) The Republic.

    洞窟の比喩のために引用します。

17. Shannon, C.E. (1948) A Mathematical Theory of Communication, The Bell System Technical Journal, Vol. 27, pp. 379-423.

    情報理論の分野を開始し、「ビット」という用語とノイズチャネルモデルを導入し、英語の逐次n-gram近似を実証し、これらのモデルに関するエントロピーを定義し、通信産業の成長を可能にした、非常に影響力のある記事です。

---

ピーター・ノーヴィッグ

---