実データセットにおけるベンフォードの法則のインタラクティブなエクスプローラー

数字をランダムに選んだとき、それが1で始まる確率はどのくらいでしょうか？直感的には9分の1、つまり約11%だと答えるでしょう。ゼロ以外の数字は9つあり、それらが等しく発生するなら、それぞれが均等なシェアを得るはずです。これは古典的な確率論の議論であり、完璧に思えます。しかし、それは間違っています。劇的に、検証可能に、普遍的に間違っています。 実世界のほぼすべての大規模データセット――都市の人口、川の長さ、価格、地震の深さ、企業の収益――において、先頭の桁は均等には分布していません。数字の1は、約30%の時間で先頭の桁として現れます。11%ではありません。単純な予想のほぼ3倍です。数字の9は、5%未満の時間しか現れません。 そして、これは特定のデータセットや特定の測定単位の奇妙な現象ではありません。マイルとキロメートルで測定された川の長さでも同様です。1938年と2022年に数えられた人口でも同様です。株価、湖の表面積、星と星の間の距離でも同様です。同じ曲線が、互いに同意するはずのないデータで、何度も現れます。 さらに奇妙なのは、この法則はフィボナッチ数列――純粋な算術によって生成され、物理世界とは無関係な整数の列――にも適用されるということです。2のべき乗にも適用されます。物理学の定数にも適用されます。それはほとんど不合理なほどです。人類が測定、数え、計算してきたほぼすべての数の先頭桁を記述する、単一の対数式が存在します。これがベンフォードの法則です。 古典的な確率論の直感が失敗するのは、実世界の数字が数字の均一な分布から来るのではなく、多くの桁数にまたがるプロセスから来るためです。対数スケールでは、1と2の間のスペースは8と9の間のスペースよりもはるかに大きくなります。 この記事では、1.ライブで見る — フィボナッチ数列がリアルタイムで法則を実証する、2.起源 — 摩耗した対数表から2万点のデータポイントまで、3.数学 — 公式と、なぜスケール不変性がそれを説明するのか、4.応用 — 不正検出、実例、ポップカルチャー、5.データセットエクスプローラー — 8つの実データセットで法則をテストする、6.自分で検証する — 生データ、収集スクリプト、再現手順を紹介します。 ライブで見る 0 フィボナッチ数列がリアルタイムでストリーミング再生されます。ヒストグラムがフィボナッチ数列からリアルタイムで埋まっていく様子をご覧ください。バーがどこに落ち着くか見てください。数字の1は約30%を占め、数字の9はほとんど現れません。破線は理論的な予測です。データはそれにほぼ正確に従います。これが、実世界のデータが一切関与しない純粋な数学的数列に当てはまるということは、経験的な偶然以上の何か深いものが働いている最初のヒントです。 起源 この法則には珍しい歴史があります。2度発見され、2番目の発見者の名が付けられ、最初の観察から60年後にようやく厳密に証明されました。 1881年。カナダ系アメリカ人の天文学者・数学者であるサイモン・ニューカムは、対数表に奇妙なことに気づきました。最初のページ――1で始まる数字をカバーする――は、後のページよりも明らかに摩耗して汚れていました。人々は1で始まる数字を9で始まる数字よりもはるかに頻繁に調べていました。彼はアメリカ数学雑誌に「自然数における異なる数字の使用頻度に関する注記」というタイトルの短い論文を発表しました。その中で彼は確率規則を述べています。「数の出現確率の法則は、その対数の仮数（mantissae）が等しく確率的である」というものです。これが洞察です。対数スケールでは、1.0から2.0までのスペースは4.0から8.0までのスペースと同じ大きさです。したがって、対数スケール上で均一に分布する確率変数は、この先頭桁の分布を正確に生成します。ニューカムの論文は基本的に無視されました。 1938年。ゼネラル・エレクトリックの物理学者であるフランク・ベンフォードは、独立して対数表で同じ現象に気づき、体系的な研究を行いました。彼は20の異なるカテゴリにわたる20,229点のデータポイントを収集しました：川の表面積、人口数、物理定数、住所、分子量、新聞のフロントページ。カテゴリごとに、先頭桁の分布は同じ曲線に一致しました。彼はアメリカ哲学協会の議事録に「異常数の法則」を発表しました。この法則は、ニューカムの57年前の優先権にもかかわらず、彼の名で呼ばれるようになりました。 1995年。セオドア・ヒルは厳密に証明しました。彼は、さまざまな異なる分布から繰り返しサンプリングして結果をプールすると、集計された先頭桁の分布がベンフォードの法則に収束することを示しました。この「ランダムな分布からのランダムなサンプル」定理は、この法則がなぜそれほど広範に適用されるのかを説明しています。実世界のデータセットは、多くの異なる基盤となるプロセスの混合物であり、その混合物は個々の要素に関係なくベンフォードに収束します。論文「有意桁数の統計的導出」は、Statistical Scienceに掲載されました。 数学 この公式はコンパクトです： P(d) = log₁₀(1 + 1/d) ここで d ∈ {1, 2, 3, 4, 5, 6, 7, 8, 9} が先頭の桁です。 各値を代入すると： 桁 | 期待される頻度 ---|--- 1 | 30.1% 2 | 17.6% 3 | 12.5% 4 | 9.7% 5 | 7.9% 6 | 6.7% 7 | 5.8% 8 | 5.1% 9 | 4.6% これらは合計でちょうど100%になります。この公式は、先頭桁 d の確率が、数字の先頭桁が d である数字によって占められる対数的な数直線上の割合――対数スケールでの区間 [d, d+1) の幅――であることを示しています。 スケール不変性がそれを説明する理由 ここに重要な制約があります。自然に発生するあらゆる数量――長さ、人口、価格――は、異なる単位で測定できます。川の長さはキロメートルでもマイルでも構いません。株価はドルでも円でも構いません。先頭桁の分布は、測定単位の選択に依存すべきではありません。もし依存するなら、測定システムが統計パターンに影響を与えることになります――これは普遍的な法則にとって奇妙な特性でしょう。 任意の正の定数による乗算に対して不変な唯一の先頭桁分布は、上記の対数公式で与えられるものです。これは偶然ではありません――それは分布の定義的な特性です。ベンフォードの法則は、スケール変換の唯一の不動点です。 以下で試してみてください。スライダーをドラッグして、フィボナッチデータセットのすべての数字を0.001から1,000の任意の係数で乗算します。右側の分布は常に左側の分布に一致します。 元の × 1.0 スケール変更 → 同じ！ P(d) = log₁₀(1 + 1/d) はスケール不変です。すべての数字を任意の定数で乗算しても、先頭桁の分布は変わりません。 法則が適用されない場合 この法則は、データが複数の桁数にまたがることを要求します。成人人間の身長（約1.5mから2.1m）は1桁数未満にしかまたがりません――ベンフォードの法則は適用されません。山の高さ（約100mから8,849m）は約2桁にまたがります――適用されます。狭い範囲に限定されたデータセット、または割り当てられたデータ（電話番号、郵便番号、ID番号）は、それに従いません。この法則は、構築されたデータではなく、広範囲にわたる自然な測定の特性です。 応用 不正検出 人々が財務上の数字を捏造するとき――経費の過大請求、架空の取引記録、偽造された会計記録――彼らはそれらを「ランダム」に見せようとします。しかし、ランダム性に関する人間の直感は不正確です。人々は先頭桁として1を避けます（小さすぎ、明白すぎると感じる）そして3、5、7のような中間桁に引き寄せられます。その結果、特徴的な署名が生まれます。捏造されたデータの先頭桁分布は、ベンフォードの法則が予測するものよりも平坦で均一になります。その偏差は測定可能です。 実際の会計データ MAD — 良好な適合 ✓ 捏造された数字 MAD — 疑わしい ✗ 人間は、中間桁（3、5、7）に強い偏りがあり、1を積極的に避ける「ランダム」な数字を生成します。ベンフォードの法則はそのパターンを捉えます。左のパネルはベンフォードの法則に密接に従う分布を示しています――実際の会計データから期待されるようなものです。