HN 日本語サマリー

← 一覧へ戻る
科学・技術

実データセットにおけるベンフォードの法則のインタラクティブなエクスプローラー

An interactive explorer for Benford's Law across real datasets (vatsalbakshi.com)

28 pointsby dingobabies10 コメント

要約

この記事は、実世界の多くのデータセットで観測される「ベンフォードの法則」について解説しています。この法則は、データの先頭桁が1から9まで均等に分布するのではなく、1が約30%を占め、9は5%未満になるという驚くべき傾向を示します。これは、対数スケールでの分布やスケール不変性によって説明され、不正検出などの応用例も紹介されています。

全文翻訳

ベンフォードの法則:金融詐欺師を捕らえる奇妙な法則

実世界からランダムに選ばれた数字が、1で始まる確率はどれくらいでしょうか?

直感的な答えは9分の1、つまり約11%でしょう。ゼロ以外の数字は9つあります。それらが等しく起こりやすいとすれば、それぞれが均等な分け前を得るはずです。これは古典的な確率論の議論であり、鉄壁のように思えます。

それは間違っています。劇的に、検証可能に、普遍的に間違っています。

人口、河川の長さ、価格、地震の深さ、企業の収益など、実世界から抽出されたほとんどすべての大きなデータセットにおいて、最初の桁は均一に分布していません。数字の1は、約30%の時間で最初の桁として現れます。11%ではありません。ナイーブな期待値のほぼ3倍です。数字の9は5%未満の時間しか現れません。これは、特定のデータセットや特定の測定単位の単なる奇妙な現象ではありません。マイルでもキロメートルでも測定された河川の長さで成り立ちます。1938年でも2022年でも数えられた人口で成り立ちます。株価、湖の表面積、星と星の間の距離でも成り立ちます。互いに同意するはずのないデータで、同じ曲線が繰り返し現れます。

さらに奇妙なことがあります。この法則は、純粋な算術で生成され、物理世界とは無関係な整数の列であるフィボナッチ数列にも適用されます。2のべき乗にも適用されます。物理学の定数にも適用されます。これには、ほとんど不合理なものがあります。人類が測定、数え、計算してきたほとんどすべての数字の最初の桁を記述する、単一の対数式です。

これがベンフォードの法則です。古典的な確率論の直感が失敗するのは、実世界の数字が数字の均一な分布から来るのではなく、多くの桁数にまたがるプロセスから来るためです。対数スケールでは、1と2の間のスペースは8と9の間のスペースよりもはるかに大きくなります。


この記事では

  1. 1実時間で確認 — フィボナッチ数列が法則を実演
  2. 2起源 — すり減った対数表から20,000のデータポイントまで
  3. 3数学 — 公式と、なぜスケール不変性がそれを説明するのか
  4. 4応用 — 不正検出、実例、およびポップカルチャー
  5. 5データセットエクスプローラー — 8つの実データセットで法則を検証
  6. 6自分で検証 — 生データ、収集スクリプト、および再現手順

実時間で確認

ヒストグラムはフィボナッチ数列からリアルタイムで埋まっていきます。バーがどこに落ち着くか見てみましょう。数字の1は約30%を占め、数字の9はほとんど現れません。破線は理論的な予測です。データはほぼ正確にそれに従います。

これが純粋な数学的数列(実世界のデータは一切関与しない)でも成り立つということは、経験的な偶然以上の何かが働いている最初のヒントです。

起源

この法則は珍しい歴史を持っています。2度発見され、2番目の発見者の名が付けられ、最初の観察から60年後にようやく厳密に証明されました。

1881年。 カナダ系アメリカ人の天文学者であり数学者であるサイモン・ニューカムは、対数表に奇妙なことに気づきました。最初のページ(1で始まる数字をカバーする)は、後のページよりも明らかに摩耗して汚れています。人々は1で始まる数字を9で始まる数字よりもはるかに頻繁に調べていました。彼は『American Journal of Mathematics』に「自然数における異なる数字の使用頻度について」と題した短い論文を発表しました。その中で彼は確率規則を述べています。

「数の出現確率の法則は、その対数の仮数が等しく起こりやすいというものである。」

これが洞察です。対数スケールでは、1.0から2.0の間のスペースは4.0から8.0の間のスペースと同じ大きさです。したがって、対数スケールで均一に分布する確率変数は、この最初の桁の分布を正確に生成します。ニューカムの論文は基本的に無視されました。

1938年。 ゼネラル・エレクトリックの物理学者であるフランク・ベンフォードは、独立して対数表で同じ現象に気づき、体系的な研究を行いました。彼は、20種類の異なるカテゴリ(河川の表面積、人口数、物理定数、街路住所、分子量、新聞のフロントページ)にまたがる20,229のデータポイントを収集しました。カテゴリごとに、最初の桁の分布は同じ曲線に一致しました。彼は『Proceedings of the American Philosophical Society』に「異常数の法則」を発表しました。ニューカムの57年早い先取権にもかかわらず、この法則は彼の名をとって名付けられました。

1995年。 セオドア・ヒルは結果を厳密に証明しました。彼は、さまざまな異なる分布から繰り返しサンプリングして結果をプールした場合、集計された最初の桁の分布がベンフォードの法則に収束することを示しました。この「ランダムな分布からのランダムサンプル」定理は、この法則がなぜそれほど広く適用されるのかを説明しています。実世界のデータセットは、多くの異なる根本的なプロセスの混合であり、その混合は個々の成分に関係なくベンフォードに収束します。論文「有意数字の法則の統計的導出」は、『Statistical Science』に掲載されました。

数学

公式はコンパクトです。

P(d) = log₁₀(1 + 1/d)

ここで、d ∈ {1, 2, 3, 4, 5, 6, 7, 8, 9} は最初の桁です。各値を代入すると:

数字期待される頻度
130.1%
217.6%
312.5%
49.7%
57.9%
66.7%
75.8%
85.1%
94.6%

これらは合計でちょうど100%になります。この公式は、最初の桁がdである確率が、対数数直線上の数字の区間がdで始まる数字によって占められる割合であることを示しています。これは対数スケールでの区間 [d, d+1) の幅です。

なぜスケール不変性がそれを説明するのか

これが重要な制約です。自然に発生する任意の数量(長さ、人口、価格)は、異なる単位で測定できます。河川の長さはキロメートルでもマイルでも測定できます。株価はドルでも円でも測定できます。最初の桁の分布は、単位の選択に依存しないはずです。もし依存するなら、測定システムが統計パターンに影響を与えることになります。これは普遍的な法則が持つべき奇妙な特性でしょう。

正の定数による乗算に対して不変な最初の桁の分布は、上記の対数公式で与えられるものだけです。これは偶然ではありません。それは分布の定義特性です。ベンフォードの法則は、スケール変換の一意な不動点です。

以下で試してみてください。スライダーをドラッグして、フィボナッチデータセットのすべての数値を0.001から1,000までの任意の係数で乗算します。右側の分布は常に左側の分布と一致します。

original

× 1.0

drag

scaled → same!

法則が適用されない場合

この法則は、データがいくつかの桁数にまたがることを必要とします。成人人間の身長(約1.5mから2.1m)は1桁数未満にまたがるため、ベンフォードの法則は適用されません。山の高さ(約100mから8,849m)は約2桁にまたがるため、適用されます。狭い範囲に限定されたデータセットや、割り当てられたデータ(電話番号、郵便番号、ID番号)は、それに従いません。この法則は、構築されたデータではなく、広範囲にわたる自然な測定の特性です。

応用

不正検出

人々が財務数値を捏造する際(経費の過大請求、架空の取引記録、偽造された会計エントリなど)、それらを「ランダム」に見せようとします。しかし、ランダム性に関する人間の直感は不正確です。人々は最初の桁として1を避ける傾向があります(小さすぎ、明白すぎると感じる)そして3、5、7のような中間桁に引き寄せられます。

その結果、特徴的なシグネチャが生まれます。捏造されたデータの最初の桁の分布は、ベンフォードの法則が予測するものよりも平坦で均一になります。その偏差は測定可能です。

Real accounting data

MAD —Good fit ✓

Fabricated numbers

MAD —Suspicious ✗

人間は中間桁(3、5、7)に強い偏りを持つ「ランダム」な数値を生成し、1を積極的に避けます。ベンフォードの法則はそのパターンを捉えます。

左側のパネルはベンフォードの法則に密接に従う分布を示しています。これは実際の会計記録から期待される種類です。右側のパネルは、人間が作成した「ランダム」な数値が実際にはどのように見えるかを示しています。ベンフォード曲線(破線)は両方のパネルで同一です。右側のギャップは微妙ではありません。

法廷会計士はこれをスクリーニングツールとして使用します。ベンフォードからの逸脱データセットは不正の証拠ではありません。データセットが法則に従わない正当な理由がある場合もありますが、調査に値するシグナルです。

実社会で

2009年イラン大統領選挙。 マフムード・アフマディネジャドの再選を巡る論争の後、ミシガン大学の政治学者であるウォルター・メーベンは、公式に報告された投票総数にベンフォードの法則を適用しました。彼の分析では、報告された投票数の2桁目の分布がベンフォードの予測から著しく逸脱していることが判明しました。この発表された記事は2010年に『CHANCE』に掲載されました。2009年6月にワーキングペーパーが配布されました。同じデータに対するRoukema(2014)による別の分析では、最初の桁の異常が見つかりました。ベンフォード分析は示唆的であり、決定的ではありませんが、反対派グループが提起した懸念に統計的な重みを与えました。

エンロン。 2001年の同社破産後、法廷会計士はエンロンの報告された財務データにベンフォード分析を適用しました。ベンフォードの法則と財務不正に関する彼の業績は、Forensic Analytics(Wiley、2012年)にまとめられています。マーク・ニグリニは、会計不正調査の文脈でこの手法の使用について議論しています。ベンフォードからの逸脱は操作の証拠ではありません。エンロンの会計不正ははるかに直接的でしたが、このアプローチは、法廷実務におけるスクリーニングフィルターとして法則がどのように機能するかを示しています。

ギリシャの国家統計。 2011年のRauch、Göttsche、Brähler、Engelによる論文は、『German Economic Review』誌で、ユーロ圏加盟国がEurostatに提出したマクロ経済データを分析しました。ギリシャのデータは、加盟国の中でベンフォードの法則からの逸脱が最も大きく、特に2009年にギリシャの真の赤字額が明らかになる前の数年間で顕著でした。著者らは、ベンフォードからの逸脱は偽造の証拠ではないと指摘しましたが、この発見は欧州の財政報告におけるデータ整合性に関する継続的な議論に貢献しました。

ポップカルチャーで

サバイバー:宿命の大統領(シーズン2、2017–2018)。 キャラクターのエミリーはベンフォードの法則を使用して選挙結果を分析し、期待される最初の桁の分布からの逸脱を、結果が捏造された証拠として特定します。番組の描写は、その本質において正確です。方法、逸脱、統計的議論はすべて正しく提示されています。

Numberphile。 YouTubeチャンネルは2013年にベンフォードの法則に関する広く視聴されたエピソードを制作し、公式といくつかの実世界の応用をカバーしました。これは、一般大衆がこの概念に初めて触れる主要な方法の1つであり続けています。

Connected(Netflix、2020)。 ドキュメンタリーエピソード「Digits」は、その歴史、数学、および不正検出と選挙分析への応用を完全にカバーしています。これは、利用可能な最もアクセスしやすい長編の解説であり続けています。

データセットエクスプローラー

公式は説得力があります。歴史は魅力的です。しかし、直感に反する主張に対する正しい対応は、それを受け入れることではなく、それを検証することです。

したがって、数学だけを信頼するのではなく、私たち自身で実データに適用してみましょう。8つのデータセットは、互いに関連のない別々のドメインから抽出されています。人口数、経済指標、地理的測定値、および純粋な数学的数列です。それぞれが一次ソース(World Bank API、US Census Bureau、Wikidataクエリサービス)から直接ダウンロードされ、同じ最初の桁抽出で処理され、ベンフォード予測に対して測定されました。

方法論は簡単です。データセット内のすべての値の最初の有効桁を取得し、各桁(1から9)が何回出現するかを数え、結果の分布をベンフォード曲線 P(d) = log₁₀(1 + 1/d) と比較します。平均絶対偏差(MAD)は、観測された頻度と予測された頻度の間のギャップを、9つの桁すべてにわたって平均したものです。MADが0.006未満であれば、法廷会計基準では良好な適合と見なされます。サンプリングバイアスや測定ノイズを伴う実世界のデータは、自然に少し高くなります。

digit 1

—

n

—

MAD

—

fit

—

計算された数列(フィボナッチと2のべき乗)は、MADスコアが0.002未満で、曲線にほぼ正確に適合しています。World BankとCensus Bureauからの経験的データセットは、完全に異なる現象を完全に異なるスケールでカバーしているにもかかわらず、同じ領域にクラスター化しています。この法則は、乱雑なデータの統計的な奇妙な現象ではありません。それは、乱雑なデータが再発見し続ける数学的な真実です。

自分で検証

これらのチャートの背後にあるすべての数値は再現可能です。ここでは、それらをその起源にまでたどる方法を示します。

データセットごとの出所。 エクスプローラーの各タブには、キャプションバーに「収集方法」ボタンがあります。それをクリックすると、そのデータセットを収集するために使用された正確なAPIリクエストまたはSPARQLクエリ、およびデータが最後にフェッチされたタイムスタンプを示すパネルが開きます。「ソース」↗リンクは、World Bankのインジケーターページ、Census BureauのAPIエンドポイント、またはブラウザで自分で実行できる事前ロードされたWikidataクエリなど、一次ソースに直接移動します。

生の値。 各データセットは、最初の桁の抽出前の未処理の測定値として、1行に1つの値を持つプレーンCSVとして保存されています。ソースAPIが返すもの以外の丸め、正規化、集計はありません。

収集の再実行。 収集スクリプトには、Node.js 18以降と、サイトが既に利用しているもの以外の追加依存関係は必要ありません。それを実行すると、ライブAPIにアクセスし、最初の桁の分布を再計算し、CSVおよびJSONファイルを新しいデータで上書きします。各「収集方法」パネルのフェッチタイムスタンプは、実行した時間を反映するように更新されます。

計算。 各データセットについて、スクリプトは3つのことを行います。ソースから生の値を取得し、d = ⌊|x| / 10^⌊log₁₀|x|⌋⌋ という公式を使用して各正の数の最初の有効桁を抽出し、1から9までの各桁の頻度を計算します。MADスコアは、fd が観測された頻度である場合、1/9 ∑ᵢ<0xE2><0x82><0x99> |f<0xE1><0xB5><0xA2> - log₁₀(1 + 1/d)| となります。これが完全なパイプラインです。


ソース

  • Newcomb, S. (1881). “Note on the Frequency of Use of the Different Digits in Natural Numbers.” American Journal of Mathematics, 4(1), 39–40. JSTOR
  • Benford, F. (1938). “The Law of Anomalous Numbers.” Proceedings of the American Philosophical Society, 78(4), 551–572. JSTOR
  • Hill, T. P. (1995). “A Statistical Derivation of the Significant-Digit Law.” Statistical Science, 10(4), 354–363. Project Euclid
  • Mebane, W. R. Jr. (2010). “Fraud in the 2009 presidential election in Iran?” CHANCE, 23(1), 6–15. Springer · Working paper (June 2009)
  • Roukema, B. F. (2014). “A first-digit anomaly in the 2009 Iranian presidential election.” Journal of Applied Statistics, 41(1), 164–177. arXiv
  • Rauch, B., Göttsche, M., Brähler, G., & Engel, S. (2011). “Fact and Fiction in EU-Governmental Economic Data.” German Economic Review, 12(3), 243–255. De Gruyter
  • Nigrini, M. J. (2012). Forensic Analytics: Methods and Techniques for Forensic Accounting Investigations. Wiley. Wiley
データソース
  • フィボナッチ / 2のべき乗 — 任意精度演算(BigInt)を使用して数学的に計算。
  • 国別人口 — World Bank, SP.POP.TOTL, 2022年。 data.worldbank.org
  • 米国郡別人口 — US Census Bureau, 2020年国勢調査, P1総人口テーブル。 census.gov
  • 国別GDP — World Bank, NY.GDP.MKTP.CD (現在の米ドルGDP), 2022年。 data.worldbank.org
  • 国別土地面積 — World Bank, AG.LND.TOTL.K2 (土地面積 km²), 2021年。 data.worldbank.org
  • 米国都市別人口 — US Census Bureau, 2020年国勢調査, すべての法人化された場所。 census.gov
  • 山の標高 — Wikidata P2044 (海抜高度、m), 山および火山頂 500–9,000 m, n = 20,000。 SPARQLクエリ