Hacker Newsのタイトルで最も人気のある数字は？

15 Jul 20260000Hacker Newsのタイトルで最も人気のある数字は？#programming#database昨日、HNのフロントページに連続して6を含むタイトルが2つありました。これは何も意味しません。しかし、それはあなたの脳裏にこびりついて何かをせずにはいられなくなるような「無意味さ」であり、Hacker Newsのタイトルで最も人気のある数字は何でしょうか？ ClickHouseはHNの全データセットをパブリックプレイグラウンドでホストしており、私はそれをエキサイティングだと感じるタイプの人間です。明白なクエリは、ほとんどクエリではありません。 SELECT num, count() AS c FROM ( SELECT arrayJoin(extractAll(title, '\d+')) AS num FROM hackernews_history WHERE type = 'story' AND title != '' ) GROUP BY num ORDER BY c DESC LIMIT 10 NumberTitles 2119,3513114,3971114,017582,066463,482060,9311050,534638,440737,261837,190 HNのタイトルで最も人気のある数字は2です。これで決まり、投稿は終わりです。 しかし、なぜ数字はそれほど小さいのでしょうか？ それはVsauceのジングルです。この投稿は「しかし、なぜ19はそうなのか」になるでしょう。 小さい数字が大きい数字を上回るテーブルは、一瞬、ベンフォードの法則のように見えます。これは、多くの自然発生的なデータセットでは、先頭の数字が9よりも1である可能性がはるかに高いという観察です。それは河川の長さ、株価、物理定数、選挙結果に現れ、初めて見たときは本当に不気味です。ここでは現れません。ベンフォードの法則は、数桁にわたる（人口、収入、ファイルサイズ）数字の先頭の数字に関するものであり、見出しの文章から抽出された単一の数字に関するものではありません。本当の説明は、宇宙の法則よりも退屈です。 しかし、6位は0で、60,931回出現しています。6万ものタイトルに生のゼロは含まれていません。それらに含まれるのは「2.0」や「1.0」であり、\d+はそれらを構成要素の数字に楽しく分割します。同じ正規表現は、「S3」から3を抽出し、「1,000 users」を1と無意味な000に切り分け、一般的にコンテキストに関係なくすべての数字シーケンスを独自の数字として扱います。2の119kのリードは、主にWeb 2.0の亡霊と、小数点付きのバージョン番号の10年間によるものです。数字は正確ですが、少し間違った質問に答えているだけです。 そこで、よりスマートなパターンを試しました。これは、カンマで区切られた数値をそのままキャプチャし、小数点を単一のトークンとして扱い、単語の境界を尊重し、年をフィルタリングするものです。なぜなら、「ニュースサイトで年が人気がある」ということは誰も驚かないからです。以下の二重バックスラッシュは、ClickHouseが正規表現エンジンがそれを認識する前に\bをリテラルのバックスペース文字に変換するためです。これにより、空の結果セットが生成され、診断に予想以上に時間がかかります。 SELECT num, count() AS c FROM ( SELECT replaceAll( arrayJoin(extractAll(title, '\b\d{1,3}(?:,\d{3})+\b|\b\d+(?:\.\d+)?\b' )), ',', '') AS num FROM hackernews_history WHERE type = 'story' AND title != '' ) WHERE toUInt64OrZero(num) NOT BETWEEN 1900 AND 2030 GROUP BY num ORDER BY c DESC LIMIT 10 NumberTitles 148,559245,970340,056537,6831033,336425,915722,013818,876617,9331917,842 数字のトークン化も、見た目よりも落とし穴が多いです。「Python 3.11.2」はまだ「3.11」と「2」に分割され、年のフィルタリングは1984年を小説の1984年と区別できません。少なくとも、先に進むには十分です。 2はカウントの約3分の2とタイトルを失います。1が王冠を獲得します。幻の0は消えました。年はすべてそこにありました。フィルタリングなしでは、2018年、2017年、2020年が8位から10位にチャートインします。単純な正規表現は、小さい数字を十分に誇張してそれらを埋もれさせていただけです。 では、なぜ小さい数字が支配的なのでしょうか？HNのタイトルは、すべて同じ方向に引っ張る3つのことを行っています。 第一に、リスト記事です。「Xを行う3つの方法」、「私が知りたかった5つのこと」、「私が実際に使う10のツール」。リスト記事は、リンク投稿のほぼネイティブな単位であり、そのカウントはほぼ常に小さく丸められています。誰も「私が知りたかった17のこと」を書きません。本当に17のことがある場合を除いて、それはまれですが、「5つのこと」はタイトルエディタで決定されます。 第二に、バージョン番号です。1、2、3の最高スコアのタイトルは、ほぼすべてメジャーソフトウェアリリースです。1についてはGhostty 1.0とRust 1.0、2についてはLlama 2とDall-E 2、3についてはMeta Llama 3とGemini 3です。ソフトウェアのバージョン管理は1から始まり、ゆっくりと増加するため、小さい数字は長年のリリース発表を蓄積します。これも、2が3より上位にあり、3が4より上位にある理由がほぼ完全に説明されます。以前のバージョン番号は単に長く存在していただけです。 AI時代はこれをさらに顕著にしています。2、3、4、5はすべて、他のすべてに加えて、高スコアのモデルリリース投稿の新たな波を得ています。 第三に、閾値やランキングとして使用される丸められた数字です。「トップ10」、「第1位の理由」、「100日間のX」。数字は強調のためにサービスに投入され、数字が丸いほど頻繁に選択されます。10は9と11の両方よりもはるかに上位にチャートインします。これは、誰も「トップ9ツール」とは書かないからです。実際に9で使い果たした場合を除いて。 HNの全履歴にわたる10個すべての数字をプロットすると、外部の何かがパターンを破る2つの瞬間が明らかになります。 Top 10 numbers in HN titles, 2007–2025 02k4k6k8k10k 20072011201620202025 appearances per year 123510476819 COVID-19 (2020) GPT-4 (2023) 19は明白なものです。その全期間の合計17,842は特別なものではありませんが、2020年を見ると、他のどの年も5倍の10,439回出現しています。それが、その数字にちなんで名付けられた世界的なパンデミックがランキングに与える影響です。2021年もCOVID-19がフロントページのニュースであり続けたため、依然として高い水準でしたが、見出しが移るにつれてベースラインに戻りました。 より微妙なのは2023年の4です。前年の約1,400から2,298にジャンプし、一時的に1と2に並びました。GPT-4は2023年3月にリリースされ、数ヶ月間フロントページを支配しました。単一のモデルリリースが、線グラフのわずかな変化として見られます。 6については、9位で17,933回出現しています。私がフロントページで連続して見た2つの6は、まったく注目に値しないものでした。私はそれを正確に確立するために一晩を費やしましたが、何も後悔していません。 InteractionsDiscussionコメントしたいですか？Github経由でコメントするか、Webmentionで返信できます。返信したいですか？Webmentionを接続したので、試してみてください！GitHub APIレート制限を超えました。コメントはWebmentionで再度利用可能です。最終取得日時：