HN 日本語サマリー

← 一覧へ戻る
科学・技術

同じアイデアに数十年間取り組んだ人々

People that worked on the same idea for decades (nityasnotes.com)

34 pointsby sebg16 コメント

要約

この記事は、情報検索アルゴリズムのBM25を開発したスティーブン・ロバートソンと、代表作「神奈川沖浪裏」を描くまでに40年を費やした葛飾北斎の例を挙げ、一つのアイデアや芸術作品に長年情熱を注ぎ続けた人々の偉業を紹介しています。両者とも、長年の探求と努力の末に、それぞれの分野で画期的な成果を達成しました。

全文翻訳

人々が何十年も同じアイデアに取り組んだ例

私は、最高傑作にたどり着くまでに、何十年もの間、同じアイデアの改良に取り組んできた人々の例を集めています。

1. BM25 + スティーブン・ロバートソン

スティーブン・ロバートソンは、確率的情報検索の研究で知られる計算機科学者であり、最も有名なのはBM25につながる業績です。1976年、研究者たちが文書がクエリに対してどれだけ関連性があるかを判断しようとしていたとき、一般的な直感は、クエリ用語の出現回数が多い文書ほど関連性が高いというものでした。ロバートソンとスパーク・ジョーンズは、文書の関連性は、その単語が「区別的」であり、関連文書に固有に存在するかどうかに、より依存することを示しました。

例えば、キプチョゲのようなエリートマラソンランナーに関するクエリに対して、10件の文書のうち4件が関連性があるとします。10件すべての文書に「the」という単語が含まれています。関連性の高い4件の文書のみに「Kipchoge」という単語が含まれています。彼らの1976年の論文によれば、「Kipchoge」という用語は、「the」よりも重い重みを持つことになります。なぜなら、それは関連文書に区別的に存在するからです。

用語の重みを計算するには、どの文書が関連性があるかを事前に知る必要があり、用語の頻度や文書の長さは考慮されていませんでした。

最終的に1994年、ロバートソンとウォーカーはBM25を発表しました。これはIDF(逆文書頻度)×用語頻度を文書長で調整したものです。1976年の用語の重みという概念を取り入れ、関連文書が総セットのごく一部であるという仮定を組み込んでいます。

[画像: BM25 paper excerpt]

私はいくつかの章を飛ばしましたが、例えば用語頻度を組み込んだ1981年の論文がありました。総じて、彼は検索アルゴリズムと情報検索について何十年も考えてきました。

2. 葛飾北斎の「神奈川沖浪裏」

「神奈川沖浪裏」ほど時の試練に耐えた絵画はほとんどありません。北斎は、最もよく知られる波の絵を描くまでに40年を費やしました。73歳で彼は、「鳥や獣、虫や魚の骨格、草木の生長する様を会得した。それゆえ、努力を続ければ、80歳になればさらに理解が深まり、90歳になれば物事の核心に触れることができるだろう。100歳になれば神妙な境地に達するだろう。もしそれ以降も何十年も生きられれば、私が描くものすべて――点も線も――生き生きとするだろう」と語りました。