同じアイデアに数十年間取り組んだ人々

BM25 + スティーブン・ロバートソン スティーブン・ロバートソンは、確率的情報検索に関する業績で知られるコンピューター科学者であり、最も有名なのはBM25の開発につながったことです。1976年、研究者たちがクエリに対する文書の関連性を判断しようとしていたとき、文書にクエリ用語が多く含まれているほど関連性が高いというのが一般的な直感でした。ロバートソンとスパーク・ジョーンズは、文書の関連性は、その単語が区別的であり、関連文書に固有に存在するかどうかに大きく依存することを示しました。例えば、キプチョゲのようなエリートマラソンランナーに関するクエリに対して、10件の文書のうち4件が関連しているとしましょう。10件すべての文書に「the」という単語が含まれています。関連する4件の文書のみに「Kipchoge」という単語が含まれています。彼らの1976年の論文によれば、「Kipchoge」という用語は、「the」よりも重い重みを持つことになります。なぜなら、それは関連文書に区別的に存在するからです。用語の重みを計算するには、どの文書が関連しているかを事前に知る必要があり、用語の頻度や文書の長さは考慮されませんでした。最終的に1994年、ロバートソンとウォーカーは、IDF * 用語頻度を文書長で調整したBM25を発表しました。これは、1976年の用語重みの概念を取り入れ、関連文書が全体の集合のごく一部であるという仮定を組み込んでいます。いくつかの章を飛ばしましたが、例えば1981年の論文では用語頻度を組み込んでいました。総じて、彼は検索アルゴリズムと検索について数十年考え続けました。 葛飾北斎の「神奈川沖浪裏」 「神奈川沖浪裏」ほど時の試練に耐えた絵画はほとんどありません。北斎は、最もよく知られる波を描くまで40年を費やしました。73歳で彼は、「鳥や動物、昆虫や魚の根本的な構造、そして木や植物の成長の仕方、それらをようやく理解した。だから、努力を続ければ、80歳になったらさらに理解が深まり、90歳になったら物事の本質に到達できるだろう。100歳になれば、神のような理解に達するかもしれない。もしそれ以降も何十年も生きれば、私が描くすべて、点も線も、生き生きとするだろう」と語りました。 33歳（1792年） 44歳（1803年） 46歳（1805年） 73歳（1832年）