統計学で最高の犬のおやつを見つける

2026年6月19日、アダム・ウェスパイザーによって投稿された記事。私の83ポンド、33インチのハウンド犬ベボップは、速く走ること、家中で私について回ること、そしておやつの3つをこよなく愛しています。噛むタイプのおやつであろうと、パーティーではしゃぎすぎて子供の手から落ちたピザであろうと、小さなキャットフードの皿であろうと、彼は好きなものへの嗅覚と、それを手に入れるための運動能力を持っています。長年彼が食べるのを見てきましたが、彼のお気に入りのおやつが何であるか分からず、簡単に聞くこともできないことに気づいた時は残念でした。幸いなことに、ベボップの味覚のために、Bradley-Terryモデルは、ペア比較からおやつの「強さ」を把握する方法を提供します。このモデルは、各競合相手（またはおやつ）(i)に正の強さのスコア pi を割り当てます。2つの競合相手 i と j が与えられた場合、i が j に勝つ確率は次のようになります: Pr(i > j) = pi/(pi + pj)\n\nequivalently, if we write each strength as an exponential score, pi = eβi then the same probability can be written as: Pr (i > j) = eβi/(eβi + eβj)\n\nしたがって、このモデルは、2つの競合相手の潜在的な強さの差が、一方が他方に勝つログオッズを決定すると言っています。チェスで使われるEloレーティングシステムはこれに密接に関連しています。Ri と Rj がEloレーティングである場合: Pr (i > j) = (10Ri/400)/(10Ri/400 + 10Rj/400) しかし、現代のEloレーティングは、高価な再計算サイクルを避け、各試合後にスコアを更新できるように、漸次的に計算されます。試合後、(A)のレーティングは、実際の結果を期待される結果と比較して更新されます: RA′ = RA + K(SA − EA) ここでSAは実際のスコアです: (1)は勝利、(0.5)は引き分け、(0)は敗北です。定数Kは、各試合後にレーティングがどれだけ変動するかを制御します。したがって、プレイヤーが勝つと予想された試合に勝った場合、レーティングはわずかにしか変動しません。負けると予想された試合に勝った場合、レーティングは大きく変動します。この意味で、EloはBradley-Terryのアイデアのオンライン版と考えることができます: 各結果の後、予測エラーの方向にレーティングを移動させます。Eloは、チェスのようなシステムには理にかなっています。なぜなら、試合が継続的に発生し、レーティングをすぐに更新する必要があるからです。この実験では、データセットが十分に小さいため、試行を収集した後、Bradley-Terryモデルを直接フィットさせることができます。また、映画「ソーシャル・ネットワーク」に出てくる関連モデルを覚えているかもしれません。そこでは、ペア比較によるグローバルランキングが、マーク・ザッカーバーグによる初期のソーシャルメディア実験であるFaceSmashを動かしていました。¹ 3つ目の応用例はChatbot Arenaで、モデルのパフォーマンスにBradley-Terryスタイルのランキングを使用しています。² グローバルランキングが必要だが、直接対決の比較しかない場合に、Bradley-Terryが解決策となります。\n\n実験\n\nこの実験のセットアップは簡単です: 一連のおやつを用意し、ラベルを付けて、どれが最高のおやつかを明らかにするために一連のペア比較を行います！実験の前に、「チョイス」コマンドを訓練しました。毎日同じ時刻、午後11時頃にキッチンに行き、2つの異なるおやつを選び、「チョイス」と言って、両手に提示し、ベボップが1つだけ選べるようにします。もう1つは袋に戻します。実験が始まる頃には、ベボップはこのルーティンに慣れており、2つのおやつを嗅いでから1つを選ぶようになっていました。おやつの選択については、Greeniesのようにこれまで使ってきたおやつと、Amazonでさまざまな種類のおやつを探して組み合わせました。これらのおやつはそれぞれわずかにサイズが異なりますが、簡潔さのためにその違いは無視することにしました。これにより、結果にサイズの偏りが生じる可能性はありますが、実験は夕食の約2時間後に行われるため、彼はお腹がいっぱいのはずであり、実験後におやつを与える方法と結果が一致するようになります。言い換えれば、犬のおやつを切ったり計量したりする必要がある実験には興味がないということです。\n\n選ばれたおやつは以下の通りです:\nおやつA: MON2SUN、ダック+生皮。Amazonリンク\nおやつB: Greenies、ラージサイズ。Amazonリンク\nおやつC: Pork Chomps、赤いもの。Amazonリンク\nおやつD: MON2SUN、チキン+生皮。Amazonリンク\nおやつE: Pur Luv Chicken、乾燥チキン。Amazonリンク\n\nデータ\n\nペアリングについては、毎日2つの直接対決のスケジュールを作成しました。GitHubで全ソースコードを公開しています。\nC/B :: B\nE/B :: E\nこの例では、2つの直接対決があり、これが1日分の試行です。最初の対決では、左手にTreat C、右手にTreat Bがあり、勝者はBです。2番目の対決では、Eが左手、Bが右手で、勝者はEです。結果がどれほど確実であったかを推定するために、ブートストラップ実験を行いました。試行を繰り返し再サンプリングし、それらのサンプルにBradley-Terryモデルを適合させ、それぞれのおやつがどれくらいの頻度でトップになったかを記録しました。GitHubのソースコード\n\n実験の途中で、おやつCとB（「Pork Chomps」とGreenies）が確実に負けていることに気づきました。これらが競争から外れたため、CまたはBを含む予定された試行にはXを付けてスキップされたことを示し、より多くのA/D/Eの試行を追加して検出力を向上させました。\n\n結果\n\n同一のおやつを提示した試行では、ベボップは一貫して彼の右側、つまり私の左手に提示されたおやつを選びました。これは彼が「右利き」であることを証明するものではありません。なぜなら、私は足の使用ではなく、側の選択を測定したからです。しかし、この設定では測定可能な右側への偏りがあることを示しています。考えられる説明の一つは、私の非対称なキッチン設定で、左側が窓の扇風機に近く、試行中に時々作動していましたが、これは制御されませんでした。\n\n最高のおやつについては、Eが現在のリーダーであり、CとBが劣っているという強い証拠があります。Aは、E/Aの直接対決がわずか3対2であり、モデルが示唆するEがAに勝つ確率が57.5%であるため、有力な挑戦者として残っています。Dは有望ですが、EとAの両方に意味のある差をつけられています。今後のサンプリングは、ほぼ完全にE対Aに集中すべきであり、階層の境界を検証することにこだわる場合にのみ、時折A/DまたはE/Dの確認を行うべきです。結果がどれほど確定しているかを推定するために、ブートストラップ実験も行いました。観察された試行を繰り返し再サンプリングし、毎回新しいBradley-Terryモデルを適合させ、どれが一番のおやつになったかを記録しました。おやつEはブートストラップサンプルの63%で1位となり、おやつAは33%で1位、おやつDは約4%で1位でした。おやつBとCは実質的に競争から脱落しました。\n\nしたがって、今のところ、おやつEが勝ちです: Pur Luv Chickenがベボップの現在のチャンピオンであり、乾燥チキンであるため納得できます。しかし、結果は完全に確定しているわけではありません。おやつAは十分に近く、次に正直なステップはさらなるE/Aの試行を行うことですが、ベボップは科学的プロセスに非常に熱心であるため、これは都合が良いです。\n\nソースコード GitHubプロジェクト\n\n脚注\nhttps://www.thecrimson.com/article/2003/11/19/facemash-creator-survives-ad-board-the/↩︎\nhttps://www.lmsys.org/blog/2024-08-28-style-control/↩︎