HN 日本語サマリー

← 一覧へ戻る
科学・技術

統計学で最高の犬のおやつを見つける

Finding the Best Dog Treat with Statistics (wespiser.com)

90 pointsby wespiser_201828 コメント

要約

この記事は、統計モデル、特にBradley-TerryモデルとEloレーティングシステムを使って、犬が最も好むおやつを科学的に特定する実験について記述しています。飼い主が愛犬ベボップの好きなおやつを見つけるため、ペア比較とブートストラップ実験を通じて、Pur Luv Chickenが現在最も好まれるおやつであると結論付けています。ただし、別の選択肢も有力なため、さらなる検証が必要であるとしています。

全文翻訳

統計学で最高の犬用おやつを見つける

2026年6月19日投稿 Adam Wespiser

[画像: Bebop walker]

私の83ポンド(約37.6kg)、身長33インチ(約84cm)のグレイハウンド、Bebopは3つのことを愛しています:速く走ること、私が家の中を歩き回るのを追いかけること、そしておやつです。それが噛むおやつであれ、パーティーから少し離れた子供の手から落ちたピザであれ、あるいは少量のキャットフードであれ、彼は自分の好きなものを嗅ぎ分ける鼻と、それを手に入れるための十分なチャンスを与える運動能力を持っています。何年も彼の食事を見てきましたが、彼の好きなスナックが何なのか分からず、簡単に聞くこともできないことに気づいてがっかりしました。

幸いなことに、Bebopの味覚のために、ブラッドリー・テリーモデルはペア比較からおやつの「強さ」を特定する方法を提供してくれます。このモデルは、各競合者(またはおやつ)(i)に正の強度スコア p**i を割り当てます。
2つの競合者 i と j が与えられた場合、i が j を打ち負かす確率は次のようになります。

P**r(i > j) = p**i/(p**i + p**j)

等価的に、各強度を指数スコアとして書くと、

p**i = eβi

すると、同じ確率は次のように書くことができます。

Pr (i > j) = eβi/(eβi + eβj)

したがって、このモデルは次のように述べています。2つの競合者の潜在的な強度の差が、一方が他方を打ち負かす対数オッズを決定します。

チェスで使用されるEloレーティングシステムも密接に関連しています。R**i と R**j がEloレーティングの場合、

Pr (i > j) = (10R**i/400)/(10R**i/400 + 10R**j/400)

しかし、現代のEloレーティングは、高価な再計算サイクルを回避し、各試合後にスコアを更新できるようにするために、段階的に計算されます。試合後、(A)のレーティングは、実際の結果と期待される結果を比較することによって更新されます。

R**A′ = R**A + K(S**A − E**A)

ここで、S**A は実際の結果です。(1) は勝利、(0.5) は引き分け、(0) は敗北です。定数 K は、各試合後にレーティングがどれだけ動くかを制御します。

したがって、プレイヤーが期待通りの試合に勝った場合、レーティングはわずかにしか動きません。期待に反して勝った場合、レーティングは大きく動きます。この意味で、Eloはブラッドリー・テリーのアイデアのオンラインバージョンと考えることができます。各結果の後、予測誤差の方向にレーティングを移動させます。Eloは、チェスのようなシステムに適しています。なぜなら、試合は継続的に発生し、レーティングは即座に更新する必要があるからです。この実験では、データセットは小さいため、トライアルを収集した後、ブラッドリー・テリーモデルを直接適合させることができます。

ソーシャル・ネットワーク映画で、ペア比較からのグローバルランキングがマーク・ザッカーバーグによる初期のソーシャルメディア実験であるFaceSmashを動かしたモデルを認識するかもしれません。1 3つ目の応用例はChatbot Arenaで、モデルのパフォーマンスにブラッドリー・テリースタイルのランキングを使用しています。2 ブラッドリー・テリーは、グローバルランキングが必要だが、ヘッドツーヘッドの比較しか持っていない場合に頼りになるソリューションです。

実験

実験の設定は簡単です。いくつかのおやつを用意し、ラベルを付け、一連のペア比較を実行して、どのおやつが最高かを発見できます!実験に先立ち、「チョイス」コマンドをトレーニングしました。毎日同じ時間、午後11時頃にキッチンに行き、2種類のおやつを選び、「チョイス」と言って、おやつをどちらかの手に提示し、Bebopが片方だけを取れるようにし、もう片方はバッグに戻します。実験が始まった頃には、Bebopはこのルーチンに慣れており、両方のおやつを嗅いでから1つを選んでいました。

[画像: Offer treats chart]

おやつの選択には、Greeniesのような過去に実績のあるものと、Amazonで見つけたさまざまな形状のおやつを組み合わせました。これらの各おやつはサイズがわずかに異なりますが、単純化のために違いは無視することにしました。これにより結果にサイズの偏りが生じる可能性がありますが、実験は夕食の約2時間後に行われるため、彼は満腹であるはずであり、実験後のtreatの与え方と一貫性のある結果になります。言い換えれば、犬用おやつを切ったり計量したりする必要がある実験には興味がありません。

選択されたおやつは以下の通りです。

データ

ペアリングのために、2つのヘッドツーヘッド比較を含む毎日のスケジュールを作成しました。GitHubの完全なソース

C/B :: B
E/B :: E

この例では、2つのヘッドツーヘッドのマッチアップがあり、これは1日分のトライアルです。最初のマッチアップでは、Treat Cが左手、Treat Bが右手で、勝者はBでした。2番目のマッチアップでは、Eが左手、Bが右手で、勝者はEでした。結果がどれだけ確定したかを推定するために、ブートストラップ実験を実行しました。トライアルを繰り返しリサンプリングし、それらのサンプルにブラッドリー・テリーモデルを適合させ、各おやつがトップに来た頻度を記録しました。GitHubソースコード

実験の途中、おやつCとB、つまり「Pork Chomps」とGreeniesが着実に負けていることに気づきました。これらは脱落したため、CまたはBを含む予定されていたトライアルはすべて X でマークしてスキップされたことを示し、パワーを向上させるためにA/D/Eトライアルをさらに追加しました。

[画像: Head-to-head heatmap]

結果

同一のおやつでのトライアルでは、Bebopは常に右側(私の左手)に提示されたおやつを選びました。これは彼が「右利き」であることを証明するものではありません。なぜなら、私は手の使用ではなく、側を選んだことを測定したからです。しかし、このセットアップでは測定可能な右側への偏りがあることを示しています。可能性のある説明としては、私の非対称なキッチンセットアップがあり、左側が窓ファンに近く、トライアル中に時々オンになっていましたが、制御されていませんでした。

[画像: Hand bias chart]

最高のおやつについては、Eが現在のリーダーであり、CとBが劣っているという強い証拠があります。Aは依然として有力な挑戦者です。なぜなら、E/Aのヘッドツーヘッドはわずか3対2であり、モデルが示唆するAに対するEの勝率は57.5%だからです。Dも有効ですが、EとAの両方から意味のある差で遅れています。さらなるサンプリングは、ほぼ完全にE対Aに集中すべきであり、ティア境界を検証したい場合は、 occasional A/D または E/D のチェックのみを行うべきです。

[画像: Bradley-Terry scores chart]

結果がどれだけ確定したかを推定するために、ブートストラップ実験も実行しました。観測されたトライアルを繰り返しリサンプリングし、毎回新しいブラッドリー・テリーモデルを適合させ、どのおやつがトップに来たかを記録しました。Treat Eはブートストラップサンプルの63%で1位になり、Treat Aは33%で1位になり、Treat Dは約4%で1位になりました。Treat BとCは事実上候補から外れていました。

したがって、現時点ではTreat Eが勝利です。Pur Luv ChickenがBebopの現在のチャンピオンであり、乾燥チキンであるため、これは理にかなっています。しかし、結果は完全に確定していません。Treat Aは十分に近いため、唯一誠実な次のステップは、さらにE/Aのトライアルを行うことです。これは都合が良いです。なぜなら、Bebopは科学プロセスに非常に献身的であり続けているからです。

[画像: Bootstrap chance best chart]

[画像: Bebop flowers]

ソースコード

GitHubプロジェクト

注釈

  1. https://www.thecrimson.com/article/2003/11/19/facemash-creator-survives-ad-board-the/↩︎

  2. https://www.lmsys.org/blog/2024-08-28-style-control/↩︎