サバイバーで勝つためのモデル

来週、サバイバーの新シーズンが放送されます。私がサバイバーを見る上で最も好きなのは、番組の戦略について議論することです。誰がシーズンを制すべきだったのか？目立たないようにプレイする方が良いのか？それとも、大きな動きをすることが勝利につながるのか？史上最高のプレイヤーは誰か：Cirieか？Tonyか？Boston Robか？これらの疑問に答える手助けをするために、機械学習モデルを構築するのは楽しいだろうと思いました。 サバイバーでは、見ず知らずの人々が辺境の地に stranded されます。彼らはキャンプ生活を管理し、「イミューニティ」のためのチャレンジで競い合い、アドバンテージを探し、3日ごとに「トライバル・カウンシル」で互いを投票で排除していきます。最終的に2人または3人に絞られたとき、投票で排除されたプレイヤーたち（今は「陪審員」と呼ばれます）が勝者を投票します。勝者は100万ドルと「唯一のサバイバー」の称号を持ち帰ります。究極的には、これはソーシャル・ストラテジー・ゲームです。 それは messy で、ある意味、数学的モデルでできることの範囲外のように感じられます。しかし、番組を見ながら議論するとき、私たちは暗黙のうちに、勝つために何が必要かについてのメンタルモデルを構築しています。MLモデルは、それらの理論を体系化し、テストにかけるための一つの方法にすぎません。そして、おそらく、希望としては、「唯一のサバイバー」の称号を誰が獲得するかについての意味のあるプレビューを提供できるでしょう（私のように、ベッティング市場のリークを無視するタイプであれば）。私はシーズン50を見ながらこれを使うのが大好きで、早い段階でいくつかの興味深いスレッドを特定しました。私もいくつかの洞察をここで共有します。このモデルは、エピソードごとに、誰が最も勝ちやすく、誰が次に脱落しやすいかを予測します。モデルの結果をここで試すことができます。 サバイバーMLダッシュボードの概要。ウェブサイトはデフォルトで最新シーズンをロードしますが、以前のシーズンも探索できます。一番上の行は、シーズン全体での勝率と脱落確率を示しています。その下は、誰が最も頻繁に#1にランク付けされたかの累積プロットで、真のコンテンダーを見るためのよりクリーンな方法です。「プレイヤーブレークダウン」セクションでは、プレイヤーを選択して、どの特徴が彼らのオッズを上げたり下げたりするかを理解できます。これについては後述します。（そして、もしあなたがすべてのオタクなMLの詳細を知りたいなら、最後にノートセクションがあります。）注意：テレビ番組「サバイバー」のネタバレが含まれます！ モデルの構築 データはsurvivoR GitHubリポジトリから来ており、投票履歴、チャレンジ結果、アドバンテージ、人口統計、編集指標など、非常にうまく構造化されたサバイバーのデータがたくさんあります。私は2つの別々のモデルをトレーニングしました。一つは次のエピソードで誰が脱落するかを予測し、もう一つはシーズン全体で誰が勝つかを予測します。これは多くのデータではありません（特にWinモデルの場合、米国のサバイバーの歴史には50人の勝者しかいないため）、したがってすべての結果は控えめに解釈してください。両方のモデルはロジスティック回帰を使用しています。私はより高度なモデルも試しましたが、それらはパフォーマンスが悪かったです（詳細についてはMethodology notesを参照してください）。私は多くの候補特徴量を作成し、モデルにそれらがどれだけ重要かを選ばせました。Winモデルに残った特徴量は以下の通りです。 危険にさらされた回数（このプレイヤーが投票を受けたトライバル・カウンシルの数） N（残っているプレイヤーの数に対する制御。全員に同じなので、ダッシュボードには表示されませんが、モデルはそれを使用します） 告白シーンのシェア（過去3エピソードの告白シーンのローリングシェア；この特徴量は他の特徴量よりも編集ストーリーテリングに関するものです） 年齢（これは直線ではなく曲線として最もよく機能しました。つまり、モデルは線形項と二乗項の両方を含みます。したがって、30歳頃が最も勝ちやすく、それより若いか年配になるほど確率は低くなります） 過去のシーズンの数 アドバンテージを持っているか（はい/いいえ） Eliminationモデルの特徴量はわずかに異なります。 N（再び、残っているプレイヤーの数に対する制御） 保持しているアドバンテージ（はい/いいえではなく、アドバンテージの数） 投票された票数（過去3エピソード） 個人イミューニティの勝率 年齢（これも曲線ですが、Winモデルでの影響力は弱いです） ここでの興味深い結果は、2つのモデルが異なる特徴量を選んだことです。これは、勝利と投票からの生存が同じではないことを意味します。おそらく、陪審員の魅力が鍵であり、それは異なるものに依存するからです。これは、ここでの一般的な見解と一致しています。例えば、「Rob Has a Podcast」は最近、サバイバー50がどのように勝ち負けが決まったかを分析するエピソードを放送し、Rob Cesterninoは、脱落確率が低いことが必ずしも勝率を高くするわけではないと結論付けています。 モデルの性能は？悪くない、あなたの視点次第です。簡単にするために、主にWinモデルについて話します。これを使って誰が勝つかを知ることができると主張するつもりはありません。しかし、平均して、それはチャンスよりも約2倍うまく勝者を選びます。それはどういう意味かというと、プレイヤーをランダムに選んだ場合、勝者を当てる確率は約10％です（これは残っている人数によって異なりますが、平均して10％です）。私のモデルの#1ピックは、20％強の確率で当たります。その2倍の改善は、ゲームのほとんどで、基本的に2エピソード経過した後（特徴量に十分なデータができた後）も続きます。約20％の時間当たるというのは、それほど多くないように聞こえるかもしれません。それは、ほとんどの時間間違っていることを意味します。私にとってはそれは大丈夫です。どんなシーズンにも、このようなモデルでは捉えきれない、定量化できないほどの戦略と運がたくさんあります。しかし、ベースラインの2倍というのは悪くありません！ モデルがプレイヤーをランク付けする方法と、その正確な確率という2つのことを区別することも価値があります。エピソードごとの変動は小さく、特に序盤は、多くのプレイヤーが勝つ可能性を分け合っています。そして、順序付けは数値的な勝率よりも情報量が多いことが判明しました。モデルの#1ピックは、確率が示唆するよりも頻繁に勝ちます（例えば、フィナーレに進む前の#1ピックは、平均確率がわずか29％であるにもかかわらず、40％の時間勝ちます）。単にモデルのお気に入りであることが価値を持つのです。この乖離は、おそらく私がこれを構築した方法の奇妙な癖だと考えています。これについてのさらなる議論はノートセクションにあります。 逸話として、数字が視聴者（少なくとも私自身）の評価と一致することが多いのは非常に説得力があると感じています。それは、多くの最高の勝者を強く支持し、ゲームで起こっていることを考えると理にかなった方法でプレイヤーのオッズを上下させ、しばしばメインの物語ではまだ明らかでない軌道を捉えます。私はそれをライブで見ることができました。なぜなら、シーズン50の横でモデルを実行したからです。 シーズン50はどうだったか？かなりうまくいきました。モデルは、私が真剣に取る前に、ランナーアップのJonathanをコンテンダーとしてフラグ立てしました。彼は終盤に多くの強力な動きをし、フィナーレに進む上で最も高いP(Win)を持っていました（最終的には間違った選択でしたが、彼がいかに近かったかを考えると、無理のない選択ではありませんでした）。「エピソードごとの勝率」プロットは、すべてのプレイヤーの相対的なP(Win)を示しており、ゲーム中盤での彼の軌跡の上昇を見ることができます。モデルは、Jonathanを早い段階で強力なコンテンダーとしてフラグ立てしました。実際の勝者であるAubryは、シーズンを通してモデルの主要なコンテンダーの1人でした。フィナーレに進む頃には、Jonathanの方がAubryよりも高いP(Win)を与えていました。しかし、彼女は序盤のゲームが強く、シーズン中の多くの期間で#1ピックでした。ここで、2番目の指標が異なる視点を提供します。「#1にランク付けされたエピソードの割合」は、真のコンテンダーが誰であるかを把握するための平滑化された方法であり、数エピソードが経過してからダッシュボードに表示されます。S50では、#1に到達したプレイヤーはJonathan、Aubry、Ozzy、Christianだけであり、彼らはすべて真剣に考えるべき妥当なプレイヤーです。 S50の主要なコンテンダーたち。このチャートは、各プレイヤーがP(Win)で#1にランク付けされたエピソードの割合を示しています。これはメインプロットの平滑化されたビューであり、真のコンテンダーを特定するのに役立ちます。Aubryはシーズン序盤で最も一貫したピックでした。 モデルは、ゲーム内のイベントに現実的に反応します。エピソード11で、Cirieは危険を感じ、（正しく）彼女の追加投票アドバンテージを使用して自分自身を救いました。彼女は脱落を避けましたが、彼女はn