お気に入りのカレッジフットボールチームをCIAのように分析するとどうなるか？

数週間前、イリノイ大学フットボールチームはホームでデューク大学に31対27で敗れました。私のヒンズレーモデルは、イリノイ大学のカレッジフットボールプレイオフ進出の可能性について、以前よりはるかに楽観的ではなくなりました。しかし、オフェンシブラインと新クォーターバックについては、より楽観的になりました。これは矛盾しているように聞こえますが、まさに私が望んでいたことです。 過去15年間、私たちは不確実な未来について判断を下す人々と協力してきました。インテリジェンスや政府のアナリスト、外交政策研究者、投資家、企業の戦略家などです。今年、私は実験を試みることにしました。その種の仕事のために開発した方法論を取り、はるかに重要度の低いもの、つまりイリノイ大学フットボールチームの運命を評価することに応用しました。 なぜそうしたのかを理解するには、インテリジェンスアナリストが実際に行っていることを考えるのが助けになります。 インテリジェンスアナリストの思考法 キューバ危機の間、アメリカのインテリジェンスアナリストはソ連がキューバで何をしているのかを理解しようとしていました。彼らは証拠を集めていましたが、難しいのはその意味を判断することでした。アナリストは、競合する説明を考慮し、それらを区別する観察結果を特定し、新たな証拠が入るにつれて評価を更新する必要がありました。最終的に、U-2偵察機による写真は、ソ連が核ミサイルを設置しているという、より強力な証拠を提供しました。 利害関係は明らかに異なりますが、分析上の問題は驚くほど一般的です。通常、答えを与える単一の事実はありません。複数の可能な未来があり、不完全な情報が膨大にあり、それらを区別するのに実際に役立つことは少数です。 アナリストの仕事は、証拠が正当化する以上に確実にならないように、これらすべてに構造を課すことです。この問題はどこにでも見られます。外交政策アナリストは、紛争がエスカレートするかどうかを理解しようとしているかもしれません。投資アナリストは、地政学、規制、または新技術が今後10年間で資産にどのように影響するかを考えているかもしれません。政府アナリストは、他国が政策変更にどのように対応するかを評価しているかもしれません。 有用な質問は、「何が起こると思うか？」だけではありません。それは、「この状況はどのように展開しうるか？それぞれのシナリオが成り立つためには何が必要か？何に注目すべきか？そして、何が新しい証拠があれば考えを変えるべきか？」ということです。 あまり知られていませんが、10年以上にわたり、Cultivateは米国インテリジェンス・コミュニティのために予測市場を運営しており、アナリストが地政学的および国家安全保障イベントに関する確率的予測を作成し、集計する方法を提供してきました。最近では、私たちの仕事は個々の質問の予測を超えて、それらを取り巻くより広範な分析プロセスにまで拡大しました。 それが、Hinsley、私たちのAI/人間ハイブリッド分析プラットフォームの中核となる手法であるContinuous Probabilistic Foresight（CPF）を開発するに至った理由です。CPFは戦略的な質問から始まり、可能な結果の範囲をシナリオとしてマッピングします。問題は、シナリオをより可能性が高くなる、あるいは低くなる要因や指標に分解し、仮定を明確にし、重要な不確実性を解決可能な予測質問に変換します。新たな証拠が入るにつれて、それらの予測とより大きな評価は変化します。 アイデアは水晶玉を作ることではありません。それは、不確実な未来の構造化された、明確な見通しを維持し、証拠が変わったときにその見通しがなぜ変わるのかを知ることです。 そこで、イリノイ大学のフットボールの話に戻ります。 イリノイ大学フットボールのためのインテリジェンスモデルの構築 シャンペーンで育った私は、イリノイ大学の生涯ファンであり、カレッジフットボールはこの種の分析に驚くほど適していることがわかりました。シーズンは、膨大な量の情報に囲まれた不確実な未来であり、それは絶えず進化しています。私たちは、プレシーズンのリクルーティング、試合結果、怪我、競合他社のパフォーマンス、統計、コーチングの変更、フィールド上でのパフォーマンス、プレシーズンモデル、ビートレポーター、ポッドキャスト、そして情報に通じた、あるいは無知なコメントの無限の量を持っています。 私たちはある程度の確信を持っていくつかのことを知っており、他のことについては強い意見を持っていますが、現在当然だと思っていることのいくつかについては、ほぼ間違いなく間違っています。 そこで、シーズンを通常通り追うのではなく、アナリストが国、企業、市場、または戦略的課題を追うように、Hinsleyにイリノイ大学を追跡するように依頼しました。 数ヶ月前に、私がほとんどのイリノイ大学ファンがシーズン前に最終的に答えようとしている質問から始めました。「今シーズン、イリノイ大学フットボールチームの天井はどこにあるのか？」 そこから、Hinsleyに作業を任せました。そのリサーチエージェントは、チームに関する情報を収集し始めました。復帰選手、移籍選手、リクルーティング、怪我、コーチングの変更、ポジショングループの強みと弱み、スケジュール、プレシーズンモデルなどです。 その調査結果は、この外部からの視点はかなり楽観的であるということでした。イリノイ大学は過去2シーズンで19勝しており、Hinsleyの調査ではレギュラーシーズン10勝と、カレッジフットボールプレイオフ進出の可能性が、ありうる天井として示唆されました。 しかし、それが起こらない明らかな理由もありました。イリノイ大学はクォーターバックのルーク・アルトマイヤーを交代させ、オフェンシブラインで1人のスターターしか復帰させず、新しいコーディネーターの下で多くのディフェンスの経験者を交代させていました。 調査の中に特に興味深い警告が埋め込まれていました。イリノイ大学は過去3シーズンで13回の1桁得点差ゲームで勝利していました。もしかしたら、ブレット・ビリーマのチームは接戦を制するのが異常に上手いのかもしれません。あるいは、それは単に続かない幸運だったのかもしれません。 これはまさに、この演習で明らかにしたいことでした。「イリノイ大学は過去2年間で9勝したので、今年も良いだろう」と言う代わりに、その信念の下に隠された一連の仮定を持つことになりました。 次のステップは、Hinsleyに大きな質問をシーズンの終わり方に関する4つのシナリオに変換させ、その時点で知っているすべての情報に基づいて、各シナリオの初期確率を生成させることでした。 しかし、シナリオやそれに関連する確率だけでは、なぜあるシナリオがより可能性が高くなり、別のシナリオが低くなるのかを説明できない限り、特に有用ではありません。 そこで、私たちは分解（decomposition）と呼ぶものを作成しました。これは基本的に、どのシナリオに最終的に行き着くかに意味のある影響を与える可能性のあるもののマップです。私のマップには9つの広範なカテゴリがありました。 それらには、クォーターバックの移行、オフェンシブラインの継続性と健康状態、ディフェンスが再構築できるかどうか、スケジュール上の強豪チームとの対戦成績、接戦での実行力、移籍選手がどれだけ早く馴染むか、主要選手が怪我なく過ごせるか、スペシャルチームとポゼッションマージン、そして予期せぬロスターや資格のショックの可能性が含まれていました。 それらの下に、Hinsleyが実際に監視できる、より具体的なものがありました。ハウザーのパス成功率とインターセプト率、許容サック数、3rdダウンディフェンス、ターンオーバーマージン、1桁得点差ゲームの結果、怪我などです。 この時点で、イリノイ大学についての意見を持つというよりは、イリノイ大学のモデルを持つという感覚になり始めました。伝統的な意味での統計モデルではなく、チームが素晴らしいシーズンを送るためには何が必要か、それを妨げる可能性のあるものは何か、そしてどちらの方向に進んでいるかを教えてくれる証拠は何かの構造化された記述です。 最も重要な不確実性のいくつかについては、さらに一歩進んで、予測質問にしました。今シーズン、イリノイ大学は30サック未満を許容するか？ターンオーバーマージンを少なくとも+7で終えるか？相手チームは3rdダウンコンバージョン率を40%未満に抑えるか？ケイティン・ハウザーはインターセプト率を2.5%未満に抑えつつ、パス成功率を少なくとも64%にするか？イリノイ大学は最終的なカレッジフットボールプレイオフランキングでトップ12に入るか？ フォローして最新の結果を確認できる例を次に示します。チームの将来のパフォーマンスを真に評価しようとすると、それらの