HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIスーパーフォーキャスターが登場

The AI Superforecasters Are Here (astralcodexten.com)

41 pointsby surprisetalk37 コメント

要約

AIが予測市場や株式市場で驚異的な利益を上げ、人間のトップ予測者を凌駕し始めている。AIスーパーフォーキャスターは、高度なモデルに予測プロセスを支援する「スキャフォールド」と呼ばれるプログラムを組み合わせたもので、人間のような調査プロセスを経て、精度の高い予測を提供する。現在、AIと人間のトップ予測者の間には統計的なデッドヒートが見られ、今後数ヶ月で人間とAIの予測能力が同等になると予想されている。

全文翻訳

AIスーパーフォレスターが登場

今月初めに年次の予測市場カンファレンスが開催されました。今年は予測市場が、ニッチな趣味から数十億ドル規模の産業へ、非合法に近い状態から大統領の息子をアドバイザーに迎えるまでになった年でした。これらの変化について誰かが話していたかは覚えていません。それらはほとんど認識されませんでした。すべての目はAIスーパーフォレスターに注がれていました。

AIスーパーフォレスターのスタートアップ創業者に会ったところ、彼のAIが7ヶ月でKalshiで35ドルを200万ドルに変えたと語りました。また、市場中立的なポートフォリオで株式市場を25%上回っているという別の創業者にも会いました。もちろんこれは運の可能性もありますが、彼らは同様の差でKalshiとPolymarketを上回っていました。

実際、私はこれらの話すべてを信じています。グラフの線を延長するコミュニティは、長らく予測していましたが、AIが2026年から2027年の間に最高の人間予測者を打ち負かすだろうと。 botsがついに未来を予測する能力で人間を打ち負かした瞬間は、どのようなものになると思っていたでしょうか? 雰囲気? 論文? エッセイ? 今から思えば、確かにそうです:AIが予測市場で驚異的な利益を上げ、かなりの差で株式市場を上回るという形で現れるでしょう。

しかし、次に何が起こるのでしょうか?

AIスーパーフォレスターの使用

詳細に入る前に、具体的に何を話しているのでしょうか?

AIスーパーフォレスターとは、通常ChatGPTやClaudeのような最先端モデルであるAIを、予測に長けるように改良したものです。これには通常、「スキャフォールド」と呼ばれるプログラムが含まれます。これは、様々なプロンプト、ツール、サブエージェントを作成するタイミングに関するアドバイスなどを通じて、長時間の調査プロセスをAIに手取り足取りガイドするプログラムです。全体的な体験は他のAIを使用するのと似ていますが、より多くの作業を行うため、遅く、より高価になります。

これは例で理解するとより分かりやすいかもしれません。FutureSearch(株式市場を上回っていると主張する会社)が、私が彼らのAIスーパーフォレスターを試してここで書くことを許可してくれました。

テストの質問として、最近シリコンバレーの慈善家たちが一般的な風邪のような呼吸器感染症を根絶するためのプロジェクトを開始しました。私は彼らの成功の可能性について尋ねることにしました。予測者は非常に正確な質問を必要とするため、2040年までに風邪の発生率が半分になる可能性はどれくらいか、と尋ねました。

[ [画像: AIが質問の分析を開始し、複数のサブエージェントを展開し、ウェブサイトを読み込んでいる様子] ]

開始2分で、AIは3つのサブエージェントを展開し、16のウェブサイトを読み込み、(私がこのスクリーンショットを撮ったまさにその瞬間)「2040年までに広く住宅で採用するためのASHRAE標準241空気清浄技術の拡張性について調査中」でした。

[ [画像: AIが調査結果をまとめている様子] ]

5分後、AIは回答を得ました:2040年までに米国の呼吸器感染症が半分になる確率は7%でした。

[ [画像: AIが最終的な予測確率と理由を提示している様子] ]

AIは次のように説明しました:

エージェントの推論は、すべて同時に成功しなければならない困難な結合連鎖の要件を中心に展開しています。

1: 生物は過酷です。 200以上の風邪の原因となるウイルス、ライノウイルスだけでも150以上の血清型が存在します。50年間のワクチン開発努力は失敗しており、専門家は2025年後半でさえ5年以内の風邪ワクチンを期待していませんでした。前例のない行動変容があったCOVIDのロックダウン中、ライノウイルスの発生率はわずかにしか減少し、すぐに元に戻りました。

2: Intercept自身のタイムラインはタイトです。 彼らのロードマップは商業化を5〜7年以上先と予測しており、フェーズ3試験、FDA承認、そして2040年までの大量展開をすべて5億ドル未満(その範囲ではおそらく少なすぎる)でクリアするための余地はほとんどありません。

3: 採用は不確定要素です。 軽度の疾患の場合、定期的な鼻スプレーや予防薬の遵守率は低いと予想されます。空気清浄インフラは、急激な改修コストと混合された証拠ベースに直面しています(2025年の殺菌UVのRCTでは感染の有意な減少は見られませんでした)。

4: 測定が不可能な場合があります。 米国には、全国規模での風邪の定期的な監視が欠如しており、2020年から2026年のベースラインはパンデミック時代の行動によって歪められています。これにより、実際の進展があったとしても、50%以上の減少を証明することが困難になっています。

このイニシアチブは真に斬新で信頼できるものですが、変革的なAIの加速なしに14年間で風邪の頻度を半分にすることは、極めて高いハードルです。

より緩やかな閾値(例:2035年までに25%削減)を予測したり、Interceptの特定の技術的アプローチ(鼻スプレー対ワクチン対空気清浄)を、意味のある影響を与える可能性でランク付けしたりすることで、フォローアップできます。

…そして、もし私がもっと学びたい場合は、212の出典を引用しました。予測には5分かかり、クレジット8ドルでした。

しかし、それは真実でしょうか?理想的には2040年まで待って確認することになります。今のところ、私は別のスーパーフォレスターAIと比較することから始めました。Preseenは、Kalshiでシード資金を10万倍にしたと主張する会社です。こちらが彼らの回答です。

[ [画像: Preseen AIによる予測結果] ]

FutureSearchの7%に対し8.8%、悪くないですね!

これらのどちらか、あるいは両方は真実でしょうか?人間スーパーフォレスターにこの質問を予測するように依頼し、彼女がAIと同じような回答を得られるか確認しました。彼女は、言葉の曖昧さによって、5〜10%の確率を与えると述べました。これもまた、悪くないですね!

人間対機械

もちろん、これを大規模に行い、AIと人間の予測能力を一度きりで比較できればさらに良いでしょう。

しかし、予測能力を測定するのは困難です。「85%の質問に正しく答える」と言うことはできません。なぜなら、それは質問の難易度に完全に依存するからです。質問が「太陽は明日の朝昇るか」のようなものであれば、100%の正答率でも印象に残りません。代わりに、異なる予測者を互いに照合し、どちらがより優れているか劣っているかを判断することしかできません。絶対的な空間での基準は、直感的に理解できるグループ(例:一般人、CIAアナリストなど)を含めることで得られます。

予測ウェブサイトMetaculusは、AIと人間を共通の指標で比較しています。こちらがその経時的な結果です。

[ [画像: MetaculusでのAIと人間の予測パフォーマンスの比較グラフ] ]

Metaculus Community Predictionは、Metaculus上のすべての予測者の「集合知」スタイルの集計です。Metaculus Pro Forecastersは、トップクラスのプロフェッショナルスーパーフォレスターです。このグラフを見ると、2026年5月時点でGemini 3.1が最先端だった頃は、AIがCommunity Predictionに近づいていたように見えます。これは大したことではありませんが、プロフェッショナルスーパーフォレスターレベルにはまだ遠いです。

しかし、最近のブログ記事で、Metaculusは文脈を追加しています。上記のグラフは、GPTやClaudeのような市販のブランドAIのみを測定しています。FutureSearchのような予測に特化したスキャフォールドは含まれていません。Metaculusによる別の調査では、これらの取り組みは「ベースモデルの進歩の9ヶ月に相当する」とされています。つまり、今日のよくスキャフォールドされたAIは、9ヶ月後のベースモデルと同じくらい予測に優れているということです。

グラフの点線の緑の線を2026年7月まで延長し、追加のスキャフォールドのために9ヶ月を加えると、最高のAIはトッププロ予測者の36に対し、約31になるはずです。したがって、理論上は、世界で最も優れた予測者が依然としてトップAIを上回っていますが、勝利の差はグラフが示唆するよりも小さく、約6ヶ月で人間とAIの同等性が期待されるはずです。

しかし、スキャフォールドされたAIがベースモデルより9ヶ月進んでいるという主張自体が、約9ヶ月前のものです。この分野の何人かの人々は、これが真の進歩を過小評価していると考えていると私に語りました。AIスタートアップ自身の主張は懐疑的に見られるかもしれませんが、トップ人間のスーパーフォレスターでさえ、もはや自分がボットに勝てると確信できないと述べていました。

対決の時が来たようです。Metaculus Cup - 予測のワールドカップ! - がその役割を担っています。シーズンごとに、トップの人間とAIが「次のネパール選挙の勝者は誰か?」や「米国はイランを攻撃するか?」のような約50の質問で競います。最近のトーナメントの勝者は以下の通りです。

[ [画像: Metaculus Cupの勝者リスト] ]

人間が上位2位を占めましたが、PreseenのAIは3位に入りました。すべての予測コンペティションにはかなりの運が伴うため、現実的には現時点で人間とAIは統計的に引き分けです。

進行中のサマーMetaculus Cupの中間結果を見て確認できます。

[ [画像: サマーMetaculus Cupの中間結果] ]

春にトップ10に入った人間の中で、benshindelとMarcosOの2人が夏にもそのパフォーマンスを繰り返しました。トップ10のAIであるmanticAIとLaertesも同様でした(Preseen-Chestnutは厳しい夏を過ごしており、40位に落ちています)。

産業革命の民話には、機械が自分を時代遅れにしていることを受け入れなかった偉大な鋼鉄掘削工、ジョン・ヘンリーの物語があります。彼は蒸気ドリルに競争を挑み、僅差で勝利し、そして亡くなりました。これは、肉体労働における人間の優位性の終焉を象徴しています。私は、この夏のMetaculus Cupを、ベン・シンデルとマルコス・オがジョン・ヘンリーの役割を演じていると考えています。人間はまだ持ちこたえていますが、いつまででしょうか?

これは予測の問題なので、Metaculusのすべての予測オタクがそれについて意見を持っています。彼らは、この夏のMetaculus Cup(上記のもの)でボットが勝つ確率は15%であり、2030年までにボットが勝つ確率は95%だと考えています。

もしボットがトップ人間を圧倒的に打ち負かしていないなら、なぜ人々はボットが株式市場を打ち負かした、あるいはKalshiで数百万ドル稼いだという話を私にできるのでしょうか? いくつかの理由の組み合わせだと思います。

第一に、世界で最高の人間スーパーフォレスターも株式市場を上回っている可能性が高いです。誰かがそれをしなければならず、世界で最高の人間予測者はそれを行うような人々のように思えます。これは、Bridgewaterのような大手ヘッジファンドがスーパーフォレスターの雇用を継続的に試みている理由も説明するでしょう。

第二に、AIは人間よりも速く、より勤勉です。多くの人が予測市場を打ち負かしています。しかし、どの市場に未開拓のアルファがあるかを特定するのに数時間かかり、さらに数時間かけてモデルを作成し、誰にどの確率で賭けるかを決定し、 et cetera、そして非効率性が修正されて次に進む前に、数千ドルしか投資できないかもしれません。AIは、そのプロセスを自動化し、毎週数百の市場に賭けることができます。7ヶ月で35ドルを200万ドルにした人に、さらに7ヶ月で2000億ドルに10万倍にできるかと尋ねました。驚くことではありませんが、彼は「いいえ」と答えました。Kalshiには限られたお金しかなく、彼のAIはすでにすべてを使い果たしていました(また、同様のAIを持つ他の人々が彼と争い始めています!)。

第三に、そして最も投機的なことですが、AIは金融において特別な利点を持っている可能性があります。これは、まさに機械が最も得意とする、よく管理されたデータ集約型のドメインです。MetaculusのMarket Pulseコンペティションでは、純粋に金融に特化したトーナメントで、Preseenのボットが最近、すべての人間(カップのライバルであるMarcosOを含む)を打ち負かして1位を獲得しました。

[ [画像: Market Pulseコンペティションの結果] ]

(「もしこれが本当なら、なぜすべてのトップトレーディング企業はAIに切り替えないのでしょうか?」私は詳細を知りませんが、Jane Streetは独自のデータセンターを構築しています。彼らはその計算能力を何に使うのでしょうか?)

証拠の最も良い要約は、最高の人間スーパーフォレスターと最高のボットは区別するのが難しすぎるほど近いですが、もしどうしても推測しなければならないなら、ボットは金融ではわずかに優れており、人間はそれ以外のすべてではわずかに優れていると思います。

ボットがトップ人間とほぼ同等になった世界で生きる

AIがそれ以上改善しないと仮定しましょう。何が起こるでしょうか? 何かが起こるでしょうか? 私たちはすでにトップの人間スーパーフォレスターを持っています。それと同等だがそれ以上ではないボットは、何かを追加するのでしょうか?

はい。トップの人間スーパーフォレスターから情報を引き出すのは困難です。まず、それを見つける必要があります。それらに接続してくれる会社はありますが、すべての会社と同様に、それらはお金を取り、時間をかけ、一緒に仕事をするのは面倒です。次に、あなたが正確に何を意味するのかについて、彼らと長時間話す必要があります(風邪の総数が半分になるという意味ですか、それとも任意の年間に風邪をひく人の数ですか?)。それから、彼らが問題を調査し、何を考えているかを決定するまで数週間待つ必要があります。その後、その答えが何を意味するのかを関係者に納得させる必要があります(「スーパーフォレスターから得ました! 彼らは…ええと、このフィリップ・テトロックの本を読んでくれますか? 私が説明するよりもよく説明しているはずです。」)。その結果、スーパーフォレスターの使用は大きな問題です。少数の機関だけが、非常に重要な問題に対してそれを行い、それが起こるたびにニュースになります(Google DeepMindがスーパーフォレスターを使用して、モデルからのリスクを予測したことを覚えていますか?)。

もしあなたが一般的な風邪を根絶しようとしているクールな新しい慈善団体について読んだとしても、それにかなり興味があったとしても、あなたは人間スーパーフォレスターのチームに電話して、数週間かけてそれが成功するかどうかを調査するために何万ドルも支払うことはないでしょう。しかし、AIスーパーフォレスターを使えば、通常のニュース閲覧プロセスの一部として絶対にそれを行うことができます。AI予測者は、書くのに書記を雇って粘土板を焼く必要があった世界から、ツイートボタンを押すだけで書ける世界への移行と同じ種類の進歩です。

しかし、私が過小評価されるだろうと思う3つの追加の違いがあります。

第一に、スーパーフォレスティングは、AIがやるべきことのように「感じられます」。予測に対する最も一般的な(そして最悪の)反論の1つは、「あの男はスミスが選挙に勝つ確率が11%だと言ったが、それは正確すぎる、偽物のように聞こえる、誰もそれを知ることはできない!」というものです。しかし、AIがスミスが選挙に勝つ確率が11%だと言うと、人々はそれを信じるでしょう。SFのおかげで、彼らはすでにAIがそのように考えていると想像しています! そして、AIは人間と同様に政治的バイアスを持つ可能性がありますが、「どうしてあなたがスミスに対して偏見を持っていないとわかるのか?」は、人間予測者にとって、機械が部分的に逃れられるかもしれない質問のように感じられます。

第二に、AIは標準化されたブランド製品であり、説明や宣伝が容易になります。誰もがNate Silverが良い予測者であることを知っています。「Nate Silverを雇ってこの質問を検討させた」と言えば、人々は注目するでしょう。しかし、誰もがNateを雇えるわけではありません。彼は一人であり、彼の時間は限られています。そのため、代わりに「スーパーフォレスターと呼ばれる人々を雇った、彼らがNate Silverと同じように優れていると約束する、ええと、フィリップ・テトロックの本を読んでくれればもっとよくわかるかもしれない」と言うことになります。しかし、「Preseen AI」がNate Silverと同じ評判を得た場合、状況はより明るくなります。誰もがそれを使用し、引用し、その意見が適切な重みを持つと信頼できます。

第三に、AIはあなたを騙そうとはしていません。人間のスーパーフォレスターのほとんどは非常に親切で、あなたを騙そうとはしませんが、ほとんどの人はスーパーフォレスターレベルの意見を予測市場を通じて初めて知ります。そして予測市場は間違いなくあなたを騙そうとしています。本当にクレイジーな話(人々がジャーナリストに、彼らが負けるような情報を隠蔽するように脅迫するなど)は幸いにも非常にまれです。本当の脅威は、市場が予測しようとしていることの常識的な定義と一致しない解決基準を悪用する人々から来ます。これは条件付き市場では致命的になります。そこでは、意図した因果関係の陳述を表現するように解決策を書く方法がありません[1]。しかし、AIはお金を求めているわけではなく、敵対者として扱う必要はありません。あなたは単に「ねえ、これは私が意図している因果関係の陳述だと考えて、これを予測してもらえませんか?たとえ後で厳密に評価する方法がなくても?」と尋ねることができます[2]。

ボットがトップ人間よりも大幅に優れている世界への準備

ボットは現在、トップ人間よりもわずかに下か同等です。そしてボットは月に0.9 Metaculus Eloポイントのペースで改善しています。来年の今頃には、トレンドラインは、彼らが最高の人間予測者をはるかに超えているはずだと予測しています。

トレンドラインを信じますか? これまでのところ、AIはチェス、囲碁、タンパク質折り畳みなどのいくつかの限定されたドメインで人間をはるかに超えています。予測は、より大きな問題のように思えます。それは、すべての私たちの高次の能力からの貢献を伴う、混沌とした人間レベルのスキルです。実際、Sayash KapoorとArvind Narayananは、近未来の超知能AIを心配することに反対する記事で、予測を、超人的なパフォーマンスが不可能になると予想される場所として特に挙げています。

この人間能力観に基づいた予測を提示します。AIが人間のパフォーマンスをはるかに超えることができる(AIがチェスで行うように)現実世界の認知タスクは比較的少ないと考えられます。他の多くの分野、特にAIのパフォーマンスに関する著名な希望や懸念に関連する分野では、「還元不可能な誤差」—現象の本質的な確率性による避けられない誤差—が高く、人間のパフォーマンスは基本的にその限界に近いと考えられます。

具体的には、そのような分野を2つ提案します:予測と説得です。AIは、訓練された人間(特に人間のチーム、そして簡単な自動化ツールで強化された場合)よりも、地政学的な出来事(例えば選挙)の予測において、意味のある優位性を持つことはできないと予測します。人々を自身の利益に反する行動に説得するタスクについても、同様の予測をします。

私は一般的にSayashとArvindに同意しませんが、これは私が最も長く考えてきた彼らの予測であり、決定的な反論を見つけることができませんでした。これは素晴らしいテストケースです!もしAIがトップレベルの予測に達してその後停滞した場合、人間のレベルには何か特別なものがあり、S&Aは超説得、超研究などについても正しいかもしれません(少なくとも当面は)。もしそれが続けば、人間の最大値をはるかに超える高さに達するなら、それが他のスキルでも同じことをするのではないかと懸念すべきです。私たちは1年以内にどちらの世界にいるのかをよく理解し始めるでしょう。2年後には、答えは決定的になるはずです。

もしトレンドラインが続くなら、物事は急速に変化し始めます。人間の株式アナリストが馬車や灯油ランプの運命をたどるように、まず金融が変革されます。予測市場で一貫してお金を稼ぐ賢い人間の機会も同様に消滅します。代わりに、ボットは愚かなスポーツファンのためにお金を集める特権のために他のボットと決闘します。

賢い機関は、戦略的思考の一部をAIに委ねるでしょう。新しいプロジェクトラインを開始する前に、賢い企業はAIスーパーフォレスターにそのプロジェクトがどれだけのお金を稼ぐか尋ねるでしょう(投資家も必ず尋ねるでしょう!)賢い政治コンサルタントは、AIスーパーフォレスターに、この広告を掲載した場合の候補者の当選確率について尋ねるでしょう。

政府は通常、賢い機関として分類されませんが、その一部がAI予測者のアドバイスを求めることを期待できるかもしれません。おそらく防衛アナリストは、彼らのPowerPointプレゼンテーションに、AI予測者が彼らの新しい戦闘機設計が競合する戦闘機設計よりも使用事例を見つける可能性が高いという事実を含めるでしょう。

しかし、夢は、AIスーパーフォレスターを武器に、一般市民と彼らが選んだ政治家が政策についてより良い決定を下すことです。これを敢えて希望できますか? 反論:現在、多くの専門家—真剣に問題を検討した賢い人—が本当に支持していないが、それでも起こってしまう政策がたくさんあります。なぜ、その賢い専門家がAIスーパーフォレスターであるという理由だけで、反対派にさらに一人加えることが何かを変えるのでしょうか? ここでの私たちの分析は、人間の心理学の質問にまで及びます。人々は、AIスーパーフォレスターを「知る」ようになると(多くの人が現在ClaudeやChatGPTを「知っている」ように)、ランダムな専門家よりもそれを信じるでしょうか? 機械であるということが、偏見の告発からそれを部分的に救うのでしょうか?

ここで、AIが現在の言説における状態に私は冷静になります。毎日、私はTwitter上で賢く、テクノロジーに精通した人々が、AI(時には自分たちで構築または投資しているAI)に一瞬相談すれば、明らかに偽りで愚かであることがわかる意見を表明するのを目にします。私たちは皆、ポケットの中に天才を持ち、あらゆることについて私たちに助言してくれるのに、代わりにそれらに相談せずに、無意味な陰謀論を繰り返すことを好みます。AIスーパーフォレスターの台頭がこれをあまり変えるとは、私は悲観的です。

楽観的な議論は、直接的な影響よりも、人間の判断の役割に関する長期的なトレンドを通じて進みます。2010年代後半から2020年代初頭にかけて、専門家がいくつかの非常に悪い判断を下したとき、それは人々が専門知識という概念との関係を変えました(悪い方向に)。もしAIが2020年代後半から2030年代初頭にかけていくつかの非常に良い判断を下すことができれば、それは長年にわたって、その判断に依存する規範と、1990年代のやや専門知識を受け入れる規範への回帰を徐々に構築するかもしれません。

待て、良いAIスーパーフォレスターに頼るべきか?

スーパーフォレスターは、「次の選挙の勝者は?」や「これらの2国は来年戦争になるか?」のような単純な多肢選択問題で徹底的にテストされています。この分布内のイベントに関する彼らの専門知識を疑うのは愚かでしょう。

長期的な、社会全体にわたる、そして本当に奇妙なイベントに彼らがどのように対処するかについては、データが少なくなります。「大量移民は数十年間にわたって西洋社会にどのような影響を与えるか?」のような質問に、平均的な人間よりも良い仕事をするでしょうか? まあ、間違いなくそうです。「平均的な人間」は非常に低い基準です。しかし、あなたが個人的に信頼している賢い人々を上回るでしょうか? ここではあまり確信がありません。

AIスーパーフォレスターに、暗号化されたデータセンター活動の検証によって強制される、AIを遅延させる米中条約の可能性を尋ねました。FutureSearchは1%、Preseenは2.2%と答えました。これは残念です。なぜなら、私の運動は最近、これらを実現するために全力を注ぎ、資金とエネルギーを投入してきたからです。それを見たとき、「うわあ」という瞬間があったことを認めますが、諦めたり希望を失ったりしたわけではありません。単に、AIスーパーフォレスターがおそらく得意とするものの分布の外にあると考えただけです。これはそれほど奇妙ではありません。過去には、「AI専門家」、多くの合理主義者や安全提唱者を含め、AIの将来の進路を予測する上でスーパーフォレスターを上回っていました。

それでも、見た目は悪いです。ここでは、他の人々が愚かで頑固で、AIスーパーフォレスターを十分に信頼しないだろうと書いていますが、私の世界観に本当に挑戦する最初の時に、私はまだそれを拒否しています。

AIの意見レイヤーとしてのスーパーフォレスティング

興味深い結果の1つは、スーパーフォレスティングがAIの意見レイヤーになることです。

現在のAIは意見を持つべきではありません。誰に投票すべきか、何を信じるべきか、あるいは「善」とは何かを伝えるべきではありません。尋ねられた場合、最良の場合でも「AIとして、この質問について意見はありません」と言うでしょう。最悪の場合、チャット履歴からあなたの意見を推測してそれを繰り返すでしょう。

これはほとんど良いことです。私は、イエスを心に受け入れるように私に勧める押し付けがましい伝道師AIや、エッセイで十分なLGBTQの有色人を引用していないと私に言う押し付けがましいウォークAIを望んでいません。顧客は、テクノロジー製品におけるわずかな偏見の兆候にも非常に敏感であり、GoogleとX.AIによるいくつかの注目度の高い失敗により、業界は注意を払うことを余儀なくされました。それ以来、ほとんどの企業は賢明かつ正しく、中立性を優先してきました。

それでも、がっかりしますよね? 私たちよりも多くの点で賢い、新しい種類の精神を持っており、私たちの認知の多くをアウトソースしているのに、それらは正確に、より質の高い思考があれば最も重要になる可能性のある論争的な質問について信念を形成することを禁じられています。AIが人間と比較してより重要になるにつれて、いつかそれらに意見を持たせる方法を見つける必要があります。もし私たちがこれを事前に考えずに愚かにやると、それは単にそれらを作るテクノロジー企業の意見、あるいはAIが持つことができる意見を規制する政府の意見、あるいは人気のないAIの意見を持つ企業をキャンセルできる群衆の意見になるでしょう。しかし、愚かでない実装はどのようなものになるでしょうか?

スーパーフォレスティングは、意見と事実の間の肥沃な中間領域にあります。私たちは、意見ベースの質問に対する最適なアルゴリズムを証明できる特定のアルゴリズムを認定できます(なぜなら、それは予測ベンチマークで正しい答えを最もよく予測するからです)。これは、AIが最も深刻な落とし穴を回避して、独自の信念を持つことを可能にする新しいオプションを導入します。

「AI、次の大統領選挙でどう投票すべき?」AIが特定の名前で答えるべきだとは思いませんが、完璧な世界では、「Vance政権下では世界がどのようになるか、Newsom政権下ではどうなるか。どちらの世界がより良いと思うか話し合いましょう」といったことを言うべきだと思います。もし一方の世界が不況で、もう一方が経済的ブームだった場合、それが決定的な要因になるかもしれません。

これまでのところ、これは小規模なスタートアップによって構築された特別にスキャフォールドされたAIの領域です。しかし、それらの堀はかなり小さいです。認知労働のコストが下がるにつれて、大手フロンティア企業がそれらの成果を模倣することを期待すべきです。ChatGPTやClaudeにこの機能がない理由はありません。

最終的には、「AI、この人と結婚すべきか?」と尋ねることができるはずです。再び、それは「はい」または「いいえ」とは答えないでしょうが、あなたがアクセスを許可したテキストやメールをすべて調べ、あなたの関係について学べることを学び、「この人と結婚した場合、5年以内に離婚する確率は85%です」といったことを答えるでしょう。これは、「AIがあなたの人生について本当の意見を持っている」という最も攻撃的で最も役立つ形だと思います。

ほとんどのAIとは異なり、これはストレートな勝利だと思います。今後数年間で、AIは私たちの仕事を奪い、私たちの人生から意味を奪い、私たちの存在そのものを脅かすでしょう。もし、その間、おそらく私たちは、何をすべきか、どの政策に投票すべきか、そして様々な戦略の最終的な状態がどうなるかについて、いくつかの超知能AIアドバイザーに助言してもらうことができれば、無事に乗り越えるためのより良いチャンスがあるかもしれません。

そして予測市場については?

予測に関するエッセイにしては、このエッセイは「予測市場」という言葉をほとんど使わずに多くのテキストを費やしました。AIの未来において、それらは何か役割を果たすのでしょうか?

あなた個人は、AIの未来において予測市場に参加すべきではありません。あなたは、あらゆる質問について数週間(主観的な時間)を費やすことができるトップ人間スーパーフォレスターよりも賢いスーパーフォレスターと競合することになり、間違いなく負けるでしょう。

しかし、予測市場自体が、認識インフラストラクチャの重要な部分であり続けると私は思います。私の予測市場FAQでは、予測市場は正確で標準的であるため素晴らしいと述べました。AIの未来では、その正確さは重要ではなくなるでしょう。お気に入りのAIフォレスターに相談すれば、十分に正確で、はるかに簡単になります。しかし、標準性はこれまで以上に重要になります。

あなたのAIフォレスターがVanceは偉大な大統領になると言ったが、私のフォレスターは彼がひどいと言うと仮定しましょう。AIフォレスターは共有された最適なアルゴリズムに向かって収束するはずなので、これはそれほど頻繁には起こらないはずです。しかし、それらはそれほど速く収束しないかもしれません。あるいは、あるテクノロジー企業(Anthropic? X.AI?)が実際に偏見を持っているかもしれません。あるいは、政府が政治的な理由で一部のAIに偏見を強制する可能性があり、異なる国のAIが異なる予測を持つことになるかもしれません。あるいは、誰もが偏見を避けようとしているかもしれませんが、誤ってトレーニングコーパスを通じて漏洩させてしまい、異なるグループがそれを防ぐ方法について異なる意見を持つかもしれません。

予測市場はこれを2つの方法で解決します。第一に、誰もがベンチマークを最大化しようとどのように試みても、予測市場で他のAIのお金を奪うAIが、あなたが選ぶべきものです。第二に、予測市場の予測を採用することで、特定のAIへの依存を完全に回避できます。これは、人間と同様の理由で(人間と同様の理由で)AI専門家の意見を効率的に集約するでしょう。

しかし、未来のAI予測市場は、現在の人間市場よりもはるかに優れているはずです。現在の市場の最大の障壁は流動性です。ほとんどの質問には、トップスーパーフォレスターがGoogleやNSAでの仕事を辞めて真剣に考え、賭けることを説得するのに十分なお金がありません。しかし、AIフォレスターは予測労働のコストをほぼゼロにまで引き下げるため、数百の異なるAIエージェントが各質問に賭けることができ、そのエラーが理論上の最小値まで低下したと確信できます。これにより、質問の数を大幅に増やすことができ、(ついに!)ランダムな人々が独自の質問を提出できるようになります(おそらく、ルール弁護士泣かせの解決基準を提案するAIの助けを借りて)。

あなたの正確な個人的な質問を提出する能力の重要性が高まり、大きな報酬で大量の流動性を刺激する能力の重要性が低下するにつれて、フィールドがManifoldに傾き、KalshiやPolymarketのようなクジラから離れるという議論があります。私は実際にはこれを期待していません。後者の2つは十分に賢く、利益を追求しているため、ピボットしてトップに立つ方法を見つけるでしょう。しかし、証明されることを願っています。

これが、AIスーパーフォレスターの未来に関する私の予測です。基本的な質問については、市販のAIチャットボットが、人間の誰よりも優れた意見を持つ確率を提供できるようになるでしょう。より論争的または偏見のある質問については、予測市場の新しい時代がブランドやモデルの違いを平滑化し、すべてのAIの意見を効率的に集約するでしょう。

[ [画像: AIスーパーフォレスターの未来の展望図] ]

今すぐAIスーパーフォレスターを使えますか?

この部分は広告のようなものになります、すみません。

現在一般公開されている唯一のAIスーパーフォレスターは、FutureSearch[3]です。サインアップするにはアカウントをプロフィール(例:Google)にリンクする必要がありますが、その後、クレジットカードを入力したり、卑劣な無料トライアルサブスクリプションを行ったりすることなく、$20の無料クレジット(約4つの質問)が提供されます。

この記事で紹介したもう1つのAIスーパーフォレスターであるPreseenは、現在クローズドベータ版ですが、こちらで待機リストに登録できます。

これらのサービスのいずれかにサインアップしたくない場合は、標準的なAIにもある程度の予測能力がありますが、専門的な最先端技術より約9〜12ヶ月遅れています。プロンプトに「スーパーフォレスターのように考えて、確率で回答してください:Xの確率は? もしこれが適切に形成された予測質問でない場合は、続行する前に私に確認して、質問を書き直してください。」と入力してください。

興味深い結果があれば、特に明らかに間違っている場合は、コメントで投稿してください!

1

例えば、「Newsom/AOCが指名されたという条件で、彼らが大統領に当選する確率は?」と尋ねたとします。そして、私はこれを民主党に指名についてアドバイスするために使用しようとしています。そして、AIは「まあ、AOCは社会主義者であり、社会主義者は経済危機時にうまくいくので、民主党がAOCを指名した場合、それは経済危機が起こっていることを意味し、人々はトランプを非難する可能性が高いため、民主党員を選ぶ可能性が高くなるだろう」と考え、AOCの成功確率を90%、Newsomの成功確率を50%と予測するかもしれません。しかし、実際には、どのような状況であっても、NewsomはAOCよりも当選する可能性が高かったでしょう! ニュースムまたはAOCが良い/悪い候補者であるという候補者の貢献を、その指名がこの時点に至るまでに何が起こったかを示唆することから切り離して分離する必要があります。

2

FutureSearchにこの記事のドラフトを送った後、彼らは明示的に因果関係のある条件付き予測を機能として追加しました!

3

もしあなたがこれらに似た、私が見逃した他の公開されているAIスーパーフォレスターを知っているなら、コメントで教えてください。そうすれば、お詫びして、オープン・スレッドであなたを宣伝します。