HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

エド・ジトロンのAI懐疑論の予測はどれほど正確だったか?

How accurate have Ed Zitron's AI skeptic predictions been? (danluu.com)

802 pointsby jatins903 コメント

要約

この記事は、著名なAI懐疑論者であるエド・ジトロン氏の予測の正確性を検証しています。筆者は、Meta、Google、Microsoftといった大手テック企業がAIを成長戦略の desperation(必死の策)として導入しているというジトロン氏の主張に対し、これらの企業の収益と利益の成長率を示すデータを用いて反論しています。ジトロン氏の予測は、しばしばマイナーな問題点を誇張したり、不正確な第三者データを引用したりしており、その論理展開は現実の企業業績や業界の動向と乖離していると指摘しています。

全文翻訳

私がこれまで見てきた中で最も広く引用されているAI懐疑論者であるエド・ジトロン氏の予測が、どれほどうまくいっているのか興味があったので、彼の予測がどのように実現したかを見てみました。私の自身のバイアスを明かすと、私はAIの進歩に対して特に強い賛成または反対の立場を持ったことはありません。例えば、2022年には、クルツワイルのような尊敬される人々を含む、未来学者が行った予測を包括的に調べましたが、それらは予測結果と理由の両方で一般的に間違っていることがわかりました。一方で、2015年には、人々がAIの雇用を奪う能力を過小評価していることについて書きましたし、多くの人がAIの雇用を奪う能力を過小評価していると繰り返し述べてきました。AIに対する私の立場は非常に退屈なもので、基本的に「もし何かが現在起こっているなら、それが決して起こらないと主張する人々はおそらく間違っている」というものです。

AI懐疑論者に対するAI懐疑論者の多くのコメントは、AIが偽物だと言う人々は皆、自己利益のために嘘をついているというものです。個人的には(私の明らかな不利益に反して)、私はAI企業に特別な経済的利害関係はありません。インデックスファンドを通じて、それらの標準的な保有分を保有しています。シードステージの投資もいくつかありますが、タイミングと大きくなったものによるため、ポートフォリオのその部分はAIに対してアンダーウェイトです。私はAIラボやAIラボに供給する企業で働いていません。以前、面接がひどく下手であることを述べましたが、数年前にAIラボの面接を受け、電話スクリーニングで落ちました。そのパフォーマンスは、ジェフ・アトウッドの有名な「なぜプログラマーは…プログラミングできないのか?」をインスピレーションさせたようなもので、彼は、誰もがそんなにひどくコーディング面接に落ちることはないだろうから、多くの偽プログラマーがいるに違いないと結論付けています。AIがうまくいっても、私には特に利益はありません。広範なインデックスファンドを保有する人が得る利益以外は。しかし、私は正確性を気にしています。

2024年:Meta、Google、Microsoftは衰退している

予測結果はかなり多いので、ジトロン氏がどのような種類の推論を使用しているかを知るために、完全なリストの前に1つを詳細に見てみましょう。私たちは任意に、2024年11月のジトロン氏の講演を取り上げます。この講演でジトロン氏は、他のことの中でも、MetaやGoogleのような主要なテクノロジー企業は衰退しており、成長の方法がわからないためにAIで右往左往していると述べています。

ジトロン氏は特にMetaを衰退する企業として名指ししました(「それは衰退する製品であり、一種の衰退する企業です」)。Metaの収益と利益(GAAP営業利益)は以下の通りです。

期間収益利益
金額%
2023年1350億ドル16%
2024年1650億ドル22%
2025年2010億ドル22%
2026年前半1170億ドル30%

成長の方法がわからない企業について語ったとき(「これらの企業はもはや成長の方法を知らない…衰退するエコシステムで成長を再燃させるための必死の試みの中で、テクノロジー業界はこれらの[AI]クソをあらゆるものに押し込むだろう」)、彼はGoogleとMicrosoftを挙げました。Alphabet(Googleの親会社)の収益と利益は以下の通りです。

期間収益利益
金額%
2023年3070億ドル9%
2024年3500億ドル14%
2025年4030億ドル15%
2026年前半2300億ドル23%

そしてMicrosoftの数字は以下の通りです(一貫性のために、すべての数字は暦年であり、会計年度ではありません)。

期間収益利益
金額%
2023年2280億ドル12%
2024年2620億ドル15%
2025年3050億ドル17%
2026年前半1730億ドル18%

ジトロン氏の発言の精神には反しますが、Metaは実際に衰退しているが、まだ死んでいないだけだと主張することもできます。しかし、ジトロン氏の議論の根拠はここでは間違っています—Meta、Google、Microsoftのエコシステムは衰退していません。これらの企業が(収益と利益の点で)どれほど速く成長しているかを考えると、AIがジトロン氏が示唆したような「成長の方法がわからない」ための必死の動きであり、アイデアが尽きているようには見えません。私は各予測にこれほど多くのテキストを費やす価値はないと思いますが、ジトロン氏が使用したパターンは例示的です。

これらのものが衰退しているという主張をするために、彼は彼が示唆するような非常に大きな変化を引き起こす可能性の低い些細な問題を引き出します。Metaについては、FacebookのMAU(月間アクティブユーザー数)の減少を引用しました。Meta自身のMAUの数値や収益または利益の数値を使用する代わりに、Similarwebからの数値を使用したようです。このようなサードパーティの追跡数値に関する私の経験では、それらは非常に不正確であり、おおまかな桁数の比較以外にはほとんど役に立たないため、ジトロン氏が引用した減少は無意味です。FBは2023年12月にMAUの公開を停止しましたが、ほとんどの推定ではFBのMAUは時間とともに増加しており、Metaが報告する数値は、その製品の利用が時間とともに一般的に増加していることを示しています。ジトロン氏は、自分の主張をするために、外れ値の低い推定値を選びました。

Googleについては、彼はPrabhakar Raghavanを引用しています。 Raghavanを「本当に邪悪な」「経営コンサルタント派閥に味方したコンピュータ科学者の裏切り者」と呼び、Google検索に何らかの重大な損害を与えたと主張しています。Raghavanに関する彼の非難の中で、彼はRaghavanがGoogle検索に深刻な損害を与えていることを信頼できる方法で確立しておらず、彼の非難についてコメントしたGoogle検索エンジニアたちも、Raghavanが検索問題の唯一または主要な理由であるという仮説に同意していないようです。1

しかし、ジトロン氏が正しく、悪役のPrabhakar RaghavanがヒーローのBen Gomesを打ち負かし、Google検索に何らかの問題を引き起こしたと仮定したとしても、これはGoogleの収益成長全体が危機に瀕しているという主張にはなりません。なぜなら、Googleには検索が成長していなくても成長を牽引できる他の主要な製品(YouTubeやGoogle Cloudなど)が多数あるからです。

ここでの推論の連鎖のすべての重要な部分は、間違っているだけでなく、Googleや一般的な大企業について何かを知っていれば、もっともらしくありません。私は、Google検索の品質には深刻な問題があること、そしてGoogleはユーザーエクスペリエンスよりも収益の相対的な優先度を時間とともに高めてきたことを最初に言う人物です。これは、2013年に私がそこにいたとき、Googleの多くのユーザー中心のエンジニアにとって懸念の原因でした。

ジトロン氏が指摘する問題の1つである、ユーザーを混乱させる広告について、2013年に検索エンジニアに尋ねたことがあります。広告の背景色を検索結果に似せるように変更したのは、広告が検索結果に似ているほど、ユーザーが結果が広告なのか実際の検索結果なのかを混乱する可能性が高いことを示す以前の研究があったためです。そして、ユーザーの混乱を避けるために、Googleは意図的に広告を検索結果と似せないようにしていたと聞いていました。検索エンジニアは、一部の人がユーザーを混乱させたくないため、一度の変更で広告を検索結果とほぼ同一にすることは不可能だと述べました。なぜなら、何が起こっているのかが明白になりすぎるからです。

これがどのように起こるかというと、広告を検索結果に近づけるように調整するA/Bテストを行うたびに、より多くのお金が得られるため、変更は複数年にわたって複数の部分で行われ、それぞれが小さいため、このようなことに反対したい人々は主張するのが難しくなります。これは、このエンジニアが予測した通りに起こりましたが、Raghavanが検索を担当していたかどうかに関わらず起こったことです。そしてもちろん、そのようなことが起こっても、Googleが成長の余地をなくし、衰退するエコシステムで成長を再燃させるために必死になることはありません。Googleがそれをすべきだと思うかどうかに関わらず、それはGoogleにさらにお金をもたらすものです。

ジトロン氏はどのように引用されるか?

私がジトロン氏の引用方法からわかることは、人々が彼を権威として引用し、「数字を見たこの男がこの主張をしたので、私の主張は数字に裏打ちされている」と言えるようにすることです。もしあなたがジトロン氏の主張を見て、そのトピックについて何かを知っていれば、その主張は成り立たないことがわかりますが、それがポイントではないと思います。ポイントは、誰かが数字を見たと言えることです。もう一つのポイントは、この男が怒っている2ということのようです。これはエンゲージメントを促進する良い方法です。

しかし、人々が彼を持ち出すとき、彼らはもちろん一般的に彼の怒りを引用しているわけではありません。彼らは、「ここに数字を見た男がいる。もしあなたがAIに腹を立てているなら、彼はあなたと一緒にAIに腹を立てており、彼は数字を味方につけている」3と言っています。前述したように、私は各主張にこれほど詳細に立ち入るつもりはありません。これは単に、主張がどのように見えるかについての例示的なものです。私が読んだ彼の投稿のいずれにおいても、数字が投げかけられていますが、その数字は実際には首尾一貫した議論につながりません。多くの場合、上記で見たように、数字は彼の主張を実際には裏付けていません(例えば、FacebookのMAU減少がMetaの財政問題を引き起こし、それがMetaにAIを不適切に挿入させるというような)。彼は、人々が数字を見たときに目がかすみ、数字の意味を考えなくなることに頼っているのだと思います。

以下の予測では、誰もが全く同じ予測記録を持ちながら、単にうまくいかなかったという完全に合理的な理由を持つことができます。あるいは、すべての理由が間違っていても、すべてのケースで正しい人がいるかもしれません。後者のような人は、説明できない何らかの直感を持っているか、あるいは単に運が良かっただけかもしれません。幸いなことに、私たちはこの難しい判断を下す必要はありません。なぜなら、ジトロン氏は予測でも間違っており、理由も間違っているからです。

ジトロン氏に詳細な注意を払っている人々

私は長年岩の下に住んでいて、AIの議論に追いついたばかりなので、ジトロン氏や主要なAIコメンテーターのものを実際に読んだり見たりしたことはありませんでしたが、良い判断力を持つ人々が何と言っているかを調べたところ、彼らもまた、ジトロン氏の数字の使用法は単なる手品であると見なしているようです。ユホ・スネルマン氏のコメント:

彼の文章は確かにけばけばしいですが、攻撃性や冒涜的な言葉は、彼が書いていることをすでに信じている人々を煽ることを目的としており、人々の考えを変えさせるためではありません。彼は反テクノロジーの詐欺のニッチを見つけ、今やそれを最大限に利用しています。しかし、彼があなたを納得させるために言うことのいくつかを実際にファクトチェックする価値があるかもしれません。なぜなら、少なくとも彼の書かれた記事については、すべてがでっち上げか誤解されているからです。情報源へのリンクはたくさんありますが、それらを一次情報源までたどると、彼が示唆していることとは非常に異なることがわかります。

コメント投稿者がジトロン氏の分析はなぜか良いと仮定している例があり、それに対してユホ・スネルマン氏は次のように返信しています。> 最大の問題は、彼の経済分析が完全にゴミであることです。私は彼が単に完全に無能だと思っていましたが、エラーのバイアスを考えると、それは明らかに意図的な詐欺です。しかし、それを対処するのはしばしば非常に困難です。なぜなら、彼が書く記事はすべて1万語のギッシュギャロップだからです。私は、彼が犯す意図的な間違いの1つについて、HNのコメントで数回反証を試みましたが、返信が長すぎると文句を言われます。

例えば、ティモシー・B・リー氏がジトロン氏がAnthropicの収益予測を作成するために使用したスプレッドシートを見たとき、彼は次のような発見をしました。

彼は2月1日から10日を数えず、3月1日から10日を2回数え、8月21日から10月21日を2ヶ月ではなく1ヶ月として数え、10月21日から11月1日を数えていません。[別のコメント投稿者は、彼のスプレッドシートには2月30日も含まれていると指摘しています]…エドはAnthropicの2025年の収益を計算しようとして36億ドルになったと主張していますが、これはいくつかの怪しい取引を示唆しています[しかし、エラーを修正すると数字は合います]。

いくつかのジトロン氏の予測
  • 2024年2月: 「ジェネレーティブAIができることの限界、そしてその出力の正確さの限界に達していると信じています。」
    • 間違い4
  • 2024年3月: 「AIはピークに達したか?」; 幻覚がAIの進歩を当時のレベルに限定するという別の予測
    • 間違い
  • 2024年4月: 「以前警告したように、人工知能企業はデータを使い果たしている…」; データがないためモデルは改善できないという別の予測
    • 間違い5
  • 2024年6月: OpenAIの成長は停滞しており(今後も停滞し続けるという含み)、それがOpenAIの何らかの崩壊につながる。
    • 間違い(OpenAIが崩壊する可能性はあるが、もしそうなら、2024年からの成長停滞が原因ではないだろう)
  • 2024年7月: 「ジェネレーティブAIは、3月に述べたように、ピークを迎えているか、すでにピークを迎えている。新しい入力でより速く実行すること以外に、現在できること以上のことはできない。」
    • 間違い
  • 2024年7月: 「ジェネレーティブAIモデルはエネルギー効率が向上しておらず、機能が増加するような『強力さ』も増していない。」
    • 間違い(モデルは強力になり続けた)6
  • 2024年8月: 「ジェネレーティブAIは行き止まりの技術であり、ピークを迎えた。」
    • 間違い
  • 2024年8月: AIバブルが証明するためにあと3四半期ある(2024年3月から)、さもなければ崩壊するという再度の主張。
    • 間違い(Bartek Ogryczakは、AIが自己証明したため、おそらく正しいと指摘しているが、ジトロン氏も改善がないと主張しているため、ジトロン氏の会計では間違い)7
  • 2024年9月: 「o1は、OpenAIが必死であり、アイデアを使い果たしていることを示している。」、データ不足によるモデルの改善の限界という考えの再度の主張。
    • 間違い
  • 2024年10月: OpenAIの2024年37億ドル、2025年116億ドル、2029年1000億ドルの収益予測は不条理である。「あまりにもひどい声明なので、声に出して言うのは金融犯罪ではないかとさえ思う。」
    • 間違い(2025年の目標は達成され、2029年は未定だが、金融犯罪レベルのありえない話ではない)
  • 2024年10月: 「[OpenAIの収益]成長はすでに鈍化しており、新年に入ると劇的に鈍化するだろう。」
    • 間違い(OpenAIは予測を上回り、急速に成長し続けた)
  • 2024年12月:「ジェネレーティブAIの製品は、1年以上実質的に琥珀の中に閉じ込められている。」
    • 間違い(また、奇妙なことに、2024年3月以降進歩がないことを示唆している)
  • 2025年1月: 「AIはピークに達していると信じている。」
    • 間違い
  • 2025年1月: 「DeepSeekは[LLM]をコモディティ化した。」
    • 間違い(OpenAIとAnthropicは、DeepSeekをはるかに上回る価格競争力を持ち、価格を維持できる)
  • 2025年2月: Anthropicが2027年に345億ドルの収益を上げることは「多くのレベルで笑い話だ。その中でも、2024年にAnthropicの約2倍の収益を上げたOpenAIが、同年APIコールから10億ドル弱しか稼がなかったという点が最も大きい。」
    • 間違い(2027年にその金額を達成するかどうかに関わらず、2026年のARRがそれを大幅に上回っているため、2027年の予測は笑い話ではない。また、AIへの投資が決してプラスのリターンを生み出さないというジトロン氏の信念は、これらの予測が誤りであることに依存しているが、ジトロン氏が予測が不可能だと確信しているにもかかわらず、それらはこれまでのところ上回っている)
  • 2025年2月: 「Sundar PichaiはGeminiを『2025年末までに5億人に利用してもらいたい』と考えているが、これはあまりにも非現実的な数字なので、Googleの誰かが解雇されるべきであり、その人物はSundar Pichaiだ。」
    • 間違い(Geminiは7億5千万ユーザーに達した)
  • 2025年2月: 「Sam AltmanがGPT-5からGPT-4.5にOrionを任命したことは、OpenAIが次のモデルの作成で壁にぶつかったことを示唆しており、期待値を下げる必要がある。」
    • おそらく正しい?(GPT-4.5はあまりエキサイティングではなかったが、彼の「壁にぶつかった」というフレーミングがモデルが決して改善しないという彼の論文の一部であるなら、GPT-5は大幅な改善だったので、これは依然として間違っている)
  • 2025年2月: 「私は証明されるまでこれを書き続ける。」
    • 間違い(ジトロン氏は繰り返し証明されているにもかかわらず、書き続けている)
  • 2025年3月: 「このニュースレターを書いて以来、CoreWeaveほど腐敗した企業をほとんど見たことがない…」ジトロン氏は、同社は資金調達なしでは6ヶ月も持たないだろうと述べているが、40億ドルの調達は1年分の猶予を与えるかもしれない。
    • 間違い(CoreWeaveは現在も存在しており、執筆時点ではIPO価格の2倍以上に評価されている。CoreWeaveはIPOで15億ドルしか調達していない)
  • 2025年4月: ジトロン氏は再びバブルを呼び、「私たちが正しかったかどうかをこれから知ることになる。」
    • 間違い(ジトロン氏は、彼が正しいことを証明する重大な出来事が起こると示唆したが、そのような出来事は起こらなかった)
  • 2025年4月: 「この時点では、ジェネレーティブAIが今日できること以上のことをするとは思えないことは明らかだ。」
    • 間違い
  • 2025年5月: 「この話からCohereが死ぬと思わないわけにはいかない。彼らの予測は現実からかけ離れている。」
    • 技術的には反証不可能だが、含意される主張は間違っている
  • 2025年7月: 「ドラマチックになりたいわけではないが、Cursorが死ぬという結論に至るのは非常に簡単だ。」
    • 間違い(Cursorは600億ドルのエグジットを達成)
  • 2025年8月: 「これらのモデルは明らかに壁にぶつかっており、トレーニングは収穫逓減に達している。」
    • 間違い
  • 2025年8月: ジトロン氏はCursorが衰退しており、100億ドルという高値での投げ売り価格で売却されると予想している。「Cursorは100億ドルの価値があるか?いいえ!製品がどれほど優れていても、終わりが見えないまま数百億ドルを燃焼させる必要のない価格で売却されるほど良くはない。」
    • 間違い
  • 2025年10月:「AIバブルが弾けるのはいつ頃だと推測するか?」という質問に対し、ジトロン氏は「遅くとも2026年第2四半期まで」と回答。
    • 間違い(ジトロン氏は「遅くとも」という言葉を付け加えたため、これは単なる最良の推測ではなく、上限の主張となる)
  • 2025年11月: 「高品質なトレーニングデータの枯渇とスケーリング法則の壁にぶつかっているという事実、トレーニングパラダイムにおいて、これらのモデルは改善していない。今日見ているものは、ほぼ常にそうであるだろう。」
    • 間違い

この時点以降、私が目にしたほとんどのさらなる予測は、反証不可能であるか、将来解決されるものです。私は、 nonsensical な陳述や、単に事実として間違っていた陳述をすべてカタログ化しようとはしませんでした。例えば、2024年12月の「ジェネレーティブAIの製品は、1年以上実質的に琥珀の中に閉じ込められている」という主張や、2026年1月の「[モデルは]基本的に1年前と同じだ。同じ有効性を持っている」という主張です。ジトロン氏は、AIの能力が向上しないという将来予測をするだけでなく、能力が向上しなかったという過去の陳述も一貫して行っています。これらは明らかに当時間違っていましたが、彼の支持者にはうまく響くようです(彼の他の誤った陳述とともに)。もし彼のすべての陳述を繋ぎ合わせると、AIは2023年12月と同じ能力を2026年1月にも持っていたことが示唆されます(そして、後者の陳述を繋ぎ合わせると、実際には2026年8月の能力が2023年12月と同じであることが示唆されます。ただし、ジトロン氏に公平を期すなら、彼はしばしば矛盾しており、2026年半ばには限定的な改善があったことを認めています)。

公平を期すなら、ジトロン氏は口語的に話していると言えます。そのため、「1年以上実質的に琥珀の中に閉じ込められている」のようなことを言うとき、それは2023年12月から実際には変化がなかったという意味ではありません。したがって、陳述は推移的ではありません。もし私たちが100年の進歩について話しているなら、誰かが1年で変化がなかったと言うかもしれません。それは1%の確率を意味するかもしれませんが、それでも100年で100%の変化を意味するかもしれません。しかし、私たちは3年間について話しています。口語的ないい加減さの種を仮定したとしても、一連の陳述は、2023年12月から2026年8月にかけて、改善は最小限であったことを示唆しています(上記で指摘したように、彼が矛盾して一部の分野で限定的な改善があったことを認めた場合を除く)。

尊敬される未来学者との比較

未来学者の分析で彼らがどのように行ったかと比較すると、スタイルにおいては、ジトロン氏は私たちが調べた未来学者よりもはるかに強く怒りに依存しています。推論の質においては、彼は未来学者と比較して平均的だったでしょう。ほぼすべてにおいて間違っているにもかかわらず、彼はバックミンスター・フラーのような人物よりも不合理ではありません。フラーは、原子には周波数があり、電波にも周波数があるため、私たちのすべての周波数を拾って電波で送信できるようになると提案しました。

推論のスタイルという点では、レビューされた未来学者のうち、彼はクルツワイルに最も近いでしょう。彼は数字を使って信頼性のオーラを与えますが、彼が議論しているトピックについて何かを知っているか、数字を見れば、推論は崩壊します。ジトロン氏の推論はクルツワイルほど悪くはありません。クルツワイルは(例えば)実現しなかった非常に速い進歩の新しい予測を継続的に行いました(例えば、2001年には2011年までに無制限の寿命を予測しました)。間違った理由でAIの進歩が止まると継続的に予測することは、単に進歩への賭けの裏返しです。無限の進歩の代わりに、進歩は全くないということです。その予測が間違っているたびに、別の同様の予測をして日付を少し先に延ばすことができます(両方のファンは同じテクニックを使用します。ジトロン氏のファンは単に彼の予測が真実であると主張します。クルツワイルのファンが彼の86%の予測精度を引用するのと同じように彼の実際の精度は、彼が主張する86%を実際に予測結果で見た場合7%ですが)。ミハウ・ザレフスキ(lcamtuf)は、これが起こる理由についていくつかの考えを持っています。

人気のある支持者を築く最も確実な方法は、明確で強く、疑いの余地のない立場を表明することです。「市場はどちらの方向にも動く可能性がある」、「両方の政党は良い点を挙げている」、「AIにはある程度のメリットと同時に誇大広告もある」といったことで、ポッドキャストやテレビ出演を多く得ることはできません。あるいは、投稿の例を挙げると、「ハリー・ポッターはまあまあな本だ」といったことです。

実際、正のフィードバックループがあります。挑発的でエッジの効いたスタンスを取ると、より多くの注目と「いいね」を得るので、ある意味…自己急進化しますか?ある時点で、それはもはや変更可能な意見ではなくなります。それはアイデンティティ、パーソナルブランドです。

それは…エド・ジトロンがすべては大きな詐欺だという大ヒットブログを持っている理由です。よりニュアンスのある見方をすると、せいぜい反応がないか、最悪の場合、両側から軽蔑を招くでしょう。8

合理的な反AIの意見を探している人には、whitequarkが非常に良いと思います(同意するわけではありませんが、推論は健全だと思いますし、前提が私と少し異なる人なら同意できると思います)。しかし、もちろんwhitequarkはジトロン氏のような大きな聴衆を獲得していません。

不正確な立場をどれだけ維持できるか?

このような一連の失敗した進歩予測の誤った側にいる後、人々が何をするのか興味があります。未来学者の場合、たとえ彼らがほぼ完全に間違っていたとしても(ここでレビューしたすべての人々がそうでした)、彼らは「私が言ったことの4分の1が起こった、ただ私が予想したよりも2倍から20倍時間がかかっただけだ」というような主張をすることができます。そして、正確さにそれほど固執しないなら、「私が言ったことは起こった」と丸めることができます。それが彼らにとってうまくいったようです。なぜなら、誰も実際には詳細を見ようとしないからです。例えば、クルツワイルの主張する86%の予測精度が確立された事実になったのはそのためです。人々は実際には予測がどのように実現したかを気にしません[2022年に86%の主張を否定したにもかかわらず](https://danluu.com/futurist-predictions/)。

しかし、ポール・エリックのような人物はどうなるのでしょうか?彼は差し迫った大惨事を予測しましたが、それは彼が書いている間には明らかに起こっておらず、その後も起こりませんでした。エリックのWikipediaページを見るだけで、次のようなことがわかります。

一般的な批判は、エリックの予測が定期的に実現しなかったというものです。例えば、Reason誌のロナルド・ベイリーは彼を「抑えられない終末論者…私が知る限り、差し迫った大惨事の予測で一度も当たったことがない」と呼んでいます。[41] 1970年のアースデイでは、「10年以内に海中のすべての重要な動物生命は絶滅するだろう。死んだ魚の悪臭のために、沿岸の広大な地域を避難させなければならないだろう」と警告しました。[41][42]

1971年のスピーチでは、「2000年までにイギリスは、7000万人の飢えた人々が住む、貧しい小さな島々の集まりになるだろう」と予測しました。「もし私がギャンブラーなら」とエリック教授は飛行機に乗り込む前に結論付けました。「イングランドが2000年までに存在しないことに賭けてもいい。」[41][42]

このシナリオが起こらなかったとき、彼は「未来を予測するとき、あなたは間違ったことを言う。どれくらい間違っているかは別の問題だ。もし私が賭けをしていたら負けていただろう。しかし、イングランドをよく見れば、何と言えるだろうか?他の人々と同じように、彼らはあらゆる種類の問題を抱えている。」と応答しました。[41]

エリックは『人口爆弾』の中で、「インドは1980年までにさらに2億人を養うことは不可能だろう」と書きました。[27] 1967年、エリックはインドへの緊急食糧援助を「絶望的」として打ち切るよう呼びかけました。[43] この立場は後に批判されました。なぜなら、インドの食糧生産はその後、インドの緑の革命を通じて急増し、人口が倍増したにもかかわらず、その後の数十年で一人当たりのカロリー摂取量は大幅に増加したからです。[44]

1960年代以降の世界的な食糧生産の増加と人口増加の鈍化は、再生不可能な資源の枯渇が続く現在の文脈の中で、エリック夫妻が予言した食糧不足、飢饉、大惨事の規模を回避しました。

カナダのジャーナリスト、ダン・ガードナーは、2010年の著書『Future Babble』[45]の中で、エリックは自分の過ちを認めることを十分に誠実に行っていないと主張しており、自分が「正しい」と主張したことに対して知的に不誠実または回避的であると述べています。例えば、彼は物質不足、大規模な餓死者数(『Age of Affluence』の出版で10億人まで)や特定の国への壊滅的な影響に関する予測の誤りをめったに認めません。その一方で、エイズの増加や地球温暖化を「予測」したことに対して credit を主張することに喜びを感じています。[13] 病気の場合、エリックは過密や飢餓で免疫力が低下した人々のために病気の増加を予測しましたが、これは1980年代のエイズの出現を予測したと見なすのは無理があります。同様に、地球温暖化はエリックが説明したシナリオの1つであったため、それを主張しながら失敗したシナリオの責任を否定するのは二重基準です。ガードナーは、エリックが認知的不協和の古典的な兆候を示しており、自分の判断の明白な誤りを認めることができないため、現在の思考は疑わしいと信じています。[13]

バリー・コモンナーは、エリックの1970年の声明「努力が無駄になると悟ったとき、自分のためと友人のために世話をして、残りの時間を楽しむのが良いかもしれない。私にとってその時点は1972年だ」[46]を批判しました。ガードナーは、エリックがウィリアムとポール・パドックの著書『Famine 1975!』で提案された戦略を支持したことを批判しています。彼らはインドやエジプトのような「絶望的な」国への食糧援助を停止する「トリアージ」システムを提案しました。『人口爆弾』の中で、エリックは「食糧配給に関しては、パドック家の戦略のいずれかの形態を採用する以外に合理的な選択肢はない」と示唆しています。当時食糧援助に依存していたインドやエジプトのような国にこの戦略が実施されていたら、それらはほぼ間違いなく飢饉に苦しんでいたでしょう。[13] その代わりに、エジプトとインドは食糧生産を大幅に増やし、現在では食糧援助に依存せずに、より多くの人口を養っています。

驚くべきことに、1968年に『人口爆弾』を執筆した後、一連の誤った予測の後、彼は1990年に『人口爆発』を出版し、世界人口の削減がない限り、壊滅的な危機を引き起こすか、引き起こすであろう地球の過剰人口について言い続けました。彼は今世紀、そしてこの10年でさえ同じことを言いました。彼が今日それを言わない唯一の理由は、今年初めに亡くなったことのようです。

もし私がそれを調べなかったら、彼の最近の立場は、「まあ、いくつかのことは間違ったが、それは私の仕事に触発された行動のおかげで危機が回避されただけだ」とか、「危機は回避されたが、それは運が良かっただけで、ほとんどの宇宙では、大量の飢餓死を予測していたものを食い止めた農業の進歩は起こらなかった」といったものになると推測したでしょう。しかし、「待ってろ、危機は今起こっていて、私は証明されるところだ」というものではありませんでした。2015年には、彼の誤った1968年の本に言及して、「私の言葉は今日ではさらに終末的になるだろう」と述べました。これはジトロン氏に見られるパターンですが、私が調べた一人の人物がさらに50年間それを続けたとは予想しませんでした。おそらく、私たちはジトロン氏がAIの進歩の終焉を予測し続けるのをさらに50年間見ることになるでしょう。

ジトロン氏へのいくつかの反応

ユホ・スネルマン氏からの引用の1つで、彼はギッシュギャロップ(Gish gallop)を多用すると述べています。これは、安価に(生成が安価な)ナンセンスを大量に浴びせかけ、誰も反論する時間をかけたくなくなるような手法です。ジトロン氏の講演の一部を詳細に議論する中で、私たちはジトロン氏がいかに企業がどのように機能するかを誤解しており、ジトロン氏がいかに推論を間違えたかを説明するために1000語以上を費やしました。それを読んだ人は、「しかし、講演のXについて触れていない」と言うかもしれません。それは真実です。私が最初に講演を見たとき、90秒でタブを閉じました。なぜなら、あまりにも多くのナンセンスがあったので、それ以上進む価値がないように思えたからです。講演の最初の90秒について、5000語書くこともできたでしょう。ジトロン氏は単に多くのナンセンスを言っているので、それは非常に安価にでき、私がすべての事実を手元に持っていたとしても、彼のナンセンスの90秒を反論するには30〜60分かかるでしょう。正確な情報を調べる時間があれば、おそらくその倍か3倍かかるでしょう。判断力のある人がこれを見ると、すぐにその人物を切り捨てる傾向があります。例として、友人にこの投稿を書いていることを話したところ、彼は次のように述べました。

私はその男のポッドキャストを聞いていましたが、最後まで聞けませんでした。彼の心拍数が上がりました。なぜなら、彼は偽の情報を言うだけで、司会者は、それは合理的でしたが、それについて尋ねました。「Xについてはどうですか?」、そして私たちは別の偽情報に飛び移りました…

…私が抜け出す前に、彼はLLMが過去1年間でそれほど改善されていないと話しました。そして司会者は、人々はそれらを使っているし、過去1年間で明らかに改善したと言いました。ジトロン氏はそれを否定し、「そうか?」と言いました。そして司会者は、「はい…」と言いました。その時点で、私は「なぜこの会話を聞いているのだろう?」と思いました。

私たちは主に予測について議論し、過去や現在の誤った陳述についてはあまり議論しませんでしたが、ジトロン氏が書いたものや見たもののほとんどは、このようなもので満ちています。多くの人はこれを見て、その男はクランクだと判断し、注意を払うのをやめます。しかし、他の多くの人はこれを見て、誰かが一連のものを反論したのを見て、「しかし、Xを反論していない」と言います。一般的に、反論する人はこれらのうちのいくつかには応答しますが、最終的には諦めます。なぜなら、ギッシュギャロップ手法は増幅DoS攻撃と同じ特性を持っているからです。新しいナンセンスを生成するのは非常に安価ですが、それを反論するにはある程度の労力が必要です。

ところで、このインタビューが何だったのか興味があったので、上記の引用をChatGPTに入れてインタビューを見つけるように頼みました。関連するやり取りを特定することができました(実際には複数特定しました。これはジトロン氏の一般的な質問と応答パターンであるようです)。そして、インタビューの関連する各陳述のタイムスタンプも特定しました(一般的な議論の開始はこちらと、「そうか?」という応答はこちら)。「そうか?」というコメントの前で、司会者はエージェントの能力が向上したという基準を設定しようとします。ジトロン氏はこれが起こったことを否定し、司会者がそれらで仕事をしている人々が過去1年間で明らかに改善したと指摘すると、ジトロン氏は「そうか?」でそれを否定します(実際、彼はそのシーケンスで複数の矛盾した陳述をしています)。

ここで注目すべきもう一つの点は、ジトロン氏の非常に高い自信レベルです。私たちが指摘したいくつかのものには、OpenAIの予測である「あまりにもひどい声明なので、声に出して言うのは金融犯罪ではないかとさえ思う」(これは彼らがこれまでのところ達成している)や、GoogleのGeminiユーザー数予測が「あまりにも非現実的な数字なので、Googleの誰かが解雇されるべきであり、その人物はSundar Pichaiだ」(彼らはジトロン氏の主張が完全にありえないという主張に反して、予測を50%上回った)などがあります。

私はかなりの数の予測をしてきましたが、そのうちかなりの数が間違っています。私が本当に予測をしているとき、私は自分のために予測に信頼度レベルを付けます。そうすれば、これらのことを振り返って、予測がどれほどうまく校正されているかを見ることができます。ジトロン氏が彼の予測に与えている信頼度レベルのどれほどにも、私は予測について間違ったことはありません。その信頼度レベルで配信された予測について間違っているべきではありませんが、ジトロン氏は、事実上可能な限り最高の信頼度で彼が行う予測について、日常的に間違っています。

ところで、Geminiが5億ユーザーに達することが「あまりにも非現実的な数字なので、Googleの誰かが解雇されるべきであり、その人物はSundar Pichaiだ」ということの面白い点は、ジトロン氏が(誤って)Googleは成長する方法を知らず、その結果AIをいたるところに押し込んでいるとも言っていることです。デニス・スネル氏は、もしジトロン氏が自身の発言を真剣に受け止めるなら、GoogleはAIをいたるところに押し込むというジトロン氏が言ったまさにそのことをすることによって、Geminiのユーザー数を望むだけの数にすることができると指摘しました。

Googleの成長不足がAIへの必死の試みにつながっているというジトロン氏の主張を真剣に受け止めると同時に、Sundarが5億という数字を挙げることで重大な不正行為を犯していると彼が言うことも真剣に受け止めることはできません。これは、彼の講演のいずれかを見たり、彼の文章を読んだりするとすぐに明らかになる別のことです。一連の断片的な陳述があり、それらは互いに一致しません。ただし、AI企業やAIを使用している人々や企業が悪であり、悪いという声明である限りは一致します。実際の数字と論理は矛盾しています。悪役を悪く描くために使えるものなら何でも思いつくようです。そして、面白いことに、Geminiが7億5千万ユーザーに達したことは、ジトロン氏の両方の陳述が間違っていたことを示しています。もしGoogleが数字を操作するためにジトロン氏が主張したほど必死だったなら、Geminiをいたるところに押し込むことで10億以上に簡単に到達できたでしょうし、もちろん7億5千万 > 5億です。

ところで、私が最初に講演を停止した時点は次のとおりです。

前年比収益成長に夢中な市場。そしてこの進歩は自然だった。それはひどかった。あなたはマーク・アンドリーセンを責めることができる。彼はひどい男だ。あなたは多くのひどい男を責めることができる。今、怒るべき男はたくさんいる。

最後の文はジトロン氏の立場をよく表しています。「今、怒るべき男はたくさんいる」。この講演で、彼はアンドリーセンにこのジャブを入れ、Meta、Google、Microsoftが成長を追求したことをアンドリーセンのせいにします。実際には、マーク・アンドリーセンが存在しなかったとしても、Meta、Google、Microsoftは成長しようとしていた可能性が非常に高いので、これらの企業が成長しようとしたことをアンドリーセンのせいにすることはできません。彼が悪いと言うものがあり、いつものように、彼はそれを非難する悪役を一人選び、次のノンセクイターに進みます。

なぜ人々はこれを真剣に受け止めるのか?

私がマゾヒストなので、実際にジトロン氏の議論の多くを読みました(HNとlobstersの主要な議論のすべてと、他の議論もいくつか読みました)。ジトロン氏を真剣に受け止めている人々が何を言っているかを見るために。1つの一般的な弁護は上記の通りです。確かに、あなたはいくつかの点を反論しましたが、Xについては触れていません。より一般的な弁護は、一般的に、人々はY(通常は彼のスタイル)のためにジトロン氏を攻撃しますが、彼のポイントには決して触れません。「それは私に知っておくべきすべてを教えてくれる」(あるいはそれに類するもの)と言うことです。メッセージのタイムスタンプに基づいて、議論されていたストーリーに限定すると、ジトロン氏の実際の誤りを議論するコメントが一般的にありましたが、ジトロン氏の擁護者はこれを無視し、人々はジトロン氏の誤りを指摘できなかったと主張するだけでした。これは非常にジトロン氏的な動きであり、彼のスタイルを好む人々もこの動きを使うのは理にかなっています。結局のところ、誰がジトロン氏を説得力があると思うでしょうか?このようなものが有効な推論だと考える人です。

次に一般的な「動き」は、ジトロン氏が言ったことを否定することでした。人々が、ジトロン氏が2024年と2025年にLLMが根本的な理由でそれ以上改善できないと繰り返し述べていたことに言及すると、ジトロン氏の擁護者は、彼はそんなことは言っていないと主張します。以前の予測や事実上誤った陳述についても同様です。

別の種類の弁護として、「しかし、間違ったAIハイピストたちはどうなんだ?」のようなコメントを見ました。前述したように、私は、最も尊敬されている未来学者の多くが、誤った予測をしただけでなく、彼らの方法論と推論も間違っていたことについて、34,000語の記事を書きました。しかし、未来が誇張されていると考える多くの人々が間違っているからといって、エド・ジトロンやポール・エリックのような人々が間違っていることが少なくなるわけではありません。ジトロン氏とエリック氏は、それらの未来学者が存在しなかったとしても、彼らが間違っていたのと同じくらい間違っています。

友人の一人は、ジトロン氏がモデルが2023年から2026年にかけて改善しなかったことについて間違っていたという指摘に対するコメントについて、次のように述べています。

「ジトロンは間違っていない、彼はただ早すぎただけだ!」と言う人が非常に多いのは信じられない。おそらく、2026年のモデルは2024年や??のモデルよりも実際には良くないということを、最終的に認識するだろうという意味だろう。

この記事を公開することについての興味深い点は、私が間違っていると私にメッセージを送ってきた人々のかなりの割合が、今日2026年では、モデルは実際には2023年や2024年以降改善していないと言っていることです。私の推測では、上記の引用のようなことを言っている人のほとんどは、単に「実際には読まなかったものに、読んだものには無意味な定型応答で応答する」という「動き」をしているだけですが、実際にはジトロン氏の、モデルが2023年または2024年以降改善していないという一連の陳述を信じている人がたくさんいることが判明しました。

もし誰かが実際に何が起こっているかを見ているなら、そのレベルで現実を否定している人を説得するためにできることは何も無いと思いますが、物事がどのように変化したかを見ていない人々のために、その期間の改善の視覚的な例として、2023年と2025年のビデオ生成の比較と、2026年8月の例があります。ビデオは良い例ではありません。なぜなら、モデルはコーディングにおいてより多く改善されているからです。例えば、人間の時間で数分で、インタープリターとネイティブコードコンパイラを備えた新しい正規表現エンジンを作成し、私のマシンでcodexの実際の正規表現呼び出しを高速化するためにripgrepをフォークすることが可能になりました。このプロジェクトは、LLM以前であれば、その専門知識を持つ人々の給与を考えると7桁の費用がかかったでしょう。しかし、ビデオは良い例です。なぜなら、上記のインタビューで、「そうか?」というやり取りの後、ジトロン氏の「反論」の1つは、「それを使って映画を作るわけではないだろう?」というものです。人々は現在、かなりの量のAI生成デジタル映像を「撮影」しており、これは多くの低レベルのビデオ作業を覆しています。過去のパターンに基づいた簡単な予測は、これが時間とともに上位市場に移行し続けるだろうということですが、人々が今日AIビデオを何に使用しているかに基づいて、ジトロン氏は、たとえ真実を信じる人々にアピールしているだけであっても、新しい反論を見つけるべきです。もちろん、そのトピックは数学や科学とは関係ありません。そこでは進歩は非常に速く、他の多くの分野でも同様です。

将来の予測

ジトロン氏の過去の予測は一般的に間違っていましたが、将来何か正しいかもしれません。おそらくこれらの企業の一部は、何らかの理由で評価額が下落するでしょう。しかし、たとえ大規模なAIクラッシュが発生し、OpenAIとAnthropicがゼロになったとしても、社会的な影響という点では、それに加えて、他の何らかのイベントが発生して、AIラボが現在内部に持っているもの以上のモデルの進歩を防ぐとすれば、それは依然としてかなりの変化をもたらすでしょう。どの企業が成功するかは、誰が豊かになるかを変えるでしょうが、特定の企業が失敗しても、現在のまたは次世代のモデル機能から生じる変化を止めることはありません。それは単に誰が最も利益を得るかを移動させるだけです。

個人的には、ある会社の人が別の会社の人よりも豊かになるかどうかは私にとって重要ではありません。ある会社が別の会社よりも(抽象的な意味で)何かをうまくやった場合、それは私にとってある程度の興味がありますが、特定の会社が別の会社よりも「正しいこと」をより多く行うという主張には懐疑的です(この点については説得されるかもしれませんが、私が知る限り公開されている主張はあまり説得力がありません)。

ジトロン氏がいつかある会社や他の会社が崩壊するという点で正しくなったとしても、それは、彼がこれまで間違ってきた能力の開発と将来の開発と比較すると、私にとってそれほど興味深いものではありません。また、彼がこれまでに行った財務予測についても間違っており、その理由も欠陥がありますが、それは実際には私を興味を引くものではありません。ただし、完全性のために多くの財務予測を含めました。

Yossi Kreinin、Juho Snellman、Dennis Snell、Nick Bergson-Shilcock、@blueblimpms、Bartek Ogryczak、Jamie Brandon、Shriram Krishnamurthiに感謝します。コメント/修正/議論について。

付録:エド・ジトロン氏がなぜ人々がエド・ジトロン氏を嫌うかについて

ジトロン氏の作品に関する議論を探している間に、redditで2番目にヒットしたのはジトロン氏のコメントでした。

…一部の男性は、感情的な正直さと内省が彼らにとって困難であるため、私を好きではありません。感情は、男性が抑圧または圧縮するように言われるものです。私は拒否し、誰かが私にそうするように言ったとき、私はそれを嫌悪します…

…感情から始めましょう。なぜならそれが最も明白だからです。人々は私が私がどうであるか本当に好きではなく、「怒っているふりをしている」と思っています。あるいは、私を精神異常者、制御不能などと描写することさえあります。これは、特に自分の仕事において、感情的に抑圧されている人からよく聞く反応です。感情的であることとよくできた意見を持つことは困難です…

…また、ここに到達するために「取るべき」ルートをたどっていません。あなたは、大手の出版社からの確立されたライター、アナリスト、金融関係者、または「価値がある」と見なされる他の多くの「真の道」のいずれかであるべきです。私は伝統的な意味で「ストライプを獲得」しませんでした。そして、私がそこまでたどり着いたことを信じている人々は、私がそのようにたどり着かなかったと考えています…

…私の仕事は徹底的でもあります。これは、徹底的な仕事をしない人々にとってイライラします。私は自分のすべてのポイントを考え抜いており、主題をよく知るために多大な努力を払っています。多くの人がまだ「Uberと同じだ」とか「ドットコムブームと同じだ」と主張していることに注目してください。真実かどうかをチェックせずに、単に推測する方がはるかに簡単です!徹底的かつ情熱的に来る誰かがいると、それはイライラします。それはあなたの仕事に悪影響を与えます…

…私は良い写真撮影をし、良いインタビューをし、イベントを最大限に活用します。そして、私は卑屈になることなくそうします。なぜなら、私は通常、数千語の考えやエピソードを持って現れるからです。私は、これらの注目や名声のレベルを望む人がいると信じていますが、それを得るための仕事をしたくないので、それはイライラします…

…私は大きく、私はハードに愛し、私は私である、私は決して「イン」グループに歓迎されたことはありません。私は一生懸命働き、誰よりも多く書き、現れます。私が作り出すどんなスペースでも、「イン」グループや派閥と戦います。私はそれらを憎み、彼らは私を憎み返します。そして私は、私が信じる理由を根本的に知っています。それは、知らない人々を動揺させます。

彼がそのどれかを意味しているかどうかはわかりません(ジトロン氏と彼が経営するPR会社に関するこのWiredのプロフィールが正確であれば、そうではないと考えるべきでしょう)。しかし、ジトロン氏は、彼の聴衆が聞きたいことを言うのが非常に得意なので、これは彼の聴衆についての洞察を与えてくれるでしょう。

「派閥」と「イングループ」についての彼のコメントについて注意すべき点は、彼の名前をRedditで検索すると、AIが改善したことを示唆する投稿をすると、彼のsubredditから追放されるというコメントがあり、非常に閉鎖的なエコーチェンバーになっていることです。私は、METRの進歩ベンチマークは意味がない(https://www.patreon.com/posts/149123122)と、誤解を招く分析に頼るよりも感覚に頼る方が良いと述べていることに記録を残しています。また、広く引用されているAI評価はしばしば欠陥があるため、ベンチマークが一般的に良いとは思っていませんが、コメントから得た印象は、党の方針に従わないとすぐに追放されるということです。これはジトロン氏に固有のものではありません。以前、別のインフルエンサーを調べていたとき、彼/彼女のRedditでそのインフルエンサーに反対すると、彼/彼女はコメントに感謝し、フィードバックを得るのがどれほど好きか、そして世界は偉大な平和と愛の祭りであり、私たちは皆お互いを愛するべきだと書きながら、同時にRedditから追放しました。

また、ジトロン氏の、人々が彼の作品を嫌うのは、徹底的な仕事を嫌うからだというコメントは、いくつかの理由で興味深かったです。

1つは、私自身の作品がしばしば厳密で徹底的であると肯定的に引用されていることです。私の作品を嫌う人もたくさんいますが、徹底的だから嫌いだと言う人を知っているわけではありませんし、もしいたとしても驚くでしょう。一般的に、それは人々が物事を嫌う理由のようには思えません。それは、誰かが自分がなぜ何かを信じているかを知っているから、あるいは誰かが一生懸命働いたからといって、人々が動揺することにも当てはまります。ジトロン氏の聴衆が聞きたいと思っていることがこれであるというのは、本当に興味深いです。

2つ目は、私自身は自分の作品を徹底的だとは考えていないということです。ここで述べた、自分の仕事が良くないと感じることと同じことが、徹底的だと感じないことにも当てはまります。私は自分の仕事のチェックをある程度行います。費やした時間という点では、ほとんどの人よりも多いとは言えませんが、効果という点では、方法と費やした時間の組み合わせが平均よりもうまく機能すると推測します。しかし、公開するときは常に自分の仕事に不満を感じます。なぜなら、永遠にチェックし続けることができ、何も公開できなくなるからです。そのため、徹底性の点で平均以上であると疑われるレベルで公開することを自分に強制します。徹底的な人物として私が考える人物、例えばゲイリー・バーンハートの作品と比較すると、私の作品を徹底的と呼ぶことはできません。私はバーンハート品質の作品を制作する友人を数人持っており、私はより多く、しかしより低品質の作品を制作することを選択します。私は、品質と速度のトレードオフの空間で、この場所が適切だと思いますが、それは私の作品を徹底的にするものではありません。ゲイリーと同じくらい徹底的になるには、私の(2026年7月以前の)ベースライン標準で、出力あたり10倍から100倍の時間をかける必要があります(最近の私の出版方法では、さらに10倍以上かかるでしょう)。それにもかかわらず、私のファクトチェックプロセスは、ジトロン氏のものよりもはるかに徹底的であるように思われます。

ティモシー・リーの例のようなひどい算術エラーを脇に置いたとしても、FacebookのMAUの例のように、他の推定値やMeta自身の数値とは反対の方向にある数値を選び、しかも他のデータから見ても方向的にありえないような数値を選んだ場合、そのような数値がどのようなファクトチェックでも生き残るとは思えません。そしてこれは、彼の多くの事実に関する陳述(ランダムにサンプリングしようとはしませんでしたが、ほとんどだと推測します)にも当てはまります。どのようなファクトチェックプロセスであっても、矛盾した結果をもたらすように思われます。

付録:この記事の誤り

この記事には複数の誤りがあることはほぼ確実だと思います。一般的に、長文の誤った推論の流れを読み、その誤りを探すときにいい加減になるのを避けるのは非常に難しいです。未来予測のレビューをしたときも全く同じ問題を抱えていました。これは、コンパイラが非常にバグが多いシステムでプログラミングしているときと同じようなものです。コンパイラバグに毎日毎日ぶつかります(LLM以前は組み込みシステムで働く際には珍しくありませんでした。今ではバグは比較的簡単に修正できます)。コンパイラバグだと思っても、実際には自分のバグである場合が時々あるのに、いい加減にならないのは難しいです。これらの種類の予測から予測を読み取るときは、問題はさらに悪化します。なぜなら、コンパイラは一般的に基本的に機能し、しばしば正しいのに対し、ここで議論されているようなテキストを読むときは、単にナンセンスの海に溺れており、時折良い正確なポイントで区切られています。これをうまくやるには、これらのものを掘り下げるために異常に高い持久力を持つ人(私よりもはるかに、そして私はこの種のもののための平均以上の持久力を持っているように思われます)を見つけるか、独立して評価と採点を行うチームを持つ必要があります。しかし、表面的な読み取りで、これらの人々がほとんど完全に間違っていることを示す多くのことがすぐに明らかになるのに、なぜ誰もそのような努力を費やしたいと思うでしょうか?

私はChatGPT(Webインターフェース、Pro)とClaude(Webインターフェース、Fable 5)にこの記事のファクトチェックを依頼しました。どちらも公開前に修正されたいくつかのマイナーなエラーを見つけました。

1年前、私はこのようなファクトチェックはほとんど役に立たないと思っていましたが、今は半分まともになり、ジトロン氏とは対照的に、それらは改善し続けると予想しています。両方の人々のために、ChatGPTはClaudeよりもはるかに徹底的で、より多くのエラーを見つけ、Claudeが見つけたすべてエラーを見つけました。しかし、それは過剰に熱心で、茶化しを意図したコメントが誤りであると指摘したり、一般的に真実である多くの陳述をより文字通りの方法で言い換えるべきだと示唆したりしました(AIスタイルのテキストが付属していました)。

私がGPT-5に関するものだと思っていた予測が、おそらくGPT-4.5に関するものだったと@blueblimpms氏に指摘されたため、この記事を更新しました。ジトロン氏が言っていることは不明確ですが、関連する投稿を再読した後、私はジトロン氏がおそらく5ではなく4.5を指していること、そして彼の陳述が不明確であることの両方に同意します。そのため、それを変更しました。その修正は、私が予測したこのパターンの1つに適合しますが、二次的な原因として、ジトロン氏の文章は非常に不正確であり、しばしば陳述間の様々な曖昧な含意に依存していることに気づきませんでした。「そうか?」/「そうか?」という応答は、彼が実際には陳述をしておらず、質問をしているだけだと技術的に主張できるインタビューの例ですが、その場合、彼の全体的な立場を考えると、彼がそう言うときに何を意味するかを推測できます。

これを言うのは面白いですが、記事の誤りではないのは、私がAIラボで働いていない、またはAIラボに供給する企業で働いていないと述べたことです(これは、文字通り、ハードウェアをAIラボに販売する企業や、RL環境スタートアップのようなAIラボに主に販売するビジネスを行っている企業で働いていないという意味です。疑いなく、AIラボにデータを送信する非ZDRプランを使用している人々がおり、AIラボは私たちからデータをスクレイピングしたか、法律を回避して私たちからスクレイピングした会社に支払ったか、誰かが私たちにある程度のデータをAIラボに販売する契約を交渉した可能性があります。それは私たちにとってそれほど重要ではない金額で、AIラボが設立されて以来、収益の半分パーセントに達するかもしれませんが、など)。

友人の一人は、私がNvidiaで働いていると主張する誰かにMetafilterでコメントせざるを得なかったと感じたと述べました。私も数人に直接メッセージを送って、私がNvidiaで働いていると伝えられました。それについて何を言えばいいのかわかりません。私はそこに数人の友人がいて、それは良い場所のように聞こえますが、私はそこで働いていません。これは公開情報から簡単に検証できます(技術的には、最後の公開雇用情報以来、仕事を辞めて新しい仕事を始めて、誰にも言わなかった可能性がありますが、もしそうなら、ランダムなジトロンファンが私がNvidiaで働いていると思うべきではありません。また、私はそうしていません)。記事で述べたように、ジトロン氏のファンは、ジトロン氏を守るときによく事実を誤解します。これは、事実をあまり気にしない人々が彼に訴えられていることを考えると理にかなっています。これは、ジトロン氏のファンが持っている定型的な防御策ではないため、少し興味深い例です。もちろん、人々は記事で議論した標準的な防御策(ジトロン氏はそんなことは言っていない、ジトロン氏は時間とともに証明されるだろうなど)を私にメッセージで送ってきましたが、この「あなたはNvidiaで働いている」というものは少し興味深いです。なぜなら、それはジトロン氏のファンが持っている手軽な防御策ではないからです。

  1. Raghavanに対する告発が真実であったとしても(それがどのように真実になりうるのか、コンピュータ科学者に対する裏切り者とはそもそもどういう意味なのかわかりませんが、それが真実だと仮定しましょう)、ジトロン氏の主張は「このクソ野郎[Raghavanの画像を参照]は2020年にGoogle検索を引き継ぎ」、検索品質よりも特定の指標を優先したということです。なぜ特定の人をこれに挙げるのかわかりません。これは多くの人々が関与した長年の戦いでしたが、もしこれがすべて真実だと仮定するなら、「経営コンサルタント派閥」はエンゲージメントや収益を増加させる指標を、検索品質を犠牲にして動かすと仮定することになります。これは、Googleの成長が終わっており、Googleを救うための狂った最後の手段としてAIをいたるところに押し込んでいるという彼の主張を作るために必要な効果とは逆の効果になります。これが最終的にGoogle検索の衰退を引き起こすという議論をすることは可能かもしれませんが、ジトロン氏の議論は、2024年には彼らが必死だったということであり、ユーザーが最終的にGoogle検索を離れることによって、後に衰退を引き起こすということではありませんでした。

ジトロン氏の多くの文章を読んだことのある人なら、彼の標準的な「動き」である、状況をヒーロー対悪役の物語に変えること(検索の場合、 alleged hero はBen Gomes、悪役はPrabhakar Raghavan)に気づくでしょう。まるで彼の企業がどのように機能するかというメンタルモデルが、企業についての映画から来ているかのようです。もしあなたが何らかの出来事についての映画を見て、それを読んだら、物事がヒーロー対悪役の物語に単純化され、ニュアンスがほとんどすべて剥ぎ取られていることがわかるでしょう。そして、もしあなたが個人的に何かに巻き込まれたり、関わった人々と話したりして、書かれた本と比較したりすると、同じことが再び起こります。一般的に、主要な原因要因は、テクノロジーで起こったことについての本では特定されておらず、いくつかの重要な決定に関わった最も影響力のある人々さえも名前が挙げられていません。なぜなら、ジャーナリストは、出来事について人々と話すとき、根本的なメカニズムを理解し、良い情報を持っている人に、起こったことについての plausibly correct な物語を組み立てることができないからです。とにかく、状況について何も知らなくても、もし誰かがジトロン氏が紡ぐようなヒーロー対悪役の物語を語ったら、あなたはすでに少し懐疑的になることができます。

[戻る]
2. ところで、彼の怒りはビデオではあまり伝わってこないと思います。つまり、彼は怒っていると明示的に言い、彼が書くように罵倒したり侮辱したりしますが、私には彼は実際には怒っているようには見えません。これは最近、多くの人々と一緒に受けた感情認識のテストを思い出させます。

私はテストがかなり難しいと感じ、最初の質問に5分ほど費やしました。なぜなら、その人は大きな作り笑いを浮かべており、少し不快で不安そうに見えたからです。その人が幸せなのか、それとも不快/不安なのかを言うべきなのかわかりませんでした。これは非常に簡単なテストなのか、それともある程度の微妙さを持つテストなのか?テストの外観に基づいて、しばらく考えた後、「幸せ」を選びました。幸いなことに、テストは質問が正しいか間違っているかを教えてくれるので、テストは誇張された偽の表情についてのものであり、その人の実際の表情についてのものではないことがわかりました。残りのほとんどの質問は簡単でした。1つは、教科書に載っているような、つまり教科書に見られるような、特定の種類の軽蔑的な冷笑を表現しようとしていたため、難しかったです。しかし、それは他の教科書的な表示よりも不完全で非現実的でした。それは、誰かが軽蔑的な冷笑とは何かについての説明を読み、テキストの説明に基づいて顔の表情を作ろうとしたかのようでした。正しい答えを得るために、それについて数分考えなければなりませんでした。

とにかく、私には、ジトロン氏は実際に怒っているのではなく、怒りを演じているように見えます。声のトーン、表情、ボディランゲージ、動きのスタイルなどは、私には怒っているようには見えません。この怒りのポジショニングは、彼の文章ではスピーチよりも効果的だと思います。なぜなら、彼が使用する手がかり(罵倒、怒っていると言う、多くの軽蔑を示す、人々を侮辱するなど)は、文章では怒りの手がかりとしては最高に近いからです。音声とビデオがあると、これらはかなり弱い手がかりになります。より強い手がかりが実際には怒りを示していない場合、その人は単に怒っていないように見えます。彼には非標準的な怒りの示し方があるか、私が十分に注意を払っていなかった可能性がありますが、彼が書くように話しているビデオをいくつか見た後でも、怒っているようには見えませんでした。彼の文章はもはや私には怒っているようには感じられません。

[戻る]
3. 数字について議論しようとする人が何をしているかの例を見たい場合は、ユホ・スネルマンが、数字を調べたという主張を譲らない人と対立しているスレッドがあります。AIの議論を追いつつ、私はこのような多くの議論を見てきました。そこでは、一方が実際に数字を調べた人がいて、もう一方は数字が調べられたという漠かな主張を振りかざします。これは決して進展しません。なぜなら、一方の側にとって、ポイントは数字から何かを理解できることではなく、数字が調べられたという証拠を持っていることだからです。[戻る]
4. 当時のジトロン氏の主張は、幻覚はそれ以上良くならないということであり、AIのパフォーマンスは2024年のレベルで頭打ちになることを意味していました。全体的な予測とメカニズムの両方が間違っていました。これは当時から間違っているように見えました。なぜなら、2024年にここで指摘したように、コードをループに入れてコンパイルとテストがパスするまで実行させるだけで、AIコードを半ばまともに作成できるからです。私は当時ヘビーなAIユーザーではありませんでしたが、AIを使用していた人なら誰でも、幻覚率を軽減する方法があり、それらは広く適用されていなかったことに気づくことができました(これは、コードを実行してテストがパスするかどうかを確認するcodexやclaudeのようなコーディングエージェントが登場する前でした)。[戻る]
5. これも当時から真実ではないように思われたものです。私はMLの専門家ではありませんが、RL環境とは何かを誰かに教えられた瞬間、数分以内に、トレーニングを改善するための合成データを生成する方法をたくさん思いつきました。これらのどれも新しいものではなく、AIラボが行っていることだと思います。私のポイントは、数分間考えれば、インターネット上の新しいデータがなくてもモデルを改善する方法がたくさん思いつくということです(言うまでもなく、Redditのコメントやインターネット上で最も簡単にスクレイピングできるコンテンツ以上のデータを取得するために、より多くの努力を費やすことができます)。[戻る]
6. これは解決された予測のみを採点することに注意してください。その特定の投稿で、ジトロン氏はAGIへの進歩は決して起こらないとも述べています。これは依然として曖昧で判断が難しく、また、肯定的に解決することが決してできないものです。同様に、以前の投稿での、ある企業がサブスクリプションを追加しなければならないだろうという予測は、オープンエンドであり、否定的に解決するのが難しいためリストされていません(それはすぐに起こらなければならないと示唆されていたため、おそらく間違っていますが、もしこじつけたいなら将来起こるだろうと言えます)。[戻る]
7. ここで、ジトロン氏はまた、「時間に関連付けることはあまり役に立たないことに気づいた(しかし、私の予測は支持する)ので、バブルが弾ける実際の条件を提案する方がより有用だと思います」と述べています。この時点以降、ジトロン氏は日付付きのステートメントを比較的少なくし、よりオープンエンドで反証不可能なステートメントを多く作成しています。おそらく、以前の予測で頻繁に間違ったことへの反応でしょうか?[戻る]
8. 楽観的な見方として、このブログは極端な立場に頼らず、一般的にクリックベイトを避けるように努めているにもかかわらず、うまくやっていると言えます。これはしばしば、データを見ると、非常に興味深いバイラルヒット記事になりそうなものが見つかるが、詳しく見ると、実際には退屈なネガティブな結果であることが多いことを意味します。例えば、この簡単なプログラミング言語評価を実行したとき、当初は非常に興味深い結果を示しているように見えましたが、明らかな評価バグを修正すると消えてしまいました。まあ、仕方ないです。私は人々がより多くの退屈なネガティブな結果を公開することを望むので、退屈なネガティブな結果を公開しました。

私は、このブログがジトロン氏のSubstackのトラフィックの1桁上にあるとは驚きません(サーバーサイドの統計では、過去1ヶ月で61万ユニークユーザーですが、ボットがどれだけいるかはわかりません。Cloudflareのボットブロックがある程度機能しているとしても)。ジトロン氏は私よりも頻繁に執筆し、あらゆるクリックベイトのトリックを使っているにもかかわらずです。私は時々、何かを書きたいと思ったときにだけ投稿します。私の目標は明らかにトラフィックを得ることではありませんが、時間や労力のレベルで調整すると、このブログはジトロン氏と比較して悪くないと思います。ジトロン氏は月間610万ユニークユーザーを獲得できるでしょうか?不可能ではありませんし、ボットトラフィックでこれらの数字が何を意味するかはわかりにくいですが、参考までに、The Economistは約130万人の購読者、NYTは約1300万人のデジタル購読者がいます。ボットトラフィックがユニークユーザーの4/5を占めると仮定すると、このブログの10倍のトラフィックがあれば、ジトロン氏はThe Economistと同じクラスに入ることになります。

他の条件が同じであれば、ザレフスキ氏はインセンティブについて正しいと思います。そして、エンゲージメントを最も引き出すものに頼ることで、多くの人が自分自身の風刺画のようになっているのを見てきました。しかし、逆のことをしても、まあまあうまくいくと思います。

例えば、クリックベイトとは対照的なスタイルで、サイモン・ウィリソンは、過去3〜4年間でプログラマーの間で最も広く読まれているブログを書いていると推測されます(かつて、ジョエル・スポルスキー、ジェフ・アトウッド、スティーブ・イエッゲなどが、プログラマーの間で最も広く読まれているように見えたのと同じように)。プログラマーや他のAIの真剣なユーザーの間では、ウィリソン氏はジトロン氏よりも大きな聴衆を持っていると推測します。

しかし、ジトロン氏にはウィリソン氏が決して得られない種類の聴衆がいるというのは本当です。この記事の本文では、フォーラムでAIを使用している人々がジトロン氏を擁護する一般的な方法を見ました。それは、AIを使用している人々がいるフォーラムから取られました。世界全体を見ると、コメントはかなり異なります。例えば、私の友人が言及したビデオでは、ジトロン氏が繰り返し現実を否定し、司会者が反論すると、トップコメントはすべてジトロン氏を支持しており、司会者が現実の証拠で反論する場所は、司会者が偏っているか、単に何を話しているのかわからないだけだと主張して、現実を否定しています。トップコメントの中には、問題の事実に関与しているものはほとんどないようです。すべてムードアフィニエーションです。コメントは、ギッシュギャロップ手法を使用し、多くの不条理なナンセンスを言う政治家を支持する人々のコメントを思い出させます。ジトロン氏は、彼の現実否定の人気を武器に、いつか政界に進出するか、あるいは権力者の右腕となる扇動者になるかもしれません。したがって、ザレフスキ氏は、ジトロン氏の魅力は、AIで何が起こっているかを正確に説明することでは得られないという点で正しいです。

しかし、ウィリソン氏を知らないので、これは完全に間違っているかもしれませんが、私の印象では、私と同じように、彼はすでにやりたいことをやっているだけで、聴衆は彼が聴衆を最大化しようとしなかったにもかかわらず、偶然に起こったということです。それがうまくいくと言うとき、私は彼がスポンサーシップを得たおかげで、フルタイムのオープンソース開発者として生活を立てているように見えることを意味します(これは、彼が非常に大きな聴衆を持っているためだろうと推測されます)。これは、ジトロン氏のような大衆的な魅力を生み出さないとしても、良い結果のように思えます。

[戻る]