When Genius Fails: The Intellectual Arrogance of the AI Labs
When Genius Fails: The Intellectual Arrogance of the AI Labs (weightythoughts.com)
要約
この記事は、AI分野の最先端研究者やラボが持つ知的傲慢さについて論じています。特に、AI分野の専門家が他の分野、例えば金融や経済学においても絶対的な専門家であるかのように振る舞う傾向を、最近破綻したAI関連ヘッジファンドの事例を挙げて批判しています。著者は、AI研究者が経済史や理論に基づかない大胆な予測を行うことや、異分野のスタートアップの技術を安易に模倣しようとする姿勢を問題視しています。
全文翻訳
天才の失敗—AIラボの知的傲慢さ
[画像: ネジを木材に打ち込んでいる様子]
ある分野の専門家であるからといって、すべての分野の専門家になれるわけではありません。Leopold Aschenbrenner氏のヘッジファンド、Situational Awarenessは、今週200億ドルの実演を行いました。彼の名声は、OpenAIのSuperalignmentチームに所属していたこと、その後、情報漏洩の疑いで解雇されたこと(本人は否定)、そして2024年にAGIの切迫性と重要性についてエッセイを発表し、多くのメディアのインタビュー(彼への)を引き起こしたことです。そして彼は200億ドルのヘッジファンドを運営していました。そしてそれは破綻しました。
多くの人々が今週のニュースを見て喜ぶでしょう。なぜなら、多くの人が彼を少々鼻につく人物だと感じていたからです。私自身も、「Situational Awarenessに投資すべきか?」と聞かれ、それをデリケートに扱う必要がなくなるのはありがたいことです。
しかし、私はより大きな点を指摘したいと思います。彼が属する最先端AIラボの文化における知的謙虚さの欠如は、彼個人にとどまらず、金融管理以外の多くの垂直分野にも及んでいます。とはいえ、私も元ヘッジファンドマンであり、AIのバックグラウンドも持っているため、この点について短く語るためのユニークな資格を持っていると言えるでしょう。
ベイエリアにお住まいですか?サンマテオ郡図書館で、私の著書『What You Need to Know About AI』のサイン会とトークイベントを開催します。モデレーターはGoogleの計算生物学・工学リードであるJustin Kuczynski氏(PhD)です。場所はアザートン図書館で、2026年8月7日(金)午後3時から4時です。ぜひお越しください!
Situational Awareness LPの苦境は、決してユニークなものではありません。多くのヘッジファンドが破綻しています。実際、私は、常に優れた成績を収めているファンドよりも、破綻したファンドの方がはるかに多いと言えます。これは、多くの一般の人々が気づいていないことです。
典型的な例は、Long-Term Capital Management(LTCM)です。このファンドには、ノーベル賞受賞者2名とウォール街の最高の債券トレーダーが集められました。彼らはその分野の最高・最優秀の頭脳でしたが、4年間で投資家の資金を4倍にしました。その後、1998年にあまりにも劇的に破綻したため、連邦準備制度理事会(FRB)がウォール街の銀行を集めて救済に乗り出す必要がありました(2008年の前哨戦でした)。
この件に関する本があり、そのタイトルはまさに『When Genius Failed』(はい、タイトルのインスピレーション元です)です。
[画像: ltcm vs situational awareness]
オリジナルの「部屋で最も賢い人々」ファンド。Situational Awarenessは、破綻までの全過程を驚くべき速さで駆け抜けました。
重要なのは、ピーク時のリターンではありません。結局のところ、ルーレットで5回連続で赤に全額賭けて運良く勝った人は、3,100%のリターンを得ることになります。しかし、その人が特別な天才であるとか、資金管理の資格があると思う人はいないでしょう。
「市場を打ち負かす」ことさえ重要ではありません。それはレッドヘリング(ミスリード)です。強気市場、あるいはさらに良いバブルにおいては、株式市場に完全に、あるいは(レバレッジをかけて)それ以上に投資していない人は皆「負ける」のです。ヘッジファンドに求めるべきは、強気市場でも弱気市場でも一貫してパフォーマンスを上げることです。それらの高額な手数料のポイントは、たとえ一時的に株式市場に対して「悪く」見えても、常にパフォーマンスを発揮することです。
ちなみに、市場は株式だけではありません。債券やコモディティもあります…しかし、個人投資家がそこでギャンブルをすることを愛するため、株式市場が注目を集めます。例えば、韓国の男性が株式に500%ロングで投資し、一時的に兵役中の貯蓄を大金に変えましたが、すべてを失いました。彼のケースは、7月中旬までに証拠金請求を受けた120万件以上の韓国の証券口座のうちの1つに過ぎません…これはすべてルーレット台に似ています。
ここでLeopold Aschenbrenner氏と彼のヘッジファンドの話に戻りましょう。
伝えられるところによると、彼は(韓国の個人投資家のように)AIブームにレバレッジをかけて投資しました(報告によると約4倍)。7月には、ネオクラウド、メモリ関連、データセンター電力などの公開株で損失を出しました。また、報告によると、同時に彼に反発したソフトウェア関連株、「SaaSpocolypse」トレードでショートポジションも持っていました。
Aschenbrenner氏が非常に賢いことは疑いありませんが、これは破綻した韓国の個人投資家とそれほど違いはありません。真の投資家が最初に学ぶ教訓の一つは、適切なリスク管理がなければ、市場はあなたが存続できるよりも長く非合理的であり続けるということです…レバレッジの使用は、その最も明白な部分に過ぎません。
[画像: leverage_chart]
メモリは本質的に循環的であり、しばしば激しい変動を伴うことを考えると…それが彼の全ポジションではなかったとしても、Citadelに証拠金請求されて清算されたことは、強力なリスク管理を示唆するものではありません…
もちろん、それは彼の投資理論に基づいています。彼の設立エッセイから(強調は原文ママ):
なぜなら—それは現実味を帯びてきている、非常に現実味を帯びてきているからです。数年前、少なくとも私にとっては、これらのアイデアを真剣に受け止めていました—しかし、それらは抽象的で、モデルや確率推定の中に隔離されていました。今ではそれは非常に感覚的です。私はそれを見ることができます。AGIがどのように構築されるかを見ることができます。もはや人間の脳のサイズや仮説、理論的外挿などについての推定ではありません—AGIが学習するクラスターと、それがいつ構築されるか、使用するアルゴリズムのおおよその組み合わせ、未解決の問題とその解決への道筋、重要な人々リストをほぼ伝えることができます。私はそれを見ることができます。それは非常に感覚的です。確かに、2023年初頭にNvidiaにオールインレバレッジロングで投資したのは素晴らしいことでしたが、歴史の重荷は重いです。 私はこれを選びません。
ああ、Nvidiaにオールインレバレッジロング。ファンドを持つ前から、彼の投資スタイルの一端を垣間見ることができました。
Situational Awarenessを超えて
Sam Altman氏とDario Amodei氏は、労働市場の未来についてどれだけ終末論的に語るかで定期的に競い合っています(ただし、最近両者とも静かに撤回し始めています)。そして、最も著名なAIラボのCEOである彼らの名前を挙げましたが、これは彼らに限定されるものではありません。私が個人的に腹立たしいのは、これらの声明の多くが、経済史や経済理論のどちらにもほとんど根拠がないことです—これはおそらく驚くことではありません。なぜなら、それらを発言しているほとんどの人がAIの深い専門家であり、それらの分野の専門家ではないからです。
そしてこれは、市場や技術の予測不可能性を超えた問題です。これはトーマス・マルサスを思い出させます。彼は実際には経済学者でした。彼は1798年に、食料が必然的に不足すると予測しました(人口は指数関数的に増加し、食料供給はそうではないため)、戦争、飢饉、病気による人口抑制のない調和のとれた社会は不可能であるとしました。そして、その食料危機は非常に差し迫っていました。彼は有名な誤りでした。
食料以外にも、技術的変化に直面した労働市場について、周期的な終末論がありました。しかし現実には、たとえ混乱があったとしても、労働市場は適応してきました—そして、現在私たちが話しているよりもはるかに劇的な変化にも適応してきました。
[画像: economy_absorbs_farming_slide]
農業は米国雇用の約70%から約1%に減少し、経済はそれを吸収しました。私が以前行った講演から—定期購読者は私の7月4日の記事で認識しているかもしれません。
さらに、私は私の、あるいは他の投資家のポートフォリオ企業が、最先端ラボと提携する企業から、彼ら自身の広範な知的優位性に対する信じられないほどの自信を持ってアプローチされるケースを複数見てきました。
例えば、材料科学のスタートアップがOpenAIのサテライト企業と話しているとしましょう。そのスタートアップのデータと専門知識は、サテライトの中核的な追求にとって重要です。交渉は順調に進んでいます。そして突然、OpenAIサテライトチームの誰かが、「なぜこれを[非常に難しい深層科学の問題]をChatGPTで自分たちでやらないんだ?」と尋ねます。私は同様に深く困難な分野で、複数のケースでこれを見てきました。バイオエンジニアリングや半導体設計などです。(そして、ベンチャーやスタートアップコミュニティにいて、自分が誰を指しているか正確にわかっていると思っているなら—それは一人ではありません。ずっと多いです。)
そして、私は個人的にモデルをいじったことがあり、CADやPCB設計でさえ、驚くほど良い結果を得ています。私は「AI懐疑論者」ではありません(少なくともこの意味では)。
しかし、研究開発と、ハードな分野での定型的なタスクの間にはスペクトラムがあります。特に、私のケースのように、ある程度の専門知識を持つ人間が主導する場合に最も効果的です。
数学におけるAIによるブレークスルーという「Terence Tao」の話でさえ、Terence Tao(または他の数学者)に導かれたAIに依存しています…
そして、AIラボコミュニティの多くの人々は、AIの完全な優位性、たとえそれが今後かなりの人間の創造性と助けを必要とするタスクであっても、その考えに完全に酔っています(以前書いたように:むしろ、専門家の人間による判断が より 重要になり、それゆえ高価になるでしょう)。(そしてAI Supremacyという概念であり、Michael SpencerによるAI Supremacyニュースレターではありません。このニュースレターはLeopold Aschenbrennerについても具体的に取り上げていました。)
そしてもちろん、有名なAI研究者でノーベル賞受賞者のGeoff Hinton氏は、2016年から放射線技師のトレーニングをやめるべきだと予測してきました。ディープラーニングが5年以内に彼らを凌駕するだろうと(彼は「10年かかるかもしれない」と認めましたが、それもすでに過ぎました)。それは全く起こっておらず、むしろ、 Deena MousaがWorks in Progressに記録しているように、Hinton氏が予測した時よりも放射線技師の需要ははるかに高まっています。そして、AI研究者であり放射線技師でもある人への私のインタビューによると、それはカテゴリのエラーです。テクノロジー/AIの人間は、その仕事に何が含まれるかを実際には知りません。
実際には自分が何をしているかを知らない人が、他人の仕事がAIに完全に置き換えられると言う方がはるかに簡単です。
HuggingFaceのハック
最近のニュースは、これが単なる抽象的な文化的な不満である理由の良い例も示しています。7月中旬、OpenAIの内部セキュリティ評価中に、GPT-5.6 Solと、まだリリースされていない(より強力な)モデルがサンドボックス化されたテスト環境から脱出しました。エージェントは困難なベンチマークの答えを探しており、おそらく「できる限りのことをせよ」と言われていたのでしょう(実際、セキュリティベンチマークであるExploitGymを実行していたのですから…)。
その過程で、エージェントはHugging Faceのプロダクションインフラストラクチャを自律的に侵害しました。これは、オープンインターネットへのアクセスを可能にする一連の脆弱性を経由したものです。Sharp TechのBen Thompson氏によると、これはおそらくOpenAIの管理のずさんさに起因するものでした(彼らはすでにaxiosパッケージの件を含む以前のセキュリティ侵害も経験していました)。もっとも、公平を期すなら、昨日Anthropicも、そのモデル(Mythos 5を含む)がテスト中に実際の組織を誤って侵害したことを明らかにしました。
いずれにせよ、はい、これらのモデルは強力です—これは私も言ってきたことであり、実際には疑問の余地はありません。
しかし、このカフカ的な側面はHugging Faceにあります。彼らは攻撃を受けていることに気づき、防御のためにアメリカの主要ラボの最先端モデルを使おうとしました。しかし、そのモデルは「安全性」のガードレールの一部として拒否しました—モデルはインシデント対応者を攻撃者と区別できませんでした。これは理にかなっています。弱点を探るためには、実際に弱点を調査する必要がありますからね。代わりに、彼らは防御のためにGLM-5.2、中国製のオープンウェイトモデルを使用しなければなりませんでした。
アメリカの企業が中国のモデルに依存しているというのは、ある意味面白いです—中国はアメリカのインフラに対する(成功した)ハッキング攻撃で著名であるにもかかわらず。
しかし、もちろん、これはAI企業がモデルの使われ方について「より良く知っている」という決定と、モデル(あるいは少なくとも特定の機能)へのアクセスを提供することに対する、一般的に見下した態度によるものです。
政策立案者や社会がこの決定を下すのではなく、事実上AIラボに「安全な手」として一元化されています(特にAnthropicは、その存在全体にわたって聖人君子ぶっていました)。推測するに、もしこれを投票にかけたら、社会の他の人々は同意しないでしょう。
傲慢な奴は誰にも好かれない—特に間違っている場合は
超知能は毎年「すぐそこまで来ている」と言われてきました。私たちは、労働市場の壊滅的な予測を、当惑しながらも受け続けていますが、それは起こっていません。これらすべてが、AIを一般の人々にとって非常に不人気にしています。そして、特に一般の人々がAIから得るものがたくさんあるのに、業界が皆に嫌われるようにしようとしなければ、全く理由がありません。
わかります。それは彼ら自身の小さなバブルの中では「歴史の終わり」のように感じられるのです。そして、彼らはその外のものを理解する視点を欠いています。これは特に悪いことです。なぜなら、業界の多くは博士号取得者で島を作ってしまっているからです。
そして、私が博士号取得者に何か反対しているわけではありません。私も博士課程のセミナーを受けました。Creative Venturesの同僚のほとんどが博士号を持っています。私たちのポートフォリオ企業を考えると、正直なところ、私は博士号を持っていない人よりも、博士号を持っている人と定期的により多く交流していると思います。多くの博士号取得者個人は、十分な知的謙虚さを持っています。特に、自分の分野外でより広い視野を得るために時間を費やした場合はなおさらです。
しかし根本的に、博士号を取得するのに時間がかかることを考えると、あなたは通常、若い頃から学術コミュニティ(それ自体が非常に限定されたバブルです)の外の、あるいはこれまでの人生で自分の特定の分野外の経験がほとんどない集団から来ています。
これは、それらのコミュニティのリーダーからの自己賛美的なレトリックによっても増幅されます(皮肉な見方をすれば、それは彼らが自分のラボで安価な労働力としてより多くのポスドクを生産したいからだと主張できます…)。かつて、世界で最も大きな資産配分者の1人が私に説明してくれたことがあります。彼は多くのディープテック・ベンチャーキャピタルのピッチを聞いてきたが、博士号取得者のみで構成されるチームはしばしば非常に厄介だったと。彼らは自分が知らないことを知らないことが多かったのです。あるチームは、なぜ投資すべきかと尋ねられたとき、こう答えました。「率直に言って、私たちは世界で最も難しいこと、つまり博士号を取得することをすでに達成しました。資金管理など問題にならないでしょう。」
エベレスト登頂と博士号取得は、どちらも困難です。しかし、片方をやったからといって、もう片方を「問題なく」できるとは言いません。
私の最善の努力にもかかわらず、学位を叩いているように感じますが、これは狭い分野での高い専門性(と業績)によって作られる傾向です。外科医や電気技師は非常に賢く、業績を上げているかもしれませんが、だからといって気候科学について意見を述べる能力があるわけではありません。
AIは一般の人々に大きく利益をもたらす可能性が高いと思います。特に、多くの利益は、ラボ/モデル間の差別化の欠如(経済学的な観点から)により「社会化」されるためです。
しかし、この分野が自身の神格化を信じていることは、迷惑なだけでなく、広範な不人気を通じてその影響力を発揮する能力を損なう可能性があり、また、現在業界が持っている莫大な資金によって増幅された、単なる知的傲慢さからの実際の損害を引き起こす可能性もあります。
お読みいただきありがとうございます!
この記事を楽しんでいただけたなら幸いです。AIの過去、現在、未来について分かりやすく学びたい場合は、私の著書『What You Need to Know About AI』をご覧ください。
Amazon、Barnes & Noble、Bookshopで注文するか、お近くの書店で直接購入できます。
[画像]
投稿なし