AIフロンティアの終焉

AIフロンティアの終焉

2023年のChatGPTリリース後、Microsoft Research内の他の研究グループが提供するサポートと注力度合いが大きかったため、成功のためには研究をもっと組織化する必要があることは明らかでした。たとえ一人の人間が巧みなアイデアを追求したとしても、その人が十分に速く進めず、アイデアの価値を示すのに十分なベースラインを構築できなかったために、遅れて説得力に欠ける結果になる可能性が高かったのです。他の多くの人々も同様に考え、私たちはMSR内にAIフロンティアというサブ組織を設立しました。

AIフロンティアでは、首尾一貫した研究活動を積極的に組織化しようとしました。これは厳密には「トップダウン」でも「ボトムアップ」でもなく、むしろ混沌とした中間に位置するものでした。もちろん意見の相違もあり、それらを解決することは時に非常に困難でした。計算リソースの可用性も、しばしば深刻なボトルネックとなりました。しかし、全体としては、特にAIFの小規模（約50人）と、以前にできたことと比較して、組織が先駆的なことを成し遂げているという印象を持っていました。AIFの作業の多くは、例えばAutogenオーケストレーションフレームワークやFaraコンピューター利用エージェントのように、エージェントを機能させる方法を見つけることでした。しかし、ニューヨークでは、私たちの中の数人が、外挿を可能にするNext Latent目的、最適化/改善されたMuonを作成するDion3、または再帰を通じてモデルを大幅に強力にするFull Bandwidth Transformerのような新しい基本的な能力の開発に興味を持っていました。

私たちは、MSRの他のメンバーとも積極的に共有しようとしました。例えば、AIFは、Microsoft Research全体でデフォルトで共有されるモノレポを開発することを決定しました。このモノレポには、先月COLM基調講演で私が話した、エッジスケールでの事前学習に成功したコードベースが含まれていました。これは些細な詳細のように思えるかもしれませんが、適切に形成されたモデル作成パイプラインを作成するために必要な労力は膨大であり、私は少なくとも4つの取り組み（他の3つはMSR内の公開リポジトリにはない）がモデル構築パイプラインの開発を試みていることを知っています。

9月初旬、私たちはMicrosoft AIに再編成されました。表面上は、これは理にかなっているかもしれません。なぜなら、2つの異なるAI組織を統合することで、努力の集中を改善する機会が生まれるからです。AIFがMAIよりも先行していた分野もあれば、その逆（MAIははるかに大きい）もありました。しかし実際には、旧Inflectionのリーダーシップを持つMAIの哲学が互換性がないため、実質的な問題があります。そこでの中心的な哲学はスケーリングであり、研究には積極的に反対することです。これは、より良いモデルを作成する方法は研究を通じてであると自然に考える人々を驚かせるかもしれませんが、予測の質に関して言えば、より大きなモデルが良いモデルであるという証拠は十分にあり、ビジネスの観点からは、スケーリングからのリターンは研究からのリターンよりもはるかに予測可能です。スケーリングのみの環境では、もちろん主な努力はデータの取得/作成/改良に向けられ、これは私たちが取り組んでいたことから大きくかけ離れています。焦点の不一致とは別に、彼らが私たちを本当に望んでいなかったという証拠もたくさんありました。

これは、自分が置かれるのが難しい状況です。私は、スケーリングのみの焦点は、方向性が間違っており、楽しくないものだと考えています。これは理解可能な失敗モードです。スケーリングは単純であり、人々が（イノベーションとサイズのような）複数の競合する理想の間のトレードオフを、短絡的に一方を完全に採用し、もう一方を放棄することで諦めるのは一般的です。しかし、研究からのリターンは現実的で重要です。例えば、ByteDanceの実験は、Full Bandwidth Transformerの変種が、モデルサイズの2倍のものと同等である可能性を示唆しており、同じ能力でトレーニングと推論のコストを大幅に削減できることを意味します。業界が1兆ドルに迫る投資をしていることを考えると、トレーニングと推論のコストを半分にすることの価値はどれくらいでしょうか。

そこで私は、私の人々を可能な限り配置し、立ち去りました。私は、私の本来の中心的な関心事である研究とイノベーションの価値を見抜くことができる世界中の多くの人々がいることに、非常に幸運だと感じています。AIFの他のすべての創設リーダーシップチームメンバーも同様の結論に至ったようです。

ここで疑問が生じます。なぜMSRに戻らなかったのか？私は数人と話しましたが、2つの深刻な障害から逃れることができませんでした。第一に、私が研究していることが実際の使用経路を持たない会社にいることに快適さを感じないことです。MAIにいたとき、イノベーションを使用（あるいは真剣に検討）させることができなかったので、MSRからの成功の見込みは非常に小さいと思われます。第二に、MSRにおける基本的な約束、つまり「良い仕事をすれば良いことが起こる」という約束が壊れているのではないかと恐れていることです。私の知る限り、私たちは良い仕事をしましたが、非同意のまま再編成されました。残念ながら、MSRのリーダーシップがこの瞬間に効果的に組織化する意志を開発するまで、そのようなことが起こり続けるとしても驚きません。

したがって、AIフロンティアは終わりました。残念ながら、来年はそこでインターンシップを行うことはできないでしょう。私は多くの機会にインターンと働くことを楽しみにしていました。そして、私が後に残す人々に最善の願いを捧げます。もし、コントロールしている人々がもう少し知恵を開発できれば、将来のMicrosoftが再び研究にとって魅力的な場所になることは想像に難くありません。