なぜ評価スタートアップは失敗するのか (2025年)
Why eval startups fail (2025) (thomasliao.com)
要約
独立系のAI評価スタートアップが成功しにくい理由について、この記事では3つの主要な理論を提示しています。まず、優れた評価を設計・実行できる人材は、より収益性が高く影響力のあるモデル開発スタックの他の部分(ポストトレーニングやアプリケーション開発)へ流出します。次に、モデルAPIを利用する技術者でありながら自分では評価を実行できないという顧客層が非常に小さいため、評価スタートアップは顧客獲得に苦労します。最後に、大手ラボからの最適化圧力(グッドハートの法則)により、評価の有効性が損なわれることも挙げられます。ただし、安全性の評価に特化したスタートアップは例外的に成功する可能性があると述べられています。
全文翻訳
評価スタートアップが失敗する理由
2025年5月8日
なぜ独立系の評価スタートアップはこれほど少ないのか?
エージェント、音声、あるいは音声エージェントのような新しいAIトレンドが登場するたびに、開発者は多くの選択肢に直面します。その中で、最適なモデルを見極め、その知識を他の開発者に販売するというビジネスチャンスがあると確信する人々が現れます。つまり、評価(evals)を販売するのです。これは、ジェネレーティブAIと呼ばれるようになる前から、あらゆるAIの波で見られました。安全性の評価(safety evals)というニッチな分野を除いて、成功した例を見たことがありません。
独立系の評価スタートアップが失敗する理由について、いくつか理論があります。第一に、優れた評価を設計・実行できる人材は、モデル開発スタックの他の部分でより多くのお金と影響力を持つことができるため、人材が流出します。第二に、評価スタートアップは顧客を見つけるのが困難です。なぜなら、顧客はAPIを使って構築したい技術的な開発者であると同時に、自分で評価を実行するにはそれほど技術力が高くない必要があるからです。そして第三に、評価スタートアップは、単純なヒルクライミングやモデル開発者からの圧力によって、その評価を無用にするような、計り知れない最適化のプレッシャーに直面します。
評価人材は他でより有効に使われる
優れた評価人材は、スタックの他の部分に移動します。なぜなら、優れた評価に必要とされるスキルは、ポストトレーニング(モデルの追加学習)やアプリケーション開発でも役立ち、これらの分野はより多くの価値、つまりより多くのお金を生み出し、モデル開発に直接的な影響力を持つ、つまりより名声があり興味深いからです。
例えば、優れた評価を構築するには、人間のフィードバックパイプラインを運用するか、合成データを通じて、高品質なデータを収集する必要があります。高品質なデータの収集は、ポストトレーニングにおける主要なボトルネックです。評価に必要なデータの量は、ポストトレーニングのために収集されるデータの量と比較して、常に桁違いに少ないため、データポイントあたりの価値が同じであると仮定した場合、評価のためにデータを収集して生成する価値は、ポストトレーニングのためにデータを収集して生成する量と比較して、現実的に上限があります。さらに、優れたポストトレーニングの財務的リターンは、数億ドルから数十億ドルに達する可能性がありますが、評価の財務的リターンは、最大の評価契約の規模に上限があり、それには遠く及びません。この力学は、機会費用という概念を偶然理解している賢い若い研究者には容易に明らかです。例として、エージェントの評価を行っていたEpoch AIを辞め、エージェント向けのポストトレーニングツールを構築するスタートアップを始めた3人の研究者がいます[0]。
評価顧客が十分にいない
評価スタートアップが人材を維持できたとしても、顧客を見つけるのに苦労します。なぜなら、「モデルAPI上に構築する」という円と「モデルを評価できない」という円のベン図の共通部分は、無視できるほど小さいからです。
Gartnerのような市場調査会社がベンダーを比較するチャートを見ると、X軸は幻想的で、Y軸は架空です。つまり、チャートは幼児が解釈できるように作られており、その技術的レベルは、チャートが印刷される対象である企業の役員と同等です。私が誇張していると思うなら、「Gartner Magic Quadrant AI」をGoogleで検索し、チャート犯罪局に報告することをお勧めします。この同じ泥沼が、AI評価スタートアップを悩ませています。モデルのポストトレーニングを行っている顧客は、間違いなく自分で評価を構築しています。ツール使用なしで、ベスト・オブ・Nで計算された、AIME 2024の10%の改善の意味と影響を理解している開発者は、自分でその評価を実行するのにそう遠くはありません。GPT 4oとGPT 4.1の違いを理解していない場合、彼らは機能ではなくソリューションを求めている顧客であり、ELOの説明を求めているわけでもありません。Gartnerは、クラウドプロバイダーとの大型契約を決定している役員のために、情報を単純化できますが、評価スタートアップは常に開発者に販売したいようです。したがって、AIサービスの需要が増加しているにもかかわらず、評価スタートアップの市場は非常に大きいとは考えにくいです。
大規模ラボによる評価のGoodhart化
これらの2つのハードルを乗り越えた評価スタートアップは、今度は大規模ラボ自身と対峙しなければなりません。大規模ラボは、公開評価を駆け上がり、数値を改善するために圧力やトリックをかけることに強いインセンティブを持っています。ベンチマークがターゲットになると、モデルは急速に改善する可能性があります。それは、より多様なデータを含めるような穏やかな調整から、MetaがLlama 1[1]で行い、Llama 4[2]でも行われたとされる、テストデータでのトレーニングといった直接的な操作まで様々です。したがって、評価スタートアップは、顧客を失いたくない大規模ラボとの潜在的に敵対的な関係に注意する必要があります。彼らは不公平な優位性を発揮するでしょう。大規模ラボが用いるその他のトリックには、従業員に公開リーダーボードで自社モデルに投票させること、評価スタートアップから従業員を引き抜くこと、より良い結果と引き換えに無料のコンピューティング能力をちらつかせること、モデルのパフォーマンスに関するプライベートな洞察を求めることなどがあります。不正行為のリストは長いです。
原則的なチームはこれらの策略に抵抗できますが、疑念の影は払拭しにくいです。2年間、すべての研究者が自問してきました――なぜ新しいモデルリリースは常にLMSys Chatbot Arenaのリーダーボードのトップに来るのか?Cohereが主導した新しいレポートは、MetaがLlama 4をリリースする前に27種類のユニークなモデルバリアントをテストしたと主張し、その原因は体系的なゲームであると示唆しています[3]。ちなみに、Metaは、その小さなLlama 4 MaverickモデルがGPT-4.5を上回ったと宣伝しましたが、その結果はChatbot Arenaに特化して最適化されたバージョンで達成されたものであり、悲惨な結果となったリリースバージョンではないことを後に明らかにしました。Goodhartの法則:ある指標がターゲットになると、それは良い指標ではなくなる。そして、評価スタートアップが販売できるのは指標だけです。
安全性評価は例外
評価スタートアップは、特に安全性ベンチマークをターゲットにする場合に機能すると信じています。安全性評価に取り組みたい研究者は、能力(capabilities)に取り組むことにイデオロギー的に反対する傾向があるため、金銭的なインセンティブのためにポストトレーニングやアプリケーションに移行しません。(これが、大規模ラボの内部安全性評価部門が人材を維持する方法です。)彼らは、技術的なクライアントにサービスを提供できます。これらのクライアントは、それらのサービスを複製する能力がありますが、安全性評価においては、それらのサービスが外部ベンダーによって提供されることが、内部だけで行われることよりも特に重要だからです。また、政策立案者に販売したり、外部モデル監査の提案が可決されれば、規制によって事業が保証されたりする可能性もあります。安全性評価スタートアップは依然としてGoodhartingに対して脆弱ですが、ラボが安全性評価をGoodhartingしている場合、他に心配すべきことがあります。したがって、安全性評価は、他の評価よりも適している特定の特性を持っています。
評価スタートアップが生き残るのが難しい理由を3つ提示しました。その中でも最も悪質なのは最初の理由、つまり評価が得意な企業やエンジニアにはより良い機会があるということですが、他の2つも深刻な逆風となっています。評価スタートアップに対して何も反対していませんし、応援していますが、期待はしていません。
❖ ❖ ❖
追加コメント
上記はアプリケーション中心の評価、つまりモデルAPI上に構築したい開発者向けの評価です。大規模ラボに研究評価を販売したいスタートアップも存在します。これらは失敗するでしょう。なぜなら、研究評価の主な目的は研究の方向性を設定することであり、大規模ラボは研究アジェンダの設定を外部委託することはないからです。また、研究評価の外部委託はモデルのイテレーションに多大な遅延を加え、速度がすべてだからです。
追加:2025年5月21日。評価を販売することと、評価ツールを販売することには違いがあります。人間のラベルを販売することと、人間のラベルを収集するためのツールを販売することの違いと同様に、一方はオペレーションマージンを持つオペレーションビジネスであり、もう一方はSaaSマージンを持つSaaSビジネスです。評価の販売と評価ツールの販売は、非常に異なる経済性を持っています。Chatbot Arenaの背後にある組織であるLM Arenaは、本日1億ドルのシードラウンドを発表しました[4]。これは非常に多額の資金です。比較のために、フロンティアモデルのトレーニングを目指すフランスの企業Mistralは、2023年のシードラウンドでわずかに多い資金しか調達していません[5]。LM Arenaは、何百万人ものボランティアが無料でラベル付けしてくれるという利点がありますが、これは実質的に、そうでなければ高価なフロンティアモデルへのアクセスで補償されています。しかし、それでも評価の販売が良いビジネスになるとは思いません。彼らがうまくいくとすれば、ソフトウェアの販売やデータストリームへのアクセスの販売のような、補完的なサービスを提供することを通じてだろうと考えています。
❖ ❖ ❖
参照リンク
❖ ❖ ❖
[画像: Thomas Liao's toucan seal]