なぜ評価スタートアップは失敗するのか (2025年)

なぜ評価スタートアップは失敗するのか 2025年5月8日 なぜ独立した評価スタートアップはこれほど少ないのでしょうか？エージェント、音声、音声エージェントといった新しいAIトレンドが現れるたびに、開発者は多くの選択肢に直面し、その一部は、最適なモデルを特定し、その知識を他の開発者に販売する、つまり評価（evals）を販売することにビジネスチャンスがあると確信します。これは、生成AIと呼ぶ以前から、生成AIのあらゆる波で見てきました。私は安全性の評価というニッチを除いて、成功した例を見ていません。独立した評価スタートアップが消滅する理由について、いくつか私の見解があります。 第一に、優れた評価を設計・実行できる人材は、モデル開発スタックの他の部分でより多くの収益を上げ、より大きな影響力を持つことができるため、人材が流出します。第二に、評価スタートアップは顧客を見つけるのに苦労します。なぜなら、クライアントはAPIを利用して構築したい技術的な開発者でありながら、自分たちで評価を実行するほど技術的ではない、という非常に特殊な層でなければならないからです。そして第三に、評価スタートアップは、一般的な最適化（hill climbing）とモデル開発者からの圧力の両方から、評価を無効にするほどの巨大な最適化圧力に直面します。 評価人材は他の場所でより有効活用される 優れた評価人材はスタックの他の部分へ移動します。なぜなら、優れた評価に必要なスキルは、ポストトレーニングやアプリケーション開発にも役立ち、これらの分野はより大きな価値、つまりより多くの収益を生み出し、モデル開発に直接的な影響を与えるため、より権威があり、興味深いからです。例えば、優れた評価を構築するには、人間からのフィードバックパイプラインの運用であろうと合成データであろうと、高品質なデータを収集する必要があります。高品質なデータ収集は、ポストトレーニングにおける主要なボトルネックです。評価におけるデータ量は、ポストトレーニングのために収集されるデータ量よりも常に桁違いに少なく、データポイントあたりの価値が等しいと仮定すると、評価のためにデータを収集することで生み出される価値は、ポストトレーニングのためにデータを収集することで生み出される価値と比較して、実質的に上限があります。さらに、優れたポストトレーニングによる経済的リターンは、数億ドルから数十億ドルと非常に高くなる可能性がありますが、評価による経済的リターンは、最大の評価契約の規模に制限され、それに遠く及びません。この力学は、偶発的に機会費用という概念を理解している聡明な若手研究者には容易に明らかです。その一例として、Epoch AIでエージェントを評価する仕事を辞め、代わりにエージェント向けのポストトレーニングツールを構築するスタートアップを立ち上げた3人の研究者が挙げられます [0]。 十分な評価顧客がいない 評価スタートアップが人材を維持できたとしても、顧客を見つけるのは依然として困難です。なぜなら、「モデルAPI上で構築している」と「モデルを評価できない」という2つの円のベン図の交差する領域はごくわずかだからです。市場調査会社ガートナーがベンダーを比較するチャートを見ると、X軸は架空でY軸はフィクションです。要するに、これらのチャートは、企業の役員が読むために作られたものであり、その役員の技術的な能力は幼児に匹敵するような解釈をするために作られています。私が誇張していると思うなら、「Gartner Magic Quadrant AI」とGoogleで検索し、「チャート犯罪省」に報告することをお勧めします。この同じ泥沼がAI評価スタートアップを巻き込んでいます。モデルをポストトレーニングしている顧客は、間違いなく自分たちで評価を構築しています。ツールを使用せず、N個の最良の結果で計算されたAIME 2024で10%の改善が何を意味し、どのような影響があるかを理解している開発者であれば、その評価を自分で実行することにそう遠くありません。GPT 4oとGPT 4.1の違いが理解できない顧客は、機能ではなくソリューションを求めるタイプであり、ELOの説明など求めていません。ガートナーは、クラウドプロバイダーとの大規模契約を決定する役員向けに内容を単純化できますが、評価スタートアップは常に開発者向けに販売しようとしているようです。したがって、AIサービスの需要が拡大しているにもかかわらず、評価スタートアップの市場が非常に大きいとは私は懐疑的です。 大手ラボとグッドハートの評価 これら2つのハードルを乗り越えた評価スタートアップは、今度は大手ラボ自身に立ち向かわなければなりません。大手ラボは、公開評価で上位を目指し、数値を改善するために圧力とトリックをかける強いインセンティブを持っています。ベンチマークが目標とされると、モデルは急速に改善されます。それは、より多様なデータを含めるなどの良性な調整から、MetaがLlama 1 [1] で行い、Llama 4 [2] でも行われたと噂されているように、テストデータで直接トレーニングすることまで多岐にわたります。そのため、評価スタートアップは、顧客を失いたくない大手ラボとの潜在的に敵対的な関係に注意する必要があります。大手ラボは不公平な優位性を行使するでしょう。大手ラボが用いる他の種類のトリックには、従業員に公開リーダーボードで自社モデルに投票させること、評価スタートアップから従業員を引き抜くこと、より良い結果と引き換えに無料の計算リソースを提供する誘い、モデル性能に関する非公開の洞察を求めることなどがあります。不正行為のリストは長いです。原則を重んじるチームはこれらの策略に抵抗できますが、疑いの影を払拭するのは困難です。2年間、すべての研究者が自問してきました — なぜ新しいモデルのリリースはいつもLMSys Chatbot Arenaのリーダーボードのトップにいるのか？Cohereが主導する新しいレポートは、その原因が体系的な不正操作にあることを示唆しており、MetaがLlama 4 [3] をリリースする前に27種類のユニークなモデルバリアントをテストしたと主張しています。ちなみにMetaは、その小型のLlama 4 MaverickモデルがGPT-4.5を上回ったと宣伝しましたが、その結果がChatbot Arena向けに特別に最適化されたバージョンで達成されたものであり、リリースされたバージョン（ひどい順位だった）ではないことを後に明らかにしました。グッドハートの法則：ある尺度が目標になると、それは良い尺度ではなくなる。そして、評価スタートアップが売らなければならないのは、その尺度に過ぎません。 安全性の評価は例外 私は、評価スタートアップが安全性ベンチマークを特にターゲットにしている場合に成功し得ると信じています。安全性評価に取り組みたい研究者は、能力開発に取り組むことにイデオロギー的に反対する傾向があり、金銭的インセンティブによってポストトレーニングやアプリケーションに移行することはありません。（これが、大手ラボの内部安全性評価部門が人材を維持する方法です。）彼らは、これらのサービスを再現できる技術的なクライアントにサービスを提供できます。なぜなら、安全性評価においては、これらのサービスが内部だけでなく外部ベンダーによって提供されることが特に重要だからです。また、政策立案者に販売したり、外部モデル監査の提案が可決されれば、規制によってビジネスが保証されたりすることもあります。安全性評価スタートアップは依然としてグッドハートの法則の影響を受けやすいでしょうが、もしラボが安全性評価でグッドハート現象を起こしているとすれば、他に心配すべきことがあります。このように、安全性評価は他の評価よりも成功しやすい特定の特性を持っています。 私は評価スタートアップが生き残ることが難しい3つの理由を提示しました。その中で最も有害なのは、優れた評価ができる企業やエンジニアにとって、より良い機会が存在するという第一の理由ですが、他の2つも深刻な逆風となります。私は評価スタートアップに何の敵意もなく、応援していますが、期待はしていません。❖ ❖ ❖ 追記 上記は、アプリケーション中心の評価、つまりモデルAPI上に構築したい開発者向けの評価に関するものです。大手ラボに研究評価を販売したいスタートアップも存在します。これらは失敗するでしょう。なぜなら、研究評価の主な目的は研究の方向性を設定することであり、大手ラボが研究アジェンダの設定を外部委託することはないからです。また、研究評価を外部委託すると、モデルのイテレーションに大量の遅延が生じ、速度がすべてです。追記：2025年5月21日。評価を販売することと、評価ツールを販売することには違いがあります。人間によるラベル付けを販売することと、人間によるラベル付けを収集するツールを販売することが異なるのと同様に（一方は運用ビジネスで運用マージン、もう一方はSaaSビジネスでSaaSマージン）、評価を販売することと評価ツールを販売することには、経済的に非常に大きな違いがあります。Chatbot Arenaの運営組織であるLM Arenaは本日、1億ドルのシードラウンドを発表しました [4]。これは非常に大きな金額です。