GLM 5.2と迫り来るAIマージン崩壊
GLM 5.2 and the coming AI margin collapse (martinalderson.com)
要約
この記事は、AIにおける推論コストの高さと、オープンソースモデルの台頭が大手AIラボの収益構造に与える影響について論じています。GLM 5.2のような高性能なオープンソースモデルは、大手モデルと比較して大幅なコスト削減を可能にし、AI業界におけるマージン崩壊の可能性を示唆しています。
全文翻訳
GLM 5.2と迫り来るAIマージン崩壊(パート1)
これは、私がAI経済における最も理解されていないと思われる変化に焦点を当てた2部構成のシリーズです。この記事を楽しんでいただけたなら、パート2はこちらで公開されています。今後の投稿について通知を受け取りたい場合は、お気軽にニュースレターにご登録ください。
真のDeepSeekの瞬間が訪れている
数十年前に感じられた市場の反応は、DeepSeekのR1モデルに対してでした。その根拠は、基盤となるV3モデルのトレーニングコストが600万ドル未満だったと報告されており、市場はモデルトレーニングへの巨額の設備投資が終了したと考え、それゆえNvidiaなどの株価が overnight で暴落したというものでした。
もちろん、これはAIにおけるコストが実際にはどこにあるのかについての、非常に見当違いな読み方でした。トレーニングは、確かに設備投資集約型ですが、固定的な初期費用です。モデルをトレーニングするために数億ドルを費やせば、「完了」です。[1]
一方、推論は需要に応じてスケールします。これには真の限界費用があります。私は過去1年ほど、このことについて長文を書いてきました きました。ここでも、主流の理解、つまりAPIプロバイダーが請求する料金が彼らの実際のコストであるという考えは誤りです。
実際、Anthropic/OpenAIが推論に1MTokあたり25ドルを請求する場合、私の概算では、これはコンピューティングコストに対してラックレートの約90%の粗利益である可能性が高いです。多少高かったり低かったりするかもしれませんが(OpenAIのリークされた財務諸表は、収益に対して約60%の粗利益を示唆していますが、これにはサポート、支払い処理、および彼らが提供するその他のサービスなど、他の多くのコストが含まれていることは間違いありません)、フロンティアAIラボのビジネスモデル全体は、モデルをトレーニングするために多額の給与とコンピューティング費用を費やし、そのコストを非常に収益性の高い推論の大量に償却するというものです。十分な推論でそのコストを償却できれば、COGSベースで収益性がある状態から...実際に収益性がある状態になります。
私は過去数週間、Z.aiのGLM5.2を試してきました。GLM5.2は、OpusやGPT(執筆時点でのGPTの最新バージョンは5.5で、将来のモデルは間違いなくこれを上回るでしょう)に対する本物のオープンウェイト競合他社の「基準」に達した最初のモデルだと信じています。
それは本当に非常に優れており、私の日常的なツールであるOpusと区別するのが難しいほどです。
私が発見したところでは、それは多くの思考を伴うため遅いです。インタラクティブでないエージェントタスク(バックグラウンドでのPRレビューなど)で、時間的緊急性のないものにとっては問題になりませんが、インタラクティブな使用では、私の注意を引き続けるには明らかに少し遅すぎます。これも、コスト効率をいくらか低下させます(より多くの思考はより多くのトークンを意味し、コストが増加します)。
また、ビジョンサポートもありません。ビジョンをほとんど使用しない(あまりにも不正確だったため、ビジョンを使用しているのに気づくとセッションを一時停止することがよくありました)状態から、Opus 4.7がはるかに高解像度のビジョン機能を紹介して以来、常に使用するようになったのは面白いことです。画像ベースのPDF、スクリーンショット、デザインファイルを読み込めないのは本当にフラストレーションがたまります。彼らは間違いなくマルチモーダルモデルを開発中だと思いますが、これはフロンティアラボに対する重大な弱点です。
第二に、そして私が本当にブロッカーになるとは予想していなかったのは、ウェブ検索機能の欠如/貧弱さです。ほとんどすべてのアージェントセッションで、アイテムを検索するために大量のウェブ検索が行われることが判明しました。Z.aiはウェブ検索の代替MCPを提供していますが、それはかなりひどく、遅いです。Fireworksは何も提供していませんが、製品の改善を常に模索しているという非常に曖昧な回答を得ました。個人的には計画はないと受け取りますが、見てみましょう。
私は、ddgrのようなCLIベースのウェブ検索を使用するようにエージェントに指示することで、ある程度回避できましたが、これは現在、本当の弱点です。私はサードパーティのウェブ検索APIの可能性に非常に強気です。これは実際、オープンウェイトモデルプロバイダーが提供できるものにおける巨大なギャップであり、優れたウェブ検索機能が多くのエージェントタスクに不可欠であることが判明しました。いずれにせよ、これは時間とともに解決されるでしょう。多くの人々がウェブ検索インデックスを構築しており、適切なパートナーシップと配管が必要です。
ドロップインリプレイスメント
フロンティアラボにとって本当に恐ろしいのは、オープンウェイトモデルへの移行がいかに簡単かということです。Z.aiとFireworksの両方が、OpenAI互換およびAnthropic互換のエンドポイントを提供しています。これにより、Claude CodeやCodexとの連携が非常に簡単になります。ベースURLを推論プロバイダーに向けるように設定し、APIキーを与えてGLM5.2を使用するように指示するだけです。
Anthropicが最近、claude -pの非インタラクティブなエージェント使用に対してAPI料金を請求すると発表し(その後撤回しましたが)、多くの/ほとんどのユースケースで、代わりにGLMをドロップインできることがわかります。そしてインタラクティブな使用では、ビジョンの欠如と(比較的)遅い速度[2]を除けば、Claude CodeでOpusを使用していないと気づくのが実際に不可能でした。
これは、MicrosoftやSalesforceのようなロックインではなく、移行計画に何年も費やす必要があるようなものではありません。切り替えコストは信じられないほど低く、フロンティアラボモデルがしばしば混乱させるポリシーや利用規約の変更をすべて把握しようとするよりも、はるかに少ないと主張できます。Claude Codeがサードパーティプロバイダーの使用をより困難にする可能性がありますが、多くの優れたオープンソースオプション(Codex自体やOpenCodeなど、数十種類あります)があります。
エンタープライズから聞かれる懸念事項の1つは、データプライバシーとセキュリティです。Z.aiの公式APIとサブスクリプションを使用することは、その利用規約が少なくとも弱いものであり、中国本土との深い繋がりがあるため、ほとんど確実に現実的ではないでしょう。しかしもちろん、オープンウェイトはオープンなので、市場には多くの他のプロバイダーがおり、多くは適切な契約条項を持っています。そして、それが十分でない場合は、もちろんオンプレミスで自分でホストすることもできます。これにより、サードパーティに送信できなかったさらに機密性の高いデータが、Opus品質のアージェントワークフローに公開されます。
コスト削減
GLM5.2の現在のレートは、1MTokあたり約4.40ドルです。これはOpusの小売価格の20%未満、GPT5.5のコストの約15%です。さて、特定のタスクでより多くのトークンを使用することを考えると、これは完全に同等な比較ではありません。しかし、ほぼすべてのワークフローで50%以上安くなっているとすれば、私は非常に驚くでしょう。品質は非常に似ています。
サブスクリプションに関しては、Z.aiはAnthropicやOpenAIで見られるようなプランをミラーリングする「コーディングプラン」サブスクリプションを提供していますが、主張される使用量制限は高くなっています。ほとんどのプロフェッショナルな使用では、トレーニングとデータ保持に関する非常に緩い条件が、これを販売困難にするでしょう。しかし、フロンティアラボが価格を大幅に引き上げようとした場合、予算を意識する人々にとって、これは信頼できる選択肢になると考えられます。
GLM5.2のこれらのコストは、サービングスタックの最適化が進むにつれて、今後数ヶ月で大幅に低下すると予想されます。Waferは、AMDハードウェアで実行するための取り組みについて興味深い記事を書いています。彼らは、Nvidia Blackwellと比較して、AMDで推論を実行する方がトークンあたり2.75倍安価であると示唆しています。
パート2では、推論マージンの崩壊が業界にどのような影響を与えるか、そして誰が勝ち、誰が負ける可能性が高いかという、より興味深い点に踏み込みます。Bezosの有名な「あなたのマージンは私の機会だ」という言葉を心に留めておいてください。今後の投稿をキャッチしたい場合は、ニュースレターに登録するか、それがお好みであればRSSフィードを入手してください。
開示 - Fireworksは、この記事の執筆を支援するために、GLMの実験用に無料クレジットを提供してくれました。
- これは単純化です。フロンティアラボは、競争力を維持するために常に新しいモデルをトレーニングしているため、実際にはローリングコストであり、真の一回限りの費用ではありません。しかし、重要な区別は依然として当てはまります。推論とは異なり、そのコストは顧客が実際に製品をどれだけ使用するかによってスケールしません。[↩︎]
- 公平を期すために言うと、遅さはほとんどがモデルの思考量によるもので、サービング自体によるものではありません。Fireworksは、GLM5.2を実際に高速なトークン/秒でローンチし、それは大きな改善であり、注目に値しましたが、実際にはその速度は少し気まぐれでした。[↩︎]