HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIレースは気まずい状況になった

The AI Race Just Got Awkward (insufferable.dev)

412 pointsby allisdust462 コメント

要約

最近のAI開発競争において、欧米のAIラボが中国のラボの後塵を拝している状況が描かれています。特に、中国のAI研究機関がKVキャッシュ最適化などのブレークスルーをオープンソースで公開したことで、欧米の企業はそれらを「採用」せざるを得なくなっています。この技術革新により、長文コンテキストモデルの推論コストが劇的に低下し、欧米のAI企業は利益率の改善を余儀なくされています。

全文翻訳

AI競争が気まずくなった

最近のニュースの見出しを読むと、欧米のラボが中国のラボに一方的に追い詰められているかのように思えるかもしれません。

Distillation Drama(蒸留ドラマ)

Anthropic が、中国のラボがモデルを「蒸留」し、人類にとって危険な存在になっていると主張する記事を毎週のように発表しています。

これは、将来的にこれらのモデルを法規制の対象とするための土台作りになるため、彼らにとって有益な主張です。

しかし、無分別な蒸留の時代は終わったことは明らかです。

終わっただけでなく、今や中国のラボの進歩を取り入れることが新たなトレンドとなっています。Anthropic がよく使う「盗む」という攻撃的な言葉ではなく、ここでは「採用」と呼びます。

なぜなら、欧米の企業とは異なり、中国のラボは自社のレシピをほとんど無料で公開しているからです。

異なるゲーム

最新の例として、DeepSeek が世界に惜しみなく共有した KV キャッシュ最適化におけるブレークスルーが挙げられます。これは、コーディングのような長いセッションコンテキストを使用する特定のユースケースにおいて、KV キャッシュのフットプリントを DeepSeek-V1 と比較して約 437 倍も削減する画期的な最適化です。

彼らは最初に MLA アーキテクチャをリリースし、キャッシュを約 15 倍に圧縮しました。その後、「Compressed Sparse Attention」や「Heavily Compressed Attention」を follow up しました。最新の DeepSeek-V4.1-Flash は、CSA2、クロスレイヤーキャッシュ再利用、causal encoder-decoder アーキテクチャ、FP4 キャッシュにより、これをさらに推し進め、グローバル KV キャッシュをトークンあたり 890 バイトまで削減しました。

これらの最適化がなぜ重要なのでしょうか?それは、長コンテキストモデルのサービングにおいて、最大のコストの一つが、このキャッシュを GPU メモリに保持するために必要な VRAM だからです。

[画像: 437個の等面積の四角形が1つに縮小: KVキャッシュ389.12 GBが100万トークンあたり890 MBに。メモリ使用量が約99.77%削減。] [画像: 437個の等面積の四角形が1つに縮小: KVキャッシュ389.12 GBが100万トークンあたり890 MBに。メモリ使用量が約99.77%削減。]

この全体像がいかにクレイジーかを示すグラフを以下に示します。

[画像: 100万トークンあたりのKVキャッシュメモリ: DeepSeek-V1、389.12 GB; V3.2、48.07 GB; V4-Flash、3.51 GB; V4.1-Flash、890 MB。最新キャッシュはV1の437.2倍小さい。] [画像: 100万トークンあたりのKVキャッシュメモリ: DeepSeek-V1、389.12 GB; V3.2、48.07 GB; V4-Flash、3.51 GB; V4.1-Flash、890 MB。最新キャッシュはV1の437.2倍小さい。]

Follow the Cache Money(キャッシュの金に従え)

約2ヶ月前の同等ティアのコストと比較してみてください。以下の価格はすべて100万トークンあたりの価格です。

[画像: 100万トークンあたりの価格、変更前と変更後。Anthropic Opus 5から5.5: 入力$5から$4、キャッシュ書き込み$6.25から$5、キャッシュ読み取り$0.50から$0.20、60%安価。OpenAI GPT-5.6 SolからGPT-6.1 Sol: 入力$5から$2、キャッシュ書き込み$6.25から$2.50、キャッシュ済み入力$0.50から$0.10、80%安価。] [画像: 100万トークンあたりの価格、変更前と変更後。Anthropic Opus 5から5.5: 入力$5から$4、キャッシュ書き込み$6.25から$5、キャッシュ読み取り$0.50から$0.20、60%安価。OpenAI GPT-5.6 SolからGPT-6.1 Sol: 入力$5から$2、キャッシュ書き込み$6.25から$2.50、キャッシュ済み入力$0.50から$0.10、80%安価。]

A Very Quiet Thank-You(非常に静かな感謝)

これらすべては、欧米のAI企業が現在、推論マージンで非常に利益を上げていることを意味するはずです。

高性能GPUへのアクセス制限が、中国のラボにパフォーマンス最適化を最優先目標とさせ、その結果として現れています。

なぜ彼らがこのようなブレークスルーを無償で提供するのかは分かりませんが、彼らはそうしました。そして今回、Anthropic と OpenAI の両方が、これらの最適化を実質的に使用したトップティアのモデルをリリースしました。

彼らは、コピーされたことに対して少し当惑しているようです。そのため、Claude Opus 5.5 と GPT-6.1 Sol の両方とも、事前の大きな告知なしに静かにリリースされました。

ユーザーレビューは使用感に関して非常に好評で、フラッグシップモデル(Claude Fable 5.1 と GPT-6 Astra)と比較しても、品質はそれほど劣っていないようです。

キャッシュ読み取りコストの低下が、この採用の証拠です。Opus 5.5 は Opus 5 と比較してキャッシュ読み取り価格を 60% 削減し、GPT-6.1 Sol は GPT-5.6 Sol の 7 月下旬の価格と比較して 80% 削減しました。

つまり、中国のラボは、損失を抱える欧米のラボに救いの手を差し伸べたのです。そして、その理由が全く理解できません。