Kimi K3 アーキテクチャの概要と考察

昨日発表された大規模オープンウェイトモデルのKimi K3アーキテクチャの図と、いくつかの観察結果や考察です。確かに、比較的複雑に見えますが、本質的には昨年リリースされたKimi Linearモデルのプロダクションバージョンをスケールアップしたものです（48Bから2.8Tにスケールアップ。K3は現時点で圧倒的に最大のオープンウェイトモデルです）。Kimi Linearと比較して新しいコンポーネントはLatentMoEです。図がすでに非常に混雑しているため、以下の図では省略しましたが、これは基本的にNemotron 3 UltraのLatentMoEと同じです（興味があれば私のLLMアーキテクチャギャラリーで見つけることができます）。そのアイデアは、マルチヘッド潜在アテンションと同様に、大規模な線形層を圧縮（ダウンプロジェクション）することです。Kimi K3の全体的な傾向（Nemotron 3、DeepSeek V4などと同様）は、推論効率の向上にも向かっています。つまり、効率化されたバージョンで既存のコンポーネントを置き換える多くのコンポーネントがあります。例えば、MoE → LatentMoE、通常の注意 → マルチヘッド潜在注意とKimi Delta Attentionです。（興味があれば、私のギャラリーに短いチュートリアルや解説もあります）。効率化の調整ではない唯一のコンポーネント変更は、アテンション残差です。DeepSeek V4がmHC（多様体制約ハイパーコネクション）で残差パスを改善したように、アテンション残差は残差パスを改善する方法ですが、動作は少し異なります。つまり、mHCは残差パスを幅広くしました。アテンション残差（Kimi Linearにも既に含まれています）は、レイヤー間で残差を接続します。この接続自体が、重要度/寄与度重みとしてアテンションスコアを使用します。レポートによると、検証損失と下流パフォーマンスを（わずかに）一貫して改善し、トレーニングコストを約4%、推論コストを約2%増加させます。興味深いことに、Kimi K3はすべてのRoPEレイヤーを廃止し、代わりにどこでもNoPE（No Positional Embeddings）を使用しています。（これもKimi Linearから引き継がれています）。他のアーキテクチャでは、最近の傾向は、ローカルアテンションレイヤー（スライディングウィンドウアテンションなど）ではRoPEを使用し、グローバルレイヤーではNoPEを使用することでした。NoPEのみをどこでも使用するアーキテクチャはいくつかありましたが、これは私の知る限り最初のフロンティアレベルのものです。Kimi K3はネイティブなマルチモーダルサポートも備えており、これは素晴らしいことです！技術レポートには、他にもいくつかの興味深いトレーニングのヒントがありますが、アーキテクチャの側面からは今のところこれだけです。全体として非常に優れたリリースです。図1. Kimi K3アーキテクチャとリリース時のベンチマーク比較。詳細については、アーキテクチャギャラリーのK3を参照してください。出典：私のSubstackノートのウェブサイト版。