Kimi K3 アーキテクチャの概要と考察
Kimi K3 Architecture Overview and Notes (sebastianraschka.com)
要約
この記事は、最近リリースされた大規模オープンウェイトモデル「Kimi K3」のアーキテクチャについて解説しています。Kimi K3は、前モデルから大幅にスケールアップされており、特にLatentMoEやAttention Residualsといった効率化と性能向上に寄与する新コンポーネントが導入されています。また、位置エンコーディングにNoPE(No Positional Embeddings)を全面的に採用している点も特徴として挙げられています。
全文翻訳
Kimi K3 アーキテクチャ注釈
昨日発表された大規模オープンウェイトモデルのKimi K3アーキテクチャ図と、それに関するいくつかの観察事項や考察です。
-
確かに、比較的複雑に見えますが、本質的には昨年リリースされたKimi Linearモデルのプロダクションバージョンをスケールアップしたものです(48Bから2.8Tへスケールアップ。K3は現時点で圧倒的に最大のオープンウェイトモデルです)。
-
Kimi Linearと比較して新しく追加されたコンポーネントはLatentMoEです。図がすでに非常に混雑しているため、以下の図では省略しましたが、これは基本的にNemotron 3 UltraのLatentMoEと同じものです(興味があれば私のLLMアーキテクチャギャラリーで見つけることができます)。ここでのアイデアは、マルチヘッド潜在アテンションと同様に、大きな線形層を圧縮(ダウンプロジェクション)することです。
-
Kimi K3の全体的なトレンド(Nemotron 3、DeepSeek V4などと同様)も、推論効率の向上に向かっています。つまり、既存のコンポーネントを効率化されたバージョンに置き換える多くのコンポーネントがあります。例えば、MoE -> LatentMoE、通常のAttention -> マルチヘッド潜在アテンションとKimi Delta Attentionです。(追加の詳細に興味がある場合は、私のギャラリーに短いチュートリアルや解説もあります)。
-
効率化の調整ではないコンポーネントの変更はAttention Residualsです。DeepSeek V4がmHC(manifold-constrained Hyper-Connections)でResidualパスを改善したように、Attention ResidualsもResidualパスを改善する方法ですが、動作は少し異なります。つまり、mHCはResidualパスを幅広くしました。Attention Residuals(これも既にKimi Linearに含まれています)は、Residualをレイヤー間で接続します。この接続自体が、重要度/貢献度ウェイトとしてアテンションスコアを使用します。レポートによると、これは検証損失と下流タスクのパフォーマンスを一貫して(わずかに)改善し、トレーニングコストに約4%、推論コストに約2%を追加します。
-
興味深いことに、Kimi K3はすべてのRoPEレイヤーを廃止し、代わりにすべての場所でNoPE(No Positional Embeddings)を使用しています。(これもKimi Linearから引き継がれています)。他のアーキテクチャでは、最近のトレンドは、ローカルアテンションレイヤー(スライディングウィンドウアテンションなど)ではRoPEを、グローバルレイヤーではNoPEを使用することでした。NoPEのみをすべてに使用したアーキテクチャはいくつかありましたが、私の知る限り、これは最先端のレベルでは初めてです。
-
Kimi K3はネイティブなマルチモーダルサポートも備えており、これは素晴らしいことです!
技術レポートには他にもいくつかの興味深いトレーニングのヒントがありますが、アーキテクチャの側面からは以上です。全体として、非常に優れたリリースです。
[画像: Kimi Delta Attention、gated multi-head latent attention、Attention Residuals、LatentMoE、およびベンチマーク比較を含む、Kimi K3アーキテクチャの複合図]
図1. Kimi K3アーキテクチャとリリース時のベンチマーク比較。詳細については、アーキテクチャギャラリーのK3を参照してください。
出典: 私のSubstackノートのウェブサイト版。