Kimi K3: オープンフロンティアインテリジェンス

Kimi K3: オープンフロンティアインテリジェンス Kimi K3を試す 本日、私たちは最も高性能なモデルであるKimi K3を発表します。Kimi K3は、Kimi Delta AttentionとAttention Residualsを基盤に構築された2.8兆パラメータのモデルで、ネイティブなビジョン能力と100万トークンのコンテキストウィンドウを備えています。これは、長大なコーディング、知識作業、推論といった最先端の知能タスク向けに設計された、世界初のオープン3兆クラスモデルです。全体的な性能は依然として最も強力なプロプライエタリモデルであるClaude Fable 5やGPT 5.6 Solには及ばないものの、Kimi K3は当社の評価スイート全体でフロンティアレベルのパフォーマンスを示し、テストされた他のモデルを常に上回りました。Kimi K3は本日、Kimi.com、Kimi Work、Kimi Code、およびKimi APIで利用可能です。ローンチ時には、Kimi K3はデフォルトで最大思考努力を使用し、低・高思考努力モードは後続のアップデートで導入される予定です。現在、推論パートナーおよびオープンソースメンテナーと緊密に連携し、技術的な詳細を調整し、エコシステム全体で信頼性の高いロールアウトを確保しています。モデルの完全なウェイトは2026年7月27日までに公開されます。アーキテクチャ、トレーニング、評価に関するさらなる詳細は、Kimi K3技術レポートと併せて公開されます。 オープン3兆クラスモデル Kimi K3は、2.8兆パラメータに達した最初のオープンモデルです。これは、スケーリングの最前線におけるKimiの継続的な取り組みの最新のステップを示しており、過去12ヶ月のうち9ヶ月間、Kimiモデルはオープンモデルサイズの最上限を設定してきました。Kimi K3は、シーケンス長とモデル深度における情報の流れを改善するために設計された2つのアーキテクチャアップデートであるKimi Delta Attention（KDA）とAttention Residuals（AttnRes）を基盤としています。また、Mixture of Experts（MoE）のスパース性をスケールアップし、Stable LatentMoEフレームワークと組み合わせることで、896人のエキスパートのうち16人を効果的にアクティブ化しました。洗練されたトレーニングとデータレシピと組み合わせることで、これらの構造的な変更は、Kimi K2と比較して全体的なスケーリング効率で約2.5倍の改善をもたらし、モデルが計算能力を知能に変換する能力をより効果的にしています。 αwKDAαwStable LatentMoEαwGated MLAαwStable LatentMoEwα3×1×Block n−1Block n−2Block n−3EmbeddingRouterLinear12123NNormLinearShared ExpertRouted ExpertLinearConvL2LinearConvL2LinearConvσσLinearσ コーディング Kimi K3は、長大なコーディングパフォーマンスに優れています。最小限の人間の監視で動作し、長時間のエンジニアリングセッションを維持し、巨大なリポジトリをナビゲートし、ターミナルツールをオーケストレーションできます。Kimi K3は、ソフトウェアエンジニアリングとビジュアル推論を組み合わせたタスクにも優れており、スクリーンショットやビジュアルを活用してゲーム開発、フロントエンド、CADを最適化します。以下のケーススタディは、Kimi K3のコーディング能力がオープンエンドなソフトウェア作成や科学研究にどのように変換されるかを示しています。 カーネル最適化 モデルのGPUカーネル最適化能力をテストしました。各モデルは同一のサンドボックス内で独立して動作し、最大24時間でAttnRes、KDA、およびNVIDIA H200と代替ベンダーのGPGPUにおける512ヘッドディメンションのMLAカーネルを対象とした4つのタスクをプロファイル、書き直し、ベンチマークしました。Kimi K3は、Fable 5（フォールバックあり）と競争力のあるパフォーマンスを示し、Opus 4.8、GPT 5.6 Sol、GPT 5.5を大幅に上回りました。Claude Fable 5はサードパーティによって評価されており、その結果にはフォールバック動作が含まれる場合があります。ほとんどのモデルで、一部のトレースには当社の数値許容誤差内の、小さく許容可能な精度ショートカットが含まれていました。GPGPUは、グラフィックスレンダリング以外の計算に使用される汎用GPUを指します。Kimi K3開発の後期段階で、Kimi K3の初期バージョンがチームのカーネル最適化作業の大部分を処理しました。 GPUコンパイラ開発 さらに、Kimi K3がGPUプログラミングシステムをゼロから構築できるかどうかをテストしました。Kimi K3は、独自のタイルレベルIRレイヤーをMLIR上に持ち、最適化パスとPTXコード生成パイプラインを備えたコンパクトなTritonライクコンパイラであるMiniTritonを開発しました。サポートされているルーフラインベンチマーク全体で、MiniTritonはTritonおよびtorch.compileと同等以上のパフォーマンスを提供し、特定のワークロードではTritonを上回りました。マイクロベンチマークを超えて、MiniTritonは安定した収束でエンドツーエンドのnanoGPTトレーニングを維持し、損失曲線は参照に非常に近いマイナーな逸脱のみで追跡され、現実的なワークロードで完全なパイプラインを検証しました。これらの結果は、Kimi K3が独立したカーネルではなく、DSLフロントエンドとIRパスからPTXコード生成およびランタイムまで、一貫したエンドツーエンドのコンパイラを構築できることを示しています。独自のTensor Coreパスは、すでにTritonの広範に最適化されたスタックに匹敵します。 ゲーム開発とデジタルクリエーション Kimi K3は、強力な3D推論、コーディング、ビジョン能力を組み合わせて、コンセプト、画像、ビデオを完全にプレイ可能なインタラクティブな体験に変えます。Kimi K3は、コードとライブスクリーンショットの間をシームレスに反復することで、真の「ループ内のビジョン」を実現し、出力を即座に確認して改良します。 ケース1: 3Dオープンワールド Kimi K3は、Three.js WebGPUとGPUコンピューティングを使用して、完全にプロシージャルなブラウザベースの3D探索ゲームを構築しました。環境をプロシージャルに生成し、3Dアセット生成ツールを使用してライダーと馬のモデルを作成し、森、丸太小屋の村、雪山、動的な天候を備えた広大なオープンワールドを生成しました。使用された外部アセット：アニメーション化されたカウボーイと馬のモデル、および地形データ。 チップデザイン 初期の概念実証として、Kimi K3は独自のアーキテクチャ上に構築されたナノモデルにサービスを提供するチップを設計しました。単一の48時間自律実行で、K3はNangate 45nmライブラリのオープンソースEDAツールを使用してチップを構築、最適化、検証しました。4 mm²以内に、チップは100 MHzでタイミングをクローズし、シミュレーションで8,700トークン/秒以上のデコードスループットを維持し、1.46Mの標準セル、0.277 MBのSRAM、および融合されたデ量子化を備えたINT4 MACアレイをパックしました。モデルによってモデルのために構築されたチップは、K3の長大なエージェント能力を反映しています。 研究のためのコーディング Kimi K3は、科学文献と実行可能なコードを橋渡しし、複雑な計算研究ワークフローを自律的に実装、検証、分析します。あるケースでは、Kimi K3は、経験豊富な研究者が通常1〜2週間かかる作業を約2時間で完了しました。計算天体物理学におけるI–Love–Q普遍関係を再現するために、20以上の論文をレビューおよびクロスバリデーションし、完全な数値パイプラインを実装し、300以上の状態方程式を評価し、公開された数式の一貫性の不一致を特定し、3,000行以上のPythonコードを生成し、結果を探索するためのインタラクティブなHTMLダッシュボードを作成しました。 ローディングプレビュー... 知識作業 Kimi K3は、エンドツーエンドの知識作業を推進します。公開ベンチマークを超えて、Kimi K3（最大）は、実際のユーザーエージェントワークフローで観察される繰り返しパターンと課題から派生した当社の内部評価全体で一貫した改善を示しています。これらの本番指向のワークフロー全体にわたる一貫した利点は、Kimi K3のエージェント知識作業能力の広範な改善を反映しています。 インタラクティブビジュアライゼーションによる研究 以下は、Kimi WorkのKimi K3が金融コンサルティングおよび科学研究全体で生成できるもののいくつかの例です。 ケース1: インタラクティブなAI ASIC業界研究ウェブサイト（42年間） 掘り下げ可能なインタラクティブな調査レポート：120ラウンド以上の再帰的自己改善を経て作成された、ASIC業界の42年間。Kimi K3は、証拠をカスタムチャート、アニメーション図、インタラクティブなビジュアルナラティブに変換します。87の四半期レポートと99の元のPDFにまたがる11,000ページ以上のデータに対し、2.8k以上のWeb検索/フェッチと1.1k以上のターミナルデータプルを介してデータを取得しました。 ローディングプレビュー... ケース2: 核融合産業研究 インタラクティブなビジュアライゼーション（タイムライン、ファネルチャート、レンジバーチャート、ガントチャート、および出版品質のスライドを含む）を備えたコンサルティングスタイルの産業レポート。 ケース3: GWTC-5重力波分析 20以上の同時サブエージェントを使用した391の重力波イベントの分析。7つの科学的ビジュアライゼーション、2つのテーブル、および10以上の論文からの文献合成を生成しました。