HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Kimi K3: オープンフロンティアインテリジェンス

Kimi K3: Open Frontier Intelligence (kimi.com)

17 pointsby mfiguiere3 コメント

要約

Kimiは、2.8兆パラメータ、100万トークンのコンテキストウィンドウ、ネイティブなビジョン能力を持つ最新モデル「Kimi K3」を発表しました。これは、長大なコーディング、知識作業、推論といった最先端の知能タスク向けに設計された世界初のオープン3兆クラスモデルです。Kimi K3は、Kimi Delta AttentionとAttention Residualsといったアーキテクチャの改良により、スケーリング効率を大幅に向上させ、特に長大なコーディングタスクや複雑な知識作業において、既存モデルを凌駕する性能を示しています。

全文翻訳

Kimi K3: オープン・フロンティア・インテリジェンス

本日、私たちは最も高性能なモデルであるKimi K3を発表します。Kimi K3は、Kimi Delta AttentionとAttention Residualsを基盤に構築された2.8兆パラメータのモデルで、ネイティブなビジョン能力と100万トークンのコンテキストウィンドウを備えています。これは、長距離コーディング、ナレッジワーク、推論におけるフロンティア・インテリジェンスのために設計された、世界初のオープンな3兆クラスモデルです。

全体的な性能は依然として最先端のプロプライエタリモデルであるClaude Fable 5やGPT 5.6 Solには及びませんが、Kimi K3は評価スイート全体でフロンティアレベルのパフォーマンスを示し、テストされた他のモデルを常に上回りました。

Kimi K3は本日、Kimi.ai、Kimi Work、Kimi Code、およびKimi APIで利用可能です。ローンチ時、Kimi K3はデフォルトで最大思考能力を使用し、低・高思考能力モードは後続のアップデートで導入される予定です。現在、推論パートナーやオープンソースメンテナーと緊密に連携し、技術的な詳細を調整し、エコシステム全体で信頼性の高いロールアウトを確保しています。モデルの全ウェイトは2026年7月27日までに公開されます。アーキテクチャ、トレーニング、評価に関する詳細は、Kimi K3技術レポートと合わせて公開される予定です。

世界初の3兆クラスオープンモデル

Kimi K3は、2.8兆パラメータに到達した最初のオープンモデルです。これは、Kimiがスケーリングの最前線で持続的に推進してきた最新のステップを示しており、過去12ヶ月のうち9ヶ月間、Kimiモデルはオープンモデルサイズの最上限を設定してきました。

Kimi K3は、シーケンス長とモデル深度における情報フローを改善するために設計された2つのアーキテクチャアップデート、Kimi Delta Attention(KDA)とAttention Residuals(AttnRes)上に構築されています。また、Mixture of Experts(MoE)のスパース性をスケールアップし、Stable LatentMoEフレームワークと組み合わせることで、896のエキスパートのうち16を効果的にアクティブ化しました。洗練されたトレーニングとデータレシピと組み合わせることで、これらの構造的な変更は、Kimi K2と比較して全体的なスケーリング効率で約2.5倍の改善をもたらし、モデルが計算能力を知能に変換するのをより効果的にしています。

[画像: Kimi K3のアーキテクチャ図(Kimi Delta Attention, Stable LatentMoE, Gated MLAなどを含む)]

コーディング

Kimi K3は、長距離コーディングにおいて強力なパフォーマンスを発揮します。最小限の人間の監視で動作し、長時間のエンジニアリングセッションを維持し、大規模なリポジトリをナビゲートし、ターミナルツールをオーケストレーションできます。

Kimi K3は、ソフトウェアエンジニアリングとビジュアル推論を組み合わせたタスクにも優れており、スクリーンショットやビジュアルを活用してゲーム開発、フロントエンド、CADを最適化します。

以下のケーススタディは、Kimi K3のコーディング能力が、オープンエンドなソフトウェア作成や科学研究にどのように翻訳されるかを示しています。

カーネル最適化

モデルのGPUカーネル最適化能力をテストしました。各モデルは、同一のサンドボックス内で独立して動作し、AttnRes、KDA、および512ヘッドディメンションのMLAカーネルを対象とした4つのタスクのプロファイリング、書き換え、ベンチマークに最大24時間かけました。Kimi K3は、Fable 5(フォールバックあり)と競争力のあるパフォーマンスを示し、Opus 4.8、GPT 5.6 Sol、GPT 5.5を大幅に上回りました。

Claude Fable 5はサードパーティによって評価されており、その結果にはフォールバック動作が含まれる場合があります。ほとんどのモデルで、一部のトレースには許容範囲内の小さな精度ショートカットが含まれており、数値許容誤差内に収まっています。GPGPUは、グラフィックスレンダリング以外の計算に使用される汎用GPUを指します。

Kimi K3開発の後期段階では、Kimi K3の初期バージョンがチームのカーネル最適化作業の大部分を処理しました。

GPUコンパイラ開発

さらに、Kimi K3がGPUプログラミングシステムをゼロから構築できるかどうかをテストしました。Kimi K3は、MLIR上に独自のタイルレベルIRレイヤー、最適化パス、およびPTXコード生成パイプラインを持つコンパクトなTritonライクコンパイラであるMiniTritonを開発しました。サポートされているルーフラインベンチマーク全体で、MiniTritonはTritonおよびtorch.compileと同等以上のパフォーマンスを提供し、特定のワークロードではTritonを上回りました。マイクロベンチマークを超えて、MiniTritonはエンドツーエンドのnanoGPTトレーニングを安定した収束で維持し、損失曲線は参照曲線にわずかな逸脱のみで密接に追従しており、現実的なワークロードで完全なパイプラインを検証しています。これらの結果は、Kimi K3が孤立したカーネルではなく、DSLフロントエンドとIRパスからPTXコード生成およびランタイムまで、一貫したエンドツーエンドコンパイラを構築できることを示しています。そのゼロからのTensor Coreパスは、すでにTritonの広範に最適化されたスタックに匹敵します。

[画像: MiniTriton CUDAコア ルーフライン(NVIDIA L20上)]

ゲーム開発とデジタルクリエーション

Kimi K3は、強力な3D推論、コーディング、ビジョン能力を組み合わせて、コンセプト、画像、ビデオを完全にプレイ可能なインタラクティブな体験に変換します。Kimi K3は、コードとライブスクリーンショットの間をシームレスに反復することで、真の「ループ内のビジョン」を実現し、出力を即座に確認して洗練します。

チップ設計

初期の概念実証として、Kimi K3は自身のアーキテクチャ上に構築されたナノモデルをサービスするためのチップを設計しました。単一の48時間自律実行で、K3はNangate 45nmライブラリ上のオープンソースEDAツールを使用してチップを構築、最適化、検証しました。4 mm²以内に、チップは100 MHzでタイミングをクローズし、シミュレーションで8,700トークン/秒以上のデコードスループットを維持し、1.46Mの標準セル、0.277 MBのSRAM、および融合されたデ量子化を備えたINT4 MACアレイを搭載しています。モデルによって、モデルのために構築されたチップは、K3の長距離エージェント能力を反映しています。

研究のためのコーディング

Kimi K3は、科学文献と実行可能なコードを橋渡しし、複雑な計算研究ワークフローを自律的に実装、検証、分析します。

あるケースでは、Kimi K3は、経験豊富な研究者にとって通常1〜2週間かかる作業を約2時間で完了しました。計算天体物理学におけるI–Love–Q普遍関係を再現するために、20以上の論文をレビューおよびクロス検証し、完全な数値パイプラインを実装し、300以上の状態方程式を評価し、公開された数式の一貫性のない点を特定し、3,000行以上のPythonコードを生成し、結果を探索するためのインタラクティブなHTMLダッシュボードを作成しました。

ナレッジワーク

Kimi K3は、エンドツーエンドのナレッジワークを進化させます。公開ベンチマークを超えて、Kimi K3(max)は、実際のユーザーエージェントワークフローで観察される繰り返しパターンと課題から派生した、当社の内部評価全体で一貫した改善を示しています。これらの異なる本番志向のワークフロー全体での一貫した利点は、Kimi K3のエージェントナレッジワーク能力の広範な改善を反映しています。

[画像: 内部ナレッジワークベンチ]

インタラクティブな視覚化によるリサーチ

以下は、Kimi WorkのKimi K3が、金融コンサルティングや科学研究において生成できる例の一部です。

ケース1:インタラクティブなAI ASIC業界リサーチウェブサイト(42年間)

掘り下げ可能なインタラクティブなリサーチレポート:120回以上の再帰的自己改善を経て作成された、ASIC業界の42年間。Kimi K3は、証拠をカスタムチャート、アニメーション図、インタラクティブなビジュアルナラティブに変換します。87の四半期レポートと99のオリジナルPDFにまたがる11,000ページ以上のデータから、2,800以上のWeb検索/フェッチと1,100以上のターミナルデータプルを通じてデータを取得しました。

ケース2:核融合産業リサーチ

インタラクティブな視覚化を備えたコンサルティングスタイルの産業レポート。タイムライン、ファネルチャート、レンジバーチャート、ガントチャート、および出版品質のスライドが含まれます。

ケース3:GWTC-5重力波分析

20以上の同時サブエージェントを使用して391の重力波イベントを分析し、7つの科学的視覚化、2つのテーブル、および10以上の論文からの文献合成を生成しました。

Kimi K3は、以下に示すようなインフォグラフィック風のプレゼンテーションの生成にも特に効果的です。編集可能なヒートマップと年次レポートなどがあります。

ウィジェットとダッシュボード

Kimi Workでは、Kimi K3とのインタラクションをより視覚的かつ永続的にするための2つの新機能、ウィジェットとダッシュボードを導入しました。ウィジェットを使用すると、チャット内で直接インタラクティブなコンポーネントを生成でき、ローカルデータまたは外部プラグインとの接続により継続的な更新が可能になります。ダッシュボードは、最も関心のあるウィジェットを、トピック、プロジェクト、または目標を中心に整理された、1つの永続的でパーソナライズされたビューに集約します。

ビデオ編集

Kimi K3は、そのネイティブなマルチモーダルアーキテクチャがテキスト、画像、ビデオを同じモデル内で理解するため、モーショングラフィックス、アニメーション、ビデオ編集に優れています。

一例として、K3は自身のアーキテクチャの3Blue1Brownスタイルのモーショングラフィックス解説を作成し、技術的なアイデアをアニメーション図とトランジションに翻訳しました。

別の例では、Kimi K3は56個のソースクリップから自身のティーザービデオを編集し、クリップ選択、モーションマッチングカット、フレーム精度のビート同期、オーディオ処理、および複数回の改訂を処理しました。このような高密度な短いビデオは、通常、経験豊富なエディターで1〜2営業日、初心者で3〜5営業日かかります。

アーキテクチャとインフラストラクチャ

Kimi K3は、Kimi Delta Attention(KDA)とAttention Residuals(AttnRes)上に構築されています。KDAはスケーリングアテンションのための効率的な基盤を提供し、AttnResは表現を均一に蓄積するのではなく、深度全体で選択的に取得します。これらが一体となって、1兆パラメータを超えるスケールでうまくスケーリングするように設計されたモデルのアーキテクチャバックボーンを形成します。

Kimi K3はStable LatentMoEを使用し、896のエキスパートのうち16を効果的にアクティブ化します。このレベルのスパース性では、ルーティングと最適化が最優先の課題となります。Quantile Balancingは、ルータースコアの分位数から直接エキスパート割り当てを導き出し、ヒューリスティックな更新とデリケートなバランスハイパーパラメータを排除します。一方、Per-Head MuonはMuonを拡張し、アテンションヘッドを個別に最適化して、大規模でのより適応的な学習を実現します。Sigmoid Tanh Unit(SiTU)とGated MLAは、それぞれアクティベーション制御とアテンション選択性を向上させます。これらの進歩が一体となって、2.8兆パラメータ規模での安定した効率的なトレーニングを可能にします。

Kimi K3は、SFTステージ以降、量子化認識トレーニングを適用し、MXFP4ウェイトとMXFP8アクティベーションを使用して、幅広いハードウェア互換性を実現します。大規模なエキスパート並列スケールでのスループット低下を引き起こすエキスパートの不均衡を防ぐため、静的形状を持ち、クリティカルパスでホスト同期を行わない、完全にバランスの取れたエキスパート並列トレーニング手法を導入しました。推論効率も、より大きな高帯域幅通信ドメインから恩恵を受けるため、64以上のアクセラレータを備えたスーパーノード構成でのKimi K3の展開を推奨します。最後に、KDAは従来のプレフィックスキャッシュに新たな課題をもたらすため、vLLMコミュニティに対応する実装を提供し、モデルと同時にリリースされる予定です。プレフィルキャッシュを備えたKDAにより、その規模と長いコンテキストにもかかわらず、競争力のあるトークン価格でKimi K3を提供できます。

より詳細な技術情報は、今後のレポートで入手可能になります。

利用可能性

  • Kimi K3エージェント:モバイルアプリストアから最新のKimiアプリをダウンロードまたはアップデートしてください。iOS、Android、HarmonyOSで利用可能、またはkimi.aiにアクセスしてください。
  • Kimi K3での作業:最新のKimi Workデスクトップアプリ(バージョン3.1.0以降、WindowsおよびApple Silicon Macで利用可能)をダウンロードしてください。
  • Kimi K3でのコーディング:ターミナルでKimi Codeを実行し、/modelコマンドを使用してKimi K3を選択してください。
  • Kimi APIでの構築:Kimi APIプラットフォームにアクセスし、kimi-k3を選択してください。価格は、キャッシュヒット入力が0.30ドル/MTok、キャッシュミス入力が3.00ドル/MTok、出力が15.00ドル/MTokです。Mooncakeの非同期推論アーキテクチャによって強化された公式Kimi APIは、コーディングワークロードで90%以上のキャッシュヒット率を達成しています。
  • 組織にKimiを導入:Kimi Enterpriseは、エンタープライズグレードのデータプライバシーとメンバー管理を提供し、個人アカウントと組織アカウントを完全に分離します。価格ページにアクセスし、「Kimi Enterpriseを入手」を選択してチーム用にサブスクライブしてください。

完全ベンチマーク表

注釈

以下に報告されているすべてのKimi K3の結果は、推論能力を「max」に設定し、temperature = 1.0、top-p = 1.0で取得されています。ベンチマークによっては、各モデルは3つのエージェントハーネスのいずれか(Kimi Code、Claude Code、またはCodex)で評価されます。これは、以下の注記で指定されています。

コーディングベンチマーク
  1. DeepSWE。 Kimi K3はKimi Codeハーネスで評価されます。GLM-5.2スコアはGLM-5.2リリースブログ(https://z.ai/blog/glm-5.2)から取得されます。その他のスコアはすべて公式DeepSWEリーダーボード(https://deepswe.datacurve.ai/)から取得され、Kimi K3はmini-SWE-agentハーネスで67.3を達成しています。DeepSWE v1.1タスクを報告します。
  2. Terminal-Bench 2.1。 Kimi K3はKimi Codeハーネスで評価されます。他のすべてのモデルについては、ハーネス間のベストスコアを報告します。GLM-5.2はClaude Code(https://z.ai/blog/glm-5.2)で、Claude Opus 4.8およびClaude Fable 5はTerminus 2(https://artificialanalysis.ai/evaluations/terminalbench-v2-1)で、GPT 5.5およびGPT 5.6 SolはCodex(https://openai.com/index/previewing-gpt-5-6-sol/)で評価されています。
  3. Program Bench。 Kimi K3はKimi Codeハーネスで評価されます。GLM-5.2スコアはhttps://z.ai/blog/glm-5.2から、その他のスコアはすべてhttps://www.vals.ai/benchmarks/programbenchから取得されます。
  4. SWE Marathon。 Kimi K3、Claude Opus 4.8、Claude Fable 5はClaude Codeハーネスで評価されます。GPT-5.6 SolはCodexハーネスで評価されます。GLM-5.2スコアはhttps://z.ai/blog/glm-5.2からです。当社の評価は、公式v1.1タスクのH20キャリブレーションブランチ(https://www.swe-marathon.org/)に基づいています。GPUタスクのDockerイメージ、パフォーマンスゲート、参照オラクルはH20用に再キャリブレーションされましたが、正しさおよびアンチチートバリデーターは変更されていません。さらに、Claude Fable 5は当社の評価の35%のタスクでフォールバックが発生し、測定されたパフォーマンスに悪影響を与えた可能性があります。
  5. FrontierSWE。 Kimi K3はKimi Codeハーネスで、GPT-5.6 SolはCodexハーネスで評価されます。その他の結果はすべてhttps://www.frontierswe.com/からです。優位性スコアは、生のスコアから公式評価スクリプトを使用して再計算されており、2026年7月16日現在のものです。
  6. PostTrain Bench。 GLM-5.2、GPT-5.5、Claude Opus 4.8のスコアは、公式PostTrainBench(https://posttrainbench.com/)の結果から採用されています。Kimi K3、Claude Fable 5、GPT-5.6 Solは、公式Harbor実装で最大推論能力を使用して評価され、H20 GPU(公式設定のH100ではなく)で3回の実行で平均化されています。Kimi K3とClaude Fable 5はClaude Codeハーネスで、GPT-5.6 SolはCodexハーネスで評価されています。
  7. MLS Bench Lite。 Kimi K3はKimi Codeハーネスで評価されます。GLM-5.2とClaudeモデルはClaude Codeハーネスで、GPT-5.5とGPT-5.6 SolはCodexハーネスで評価されます。
  8. KCB 2.0。 Kimi K3はKimi CodeおよびClaude Codeハーネスの両方で評価されます。GLM-5.2、Claude Opus 4.8、Claude Fable 5はClaude Codeハーネスで、GPT-5.5とGPT-5.6 SolはCodexハーネスで評価されます。GPT-5.5は「xhigh」設定を使用する以外は、すべてのモデルが最大推論能力で評価されます。また、この社内ベンチマークでは、タスクの10%がGPT-5.6 Solのサイバーガードに入ったことにも注意してください。
生産性とエージェントベンチマーク
  1. OfficeQA Proでは、各テストケースでエージェントにPDFコーパス全体が提供されます。すべてのPDFは画像としてレンダリングされ、機械可読テキストは利用できません。
  2. OfficeQA ProおよびSpreadsheetBench 2。 Kimi K3、GLM-5.2、Claude Opus 4.8、Claude Fable 5はClaude Codeハーネスで評価されます。GPT 5.5およびGPT 5.6 SolはCodexハーネスで評価されます。
  3. MCP Atlas。 すべてのモデルは、Gemini 3.1 Proをジャッジとして使用し、100ターンの制限付きで500タスクの公開サブセットで評価されます。
  4. AutomationBench。 すべてのモデルは、公式GitHubセットアップに従い、600タスクの公開サブセットで評価されます。
  5. BrowseComp。 Claudeモデルカードで使用されているコンテキスト圧縮戦略を採用し、300Kトークンでトリガーされます。1Mトークンのコンテキストウィンドウでコンテキスト管理なしで評価された場合、Kimi K3は90.4のスコアを達成します。Claude Fable 5、Claude Opus 4.8、GPT 5.6 Sol、GPT 5.5の結果は、https://www.anthropic.com/news/claude-fable-5-mythos-5およびhttps://openai.com/index/gpt-5-6/から引用されています。
  6. GDPval-AA、AA-Briefcase、APEX-Agentsのスコアは、https://artificialanalysis.ai/から引用されています。
マルチモーダルベンチマーク
  1. 公式設定に従い5回実行されるZeroBenchを除き、すべてのマルチモーダルスコアは3回の実行で平均化されます。MMMU-Proは、元の入力順序を維持し、画像をテキスト入力の前に挿入する公式プロトコルに従って評価されます。
  2. PerceptionBench。 PerceptionBench(https://www.kimi.ai/blog/perception-bench)は、原子的な視覚認識能力に焦点を当てたベンチマークです。

制限事項

  1. 思考履歴への感度。 K3は、思考履歴を保持するモードでトレーニングされました。エージェントハーネスが要求されたすべての履歴思考コンテンツを渡せなかった場合、または別のモデルとの進行中のセッションがK3に切り替えられた場合、生成品質が非常に不安定になる可能性があります。Kimi Codeのような互換性が検証されたハーネスの使用と、セッションの途中でK3に切り替えることを避けることを推奨します。
  2. 過剰な積極性。 K3のトレーニングは、長距離で挑戦的なタスクに特に重点を置いています。その結果、タスク実行中に軽微な問題や曖昧なユーザーの意図に遭遇した場合、ユーザーの代わりに予期しない決定を下す可能性があります。アプリケーションでエージェントが明確に定義された境界内で動作し、過剰な即興を避ける必要がある場合は、システムプロンプトまたはAGENTS.mdでK3に、より明示的な行動制約を課してください。
  3. 全体的に非常に競争力のあるモデルであるにもかかわらず、K3はClaude Fable 5およびGPT 5.6 Solと比較して、ユーザーエクスペリエンスに顕著なギャップを示しています。