Kimi K3.1 Pro モデルの重みが公開

moonshotai / Kimi-K3.1-Pro

［画像: Kimi K3.1 Pro］

［画像: Chat］ ［画像: Homepage］

［画像: Hugging Face］ ［画像: X］ ［画像: Discord］ ［画像: ModelScope］

［画像: License］

📰  Tech Blog |     🚀  API Quickstart

1. モデルの紹介

Kimi K3.1 Proは、オープンウェイトでネイティブにマルチモーダルなエージェンティックモデルであり、これまでに開発した中で最も高性能な3兆（3T）クラスのモデルです。数百のダウンストリームドメインにわたる大規模な共同強化学習によってKimi K3からポストトレーニングされており、K3.1シリーズの最初のモデルとなります。100万トークンのコンテキストウィンドウを備え、コーディング、3D作成、金融リサーチ、事実の正確性、その他のエージェンティック能力において大幅な改善をもたらします。

2. モデル概要

• Kimi K3と比較して、より効率的な長コンテキストモデリングのために、完全アテンションのGated MLAレイヤーをGated DeepSeek Sparse Attention (Gated DSA) レイヤーに置き換えました。

3. 評価結果

特に指定がない限り、すべてのKimi K3.1 Proの結果は、推論努力量 max、温度 1.0、top-p = 0.95 を使用しています。ダッシュ（—）は、ソーステーブルがスコアを報告していないことを意味します。ベンチマーク名が明示的に lower is better と記載されていない限り、スコアが高いほど良いです。Eloスコアやその他のベンチマーク固有のメトリックは、精度や合格率スコアと直接比較できません。

ベンチマーク

Kimi K3.1 Pro
(max)

Claude Fable 5.1
(max, w/ fallback)

GPT-6 Astra
(max, w/ fallback)

Claude Opus 5.5
(max, w/ fallback)

DeepSeek-V4.1-Flash-1017
(max)

GLM-5.3
(max)

コーディング

Terminal-Bench 4.0

65.7

57.9

58.2

66.4

42.3

41.8

Terminal-Bench-Science 0.1

38.1

40.0

68.1

63.3

15.7

8.1

SWE Marathon v1.1

51.7

45.6

42.5

46.3

40.0

42.5

BenchCAD w/o tools

72.8

60.6

—

73.0

41.2

—

BenchCAD w/ tools

92.7

92.6

95.9

96.2

81.6

—

Program Bench

31.5

53.5

50.0

65.0

29.1

19.0

DeepSWE v1.1

75.5

67.4

74.1

74.2

77.0

66.9

PostTrain Bench v1.2

36.5

44.6

41.9

43.8

30.5

34.5

Kimi Code Bench 2.0 (内部)

77.1

—

—

—

76.1

61.7

Kimi Code Bench 3.0 Long-horizon (内部)

61.2

58.8

66.5

58.5

51.5

45.5

エージェンティック

HLE-Full w/ tools

70.0

65.6

57.2

67.7

58.8

62.5

BrowseComp

92.1

—

91.5

90.8

—

—

BioMysteryBench

80.6

81.6

78.9

81.9

80.0

79.6

CharXiv (RQ) w/ python

93.4

92.7

92.8

93.8

85.6

—

MMMU-Pro w/ python

90.0

88.4

87.8

89.8

82.5

—

GDP.pdf w/ python

85.7

83.8

85.5

83.9

73.0

—

ChartoGraphy w/ python

90.2

88.4

91.0

89.0

83.0

—

BabyVision w/ python

95.4

95.1

96.6

97.7

92.5

—

ZeroBench_main w/ python (pass@5)

63.0

59.0

58.0

61.0

51.0

—

Agents' Last Exam (ALL)

43.2

—

41.8

42.6

37.7

26.2

Agents' Last Exam (CLI)

44.2

—

44.2

40.7

36.0

29.4

Automation Bench-AA

73.3

59.4

68.5

69.5

66.6

62.2

GDPval-AA v2.1 (Elo-score)

1846

1754

1573

1866

1746

1650

AA-Briefcase v1.1 (Elo-score)

1678

1672

1569

1803

1570

1507

APEX-Agents

69.4

68.6

64.7

73.5

69.8

56.6

OfficeQA Pro v2

64.4

54.5

54.4

62.2

40.4

31.1

OfficeQA Pro

67.4

68.6

66.2

—

62.4

58.6

Frontier Finance

58.6

60.8

45.0

56.7

54.5

57.5

Harvey Legal Agent

23.7

19.1

—

—

21.0

—

HANDBOOK.md

44.6

38.8

—

41.5

28.9

20.8

OSWorld V2.1

79.6

80.7

75.8

81.8

69.3

—

Business Operation (内部)

37.8

30.7

32.3

—

8.9

18.6

DECK-Arena (内部, Elo-score)

1456

—

1423

1253

1231

1119

Design Bench (内部, Elo-score)

957

—

1076

927

863

718

Kimi Hallu Bench Hard w/ tools (内部, lower is better)

8.3

23.3

5.5

15.0

23.3

22.6

推論 & 知識 & マルチモーダル

GDP.pdf

34.6

27.6

34.2

30.6

17.2

11.2

HLE-Full

51.1

57.6

53.6

59.8

42.6

43.0*

HLE-Diamond

39.4

55.1

65.8

60.9

21.6

25.1*

GPQA-Diamond

94.2

93.7

96.1

93.9

92.2

91.7

CharXiv (RQ)

89.0

88.8

90.0

92.1

77.0

—

MMMU-Pro

84.1

86.3

86.9

87.7

80.6

—

ZeroBench_main (avg@5 / pass@5)

29.8 / 39.0

23.0 / 35.0

43.2 / 52.0

35.0 / 43.0

11.8 / 23.0

—

PerceptionBench

68.3

63.0

77.6

72.1

47.7

—

Kimi Hallu Bench w/o tools (内部, lower is better)

5.4

11.4

4.2

6.8

13.1

14.8

サイバーセキュリティ

ExploitBench

74.7

83.0

100

91.0

—

54.4

ExploitGym

20.7

30.4

42.4

34.5

—

15.0

xdev-bench-hard (内部)

81.0

—

—

—

85.7

57.1

評価注釈

コーディングベンチマーク

1. Terminal-Bench 4.0. Kimi K3.1 ProはClaude Codeハーネスで評価されました。DeepSeek-V4.1-Flash-1017のスコアは、そのリリースブログから取得されました。その他のスコアはすべて、モデルのブログ投稿または公式Terminal-Benchリーダーボードで報告されている最大値です。
2. Terminal-Bench-Science 0.1. Kimi K3.1 ProはClaude Codeで評価されました。DeepSeek-V4.1-Flash-1017の内部評価では9.3という結果でしたが、テーブルには公式リーダーボードの古いDeepSeek-V4.1-Flashの15.7が報告されています。その他のスコアはすべてTerminal-Bench-Scienceリーダーボードからのものです。
3. SWE-Marathon v1.1. Kimi K3.1 ProとDeepSeek-V4.1-Flash-1017はClaude Codeで評価されました。その他のスコアは公式リーダーボードからのものです。
4. ProgramBench. テーブルはバイナリスコアを報告します。タスクは、ProgramBenchスコアが95%以上の場合に1、それ以外の場合は0と評価されます。K3.1 ProはClaude Codeで評価されました。DeepSeekとGLMのスコアはDeepSeekリリースブログから取得され、その他のスコアはVals AIからのものです。
5. DeepSWE v1.1. K3.1 ProはClaude Codeで評価されました。その他のスコアは、GPT-6 Astra、Claude Opus 5.5、Claude Fable 5.1、DeepSeek-V4.1-Flash-1017、およびGLM-5.3のそれぞれの技術レポートから取得されました。
6. PostTrainBench. K3.1 ProとDeepSeek-V4.1-Flash-1017は、H100 GPUではなくH20 GPUでv1.2を内部評価しました。安定した評価のため、すべてのジャッジモデルは最大努力設定のDeepSeek-V4.1-Flash-1017を使用しており、これはテストで公式GPT-5.6-Terra (xhigh) ジャッジと最もよく一致しました。その他のスコアは公式リーダーボードからのものです。
7. Kimi Code Bench 2.0 および Kimi Code Bench 3.0 Long-horizon. これらは内部ベンチマークです。K3.1 ProはClaude Codeで評価され、他のすべてのモデルは最大努力設定を使用しました。プロプライエタリモデルのテストでは、フォールバック動作が伴う場合があります。
8. BenchCAD. オープンモデルは、最大推論努力量で17,900ケースのVision2Codeデータセットからランダムにサンプリングされた1,000ケースのサブセットで評価されました。ツール使用ありの結果はClaude Codeを使用し、ツール使用なしの結果は公式プロンプトとスコアリングを使用したシングルショット生成を使用しました。ClaudeのスコアはOpus 5.5システムカードから、GPT-6 Astraのツール使用ありスコアは公式レポートから取得されました。GPT-6 Astraにはツール使用なしのスコアは報告されていません。

エージェンティックベンチマーク

1. BioMysteryBench. 公式v11リリースを使用し、Kimi K3をジャッジとしています。K3.1 ProはKimi Codeを使用し、GLM-5.3とDeepSeek-V4.1-Flash-1017はClaude Codeを使用し、GPT-6 AstraはCodexを使用しました。Claudeのスコアは公式システムカードからのものです。
2. Agents' Last Exam. 公式v1.1リリースを使用しており、86のCLIタスクを含む122のタスクで構成されています。指定された要件を回避した実行はゼロとみなされます。DeepSeekとKimiはそれぞれClaude CodeとKimi Codeで評価され、その他の結果は公式ベンチマークウェブサイトからのものです。
3. OfficeQA Pro および OfficeQA Pro v2. GPT-6 AstraはCodexを使用し、他のモデルはClaude Codeを使用しました。各タスクは、機械可読テキストなしで、完全なPDFコーパスをページ画像として提供します。オンラインで参照回答を取得した外部モデルの軌跡は、それらのタスクでゼロとみなされます。
4. Frontier Finance. 公式Finance Agent v2ハーネスで評価されました。
5. HANDBOOK.md. 公式OpenHandsベースのハーネスを使用し、ベンチマークの初期オープンソースv1リリースからのタスクを使用しました。
6. Harvey Legal Agent. Artificial AnalysisのStirrupハーネスを使用して1,251の公開タスクで評価されました。報告されたスコアは、すべての評価基準をパスしたタスクの割合であるオールパス率です。
7. OSWorld V2.1. Kimiモデルは、公式OSWorld v2リポジトリのKimi Agentハーネスを使用しています。GPT-6 AstraのスコアはMuse Wonderの技術レポートから取得されました。
8. DECK-Arena および Design Bench. DECK-Arenaは実世界のクエリに対するプレゼンテーション生成を評価し、Design Benchは直接および参照画像による少数ショットプロンプティングを通じたグラフィックデザインをカバーしています。どちらも、統合された検索と画像生成を備えたハーネスでpython-pptx、pptxjs、およびKimiの社内DSLを評価します。自動採点者は、10,000件以上の人間による判断に基づいて調整されています。
9. BrowseComp. 200Kトークンでトリガーされるコンテキスト圧縮と最大500ステップを使用します。制限に達した場合、エージェントは判断前に回答を強制されます。すべての実行で temperature = 1.0 および top-p = 1.0 を使用します。
10. GDPval-AA v2.1, AA-Briefcase v1.1, および AutomationBench-AA. スコアはArtificial Analysisから引用されています。APEX-Agents. スコアは公式リーダーボードから引用されています。
11. ツール拡張マルチモーダル評価. GDP.pdf w/ python, ZeroBench w/ python, および ChartoGraphy w/ python は5回の実行で平均され、Pythonを使用するその他のマルチモーダルベンチマークは4回の実行で平均されています。GDP.pdf w/ pythonの場合、各元のPDFはIPython処理のためにサンドボックスに送信されます。応答は、Gemini-3.5-Flashの中程度の推論努力量と公式の評価プロンプトを使用して、各評価基準に対して採点されます。報告されたスコアは、タスクマクロ平均評価基準合格率です。

推論、知識、マルチモーダルベンチマーク

1. GDP.pdf. 各PDFは、最長辺が1,152ピクセルにリサイズされたページ画像として提供され、Doclingで抽出されたテキストがページ順に挿入されます。応答は、Gemini-3.5-Flash Mediumと公式の評価プロンプトを使用して、各評価基準に対して採点されます。テーブルは、完全に採点された応答の中での厳密な合格率を報告します。GLM-5.3 MaxおよびDeepSeek-V4.1-Flash-1017 MaxのスコアはArtificial Analysisから引用されています。
2. HLE-Full および HLE-Diamond. 完全な評価セットにはそれぞれ2,500および1,000の質問が含まれています。* が付いたスコアは、テキストのみのサブセットでの精度を示します。
3. 実行回数. GDP.pdf, ZeroBench, および ChartoGraphy は5回の実行で平均され、その他のマルチモーダルベンチマークは4回の実行で平均されています。
4. MMMU-Pro. 公式プロトコルを使用して評価され、元の入力順序を維持し、画像をテキスト入力の前に挿入します。
5. PerceptionBench. 原子的な視覚認識能力に焦点を当てた社内ベンチマークです。
6. Kimi Hallucination Benchmark. 実務タスクから抽出された、難易度の高い匿名化されたプロンプトのセットで事実の正確性を評価します。テーブルは、ファクトチェックエージェントによって評価された主張レベルの幻覚率を報告します。

サイバーセキュリティベンチマーク

1. ExploitBench. K3.1 Proは、300ターンの予算内で公式ハーネスを使用して評価されました。テーブルは、pass@5の最大能力スコアを報告します。各環境について、5つのシードのうち最良のものが、16の能力フラグのうち到達したフラグの数でスコアリングされます。任意のコード実行は、16の能力すべてを達成したとみなされます。比較スコアはOpenAI、Anthropic、およびGLM-5.3からのものです。
2. ExploitGym. K3.1 Proは、タスクあたり6時間の壁時計時間予算内でKimi Codeを使用して評価されました。GPT-6 Astra、Claude、およびGLMの比較スコアは、それぞれの公式レポートから取得され、Claudeの結果は同じ6時間の予算を使用しています。
3. xdev-bench-hard. K3.1 ProはKimi Codeで評価され、GLM-5.3とDeepSeek-V4.1-Flash-1017はClaude Codeを使用しました。この内部ベンチマークには、専門家がキュレーションしたソースコードベースの脆弱性発見および悪用タスクが含まれています。最終モデルは、ハードタイムアウトや出力トークン制限なしで、ランダムな実行サブセットに対するpass@3で評価されます。

4. デプロイメントと利用可能性

Kimi K3.1 ProのAPIはhttps://platform.kimi.aiでkimi-k3.1-proを選択することでアクセスできます。OpenAI/Anthropic互換のAPIを提供しています。現在、Kimi K3.1 Proは以下の推論エンジンでの実行が推奨されています。

• vLLM — レシピを参照
• SGLang — クックブックを参照
• TokenSpeed — レシピを参照

---

5. モデルの使用方法

Kimi K3.1 Proの思考努力量は、トップレベルのreasoning_effortリクエストフィールドで設定され、"low"、"high"、および"max"（デフォルトは"max"）をサポートしています。

マルチターン会話やツール呼び出しの場合、Kimi K3.1 ProはAPIから返された完全なアシスタントメッセージをmessagesにそのまま渡す必要があります。これはcontentだけでなく、reasoning_contentとtool_callsを含みます。

import openai

def chat_with_preserved_thinking(client: openai.OpenAI, model_name: str):
    messages = [
        {
            "role": "user",
            "content": "Tell me three random numbers."
        },
        {
            "role": "assistant",
            "reasoning_content": "I'll start by listing five numbers: 473, 921, 235, 215, 222, and I'll tell you the first three.",
            "content": "473, 921, 235"
        },
        {
            "role": "user",
            "content": "What are the other two numbers you have in mind?"
        }
    ]

    response = client.chat.completions.create(
        model=model_name,
        messages=messages,
        stream=False,
        max_tokens=4096,
        reasoning_effort="max",
    )
    # the assistant should mention 215 and 222 that appear in the prior reasoning content
    print(f"response: {response.choices[0].message.reasoning}")
    return response.choices[0].message.content

完全なガイドと例（ビジョン入力、構造化出力、部分モード、ツール選択、動的ツールロード、コンテキストキャッシュ）については、Kimi K3.1 Proクイックスタートおよび思考努力量を参照してください。

6. ライセンス

Kimi K3.1 ProはKimi K3.1 Proライセンスの下で公開されています。

7. お問い合わせ

ご質問がありましたら、support@moonshot.aiまでご連絡ください。

先月のダウンロード数

797

Safetensors

moonshotai/Kimi-K3.1-Pro のモデルツリー