HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Kimi K3と、ペリカンベンチマークからまだ学べること

Kimi K3, and what we can still learn from the pelican benchmark (simonwillison.net)

377 pointsby droidjj202 コメント

要約

この記事は、中国のAIラボであるMoonshot AIが発表した最新の大規模言語モデル「Kimi K3」について解説しています。2.8兆パラメータを持つKimi K3は、他の主要モデルと比較して性能や価格、トークン効率の面で評価されており、特にペリカンベンチマークを用いたテストとその意義、限界について考察しています。

全文翻訳

Kimi K3と、ペリカンベンチマークからまだ学べること

2026年7月16日

中国のAIラボであるMoonshot AIは、本日午前、「これまでのところ最も高性能なモデルで、2.8兆のパラメータを持つ」と説明するKimi K3を発表しました。現在、ウェブサイトとAPI経由で利用可能ですが、オープンウェイト版のリリースは「2026年7月27日まで」に約束されています。

Moonshotはこれを初の「オープン3Tクラスモデル」(おそらく2.8兆を3兆に丸めているのでしょう)と呼んでおり、DeepSeekの1.6T v4 Proから王座を奪いました。彼らの自己申告ベンチマークでは、K3はClaude Opus 4.8 maxやGPT-5.5 highをほとんど上回っていますが、Claude Fable 5やGPT-5.6 Solには劣っています。

モデルに関するArtificial Analysisレポートからのいくつかのハイライトです。

  • 「当社のプライベートな長期間知識作業評価において、Kimi K3は総合Eloスコア1547を達成しました。これはKimi K2.6から732ポイント向上し、Claude Fable 5に次ぐスコアです。」
  • 「タスクあたりのコスト(0.94ドル)はGPT-5.6 Sol(1.04ドル)に近く、Opus 4.8(1.80ドル)の約半額ですが、オープンウェイトの競合モデルよりは高価です。」
  • 「Artificial Analysis Intelligence IndexにおけるKimi K3のトークン使用量は大幅に減少し、K2.6よりも出力トークンを21%少なく使用しました。」

このモデルは、Arena.aiのFrontend Code arenaでもトップモデルとなり、Claude Fable 5さえも上回りました。

新しいモデルは、その価格設定で注目に値します。入力トークン100万あたり3ドル、出力トークン100万あたり15ドルで、これはAnthropicのClaude Sonnetシリーズと同レベルであり、中国のAIラボがこれまでにリリースした中で最も高価なモデルとなっています。これは、Kimi K2.6のような以前のモデル(0.95ドル/4ドル)からの大幅な値上げです。また、2.8兆パラメータは、1兆パラメータだったモデルの2倍以上のサイズです。

しかし、ペリカンはどう関係するのか?

私はMoonshotのAPIキーをサインアップせずに済むように、OpenRouterとllm-openrouterプラグインを使用して、自転車に乗るペリカンのSVGを生成しました。

llm -m openrouter/moonshotai/kimi-k3 'Generate an SVG of a pelican riding a bicycle'

こちらがトランスクリプトです。見た目は以下の通りです。

[画像: 自転車に乗るペリカンのSVG画像]

このペリカンは、95入力トークンと16,658出力トークン(13,241は推論トークン)を消費し、合計コストは25セントでした!

K3は画像入力を受け付けるため、上記のレンダリングされたSVGに対して(私のaltテキストプロンプトを使用して)実行し、結果を得ました(0.6セントで)。

赤いスカーフを巻いた白いペリカンが、白い破線のある灰色の道路を赤い自転車に乗っている様子を描いたカートゥーンイラスト。ペリカンは大きなオレンジ色のくちばしと水かきのあるオレンジ色の足でペダルを漕いでおり、白いモーションラインが後ろに伸びている。背景には白い雲のある明るい青い空、黄色い太陽、飛んでいる2羽の小さな黒い鳥、そして前景には小さな白い花が咲いた緑の草が見える。

ペリカンから何を学べるか?

私の「自転車に乗るペリカンのSVGを生成する」テストは、今や21ヶ月前になります。これは決して特に優れたベンチマークではありませんでした。当初は、これらのモデルを比較することがどれほど不条理に難しいかについてのジョークとして始まりましたが、最初の1年間は、モデルが実際にどれほど優れているかとの驚くべき相関関係があることが判明しました。

その関連性は、今ではほとんど失われています。GPT-5.6とClaude Fable 5のペリカンは、GLM-5.2に追い越されています。GLMは大好きですが、あれがFableクラスのモデルだとは思いません。

(ラボがベンチマークのためにトレーニングしているとはまだ確信が持てません。もしそうなら、もっと良い結果を期待するでしょう。Geminiが動物と乗り物のあらゆる組み合わせに最適化されている可能性はあります!)

ペリカンの最大の限界は、今日のモデルにとって最も重要なこと、つまりエージェント的なツール呼び出しと、会話が長くなるにつれてツールを確実に操作する能力に全く触れていないことです。

ですから、モデルを比較するためにペリカンを使わないでください!

とはいえ、自分でベンチマークを実行することから、かなりの価値を得ています。

まず、モデルを実際に試すための強制的な手段となります。ペリカンを見せると言うことは、私がそのモデルでプロンプトを実行できたことを意味します。モデルに公式APIがあればそれを使用し、オープンウェイト(そして128GB M5 MacBook Proに収まるほど小さい)であれば、通常はllama.cppやLM Studio、Ollamaなどを介して自分のマシンで実行しようとします。新しいAPIキーなしで公式APIへのプロキシを提供してくれることが多いので、OpenRouterを頻繁に使用します。

私のペリカンのほとんどは、私のLLM CLIツールを使用して生成されており、これにより、最新モデルが(プラグインのいずれかを通じて)サポートされていることを確認するよう促されます。

しかし、より重要なのは、「自転車に乗るペリカンのSVGを生成する」という単一のプロンプトを実行する行為でさえ、興味深いモデルの特性を明らかにできることです。

今日のKimi K3の結果を考えてみてください。

  1. 現在、推論のレベルは「max」の1つしかありません。そしてそれは明らかです。モデルは3,417トークンの応答を出力するために13,241の推論トークンを消費しました。これは高価です。ペリカンは25セントかかりました!
  2. 「自転車に乗るペリカンのSVGを生成する」というプロンプトは、どのように95入力トークンになるのでしょうか?OpenAIのトークナイザーは10トークンとカウントし、AnthropicのトークナイザーはOpus 4.6では10、Opus 4.7では30、Sonnet 5/Fable 5では25とカウントします。「hi」とプロンプトしたところ、Kimi K3では86トークンとカウントされ、85トークンの隠されたシステムプロンプトが存在する可能性が示唆されます。しかし、それは漏洩を拒否しました。
  3. ビジョン機能はうまく機能します。生成されたaltテキストは非常に優れています。

K3は現在、思考レベルが1つしかありませんが、私は最近、同じペリカンプロンプトを異なる思考レベルで実行することから多くの価値を得ており、それらがどのような影響を与えるかを素早く把握しています。例えば、これはGPT-5.6モデルファミリーの私のマトリックスです。

本当に、ペリカンテストから私が得る主なものは以下の通りです。

  1. モデルにプロンプトを送信するための「ハローワールド」演習です。
  2. 簡単なタスクの概算コストと推論見積もりです。
  3. モデルが有効なSVGを出力でき、幾何学と空間認識の基本的なアイデアを持っていることの確認です。これは、私のラップトップで実行される小規模モデルにとって、より大きな意味を持ちます。
  4. 同じモデルファミリーのリリース間でペリカンを比較するのは、依然として興味深いです。K3のペリカンは、Kimi 2.5からの顕著な改善です。
  5. 私がそれを試したことを示す共有可能なものです。さらに、ペリカンを含むコメントは、現時点ではHacker Newsの伝統のようなもので、私が遅れるたびにどこにあるのかとコメントが寄せられます!