HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

MiMo-v2.6-Pro: 知能、パフォーマンス、価格分析

MiMo-v2.6-Pro: Intelligence, Performance and Price Analysis (artificialanalysis.ai)

133 pointsby theanonymousone60 コメント

要約

MiMo-v2.6-Proは、オープンウェイトモデルの中で知能と価格のバランスに優れたモデルです。テキスト、画像、音声、ビデオ入力をサポートし、1Mトークンのコンテキストウィンドウを持ちます。知能指数では11446モデル中1位、速度でも11412モデル中12位と高いパフォーマンスを示しますが、やや冗長な出力傾向があります。価格は比較的高めですが、その性能を考慮すると妥当な範囲と評価されています。

全文翻訳

MiMo-V2.6-Pro 知能、パフォーマンス、価格分析

知能

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10の評価項目を組み込んでいます。

公開されているAPIはありません。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価項目の詳細と実行方法については、Intelligence Index methodology を参照してください。

Open Weights / Proprietary 別 Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10の評価項目を組み込んでいます。

公開されているAPIはありません。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価項目の詳細と実行方法については、Intelligence Index methodology を参照してください。

Open Weights

モデルのウェイトが利用可能かどうかを示します。商用利用が条件付きで制限されている場合は「Commercial Use Restricted」、ライセンスで商用利用が禁止されている場合は「Non-commercial」と表示されます。

Intelligence Index vs. Cost per Task

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Index タスクあたりの加重平均コスト(USD)

最も魅力的な象限

パレート線

Cost per Intelligence Index Task

Intelligence Index タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、Intelligence Index の重みで加重されます。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価項目の詳細と実行方法については、Intelligence Index methodology を参照してください。

Capability Indexes

特定の能力や業界におけるモデルのパフォーマンスを測定します。

公開されているAPIはありません。

Evaluations

Artificial Analysis によって個別に測定された知能評価 · 高いほど良い

公開されているAPIはありません。

Agentic knowledge work, (Elo-500)/2000

Agentic real-world work tasks, (Elo-500)/2000

GDP.pdf

Professional document reasoning, All-pass

Coding

Physics reasoning

Agentic scientific research workflows in a terminal

Agentic software engineering in open-source repositories

Legal agentic work, Hallucination-Gated All-Pass Rate

Agentic interactive 3D experiences, (Elo-500)/2000

Medical long context reasoning

Intelligence Evaluation Relevance

モデルの知能は一般的にユースケース間で転移しますが、特定の評価項目は特定のユースケースにより関連性が高い場合があります。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価項目の詳細と実行方法については、Intelligence Index methodology を参照してください。

AA-Briefcase v1.1Updated
AA-Briefcase Elo

AA-Briefcase v1.1 は、Artificial Analysis によって開発されたエージェント型知識作業ベンチマークです。AA-Briefcase Elo は、ルーブリック合格率、分析品質 Elo、プレゼンテーション Elo を集計した複合指標です · 高いほど良い

公開されているAPIはありません。

AA-Briefcase Elo

AA-Briefcase Elo は、分析品質 Elo、プレゼンテーション Elo、ルーブリック合格率を集計した複合指標であり、ルーブリックパフォーマンスは合成的な直接対決マッチを通じて Elo に変換されます。Elo と 95% 信頼区間は 0 にクランプされます。

AA-Omniscience
AA-Omniscience Index

AA-Omniscience Index(高いほど良い)は、知識の信頼性とハルシネーションを測定します。正解を報酬とし、ハルシネーションをペナルティとし、回答拒否にはペナルティがありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が多いことを意味します。

公開されているAPIはありません。

AA-Omniscience Index

AA-Omniscience Index(高いほど良い)は、知識の信頼性とハルシネーションを測定します。正解を報酬とし、ハルシネーションをペナルティとし、回答拒否にはペナルティがありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が多いことを意味します。

AA-PersonalityBenchNew
Personality Indexes

各軸は8つのパーソナリティインデックスのいずれかです:評価された全モデルにおける Elo zスコアの平均、1から100までのパーセンタイルランク

Openness Index

Artificial Analysis Openness Index: Score

Openness Index は、モデルのオープンさを 0 から 100 の正規化されたスケール(高いほどオープン)で評価します。

Intelligence Index Comparisons

Intelligence Index vs. Cost per Task

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Index タスクあたりの加重平均コスト(USD)

最も魅力的な象限

パレート線

Cost per Intelligence Index Task

Intelligence Index タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、Intelligence Index の重みで加重されます。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価項目の詳細と実行方法については、Intelligence Index methodology を参照してください。

Token Use

Output Tokens per Intelligence Index Task

Artificial Analysis Intelligence Index のタスク1回あたりの加重平均出力トークン数

公開されているAPIはありません。

Output Tokens per Intelligence Index Task

Intelligence Index タスクあたりの必要トークン数。これは、評価ごとの出力トークン数に Intelligence Index における各ベンチマークの相対的な重みを掛け、タスク数(繰り返しを除く)で割って計算されます。

Cost

Cost per Intelligence Index Task

Intelligence Index タスクあたりの加重平均コスト(USD) · トークンタイプ別 · 低いほど良い

Cost per Intelligence Index Task

Intelligence Index タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、Intelligence Index の重みで加重されます。

Cost to Run Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index の全評価を実行するためのコスト(USD)

Cost to Run Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index の評価を実行するためのコスト。モデルの入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格と、評価全体で使用されるトークン数(繰り返しを除く)を使用して計算されます。

Pricing: Cache Hit, Input, and Output

価格(USD per M Tokens)

Cache Hit

キャッシュされたプロンプト(以前に処理されたもの)のトークンあたりの価格。通常、通常の入力価格と比較して大幅な割引が提供されます。100万トークンあたりのUSDで表示されます。ここに表示される値はキャッシュヒット価格です。キャッシュ書き込みおよびキャッシュストレージは別途請求され、プロバイダーによって異なります。「Provider別のキャッシュ価格」を参照してください。

Context Window

Context Window

コンテキストウィンドウ:トークン制限 · 高いほど良い

公開されているAPIはありません。

Context Window for RAG

より大きなコンテキストウィンドウは、通常、大量のデータに対する推論と情報検索を伴う RAG(Retrieval Augmented Generation)LLM ワークフローに関連します。

Context Window

入力と出力トークンの合計の最大数。出力トークンは通常、モデルによって異なる、はるかに低い制限があります。

Speed

出力速度(トークン/秒)で測定

Output Speed

出力トークン/秒 · 高いほど良い

Output Speed

モデルがトークンを生成している間に受信されるトークン/秒(つまり、ストリーミングをサポートするモデルの場合、APIから最初のチャンクを受信した後)。

Model Performance Representation

数値は、モデルのファーストパーティAPIのパフォーマンス、またはファーストパーティAPIが入手できない場合のプロバイダー間のメディアンを表します。

Time per Intelligence Index Task

Intelligence Index タスクあたりの加重平均デコード時間(分) · TTFTとオーバーヘッド時間は除く · 低いほど良い

Time per Intelligence Index Task

Artificial Analysis Intelligence Index タスクあたりの加重平均時間(秒)。これは、タスクあたりの出力トークンを出力速度で割り、Intelligence Index における各ベンチマークの相対的な重みで加重して計算されます。

Latency

最初のトークンまでの時間で測定

Latency: Time To First Answer Token

受信した最初の回答トークンまでの秒数 · 推論モデルの「思考」時間を含む

Time to First Answer Token

APIリクエスト送信後、受信した最初の回答トークンまでの時間(秒)。推論モデルの場合、これはモデルが回答を提供する前の「思考」時間を含みます。ストリーミングをサポートしないモデルの場合、これは完了を受信するまでの時間を表します。

End-to-End Response Time

500トークンを出力するまでの秒数。最初のトークンまでの時間、推論モデルの「思考」時間、および出力速度に基づいて計算されます。

End-to-End Response Time

500トークンを出力するまでの秒数。推論モデルの「思考」時間を含む · 低いほど良い

End-to-End Response Time

500トークンの応答を受信するまでの秒数。主な構成要素:

  • 入力時間:最初の応答トークンを受信するまでの時間
  • 思考時間(推論モデルのみ):推論モデルが回答を提供する前にトークンを出力して推論に費やす時間。トークン数は、60個の多様なプロンプトセットにわたる平均推論トークンに基づいています(methodology details)。
  • 回答時間:出力速度に基づいた500トークンを生成するまでの時間。

Model Performance Representation

数値は、モデルのファーストパーティAPIのパフォーマンス、またはファーストパーティAPIが入手できない場合のプロバイダー間のメディアンを表します。

Model Size (Open Weights Models Only)

Model Size: Total and Active Parameters

総パラメータ数と推論中にアクティブなパラメータ数(十億単位)の比較。

Total Parameters

モデルの学習可能な重みとバイアスの総数(十億単位)。これらのパラメータはトレーニング中に学習され、モデルの応答を処理および生成する能力を決定します。

Active Parameters at Inference Time

各推論フォワードパス中に実際に実行されるパラメータ数(十億単位)。Mixture of Experts(MoE)モデルの場合、ルーティングメカニズムがトークンごとにエキスパートのサブセットを選択するため、総パラメータ数よりもアクティブなパラメータ数が少なくなります。密なモデルはすべてのパラメータを使用するため、アクティブとトータルの数は同じです。