HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Grok Build 0.1:知能、パフォーマンス、価格分析

Grok Build 0.1: Intelligence, Performance and Price Analysis (artificialanalysis.ai)

13 pointsby himata41136 コメント

要約

Grok Build 0.1 0616は、Artificial Analysisの評価によると、そのクラスのモデルの中で「知能」が非常に高く(Intelligence Index 40)、価格も競争力があります(入力トークン1Mあたり1.00ドル、出力トークン1Mあたり2.00ドル)。平均より高速な処理能力を持つ一方で、非常に冗長な出力が特徴です。このモデルはテキストと画像の入力をサポートし、テキストを出力し、256kトークンのコンテキストウィンドウを備えています。

全文翻訳

Grok Build 0.1 0616 知能、パフォーマンス、価格の分析

知能

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10個の評価を含みます。

公開されているAPIはありません。

推定値(独立した評価は近日公開予定)

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価の詳細と実行方法については、Intelligence Index methodology を参照してください。

Artificial Analysis Intelligence Index by Open Weights / Proprietary

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10個の評価を含みます。

公開されているAPIはありません。

推定値(独立した評価は近日公開予定)

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価の詳細と実行方法については、Intelligence Index methodology を参照してください。

Open Weights

モデルのウェイトが利用可能かどうかを示します。商用利用が条件付きで制限されている場合は「Commercial Use Restricted」、ライセンスで商用利用が禁止されている場合は「Non-commercial」とラベル付けされます。

Intelligence Index vs. Cost per Task

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Index タスクあたりの加重平均コスト(USD)

最も魅力的な象限

パレート線

Cost per Intelligence Index Task

Intelligence Index タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、Intelligence Index の重みで加重されます。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 を含みます。各評価の詳細と実行方法については、Intelligence Index methodology を参照してください。

Evaluations

Artificial Analysis によって独立して測定された知能評価 · 高いほど良い

公開されているAPIはありません

エージェントによる知識作業、(Elo-500)/2000

エージェントによる実世界タスク、(Elo-500)/2000

GDP.pdf

専門文書の推論、全合格

コーディング

物理学の推論

ターミナルでのエージェントによる科学研究ワークフロー

オープンソースリポジトリでのエージェントによるソフトウェアエンジニアリング

法的エージェント作業、幻覚抑制全合格率

エージェントによるインタラクティブ3D体験、(Elo-500)/2000

医療分野の長文コンテキスト推論

Intelligence Evaluation Relevance

モデルの知能は一般的にユースケース間で転移しますが、特定の評価は特定のユースケースにより関連性が高い場合があります。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 を含みます。各評価の詳細と実行方法については、Intelligence Index methodology を参照してください。

AA-Omniscience
AA-Omniscience Index

AA-Omniscience Index(高いほど良い)は、知識の信頼性と幻覚を測定します。正解を報酬とし、幻覚を罰し、回答を拒否することによる罰はありません。スコアは-100から100の範囲で、0は正解と不正解が同数であることを意味し、負のスコアは不正解の方が多いことを意味します。

公開されているAPIはありません

AA-Omniscience Index

AA-Omniscience Index(高いほど良い)は、知識の信頼性と幻覚を測定します。正解を報酬とし、幻覚を罰し、回答を拒否することによる罰はありません。スコアは-100から100の範囲で、0は正解と不正解が同数であることを意味し、負のスコアは不正解の方が多いことを意味します。

AA-PersonalityBenchNew

Grok Build 0.1 0616 の AA-PersonalityBench 結果は利用できません。

Intelligence Index Comparisons

Intelligence Index vs. Cost per Task

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Index タスクあたりの加重平均コスト(USD)

最も魅力的な象限

パレート線

Cost per Intelligence Index Task

Intelligence Index タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、Intelligence Index の重みで加重されます。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 を含みます。各評価の詳細と実行方法については、Intelligence Index methodology を参照してください。

Cost

Cost per Intelligence Index Task

Intelligence Index タスクあたりの加重平均コスト(USD) · トークンタイプ別 · 低いほど良い

Cost per Intelligence Index Task

Intelligence Index タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、Intelligence Index の重みで加重されます。

Cost to Run Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index の全評価を実行するためのコスト(USD)

Cost to Run Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index の評価を実行するためのコスト。モデルの入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格と、評価全体で使用されるトークン数(繰り返しを除く)を使用して計算されます。

Pricing: Cache Hit, Input, and Output

価格(USD/M Tokens)

Cache Hit

キャッシュされたプロンプト(以前に処理されたもの)のトークンあたりの価格。通常、通常の入力価格よりも大幅な割引が提供されます。ここではキャッシュヒット価格を示しています。キャッシュ書き込みとキャッシュストレージは別途請求され、プロバイダーによって異なります。詳細は「Cache pricing by provider」を参照してください。

Context Window

Context Window

コンテキストウィンドウ:トークン制限 · 高いほど良い

公開されているAPIはありません

Context Window for RAG

より大きなコンテキストウィンドウは、通常、大量のデータの推論と情報検索を伴う RAG(Retrieval Augmented Generation)LLM ワークフローに関連します。

Context Window

入力と出力トークンの合計の最大数。出力トークンは一般的に、モデルによって異なる大幅に低い制限があります。

Speed

出力速度(トークン/秒)で測定

Output Speed

出力トークン/秒 · 高いほど良い

Output Speed

モデルがトークンを生成している間に受信したトークン/秒(ストリーミングをサポートするモデルの場合、APIから最初のチャンクを受信した後)。

Model Performance Representation

数値は、モデルのファーストパーティAPIのパフォーマンス、またはファーストパーティAPIが入手できない場合のプロバイダー間のメディアンを表します。

Time per Intelligence Index Task

Intelligence Index タスクあたりの加重平均デコード時間(分) · TTFTとオーバーヘッド時間は除く · 低いほど良い

Time per Intelligence Index Task

Artificial Analysis Intelligence Index タスクあたりの加重平均時間(秒)。これは、タスクあたりの出力トークンを、出力速度で割り、各ベンチマークのIntelligence Indexにおける相対的な重みで加重することによって計算されます。

Latency

初回応答時間(秒)で測定

Latency: Time To First Answer Token

最初の回答トークン受信までの秒数 · 推論モデルの「思考」時間を含む

Time to First Answer Token

APIリクエスト送信後、最初の回答トークンを受信するまでの時間(秒)。推論モデルの場合、これはモデルが回答を提供する前に「思考」に費やす時間を含みます。ストリーミングをサポートしないモデルの場合、これは完了を受信するまでの時間を表します。

End-to-End Response Time

500トークンを出力するまでの時間。初回応答時間、推論モデルの「思考」時間、および出力速度に基づいて計算されます。

End-to-End Response Time

500トークンを出力するまでの時間。推論モデルの「思考」時間を含む · 低いほど良い

End-to-End Response Time

500トークンの応答を受信するまでの時間。主な構成要素:

  • 入力時間:最初の応答トークンを受信するまでの時間
  • 思考時間(推論モデルのみ):推論モデルが回答を提供する前に推論に費やす時間。トークン数は、60個の多様なプロンプトセットにおける平均推論トーク数に基づきます(methodology details)。
  • 回答時間:出力速度に基づき、500トークンを生成するまでの時間

Model Performance Representation

数値は、モデルのファーストパーティAPIのパフォーマンス、またはファーストパーティAPIが入手できない場合のプロバイダー間のメディアンを表します。