HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

GLM-5.3 人工分析ベンチマーク

GLM-5.3 Artificial Analysis Benchmarks (artificialanalysis.ai)

105 pointsby apitman43 コメント

要約

GLM-5.3 (max) は、人工分析のインテリジェンス指数で8位/181モデル中という高い評価を得ており、同価格帯のモデルと比較しても競争力のある価格設定です。1Mトークンのコンテキストウィンドウをサポートし、テキスト入出力に対応しています。ただし、速度に関するデータは提供されていません。

全文翻訳

GLM-5.3 (Max) 知能、パフォーマンス、価格分析

知能

人工分析 知能インデックス

人工分析 知能インデックス v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10個の評価を取り入れています。

公開されているAPIはありません。

人工分析 知能インデックス

人工分析 知能インデックス v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価の詳細と実行方法については、知能インデックスの方法論を参照してください。

オープンウェイト / プロプライエタリ別 人工分析 知能インデックス

人工分析 知能インデックス v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10個の評価を取り入れています。

公開されているAPIはありません。

人工分析 知能インデックス

人工分析 知能インデックス v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価の詳細と実行方法については、知能インデックスの方法論を参照してください。

オープンウェイト

モデルのウェイトが利用可能かどうかを示します。商用利用が条件付きで制限されているモデルは「商用利用制限あり」、ライセンスで商用利用が禁止されているモデルは「非商用」と表示されます。

知能インデックス vs. タスクあたりのコスト

人工分析 知能インデックス · 人工分析 知能インデックスあたりの加重平均コスト(USD)

最も魅力的な象限

パレート線

タスクあたりの知能コスト

知能インデックスのタスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、知能インデックスの重みで加重されます。

人工分析 知能インデックス

人工分析 知能インデックス v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価の詳細と実行方法については、知能インデックスの方法論を参照してください。

能力インデックス

特定の能力や業界におけるモデルのパフォーマンスを測定します。

公開されているAPIはありません。

評価

人工分析によって個別に測定された知能評価 · 高いほど良い

公開されているAPIはありません。

エージェントによる知識労働、(Elo-500)/2000

エージェントによる実世界タスク、(Elo-500)/2000

GDP.pdf

専門文書の推論、全合格

コーディング

物理学の推論

ターミナルでのエージェントによる科学研究ワークフロー

オープンソースリポジトリでのエージェントによるソフトウェアエンジニアリング

エージェントによる法的業務、幻覚抑制全合格率

エージェントによるインタラクティブ3D体験、(Elo-500)/2000

医療分野の長文コンテキスト推論

知能評価の関連性

モデルの知能は一般的にユースケース間で転移しますが、特定の評価は特定のユースケースにより関連性が高い場合があります。

人工分析 知能インデックス

人工分析 知能インデックス v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価の詳細と実行方法については、知能インデックスの方法論を参照してください。

AA-Briefcase v1.1 更新
AA-Briefcase Elo

AA-Briefcase Elo は、人工分析によって開発されたエージェント型知識労働ベンチマークです。AA-Briefcase Elo は、ルーブリック合格率、分析品質 Elo、プレゼンテーション Elo を集計した複合指標です · 高いほど良い

公開されているAPIはありません。

AA-Briefcase Elo

AA-Briefcase Elo は、分析品質 Elo、プレゼンテーション Elo、ルーブリック合格率を集計した複合指標であり、ルーブリックのパフォーマンスは合成的な直接対決マッチを通じて Elo に変換されます。Elo と 95% 信頼区間は 0 にクランプされます。

AA-Omniscience
AA-Omniscience インデックス

AA-Omniscience インデックス(高いほど良い)は、知識の信頼性と幻覚を測定します。正しい回答を評価し、幻覚を罰し、回答を拒否しても罰はありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が多いことを意味します。

公開されているAPIはありません。

AA-Omniscience インデックス

AA-Omniscience インデックス(高いほど良い)は、知識の信頼性と幻覚を測定します。正しい回答を評価し、幻覚を罰し、回答を拒否しても罰はありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が多いことを意味します。

AA-PersonalityBench 新規
パーソナリティインデックス

各軸は8つのパーソナリティインデックスの1つです。これは、各特性の Elo zスコアの平均であり、ベンチマークで評価されたすべてのモデル間で 1 から 100 のパーセンタイルランク付けがされています。

開放性インデックス

人工分析 開放性インデックス: スコア

開放性インデックスは、0から100の正規化されたスケールでモデルの開放性を評価します(高いほど開放的)。

知能インデックスの比較

知能インデックス vs. タスクあたりのコスト

人工分析 知能インデックス · 人工分析 知能インデックスあたりの加重平均コスト(USD)

最も魅力的な象限

パレート線

タスクあたりの知能コスト

知能インデックスのタスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、知能インデックスの重みで加重されます。

人工分析 知能インデックス

人工分析 知能インデックス v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価の詳細と実行方法については、知能インデックスの方法論を参照してください。

トークン使用量

知能インデックスのタスクあたりの出力トークン数

人工分析 知能インデックスのタスクあたりに平均して使用される出力トークン数

公開されているAPIはありません。

知能インデックスのタスクあたりの出力トークン数

知能インデックスのタスクごとに必要なトークン数。これは、評価あたりの出力トークン数に知能インデックスにおける各ベンチマークの相対的な重みを掛け、タスク数(繰り返しを除く)で割って計算されます。

コスト

知能インデックスのタスクあたりのコスト

知能インデックスのタスクあたりの加重平均コスト(USD) · トークンタイプ別セグメント · 低いほど良い

知能インデックスのタスクあたりのコスト

知能インデックスのタスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、知能インデックスの重みで加重されます。

人工分析 知能インデックスの実行コスト

人工分析 知能インデックスの全評価を実行するためのコスト(USD)

人工分析 知能インデックスの実行コスト

人工分析 知能インデックスの評価を実行するためのコスト。モデルの入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格と、評価全体で使用されるトークン数(繰り返しを除く)を使用して計算されます。

価格設定: キャッシュヒット、入力、および出力

価格(USD/M トークン)

キャッシュヒット

キャッシュされたプロンプト(以前に処理されたもの)あたりのトークン価格。通常、通常の入力価格と比較して大幅な割引が提供されます。USD/百万トークンで表示されます。ここに表示される値はキャッシュヒット価格です。キャッシュ書き込みとキャッシュストレージは別途請求され、プロバイダーによって異なります。「プロバイダー別のキャッシュ価格設定」を参照してください。

コンテキストウィンドウ

コンテキストウィンドウ

コンテキストウィンドウ: トークン制限 · 高いほど良い

公開されているAPIはありません。

RAG(Retrieval Augmented Generation)のためのコンテキストウィンドウ

より大きなコンテキストウィンドウは、大量のデータの推論と情報検索を通常伴うRAG(Retrieval Augmented Generation)LLMワークフローに関連します。

コンテキストウィンドウ

入力と出力トークンの合計の最大数。出力トークンは通常、モデルによって大幅に低い制限があります。

速度

出力速度(トークン/秒)で測定

出力速度

出力トークン/秒 · 高いほど良い

出力速度

モデルがトークンを生成している間に受信するトークン数(つまり、ストリーミングをサポートするモデルの場合、APIから最初のチャンクを受信した後)。

モデルパフォーマンスの表現

数値は、モデルのファーストパーティAPIのパフォーマンス、またはファーストパーティAPIが利用できない場合のプロバイダー間のメディアンを表します。

知能インデックスのタスクあたりの時間

加重平均デコード時間(分)/ 知能インデックスのタスク · TTFT(Time To First Token)とオーバーヘッド時間は除く · 低いほど良い

知能インデックスのタスクあたりの時間

人工分析 知能インデックスのタスクあたりの加重平均時間(秒)。これは、タスクあたりの出力トークンを出力速度で割り、知能インデックスにおける各ベンチマークの相対的な重みで加重して計算されます。

レイテンシ

最初のトークンまでの時間(秒)で測定

レイテンシ: 最初の回答トークンまでの時間

受信した最初の回答トークンまでの秒数 · 推論モデルの「思考」時間を含む

最初の回答トークンまでの時間

APIリクエスト送信後、受信した最初の回答トークンまでの時間(秒)。推論モデルの場合、これは回答を提供する前にモデルが「思考」する時間を含みます。ストリーミングをサポートしないモデルの場合、これは完了を受信するまでの時間を表します。

エンドツーエンド応答時間

500トークンを出力するまでの時間(秒)、最初のトークンまでの時間、推論モデルの「思考」時間、および出力速度に基づいて計算されます。

エンドツーエンド応答時間

500トークンを出力するまでの時間(秒)、推論モデルの「思考」時間を含む · 低いほど良い

エンドツーエンド応答時間

500トークンの応答を受信するまでの時間(秒)。主な構成要素:

  • 入力時間: 最初の応答トークンを受信するまでの時間
  • 思考時間(推論モデルのみ): 推論モデルが回答を提供する前に推論するためにトークンを出力するのに費やす時間。トークン数は、60個の多様なプロンプトにわたる平均推論トーク数に基づきます(方法論の詳細)。
  • 回答時間: 出力速度に基づき、500トークンを生成するまでの時間

モデルパフォーマンスの表現

数値は、モデルのファーストパーティAPIのパフォーマンス、またはファーストパーティAPIが利用できない場合のプロバイダー間のメディアンを表します。

モデルサイズ(オープンウェイトモデルのみ)

モデルサイズ: 総パラメータ数とアクティブパラメータ数

推論中にアクティブなパラメータ数と総パラメータ数の比較(十億単位)

総パラメータ数

モデルの学習可能な重みとバイアスの総数(十億単位)。これらのパラメータはトレーニング中に学習され、モデルの応答を処理および生成する能力を決定します。

推論時のアクティブパラメータ数

各推論フォワードパス中に実際に実行されるパラメータ数(十億単位)。Mixture of Experts(MoE)モデルの場合、ルーティングメカニズムがトークンごとに専門家のサブセットを選択するため、総パラメータ数よりもアクティブなパラメータ数が少なくなります。密モデルはすべてのパラメータを使用するため、アクティブと総数は同じです。