HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

ARC-AGI リーダーボード

ARC-AGI Leaderboard (arcprize.org)

164 pointsby rzk127 コメント

要約

ARC-AGI リーダーボードは、AIエージェントが新規のインタラクティブ環境にリアルタイムで適応する能力を評価するARC-AGI-3の進捗を追跡します。このリーダーボードは、タスクあたりのコストとパフォーマンスの関係を可視化し、効率性を重視しています。データは、推論システム、ベースLLM、Kaggleシステムなどの異なるアプローチに基づいた結果を示しています。

全文翻訳

ARC-AGI-3 リーダーボード

ARC-AGI-1

ARC-AGI-2

ARC-AGI-3

著者:

すべての著者

モデルタイプ:

すべてのタイプ

モデル:

すべてのモデル

X軸:

リーダーボードの理解

ARC-AGIは、受動的な流体知能を測定した初期バージョン(ARC-AGI-1および2)から進化し、ARC-AGI-3ではAIエージェントがリアルタイムで新しいインタラクティブな環境に適応する能力が試されます。

上記の散布図は、コスト・パー・タスクとパフォーマンスの間の重要な関係を視覚化しており、効率性の主要な指標です。真の知能とは、問題を解決するだけでなく、最小限のリソースで効率的に解決することです。

データの解釈
  • 推論システム トレンドライン ソリューションは、異なる推論レベルでの同じモデルを表す接続された点を示しています。これらのトレンドラインは、推論時間の増加がパフォーマンスにどのように影響するかを示しており、通常、思考時間が増加するにつれて漸近的な振る舞いを示します。
  • ベース LLM ソリューションは、拡張された推論能力なしに、ARC-AGI-1およびARC-AGI-2における最新の汎用言語モデルからのシングルショット推論を表します。ARC-AGI-3の結果は、標準ハーネス(環境全体でモデル選択されたノートを転送する)またはプロバイダーアダプターハーネス(推論状態を保持し、より長い会話をコンパクトにしてモデルが以前の作業を再利用できるようにする)のいずれかを使用しています。
  • Kaggle システム ソリューションは、厳格なコンペティション固有のコンピューティング制約下で実行される、ARCプライズ Kaggle コンペティションからのコンペティショングレードの提出物を示しています。これらは、ARCプライズのために特別に設計された、目的に特化した効率的な方法を表しています。
検証ポリシー

詳細については、テストポリシーをご覧ください。

リーダーボードの内訳
注意事項

実行に10,000ドル未満しかかからなかったシステムのみが表示されます。

完全なテスト出力を生成できなかったモデルについては、残りのタスクは誤りとマークされました。

「プレビュー」とマークされた結果は非公式であり、不完全なテストに基づいている可能性があります。

1 ARC-AGI-2 スコアは、部分的なテスト結果と o1-pro 価格に基づいた推定値です。

2 プロビジョナル コスト見積もりは、Gemini 3 Pro の価格に基づいています。モデルはリリース後に再テストされる予定です。