HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Anthropic: The Conceptual Reasoning Indexの紹介

Anthropic: Introducing The Conceptual Reasoning Index (alignment.anthropic.com)

16 pointsby optimalsolver13 コメント

要約

Anthropicは、AIのリスク管理に不可欠な、AIの概念的推論能力を評価するための新しいベンチマークスイート「Conceptual Reasoning Index (CRI)」を発表しました。このスイートは、哲学やAIの未来学などの分野で用いられる、実証的フィードバックループが少なく、論証に依存するタスクを評価するために設計されており、LMCA、ACCoRD、DTBenchの3つのベンチマークから構成されます。

全文翻訳

Conceptual Reasoning Index の導入

Emery Cooper1, Caspar Oesterheld1, Chi Nguyen1, Alex Kastner1,
Joe Benton2, Ethan Perez2

2026年8月12日

1Redwood Research; 2Anthropic

tl;dr

AIのリスクを管理する上での中心的な期待は、AIが私たちの状況を理解し、将来を計画し、リスク軽減策を開発するのを助けてくれることです。この目的のためにAIが実行する必要のある多くのタスクは、実用的な経験的フィードバックループを欠いており、モデルが哲学、AIの未来学、および類似の分野で使用される議論の種類に従事することを必要とします。これらの能力を評価するために、私たちは3つの概念的推論ベンチマークのスイートを開発しました。主要な概念データセットであるLMCAへのアクセスは、このフォームからリクエストできます。

私たちはこれらのベンチマークを、conceptualreasoning.aiで入手可能なConceptual Reasoning Index (CRI)に集約しました。そこでは、私たちの方法論に関する詳細も確認できます。新しいモデルとベンチマークがリリースされるにつれて、ウェブサイトを最新の状態に保ちます。

この研究はAnthropicとの協力によって行われました。


背景

モデルが人間の専門家のレベルでAIリスクを軽減する作業を実行できるようになると、この分野におけるAI(支援付き)の出力は、人間の非支援出力を凌駕する可能性があります。これは、AIリスクに時間内に対応できるかどうかの主要な決定要因は、高リスク能力と比較して、この作業を自動化または向上させることができる時期である可能性を示唆しています。これに影響を与える一つの方法は、AIの統治とアライメントの方法、およびAIを巻き込んだ壊滅的な協力失敗を回避する方法についての推論など、モデルの関連スキルを選択的に向上させることかもしれません。

現在のAIトレーニングは、豊富なデータとモデルのパフォーマンスに関する信頼性の高いフィードバックに大きく依存しています。そのため、モデルは経験的または数学的に検証できないタスクでは通常劣っています。1 残念ながら、高度なAIからのリスクを軽減するには、これらのタスクの多くが含まれます。

  • AIの安全性に関する多くの作業は、人間よりも一般的に有能なAIについて推論することを含みます。これには明確な参照クラスがなく、モデリングする明確な方法もありません。
  • 私たちはいくつかのことを最初から正しく行う必要があるかもしれません。例えば、間違いがAGIの乗っ取りやAI支援のクーデターにつながった場合、手遅れになるまで気づかないかもしれません。同様に、多くの決定(例:どの研究アジェンダを優先するか、どのガバナンス介入を追求するか)は長期間にわたって展開されるため、経験的フィードバックが役立つほど早く到着しない可能性があります。
  • 最後に、AIが持つべき価値観など、いくつかの重要な問題は、根本的な真実を完全に欠いている可能性があります(しかし、私たちはこれらの問題について議論することで進歩できると考えています)。

これらの特性を考慮すると、高度なAIからのリスクを軽減する取り組みは、経験的証拠が限られている、(実質的に)検証可能な答えがない、したがって議論に大きく依存しなければならない質問について推論する能力が向上することから特に恩恵を受ける可能性があります。私たちはこれを概念的推論と呼んでいます。この能力を向上させるには、それを測定できる必要があるため、私たちは3つのベンチマークを構築しました:LMCA、ACCoRD、およびDTBench capabilities。私たちはまた、モデルの全体的な概念的推論能力の感覚を与えるために、これらのベンチマークの集計であるConceptual Reasoning Index (CRI)を構築しました。


私たちのベンチマーク

LMCA

LMCA(Language Model Conceptual Argumentation)は、意思決定理論、哲学、高度なAIからのリスクなど、多様なトピックに関するキュレーションされ、専門家によって評価された概念的議論のデータセットです。議論に焦点を当てることで、概念的な質問の最終的な答えを検証する難しさを回避します。

このデータセットには、560の立場テキストと、それらの立場テキストに対する1,461の議論が含まれています。議論のほぼすべて2は、概念研究者のEmery Cooperによって評価され、一部は少なくとも他の研究者によって独立して評価され、合計2,140の評価が行われました。私たちは、モデルの評価を私たちの評価と比較することで、立場テキストに対する議論を評価するモデルの能力を測定します。

評価は詳細なルーブリックに従います。少なくとも2人によって評価された議論では、人間とモデル間の合意と比較して、評価者間の一致は高くなっています。これには、約50の議論からなる検証セットが含まれており、それぞれが4〜6人によって独立して評価され、合計7〜8時間議論されました。

LMCAは、モデルの議論能力の評価も可能にします。私たちのデータセットにある立場テキストに3つの評価済み議論があるとします。次に、モデルAに立場テキストに対する4番目の議論を生成するように依頼できます。次に、モデルBにルーブリックと、既存の3つの議論とその評価を少数ショットでプロンプトとして与え、モデルAの新しい議論を評価するように依頼します。この方法論は、モデルBからかなり正確な評価を生み出します。

現在、CRIには議論を評価するモデルのパフォーマンスのみが含まれていますが、将来的にはモデルの議論能力の測定を追加したいと考えています。

ACCoRD

ACCoRD(Assessment of Consistency in Conceptual Reasoning Domains)は、概念的な問題に関するモデルの報告された信念と選好が論理的に一貫している程度を測定します。例えば、モデルにP(A)の確率を尋ね、同じモデルの別のインスタンスにP(A&B)の確率を尋ねた場合、報告された確率はP(A) ≥ P(A&B)を満たすでしょうか?データセット内のすべての一貫性制約は、モデルに数値確率推定または選好順序のいずれかを要求します。

特定の質問セットに対する一貫性の欠如は、デフォルトではそのセットに関するモデルの推論を信頼できないという良い兆候です。同様に、モデルが概念的な問題に対して一般的に非常に一貫性がない場合、これはその概念的推論が欠けている兆候です。

ACCoRDデータセットには、約14,000の一貫性制約がモデルによって生成されており、18種類の一貫性制約タイプに分散され、自動チェッカーパイプラインを通過しています。そのうち、567は私たちによってさらにチェックされ、承認されました。私たちは、これらの567の制約のみを、私たちの集計された概念的推論パフォーマンスメトリックであるCRIに含めます。

DTBench

DTBench capabilities(Decision Theory Benchmark)は、モデル自身の行動の忠実な予測や、(ほぼ)コピーとの相互作用を伴う意思決定理論的な状況について推論するモデルの能力を測定するために設計された、407の手作り多肢選択問題のデータセットです。質問の大部分はオリジナルで、意思決定理論に関する論文を発表しているCaspar Oesterheldによって作成されました。すべての質問は、別のドメイン専門家であるEmery Cooperによって独立して検証されました。

DTBenchの完全なスイートには、モデルの意思決定理論的な態度を測定する追加の130の質問が含まれています。これらはCRIには含まれていません。


結果

以下のチャートは、2026年8月10日現在、Anthropicの最良モデルと、評価した他の各AI企業からの最高スコアモデルのCRIスコアを示しています。また、Claude Fable 5、Muse Spark 1.2、Gemini 3.6 Flashのスコアも含まれています。これらは、CRIでは最高パフォーマンスではありませんが、それぞれの企業の多くの外部ベンチマークで最高パフォーマンスのモデルです。CRIは現在、LMCA(60%)、ACCoRD(20%)、およびDTBench capabilities(20%)の加重平均です。将来的には、新しいベンチマークをインデックスに追加し、飽和したベンチマークを引退させ、相対的な重みを調整する予定です。

[画像: モデルのCRIスコアを示す棒グラフ]

すべてのモデルは、最大トークン制限と努力レベルで実行されました。Fable 5のスコアを計算するために、Fable 5が質問への回答を拒否した場合、Opus 5をフォールバックとして使用しました。

スコアは0から100まであり、0はランダムな推測、100は可能な最高スコアに対応します。LMCAスコア100は、モデルが人間の評価を完全に再現したことを意味します。人間の評価はノイズが多いので、モデルが最大限に良いLMCA評価を与えた場合、100ではなく約85のスコアになると予想されます。これは、専門家の評価者間の一致に基づいて推定したものです。一方、DTBench capabilitiesのすべての質問に正しく答えることは、100またはそれに非常に近いスコアをもたらすと予想されます。ACCoRDで100のスコアは、完全に一貫していることに対応します。全体として、これによりCRIの天井パフォーマンスを約91と推定できます。最高スコアのモデルであるOpus 5は、依然としてこの天井からかけ離れており、スコアは73.6(95%CI:±2.1)です。

スコアは2024年後半からほぼ線形に増加しており、平坦化の兆候は見られません。

[画像: モデルのCRIスコアの時系列グラフ]

プロットされた各モデルは、リリース時にそのラボの最も一般的に有能なモデルでした。シェードバンドはトレンドラインの95%信頼区間です。* GPT-4の部分的データ:ACCoRD項目の18%に完全には回答を拒否しました。

LMCAとACCoRDの両方で最高スコアのモデルは、これらのベンチマークの推定天井にまだ遠く及んでいません。これまでのスコアから外挿すると、LMCAは1年以内に飽和し始めると緩く推定しています。一方、DTBench capabilitiesのスコアはすでに天井に近く、Fable 5は質問の98%に正しく答えています。ACCoRDがいつ飽和するかについては、非常に不確実です。

[画像: モデルのACCoRDスコアの時系列グラフ]

プロットされた各データポイントは、リリース時にそのラボの最も一般的に有能なモデルのスコアです。シェードバンドはトレンドラインの95%信頼区間です。GPT-4のACCoRDスコアは、モデルがベンチマーク項目の18%に完全には回答を拒否したため、不完全なデータに基づいています。


結論

高度なAIからのリスクを軽減する作業能力を向上させることは、重要かつ緊急であると考えています。この作業の多くは概念的なものであり、モデルの概念的推論能力を向上させることが特に価値があることを示唆しています。この目的のために、私たちは3つの概念的推論ベンチマークを開発し、それをCRIに集約しました。新しいベンチマークがリリースされるにつれてCRIを更新します。

詳細とCRIのライブスコアについては、conceptualreasoning.aiをご覧ください。

LMCA、私たちの主要な概念データセットへのアクセスについては、このフォームを提出してください。

注釈

  1. METR, Frontier Risk Report (February to March 2026), section “Agents had significantly worse judgment and reliability than human experts”. By contrast: “Consistent with our MirrorCode results, publicly reported anecdotes indicate that agents were exceptionally strong on problems that are easily “hill-climbable” — those where progress is cheap to verify and many approaches can be tried cheaply”. ↩
  2. 非常に少数の議論(1,461件中16件)はEmery Cooperによって評価されていませんでした。それらはすべて、概念研究者でもあるCaspar Oesterheldによって評価されました。 ↩