HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Orca-Bench: 言語モデルエージェントはオンコール対応の準備ができているか?

Orca-Bench: How Ready Are Language Model Agents for Oncall? (arxiv.org)

22 pointsby yruzin8 コメント

要約

この論文は、オンコールインシデントの根本原因分析(RCA)に対する言語モデルエージェントの準備状況を評価するために設計されたベンチマーク「Orca-Bench」を紹介しています。実験の結果、最先端のエージェントでも、現実的なシナリオでは25.3%の精度しか達成できず、本番環境での信頼性にはまだ大きな隔たりがあることが示されました。

全文翻訳

Computer Science > Computation and Language

arXiv:2607.28545 (cs)

[Submitted on 30 Jul 2026 (v1), last revised 29 Sep 2026 (this version, v3) ]

Title: ORCA-bench: 言語モデルエージェントはオンコール対応の準備ができているか?

Authors: Albert Gong, Kyuseong Choi, Abhineet Agarwal, Jason Schechner, Ryan Huang, Raj Agrawal, Anish Agarwal, Raaz Dwivedi

Albert Gongら7名の著者によるORCA-bench: 言語モデルエージェントはオンコール対応の準備ができているか?というタイトルのPDFを表示

PDFを表示 HTML (実験的)

要約: 大規模言語モデルはコードの記述、修正、検索を行うことができますが、オンコール時の根本原因分析(RCA)には、曖昧なユーザーからの報告から始まり、インシデント発生から数時間後に、ノイズの多いメトリクス、ログ、トレース、ソースコードを横断して推論する、といった異なる能力が求められます。本稿では、プロダクション環境に忠実なオンコール設定で汎用的なコーディングエージェントを評価するベンチマーク「ORCA-bench」を導入します。ORCA-benchは、1,079件のRCAタスクと、継続的なシミュレートされたユーザー負荷下にあるOpenTelemetryで計測されたマイクロサービスシステムの6日間のメトリクス、ログ、トレースをペアにしています。エージェントは、Prometheus、Jaeger、OpenSearch(Grafana経由)といった実際の観測インターフェースを通じて、アプリケーションのソースコード全体にアクセスして、この記録された履歴を調査します。タスクは、報告の具体性、検出までの時間、同時に発生する障害シナリオを体系的に変化させています。正解となる症状は、専門のSREによってキュレーションされ、承認されています。また、LLMによる採点は、人間によって独立して再採点されています(Cohen's $\kappa_w = 0.91$)。5つの最先端エージェントを評価した結果、中程度の難易度のタスク(現実的な入力設定)では、最高のRCA精度は25.3%であり、困難なタスクでは10.0%でした。このギャップは、Claude Fable 5を使用しても解消されません。最も性能の低いモデルは、インシデント報告の40%でありえない根本原因を幻視し、ソースコードへのアクセスを削除すると、評価されたすべてのモデルでRCA精度が低下し、幻視の割合が増加しました。これらの結果は、スタンドアロンタスクの50 GB / 6日間のテストベッドから得られたもので、システムのコードと計測は公開されています。実際のプロダクションシステムは桁違いに大きく、動的で、より特異的であるため、ここで報告されたギャップは、エージェントが本番環境の信頼性を任される前に、まだ必要とされるエンジニアリング作業の大きさを浮き彫りにしています。公開セットはこのURLで公開しています。

Subjects:Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Software Engineering (cs.SE)
Cite as:arXiv:2607.28545 [cs.CL]
(or arXiv:2607.28545v3 [cs.CL] for this version)
https://doi.org/10.48550/arXiv.2607.28545 arXiv-issued DOI via DataCite

Submission history

From: Albert Gong
v1 Thu, 30 Jul 2026 17:14:07 UTC (220 KB)
v2 Wed, 5 Aug 2026 12:21:27 UTC (222 KB)
v3 Tue, 29 Sep 2026 14:21:12 UTC (320 KB)

Full-text links:

Access Paper:

Albert Gongら7名の著者によるORCA-bench: 言語モデルエージェントはオンコール対応の準備ができているか?というタイトルのPDFを表示

[画像: license icon]ライセンスを表示

Additional Features
Current browse context:

cs.CL

< 前へ   |   次へ >

new | recent | 2026-07

Change to browse by:

cs
cs.AI
cs.SE

References & Citations

Loading...

BibTeX formatted citation

loading...

Data provided by:

Bookmark

[画像: BibSonomy][画像: Reddit]

Bibliographic Tools

Bibliographic and Citation Tools

Bibliographic Explorer Toggle

Bibliographic Explorer (What is the Explorer?)

Connected Papers Toggle

Connected Papers (What is Connected Papers?)

Litmaps Toggle

Litmaps (What is Litmaps?)

scite.ai Toggle

scite Smart Citations (What are Smart Citations?)

Code, Data, Media

Code, Data and Media Associated with this Article

alphaXiv Toggle

alphaXiv (What is alphaXiv?)

Links to Code Toggle

CatalyzeX Code Finder for Papers (What is CatalyzeX?)

DagsHub Toggle

DagsHub (What is DagsHub?)

GotitPub Toggle

Gotit.pub (What is GotitPub?)

Huggingface Toggle

Hugging Face (What is Huggingface?)

ScienceCast Toggle

ScienceCast (What is ScienceCast?)

Demos

Demos

Replicate Toggle

Replicate (What is Replicate?)

Spaces Toggle

Hugging Face Spaces (What is Spaces?)

Spaces Toggle

TXYZ.AI (What is TXYZ.AI?)

Related Papers

Recommenders and Search Tools

Link to Influence Flower

Influence Flower (What are Influence Flowers?)

Core recommender toggle

CORE Recommender (What is CORE?)

  • Author
  • Venue
  • Institution
  • Topic

About arXivLabs

arXivLabs: experimental projects with community collaborators

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

Which authors of this paper are endorsers? | Disable MathJax (What is MathJax?)