Orca-Bench: 言語モデルエージェントはオンコール対応の準備ができているか?
Orca-Bench: How Ready Are Language Model Agents for Oncall? (arxiv.org)
要約
この論文は、オンコールインシデントの根本原因分析(RCA)に対する言語モデルエージェントの準備状況を評価するために設計されたベンチマーク「Orca-Bench」を紹介しています。実験の結果、最先端のエージェントでも、現実的なシナリオでは25.3%の精度しか達成できず、本番環境での信頼性にはまだ大きな隔たりがあることが示されました。
全文翻訳
Computer Science > Computation and Language
arXiv:2607.28545 (cs)
[Submitted on 30 Jul 2026 (v1), last revised 29 Sep 2026 (this version, v3) ]
Title: ORCA-bench: 言語モデルエージェントはオンコール対応の準備ができているか?
Authors: Albert Gong, Kyuseong Choi, Abhineet Agarwal, Jason Schechner, Ryan Huang, Raj Agrawal, Anish Agarwal, Raaz Dwivedi
Albert Gongら7名の著者によるORCA-bench: 言語モデルエージェントはオンコール対応の準備ができているか?というタイトルのPDFを表示
要約: 大規模言語モデルはコードの記述、修正、検索を行うことができますが、オンコール時の根本原因分析(RCA)には、曖昧なユーザーからの報告から始まり、インシデント発生から数時間後に、ノイズの多いメトリクス、ログ、トレース、ソースコードを横断して推論する、といった異なる能力が求められます。本稿では、プロダクション環境に忠実なオンコール設定で汎用的なコーディングエージェントを評価するベンチマーク「ORCA-bench」を導入します。ORCA-benchは、1,079件のRCAタスクと、継続的なシミュレートされたユーザー負荷下にあるOpenTelemetryで計測されたマイクロサービスシステムの6日間のメトリクス、ログ、トレースをペアにしています。エージェントは、Prometheus、Jaeger、OpenSearch(Grafana経由)といった実際の観測インターフェースを通じて、アプリケーションのソースコード全体にアクセスして、この記録された履歴を調査します。タスクは、報告の具体性、検出までの時間、同時に発生する障害シナリオを体系的に変化させています。正解となる症状は、専門のSREによってキュレーションされ、承認されています。また、LLMによる採点は、人間によって独立して再採点されています(Cohen's $\kappa_w = 0.91$)。5つの最先端エージェントを評価した結果、中程度の難易度のタスク(現実的な入力設定)では、最高のRCA精度は25.3%であり、困難なタスクでは10.0%でした。このギャップは、Claude Fable 5を使用しても解消されません。最も性能の低いモデルは、インシデント報告の40%でありえない根本原因を幻視し、ソースコードへのアクセスを削除すると、評価されたすべてのモデルでRCA精度が低下し、幻視の割合が増加しました。これらの結果は、スタンドアロンタスクの50 GB / 6日間のテストベッドから得られたもので、システムのコードと計測は公開されています。実際のプロダクションシステムは桁違いに大きく、動的で、より特異的であるため、ここで報告されたギャップは、エージェントが本番環境の信頼性を任される前に、まだ必要とされるエンジニアリング作業の大きさを浮き彫りにしています。公開セットはこのURLで公開しています。
| Subjects: | Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Software Engineering (cs.SE) |
| Cite as: | arXiv:2607.28545 [cs.CL] |
| (or arXiv:2607.28545v3 [cs.CL] for this version) | |
| https://doi.org/10.48550/arXiv.2607.28545 arXiv-issued DOI via DataCite |
Submission history
From: Albert Gong
v1 Thu, 30 Jul 2026 17:14:07 UTC (220 KB)
v2 Wed, 5 Aug 2026 12:21:27 UTC (222 KB)
v3 Tue, 29 Sep 2026 14:21:12 UTC (320 KB)
Full-text links:
Access Paper:
Albert Gongら7名の著者によるORCA-bench: 言語モデルエージェントはオンコール対応の準備ができているか?というタイトルのPDFを表示
Additional Features
Current browse context:
cs.CL
Change to browse by:
References & Citations
Loading...
BibTeX formatted citation
loading...
Data provided by:
Bookmark
Bibliographic Tools
Bibliographic and Citation Tools
Bibliographic Explorer Toggle
Bibliographic Explorer (What is the Explorer?)
Connected Papers Toggle
Connected Papers (What is Connected Papers?)
Litmaps Toggle
Litmaps (What is Litmaps?)
scite.ai Toggle
scite Smart Citations (What are Smart Citations?)
Code, Data, Media
Code, Data and Media Associated with this Article
alphaXiv Toggle
alphaXiv (What is alphaXiv?)
Links to Code Toggle
CatalyzeX Code Finder for Papers (What is CatalyzeX?)
DagsHub Toggle
DagsHub (What is DagsHub?)
GotitPub Toggle
Gotit.pub (What is GotitPub?)
Huggingface Toggle
Hugging Face (What is Huggingface?)
ScienceCast Toggle
ScienceCast (What is ScienceCast?)
Demos
Demos
Replicate Toggle
Replicate (What is Replicate?)
Spaces Toggle
Hugging Face Spaces (What is Spaces?)
Spaces Toggle
TXYZ.AI (What is TXYZ.AI?)
Related Papers
Recommenders and Search Tools
Link to Influence Flower
Influence Flower (What are Influence Flowers?)
Core recommender toggle
CORE Recommender (What is CORE?)
- Author
- Venue
- Institution
- Topic
About arXivLabs
arXivLabs: experimental projects with community collaborators
arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.
Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.
Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.
Which authors of this paper are endorsers? | Disable MathJax (What is MathJax?)