GRPOのクレジット割り当て問題を、全ステップ評価なしで解決する
Fixing GRPO's credit assignment problem without evaluating every step (arxiv.org)
要約
本論文では、大規模言語モデルエージェントの学習におけるGroup Relative Policy Optimization (GRPO) の課題、すなわち全ポリシー要素に均一に有利度を割り当てることで、重要な決定とそうでない決定を区別できない問題を解決するフレームワーク「ProVer」を提案しています。ProVerは、エージェントジャッジが成功と失敗の軌跡を比較して可能性のある重要な決定セグメントを特定し、そのセグメントの前後の継続サンプリング結果の差から有利度を推定することで、網羅的な評価なしに局所的なクレジットを観測された結果に結びつけます。ALFWorld、WebShop、SearchQAのベンチマークでGRPOを上回る性能を示しました。
全文翻訳
コンピュータサイエンス > 計算と言語
arXiv:2609.36178 (cs)
[2026年9月28日提出]
タイトル: エージェント型強化学習における信用割り当てのための重要な意思決定のターゲティング
著者: Dongwon Jung, Hemanth Neelgund Ramesh, Yifan Wang, Xiaomin Li, Yuexing Hao, Yu Hu, Muhao Chen, Varun Chandrasekaran, Andrzej Banburski-Fahey, Jaron Lanier
Dongwon Jungら9名の著者による「エージェント型強化学習における信用割り当てのための重要な意思決定のターゲティング」というタイトルのPDFを表示
要旨: Group Relative Policy Optimization (GRPO) は、大規模言語モデルエージェントのトレーニングにおいて有望なアプローチとなっています。しかし、軌跡レベルの利得を全てのポリシー・トークンに均一に割り当てることは、結果に影響を与える意思決定とそうでないものを区別できず、どの中間的な意思決定が成功に貢献したのかを不明瞭にしてしまいます。本稿では、エージェント型強化学習において、きめ細やかな信用割り当てのために潜在的に重要な意思決定をターゲティングするフレームワーク、ProVerを導入します。ロールアウトグループが与えられると、エージェント型のジャッジが成功した軌跡と失敗した軌跡を比較し、それらの結果の分岐に責任を持つ可能性のあるセグメントを提案します。ProVerは、ジャッジの評価を直接信頼するのではなく、セグメントの前後でサンプリングされた現在のポリシーの継続における終端成功率の違いから利得を推定することで、提案されたセグメントを検証します。正の推定値は、提案されたセグメント内のポリシー・トークンのGRPO利得に組み込まれます。モデルの判断を検証する場所の選択にのみ使用することで、ProVerは、全ての中間状態を網羅的に評価することなく、観察された結果に局所的な信用を根拠付けます。ALFWorld、WebShop、SearchQA全体で、ProVerは両方のモデルスケールで最高の平均パフォーマンスを達成し、Qwen3.5-2BとQwen3.5-4Bでそれぞれ9.91%と7.12%のGRPOに対する相対的な改善をもたらしました。さらなる分析により、情報に基づいたセグメント選択は、フロンティアスケールのジャッジモデルがなくても、わずかな追加生成オーバーヘッドでポリシー学習を改善することが示され、エージェント型強化学習におけるきめ細やかな信用割り当てのために重要な意思決定を選択的にターゲティングすることの有効性と効率性が強調されています。
| 件名: | 計算と言語 (cs.CL); 人工知能 (cs.AI) |
| 引用: | arXiv:2609.36178 [cs.CL] |
| (またはこのバージョンでは arXiv:2609.36178v1 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2609.36178 DataCite経由のarXiv発行DOI |
提出履歴
送信者: Dongwon Jung
[v1] 月曜日, 2026年9月28日 19:48:05 UTC (132 KB)
全文リンク:
論文にアクセス
Dongwon Jungら9名の著者による「エージェント型強化学習における信用割り当てのための重要な意思決定のターゲティング」というタイトルのPDFを表示
追加機能
現在の閲覧コンテキスト:
cs.CL
以下で閲覧を変更:
参考文献と引用
読み込み中...
BibTeX形式の引用
読み込み中...
提供元:
ブックマーク
書誌・引用ツール
書誌・引用ツール
書誌エクスプローラー トグル
書誌エクスプローラー (エクスプローラーとは?)
コネクテッドペーパー トグル
コネクテッドペーパー (コネクテッドペーパーとは?)
Litmaps トグル
Litmaps (Litmapsとは?)
scite.ai トグル
scite Smart Citations (Smart Citationsとは?)
コード、データ、メディア
コード、データ、メディア
alphaXiv トグル
alphaXiv (alphaXivとは?)
コードへのリンク トグル
CatalyzeX コードファインダー (CatalyzeXとは?)
DagsHub トグル
DagsHub (DagsHubとは?)
GotitPub トグル
Gotit.pub (GotitPubとは?)
Huggingface トグル
Hugging Face (Huggingfaceとは?)
ScienceCast トグル
ScienceCast (ScienceCastとは?)
デモ
デモ
Replicate トグル
Replicate (Replicateとは?)
Spaces トグル
Hugging Face Spaces (Spacesとは?)
Spaces トグル
TXYZ.AI (TXYZ.AIとは?)
関連論文
レコメンダーと検索ツール
インフルエンスフラワーへのリンク
インフルエンスフラワー (インフルエンスフラワーとは?)
コアレコメンダー トグル
COREレコメンダー (COREとは?)
- 著者
- 会場
- 機関
- トピック
arXivLabsについて
arXivLabs: コミュニティ協力者との実験的なプロジェクト
arXivLabsは、協力者がarXivの新しい機能を直接ウェブサイト上で開発・共有できるフレームワークです。arXivLabsで活動する個人および組織は、オープンさ、コミュニティ、卓越性、ユーザーデータプライバシーという私たちの価値観を受け入れ、遵守しています。arXivはこれらの価値観にコミットしており、それに従うパートナーのみと協力します。arXivコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか? arXivLabsについてもっと知る。
この論文の著者のうち、誰が推薦者ですか? | MathJaxを無効にする (MathJaxとは?)