Dream-RSI: 進化する世界を通じた再帰的自己改善
Dream-RSI: Recursive Self-Improvement through Evolving Worlds (arxiv.org)
要約
本論文では、自律AIエージェントの進歩に不可欠な「再帰的自己改善」を実現するためのフレームワーク「Dream-RSI」を提案しています。このフレームワークは、探索戦略の改善を効率化し、大規模な探索空間における高価値な解の発見を促進します。Dream-RSIは、過去の発見履歴をリプレイシミュレーターとして利用し、低コストでオフポリシーフィードバックを得ることで、探索ポリシーを継続的に洗練させます。
全文翻訳
Computer Science > Computation and Language
arXiv:2609.14858 (cs)
[Submitted on 14 Sep 2026 (v1), last revised 6 Oct 2026 (this version, v2)]
Title:Dream-RSI: 進化する世界を通じた再帰的自己改善
Authors:Tong Zheng, Xidong Wu, Zheng Zhang, Zhankui He, Chaoyi Zhang, Benjamin Coleman, Ruoqiao Wei, Di Bai, Haolin Liu, Rui Liu, Xue Wang, Yue Zhuan, Wang-Cheng Kang, Renkai Xiang, Heng Huang, Xinwu Cheng, Yunsong Guo
View a PDF of the paper titled Dream-RSI: Recursive Self-Improvement through Evolving Worlds, by Tong Zheng and 16 other authors
Abstract:再帰的自己改善は、自律AIエージェントにとって不可欠になりつつあり、その進歩は複雑なドメイン全体で高価値のソリューションを発見することに依存しています。効果的な探索はこのプロセスを推進しますが、探索戦略の管理と改善は依然として大きなボトルネックとなっています。現在のシステムは根本的なジレンマに直面しています。固定された戦略は探索空間が拡大するにつれて適応できず、オンラインポリシー最適化は長期間のロールアウトからの遅延した高コストなフィードバックの下で広大なメタ探索空間をナビゲートしなければなりません。私たちは、スケーラブルで再帰的に自己改善する探索のためのフレームワークである \textsc{Dream-RSI} を導入します。軽量なオーケストレーションレイヤーにより、基盤となるベースエージェントを変更することなく、探索が明示的かつプログラム可能になります。私たちの主な洞察は、蓄積された発見履歴が、実現された探索空間上のリプレイシミュレーターとして機能できるということです。歴史的な発見ツリーから構築されたこのシミュレーター内でドリーミングすることにより、\textsc{Dream-RSI} は、高コストなオンライン評価を繰り返すことなく、探索ポリシーを評価および洗練するための即時的で低コストなオフポリシーフィードバックを取得します。改善されたポリシーは、オンラインで再展開されてさらなる発見を推進し、自己改善ループでシミュレータープールを継続的に拡張します。4つのドメインの9つのタスク全体で、\textsc{Dream-RSI} は競争力のある品質を達成し、いくつかの設定で発見効率を向上させます。
| Comments: | 11 pages |
| Subjects: | Computation and Language (cs.CL) |
| Cite as: | arXiv:2609.14858 [cs.CL] |
| (or arXiv:2609.14858v2 [cs.CL] for this version) | |
| https://doi.org/10.48550/arXiv.2609.14858 arXiv-issued DOI via DataCite |
Submission history
From: Tong Zheng [view email]
v1 Mon, 14 Sep 2026 00:10:47 UTC (777 KB)
[v2] Tue, 6 Oct 2026 09:37:58 UTC (1,013 KB)
Full-text links:
Access Paper:
View a PDF of the paper titled Dream-RSI: Recursive Self-Improvement through Evolving Worlds, by Tong Zheng and 16 other authors
Additional Features
Current browse context:
cs.CL
Change to browse by:
References & Citations
Loading...
BibTeX formatted citation
loading...
Data provided by:
Bookmark
Bibliographic Tools
Bibliographic and Citation Tools
Bibliographic Explorer Toggle
Bibliographic Explorer (What is the Explorer?)
Connected Papers Toggle
Connected Papers (What is Connected Papers?)
Litmaps Toggle
Litmaps (What is Litmaps?)
scite.ai Toggle
scite Smart Citations (What are Smart Citations?)
Code, Data, Media
Code, Data and Media Associated with this Article
alphaXiv Toggle
alphaXiv (What is alphaXiv?)
Links to Code Toggle
CatalyzeX Code Finder for Papers (What is CatalyzeX?)
DagsHub Toggle
DagsHub (What is DagsHub?)
GotitPub Toggle
Gotit.pub (What is GotitPub?)
Huggingface Toggle
Hugging Face (What is Huggingface?)
ScienceCast Toggle
ScienceCast (What is ScienceCast?)
Demos
Demos
Replicate Toggle
Replicate (What is Replicate?)
Spaces Toggle
Hugging Face Spaces (What is Spaces?)
Spaces Toggle
TXYZ.AI (What is TXYZ.AI?)
Related Papers
Recommenders and Search Tools
Link to Influence Flower
Influence Flower (What are Influence Flowers?)
Core recommender toggle
CORE Recommender (What is CORE?)
- Author
- Venue
- Institution
- Topic
About arXivLabs
arXivLabs: experimental projects with community collaborators
arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.
Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.
Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.
Which authors of this paper are endorsers? | Disable MathJax (What is MathJax?)