集合知を通じた再帰的自己改善

Multi-Agent Self-Supervision 再帰的自己改善と集合知 人類が蓄積した知識を超えて進歩するために、AI自身（最適化される対象）が、利用可能な最高の最適化者および評価者にもなり得ます。MASSはマルチエージェントワークフローを繰り返し最適化し、マルチエージェントシステムから集合知を抽出し、それをRSIのための自己教師あり信号として使用します。研究ベンチマークにおいて、ベースモデルと比較して出力トークンあたりのスコアを向上させます。私たちは、MASSがAIのオデュッセイアの瞬間、すなわち最適化される対象が評価者であり、最適化者が最適化される対象である設定における継続的な自己学習に貢献することを願っています。 推定読了時間: 15分 リソース 論文 コード 著者 Hyunin Lee† UC Berkeley Jinglue Xu Sakana AI Jeffrey Seely Sakana AI Donghyun Lee UC Berkeley Somayeh Sojoudi UC Berkeley Matei Zaharia UC Berkeley Yujin Tang Sakana AI 公開日 2026年10月 † Sakana AIでのインターンシップ中に実施された研究。 図1. 共有された仕事から共有された知識へ。この版画は、組版、印刷、校正が協調的なプロセスの部分であることを示しています。書籍は、その結果を作業場を超えて運び、他者がそこから学び、それを基盤とすることができます。MASSは、関連するアイデア、すなわちチームの集合的な仕事が、そのメンバーが共有するモデルのトレーニング例を提供できるという考えに基づいています。 Jan Collaert I, after Stradanus, The Invention of Book Printing, c. 1600. The Metropolitan Museum of Art, Harris Brisbane Dick Fund, 1934. パブリックドメイン (CC0)。 私たちは、最先端のAIモデルが、人類が世代を超えて築き上げてきた知識の集積を超えた領域に私たちを連れて行ってくれることを望んでいます。そのフロンティアでは、たとえ人間の専門家でさえ、結果を評価し、さらなる進歩を導くことに苦労するかもしれません。特に検証不可能なタスクにおいてはそうです。例えば、提案された発見を評価するには、希少な専門知識、費用のかかる証拠、または提案の生成よりもはるかに時間がかかる実験が必要になる場合があります。その場合、モデル自身が最も有能なスーパーバイザーとなり、自らどのように改善すべきかを見つけ出す必要があるかもしれません。これは、均質な再帰的自己改善（RSI）を動機づけます。このRSIでは、改善されるモデル（最適化される対象）が、自身の最適化者および評価者としても機能します。中心的な問題は、この均質なループ内で有用な自己教師あり信号をどのように取得するかということです。人間社会は、この問題に対処するための有用なアナロジーを提供します。狩猟採集社会、農業社会、産業社会、そしてグローバルな情報ネットワークを通じて、人々は部分的に仕事を分割し、アイデアを組み合わせ、学んだことを伝達することによって、その能力を拡大してきました。集合的な成果は、さらなる学習の出発点となります。『科学革命の構造』でトーマス・クーンは、科学者が問題を認識し解決する方法を学ぶための共有された例を強調しました。科学コミュニティの成果は、そのメンバーが新しい仕事のやり方を学ぶ方法の一部となるのです。このパターンに触発されて、私たちは、単独で作業するエージェントが確実に示せないような、モデルが自身のチームの集合知から学習できるかどうかを問います。私たちは、このアイデアを学習ループに変えるために、Multi-Agent Self-Supervision（MASS）を導入します。MASSは、同じモデルを実行者、最適化者、評価者として使用します。まず、最適化者は評価者からのフィードバックを使用して、最適なチームワークフローを検索し、次に、自己判断で最適なチームからの実行結果で実行者をトレーニングします。更新されたモデルは、これら3つの役割すべてを担い、プロセスが繰り返されます。したがって、MASSは、チームの集合的な経験を共有モデルに抽出することにより、RSIのための自己教師あり信号を提供します。 均質なRSI 私たちは、1つの共有言語モデルがタスク解決エージェント、ワークフロー最適化者、および評価者として機能する均質なRSIを研究します。 エージェント↓ 図中 タスクソルバー、すなわち最適化される対象。結果、プロット、および研究レポートを含むワークスペースを生成します。 ワークフロー最適化者↓ 図中 評価者からのフィードバックを使用して、エージェントがタスクをどのように分割し、結果を交換し、互いにチェックするかを修正します。 評価者↓ 図中 2つのワークスペースを比較し、どちらがタスクをより良く満たしているかを選択し、その判断を説明します。 私たちは、検証不可能な研究タスクをトレーニングデータとして使用します。検証不可能とは、自動化されたルールベースの信号が利用できず、自己評価信号（その正しさは不明）のみが全体的な学習ループをガイドすることを意味します。進捗を測定するために、私たちはGPT-5.5とClaude Opus 4.8に、完了した作業を評価するように個別に依頼します。それらの判断はMASSには与えられません。これにより、モデル自身から監督が行われるプロセスの改善について、外部からの測定値が得られます。 MASSの仕組み MASSは、ワークフロー最適化を使用して集合知を引き出し、次にチームの経験を共有モデルに抽出します。内部ループは、モデルの重みが固定されたままでチームのワークフローを最適化します。モデルは、どのワークフローが最適かを自己評価し、判断します。次に、外部ループは、最適化されたワークフローからの実行結果から学習することにより、それらの重みを更新します。以下のインタラクティブな図は、両方のループを追跡します。 内部ループ チームの進化 ラウンド1 · イテレーション1 · チャンピオン: — マルチエージェント実行エージェント（単一モデルを共有） オーケストレーター 1 2 3 サブエージェント 自己評価者 ワークスペースを判断 ✓ 新しいチャンピオン 自己最適化者 ワークフローを書き直す ワークフロー v1 ホップ 1 2 3 役割 役割 役割 指示 指示 指示 契約 契約 契約 ワークスペース フィードバック 改訂されたワークフロー、チームにプロンプトとして提供 ℒ(0) ℒ(0) ℒ(0) 外部ループ チームの仕事から学習 = すべての役割で同じモデル チャンピオン ×18 実行 ワークスペースを自己ランク付け ベスト16を維持 ファインチューニング、ワークフローなし モデル能力 ℒ(0) ベース ℒ(1) ℒ(2) 指示 契約 ←全体像を見るにはスワイプ 一時停止 再開 図2. MASS。ワークフロー検索は、エージェントの連携方法を変更します。選択された実行結果でのトレーニングは、それらの経験を共有された重みに運びます。更新されたモデルは、これら3つの役割すべてを再開します。このアニメーションは手順を説明しています。プログレスバーをドラッグして、一時停止中も含め、アニメーションの任意のセクションを探索してください。コンポーネントにカーソルを合わせると詳細が表示されるか、選択すると説明にジャンプします。テキスト中の下線付き用語は図へのリンクです。 0. セットアップ: プロンプトとしてのワークフロー↑ 図中 ワークフローとは、マルチエージェントチームがどのように協力すべきかの計画書です。オーケストレーターはサブエージェントに作業を割り当て、その結果を統合します。計画はタスクプロンプトに追加され、チームの組織構造がモデルによって検査および改訂できるようになります。4つのコンポーネントがあります。 役割: 各サブエージェントに割り当てられた責任。例: データ準備。 指示: そのサブエージェントが実行すべき作業。 契約: 必要なチェックを含む、返却しなければならない情報と成果物。 ホップ: 返却ステップを含む、サブエージェント呼び出しの順序。 例えば、進化させたファイナンスワークフローは、データ準備、特徴量構築、モデリング、バックテストをシーケンスに配置し、その後に監査を続けます。そのデータ契約は、タイミングに関する明示的なチェックを要求します。 進化させたファイナンスワークフロー（論文より抜粋） 呼び出し順序 データ → 特徴量 → モデリング → バックテスト → 監査 → 照合 → レポート データ専門家の出力契約 validation_report: no_future_leakage: bool train_end_before_val_start: bool val_end_before_test_start: bool バックテストは、過去の決定が未来の情報を使用することを許可する場合、説得力があるように見えます。この契約は、データ専門家がそのエラーをチェックし、時間分割が有効であるかどうかを報告することを要求します。また、後続のエージェントが続行する前に受け取るべき証拠を伝えます。したがって、研究計画の一部は、エージェントが確立し、互いに引き継がなければならないこととして表現されます。 1. 内部ループ: より良いワークフローの検索↑ 図中 各トレーニングタスクについて、MASSはチャンピオンを保持します。これは、現在のモデルの判断に基づいて、これまでに見つかった中で最良のワークフローです。各イテレーションは3つのステップで構成されます。 1 実行。チームは候補ワークフローに従い、ワークスペースを生成します。 2 評価。評価者は、このワークスペースをチャンピオンのワークスペースと比較し、どちらが優れているかを説明します。勝利した候補ワークフローは、チャンピオンとして記録されます。 3 ワークフローの改訂。自己最適化者は、評価者のフィードバックを使用して、ワークフローを改訂します。これは、新しいワークフローが次のイテレーションで実行されることを意味します。 この内部ループは、モデルの重みを変更せずに、ワークフローの探索と改善に焦点を当てています。 2. 外部ループ: チームの経験から学習↑ 図中 内部ループでワークフローが最適化された後、外部ループが開始されます。 1 実行。最適化されたワークフローを使用して、チームはトレーニングタスクを実行します。このプロセスにより、多数のワークスペースが生成されます。 2 選択とランク付け。MASSは、内部ループの評価者（または外部評価者）を使用して、生成されたワークスペースをランク付けします。 3 ファインチューニング。最も優れたワークスペース（またはその一部）が、モデルのファインチューニングに使用されます。これにより、モデルはチームの集合的な経験から学習し、その能力が向上します。 この外部ループは、モデルの重みを更新し、そのパフォーマンスを向上させることに焦点を当てています。 このプロセス全体を通じて、MASSは、AIが自律的に学習し、改善していくためのメカニズムを提供します。