HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

レッドクイーン仮説:自己改善型AIの新たな前進方法

Red queen hypothesis – a new way forward for self-improving AI (cst.cam.ac.uk)

79 pointsby hardlianotion21 コメント

要約

ケンブリッジ大学の研究者たちは、自己改善型AIの開発における課題に対処するため、進化生物学の「レッドクイーン仮説」を応用する新しいアプローチを提案しています。この仮説は、絶え間ない競争環境下で生物が進化し続ける必要があることを示唆しており、AIシステムにおいても同様の継続的な適応と改善が不可欠であることを示唆しています。この研究は、AIがより効果的かつ持続的に自己進化するための道筋を示すものです。

全文翻訳

レッドクイーン仮説 - 自己改善AIに向けた新たな道筋

AIが自己改善する能力を持つことへの関心が非常に高まっている今、研究者たちはその開発における中心的な課題に取り組んでいます。

NVIDIAやFlower Labsとの共同研究者を含む研究チームは、再帰的な自己改善AIエージェントが、しばしば遭遇する評価の天井に達することなく、自己改善(自身のコードを繰り返しテスト・強化すること)を継続するための新しい方法を考案しました。

彼らの手法は、このようなAIエージェントの開発に必要な計算リソースのコストを削減する方法も示唆しています。

[画像: エージェントは、自身のコードを編集し、バリアントをテストし、よりパフォーマンスの良い変更を保持することで自己改善できますが、このプロセスは通常、固定された評価基準、ベンチマーク、またはテストスイートによって制限されます。エージェントが固定された信号で区別できるすべてを学習すると、改善は遅くなるか停滞します。]

「自己改善エージェントは、それを採点するテストと同じくらいしか良くはなれません」と、チームメンバーでProf. Nic Laneの指導を受けるマシンラーニングシステムラボの博士課程学生であるAlex Iacob氏は説明します。「テストは単に進捗を測定するだけでなく、それを定義するため、テストの有効性がエージェントが乗り越えられない天井となります。」

現在、研究者たちは、自己改善エージェントと評価者の両方が共に進化するようにすることで、この問題に対処しました。「固定されたテストに対してエージェントを改善するのではなく、評価をエージェントと共に進化させています」とAlex氏は付け加えます。「エージェントが改善するにつれて、評価もより困難になり、バーが上がり続けます。」

レッドクイーン・ゲーデルマシン

Alex氏は、研究チームがarXivにアップロードしたプレプリント論文の筆頭著者です。「The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators」は、彼らの研究の技術的な詳細と、このフレームワークを多くのタスクに適用した際のいくつかの印象的な結果を共有しています。

[画像: エージェントと評価者が共に改善する様子。レッドクイーン・ゲーデルマシンは、AIエージェントの多くの可能なバージョンを探索すると同時に、それらのエージェントを評価する評価者も改善します。各フェーズ中、進捗を確実に測定できるように、評価者は固定されます。チェックポイントでは、信頼できるグラウンドトゥルースの例でより良くパフォーマンスを発揮した場合、より強力な評価者が古いものを置き換えることができます。その後、古い評価者からのスコアは削除され、次のフェーズは新しい、より要求の厳しい基準によって導かれます。これにより、エージェントと評価者が共に改善する自己改善ループが作成され、システムは信頼できるチェックにアンカーされたままになります。]


科学論文の執筆とレビュー、および(数学)オリンピックレベルの証明の執筆と採点の両方において、レッドクイーン・ゲーデルマシンは、以前の自己改善AIエージェントと比較してパフォーマンスを向上させました。

「共同で進化した科学論文作成者は、多様なエージェント対エージェントの審査パネルの下で、1.78倍から1.86倍高い採択率を達成します」と研究者たちは論文で報告しています。「一方、共同で進化した採点者は、9%高いグラウンドトゥルース精度を達成します。」

レッドクイーン仮説

このフレームワークの興味深いタイトルは、ルイス・キャロルの児童小説『鏡の国のアリス』に登場する架空のキャラクター、レッドクイーンを連想させます。彼女は物語のヒロインであるアリスに、「同じ場所にいるためには、君ができる限りの速さで走り続けなければならない」と有名な言葉を語ります。1973年に提唱された進化生物学の仮説であるレッドクイーン仮説は、他の絶えず進化する種と対峙しながら、種が生き残るためには常に適応し、進化し、増殖しなければならないと提唱していることから、このキャラクターにちなんで名付けられました。

この仮説は現在、AIに適用されています。

「固定されたテストに対してエージェントを改善するのではなく、評価をエージェントと共に進化させています。エージェントが改善するにつれて、評価もより困難になり、バーが上がり続けます。」

Alex Iacob, PhD student

この研究は、ここでの研究チームと、NVIDIA、部門スピンアウトであるFlower Labs、MBZUAI、Inriaなどの共同研究者の支援によって行われました。

より低コストで、より高機能なオープンエージェントシステムへの道

さらに、計算コストの高いChatGPTのようなツールに加えて、オープンソースモデルを使用して一部の作業を行うことが、自己改善AIシステムの開発コストを大幅に削減する方法である可能性があるという、もう一つの重要な発見がありました。

研究者たちによる科学論文のAIレビュー担当者と作成者の共同進化に関する実験では、NVIDIA Nemotron 3 UltraとChatGPT-5.5を使用しました。論文レビュータスクにおいて、このハイブリッドセットアップは、ChatGPT単独で達成されたパフォーマンスに近づきながら、検索トークンコストを約13分の1に削減しました。

共同著者であるNic Lane教授は次のように述べています。「これは限定的な結果であり、誇張しないように注意する必要があります。しかし、この手法がどこに向かうのかを示唆しています。オープンモデルが検索の大部分を担い、より強力な最先端モデルが高レベルの改善プロセスをガイドできるなら、はるかに低コストで、より高機能なオープンエージェントシステムへの現実的な道筋が見えてきます。」

NVIDIAのデベロッパーリレーションズマネージャーであるDaniel Burkhardt氏は次のように述べています。「この取り組みは、オープンモデルが高度なエージェントシステムにおいて重要な役割を果たすことができることを示しています。NVIDIA Nemotronモデルは、推論およびエージェントワークロードに対して効率的かつ高機能であるように設計されており、この研究は、それらがより広範な自己改善ループの一部としてどのように使用できるかを示しています。」

研究チームは、この研究は予備的なものであり、アプローチがどの程度スケールするかを理解するには、より長い検索期間が必要であると強調しています。しかし、その結果は、エージェントと評価者が再帰的に互いをブートストラップし、より高機能で効率的、かつオープンなエージェントAIへの道を開く、新しいクラスの自己改善システムを示唆しています。

論文「The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators」はarXivで入手可能です。基盤となる手法は、より広範な採用をサポートするためにオープンソース化され、チームは、これらの初期結果をはるかに超えてスケールされている実験を含む、より広範なAIタスクでこの自己改善アプローチがどのように機能するかを引き続き調査しています。