AI・機械学習
Muse Wonder
Muse Wonder (research.meta.ai)
要約
Metaは、個人およびプロフェッショナルなエージェントタスクにおいて最先端の性能を発揮する、最も高性能なモデル「Muse Wonder」シリーズを発表しました。これらのモデルは、「Active Memory」と「Active Focus」を統合し、ユーザーの関心事を記憶し、目標達成に向けて懸命に作業します。これは、個人のスーパーインテリジェンス実現に向けた大きな一歩であり、Meta Model APIやMuse Codeを通じて利用可能になります。
全文翻訳
デモの読み込み研究者たちはMuse Wonderを紹介し、その能力について議論します。再生キャプションを表示研究者たちはMuse Wonderを紹介し、その能力について議論します。キャプションを表示ミュート研究者たちはMuse Wonderを紹介し、その能力について議論します。ミュート研究者たちはMuse Wonderを紹介し、その能力について議論します。再生位置0:00 / 0:0000:00 / 00:00 個人のエージェントおよびプロフェッショナルなエージェントをリードするフロンティアモデル本日、私たちはMuse WonderとMuse Wonder Fullを発表できることを嬉しく思います。これらは、個人のエージェントおよびプロフェッショナルなエージェントタスクにおいて最先端の性能を発揮する、私たちの最も高性能なモデルです。これらは、スケーリングラダーにおける次のステップであり、個人のスーパーインテリジェンスに向けた大きな飛躍を示します。Muse Wonderは、Active MemoryとActive Focusを統合し、あなたにとって重要なことを追跡し、あなたが達成したいことに向けて懸命に作業します。Muse Wonderは本日、Meta Model APIとMuse Codeを通じて利用可能になり、Muse Wonder FullはMuse Code加入者向けに本日利用可能になります。Muse WonderはまもなくMuseでのエクスペリエンスを強化し、まず加入者向けに展開されます。Muse Wonderは、より高度な知性を必要とするアーティファクト生成やプロセスも強化します。将来的には、Muse Wonderを使用して、Museを通じてすべての人に提供できる特殊モデルを開発する予定です。
個人のスーパーインテリジェンスに向けたスケーリング14ヶ月前、私たちは人工知能への取り組みを根本から見直しました。その間、私たちはゼロからスタックを再構築し、フロンティアを押し広げてきました。Muse Sparkを発表した際、私たちは予測可能で厳密なスケーリングへのアプローチを概説しました。本日のリリースは、事前学習と強化学習におけるその作業に基づいており、これまでにない最も高性能なモデルを提供します。ギガワットスケールのPrometheusデータセンターでトレーニングされたMuse WonderとMuse Wonder Fullは、Metaの各チームの作業を結集し、仕事や日常生活における複雑なタスクのためのフロンティア能力を提供します。これは、私たちの製品を使用する数十億人もの人々に個人のスーパーインテリジェンスをもたらすためのもう一つのステップです。
フロンティア能力モデルのハイライトMuse Wonderシリーズは、個人およびプロフェッショナルなエージェント、メモリ、コーディングの主要なベンチマークにおいて、最先端の結果を達成しています。以下の完全な結果は、広範な評価スイートにわたる他のフロンティアモデルと比較したMuse WonderとMuse Wonder Fullを示しています。評価の詳細については、私たちのレポートをご覧ください。上記の結果は、モデルのパフォーマンスの広範なビューを提供します。ここでは、実際のタスクにおける作業の中心となる4つの領域に焦点を当てます。ドメイン専門知識、Active Memory、Active Focus、およびフロンティアコーディングです。
ドメイン専門知識Muse WonderとMuse Wonder Fullは、リースを理解することから、財務情報や健康情報を理解することまで、人々が仕事や日常生活で遭遇する問題に専門知識を応用します。私たちの評価には、この能力をテストする法律、財務、健康分野のタスクが含まれます。例えば、HarveyのLegal Agent Benchmark(LAB)は、モデルがソースドキュメントを操作し、詳細な指示に従って法務プロダクトを作成することを要求します。
Active Memory有用な個人およびプロフェッショナルなエージェントに向けた最も重要なステップの1つは、信頼性の高いメモリです。モデルは、重要なことを記憶し、以前の情報がいつ関連性を持つかを認識する必要があります。これをActive Memoryと呼びます。これは、あなたに関する重要なコンテキストを会話全体で保持し、タスクに関連する詳細を積極的に取得することです。
Active Focusそのコンテキストを使用してタスクを完了するには、持続的な努力も必要です。Active Focusは、Muse Wonderが挑戦的な目標に向けて作業を続ける方法を説明します。代替アプローチを試したり、ブロッカーを克服したり、新しい情報に適応したりします。その過程で、必要に応じて明確化を求め、重要なアクションを取る前に確認します。私たちは、FocusBenchを通じてフォーカスを評価し、SWE-Marathonを通じて持続的な実行を評価します。SWE-Marathonは、長期的なソフトウェアプロジェクトの作業をテストします。
フロンティアコーディングコーディングは、これらの能力を統合します。ソフトウェアを構築するには、要件を追跡し、コードベース全体で変更を行い、テストと改訂の繰り返しサイクルを乗り越える必要があります。Muse WonderとMuse Wonder Fullは、小規模なアプリケーションから複雑なソフトウェアまで、プロジェクトをサポートするフロンティアコーディングパフォーマンスを提供します。私たちは、両方のモデルを多様で長期的なタスクでトレーニングし、このプロセス全体で進捗を持続させるのを助けました。
キッチンゲームウェルネスサポート保険請求キッチンゲームデモの読み込みMuse Wonderは、カスタマイズ可能な画像入力からプレイ可能な3Dキッチンゲームを構築します。
汎用化する能力2つのモデルはしばしば類似したベンチマークスコアを持ちますが、一方ははるかに広範な未知のタスクを処理できるようです。これが「ベンチマーキング」の不満と「ビッグモデルの匂い」の賞賛の両方が指していることです。つまり、少数のドメインの人気ベンチマークでは完全に捉えきれない能力の幅です。この不一致を定量化するために、ポストトレーニング中にターゲットされたタスクのパフォーマンスが、テストタイムコンピューティングをスケーリングするにつれて未知のタスクのパフォーマンスとどのように関連するかを調査します。以下のプロットは、Muse Spark 1.3とMuse Wonder Fullを比較しており、各点は異なる推論努力におけるパフォーマンスを示しています。横軸は、ポストトレーニング中にターゲットしたタスクの複合代表に対するモデルのスコア(「インディストリビューション」)を示しています。縦軸は、ポストトレーニング中にターゲットしなかったタスクのセットに対する平均スコア(「アウトオブディストリビューション」)を示しています。私たちの両方のモデルは、テストタイムコンピューティングをスケーリングするにつれて、アウトオブディストリビューションタスクで同様に改善します。しかし、インディストリビューションパフォーマンスを考慮すると、Muse Wonder FullはMuse Spark 1.3のトレンドが予測するよりも、未知のタスクでさらに優れたパフォーマンスを発揮します。この上方シフトは、Muse WonderとMuse Wonder Fullがより大きく、より強力なベースモデルに基づいているためです。より強力なベースは、未知のタスクにより効果的に引き継がれるポストトレーニングの利点をもたらします。この汎用性は、目標、ツール、制約の多くの組み合わせを処理する必要がある個人エージェントにとって特に重要です。トレーニング中にすべてを予測できるわけではありません。
土曜日のランニングプランパーソナライズされたギフト結婚式の座席表土曜日のランニングプランデモ画面録画の再生土曜日のランニングプランエージェントデモンストレーション。再生キャプションを表示土曜日のランニングプランエージェントデモンストレーションの画面録画。キャプションを表示画面録画土曜日のランニングプランエージェントデモンストレーション。再生位置0:00 / 0:0000:00 / 00:00ブラウザ内およびアプリを横断して直接作業するMuse Wonderは、個人の好みや状況に基づいたランニングプラン(マップデータ©OpenStreetMapコントリビューター)を構築します。Muse Wonderは、個人のInstagramプロファイルから取得した実際の写真に基づいて、カスタムスワッグをデザインおよび注文します。Muse Wonderは、複雑なマッチング要件のリストに基づいて、カスタムウェディングシーティングチャートを作成します。
フロンティアにおける安全性すべての人に個人のスーパーインテリジェンスを提供するには、アライメントと安全性への多大な投資が必要です。個人エージェントはユーザーの代わりにアクションを実行し、メッセージ、カレンダー、プライベートドキュメントなどのコンテキストを処理する可能性があります。そのレベルのアクセスには、プライベート情報を慎重に扱い、誤用を拒否するモデルが必要です。私たちは、Muse Wonderファミリーを、両方の側面でリードし、敵対的な指示に対する堅牢性とプライベート情報の慎重な取り扱いを訓練しました。モデルがより有能になるにつれて、人々がそれらの能力を安全かつ責任を持って活用できるように支援することが私たちの目標です。Muse Wonderは、Meta Superintelligence Scaling Frameworkに従い、防御的な使用のためにフロンティアサイバー能力へのアクセスを維持しながら、CBRN(化学、生物、放射線、核)およびサイバーの誤用に対するこれまでで最も強力な保護を提供します。Muse Wonderは、これまでのところ私たちの最もアラインされたモデルであり、アライメントは個人のスーパーインテリジェンスを構築する方法の中心です。追加の安全性評価を含む完全なレポートがまもなく公開されます。私たちは、Muse WonderとMuse Wonder Fullが、より多くの人々が自分の夢を追求し、望む世界を構築する力を与えることを願っています。