Beam: Reflectionの501Bオープンウェイトモデル
Beam: Reflection's 501B open-weight model (reflection.ai)
要約
Reflection社は、コーディング、推論、エージェントワークロード向けに設計された、5010億パラメータ(アクティブ230億)を持つオープンウェイトモデル「Beam」を発表しました。Beamは、23.8兆トークンに及ぶ大規模な事前学習と、10.5KのNVIDIA GB300 GPUを用いた高計算リソースの強化学習(RL)によって開発されました。これにより、推論時の計算効率に優れた最先端のオープンウェイト性能を実現しています。
全文翻訳
Introducing Beam: Reflection’s 501B open-weight model
Reflection社は、同社初のオープンウェイトモデルであるBeamを発表します。Beamは、コーディング、推論、エージェントワークロード向けに構築された、総パラメータ数5010億、アクティブパラメータ数230億のスパースMixture-of-Expertsモデルです。
Beamの能力は、事前学習と強化学習(RL)の両方への大規模な投資から生まれています。Webおよびプロプライエタリなライセンスデータセットから収集された23.8兆もの多様で質の高いトークンでモデルを事前学習し、同規模の既存のオープンベースモデルに匹敵するかそれを上回る性能を達成しました。並行して、高計算量のRLを大規模に維持するために必要なアルゴリズム、トレーニング環境、インフラストラクチャを開発しました。高計算量のRL実行では、4週間のトレーニング期間中に10.5KのNVIDIA GB300 GPUを使用して1億以上のロールアウトを生成しました。
これらの取り組みにより、最先端の推論効率を持つ競争力のあるオープンウェイトパフォーマンスが実現しました。
Beamは現在、最終的なレッドチーミングと評価の段階にあります。モデルの早期アクセスにサインアップするにはこちらから登録してください。ウェイト、技術レポート、モデルカード、開発者向けアーティファクトは今月中に公開されます。
Model Capability
Beamは、特にコーディングとエージェントパフォーマンスに重点を置いてトレーニングされました。Beamは、西洋のオープンウェイトモデルの最前線を前進させ、GLM 5.2のようなより大きなオープンモデルや、コーディングおよびエージェントタスクにおいてQwen 3.8-Maxに迫る性能を示しています。Kimi K3のような最先端のオープンモデルが生の能力で先行しているのに対し、Beamの強みは推論時の効率にあります。
以下の図は、Beamのコーディング、エージェント、推論、STEMベンチマークにおけるパフォーマンスを示しています。NRはスコアが報告されていないことを示します。
Agentic Coding/Terminal
| Row label | Beam | Inkling | Nemotron 3 Ultra | GLM 5.2 | GLM 5.3 | Kimi K3 | Qwen 3.8 Max | DeepSeek V4.1 Flash |
|---|---|---|---|---|---|---|---|---|
| DeepSWE v1.1 | 44.4 | NR | NR | 44.0 | 61.0 | 68.0 | 51.0 | 74.2 |
| SWE Bench Pro v2-Hard | 77.2 | 56.9 | NR | NR | 84.3 | 88.2 | NR | NR |
| SWE Bench Pro v1 | 65.5 | 54.3 | 46.4 | 62.1 | NR | NR | 67.7 | NR |
| Terminal Bench v2.1 | 80.1 | 63.8 | 56.4 | 81.0 | 88.2 | 88.3 | 86.6 | 90.6 |
| SWE Atlas Codebase QnA | 34.6 | NR | NR | NR | 61.0 | 68.0 | NR | NR |
| SWEBench Multilingual | 78.0 | NR | 67.7 | NR | NR | NR | NR | NR |
| SWEBench Verified | 80.9 | 77.6 | 70.7 | NR | NR | NR | NR | NR |
Beamは、コーディングとエージェント能力に、非常に効率的な推論を組み合わせています。高度な推論ベンチマークでは、GLM-5.2と同等のスコアを達成しながら、推論計算量を3〜4倍少なく使用しています。効率の向上は、Qwen 3.8-Maxのような2兆パラメータ以上のファミリーのモデルと比較するとさらに顕著であり、トークンあたりの推論計算量が大幅に多く必要となります。
これらの結果は、トークンあたりの知能向上につながり、低コストで強力なモデル能力を提供するため、Beamはエンタープライズコーディングおよびエージェントワークロード向けの強力なワークホースモデルとなります。
High-Compute Reinforcement Learning
高計算量の強化学習をBeamの主要なスケーリング軸とし、RLサイエンス、データ、インフラストラクチャに投資して、より多くの計算量をより強力な能力に変換しました。RLをスケーリングすることで、問題解決戦略のより広範な探索が可能になり、より長いロールアウトはマルチステップ推論、ツール使用、環境フィードバックへの適応をサポートします。
強化学習をスケーリングするために、10.5KのNVIDIA GB300 GPUを4週間展開し、最大コンテキスト長256Kトークンで1億以上のロールアウトを生成しました。トレーニングとグレーディングには約13億のサンドボックスが使用されました。この規模の実行を維持するために、100万もの高品質なコーディング、エージェント、STEM環境を調達しました。これは、これまでのオープンラボによる最大規模のRL実行の1つであると信じています。評価スイート全体で、RL計算量を増やしても能力は向上し続け、プラトーの兆候は見られませんでした。
非同期ポリシー勾配法を用いてBeamをトレーニングしました。大規模になると、ポリシーのスタールネス(古さ)がこれらの手法の不安定性の主要因となります。長時間のロールアウトでは、複数のモデルチェックポイントによって生成されたトークンがあり、初期のトークンは現在のポリシーに対してますます古くなります。トレーニングと推論エンジンの間の数値的な不一致が、この課題をさらに悪化させます。
これらの条件下で安定した学習を維持し、パイプライン全体でトレーニングと推論の不一致を体系的に削減するための新しいアルゴリズムを開発しました。これらの進歩により、1日以上前に生成されたインタラクションから学習する場合でも、大規模で完全に非同期なRLが安定して実行できるようになります。
Learning to reason efficiently
Beamは、成功したソリューションを報酬とし、不要なトークンを抑制する制御可能な長さペナルティを用いてトレーニングされました。RLの初期段階では、完了長が短くなるにつれてパフォーマンスが向上しました。モデルは、より少ない推論でタスクをより効果的に解決することを学習しました。その後、Beamがより強力なエージェント能力を発達させるにつれて、完了長は再び増加しましたが、それらの追加トークンはパフォーマンスのさらなる向上をサポートしました。トレーニング全体を通じて、RLは能力とトークン使用量の間のトレードオフを改善しました。
ユーザーは、Beamの推論努力パラメータを通じてこのトレードオフを制御できます。低い設定は短い応答を優先し、高い設定は要求の厳しいタスクでのパフォーマンスを向上させるために長い推論を許可します。これにより、ユーザーはタスクと計算予算に合わせて推論努力を柔軟に調整できます。
How behavior generalizes with RL
BeamのRLトレーニングは、トレーニングタスクを超えて汎化する推論およびエージェント能力を開発するように設計されました。推論、ソフトウェアエンジニアリング、ターミナルタスクのトレーニングフェーズ中に、ブラウジングタスクがRLミックスに含まれていなかったにもかかわらず、ブラウジング能力に一貫した向上が見られました。この転移は、Beamがドメインを横断して汎化するより広範なエージェント能力を学習していることを示唆しています。Webアクセスを与えられると、他の大規模言語モデルを検索・クエリしたり、OCR APIを使用してドキュメントを読み取ったりすることを自然に学習しました。
以下のデモは、Beamがこれらの能力をリサーチ、アプリケーション開発、ゲームプレイ、機械学習ワークフローに適用する様子を示しています。例は、公開データを使用してライブのニューヨーク市地下鉄ダッシュボードを構築することから、インタラクティブなアプリケーションの作成、モデルファインチューニングノートブックの準備まで多岐にわたります。Beamはテキストのみですが、テキストとして表現されていれば、他のモダリティからの情報とも連携できます。別の分布外ドメインでは、BeamはText2SQLタスクで最新かつ最小のGemma-4モデルのファインチューニングノートブックも作成しました。
これらのデモは、推論、コーディング、ツール使用を組み合わせることでBeamが取り組めるタスクの幅広さを示しています。各例には、初期リクエストと結果の出力、および関連するセットアップとユーザーのイテレーションが含まれています。
Scaling reinforcement learning environments
最先端規模の強化学習には、大量の困難で高品質なタスクが必要です。プロプライエタリなベンダーデータとオープンソースソースで補完された、主に合成データパイプラインを通じて、約100万の環境のプールを構築しました。
反復的なキュレーションプロセスに大きく依存しました。まず、ソフトウェアエンジニアリング、ターミナル使用、競技プログラミング、STEM、Web検索、ツール使用、一般的な知識作業を含む幅広いドメインにわたる環境を合成または調達しました。次に、タスクの難易度(一貫して解決可能でも不可能でもないことを保証)と品質(例:不十分な指定、誤解を招く、推測可能、ハッキング可能、またはその他の破損またはノイズが多いものではない)を厳密にフィルタリングしました。第三に、RLを通じてタスクをテストし、さらなる品質または難易度の問題を特定し、次の調達およびフィルタリングのイテレーションに情報を提供できるようにしました。
Beamの開発全体を通じて、データ品質の妥協は能力のプラトーやその他のトレーニング問題につながることがわかりました。タスク品質の体系的な改善は、実行中の能力向上を維持するために不可欠であり、飽和の兆候なしに終了しました。
Frontier RL infrastructure
高計算量のエージェントRLには、ロールアウトの生成、ツールの実行、結果の評価、および大規模なモデル更新が必要です。これらのプロセスが独立して実行され、エクスペリエンスとモデル更新のフローを調整できる非同期プラットフォームを構築しました。
Beamのトレーニング中、平均110Kの同時ロールアウトを維持しました。7つの機能がこれを可能にしました。
Fully asynchronous execution: エージェントは、トレーナーが新しいモデルバージョンを学習して公開している間にロールアウトを生成します。各トークンには、それを生成したバージョンタグが付いており、トレーニングアルゴリズムは、完了したロールアウトがトレーニングに流れ込むにつれて、ポリシーのスタールネスを考慮できます。
Flexible compute allocation: ワークロードの進化に合わせて、推論とトレーニングのバランスを調整し、3.9:1から5.4:1の推論対トレーニングGPU比率で運用しました。また、同じトレーニング系列内で5つのGPUメッシュ構成にわたってトレーナーをリサイズしましたが、トレーニング状態を失うことはありませんでした。
Fast model updates: 新しいウェイトは、中央値約12秒で推論フリートに到達しました。階層的な配布は、RoCE経由でラック全体にウェイトを転送し、その後NVLink経由でローカルに共有します。すべてのレプリカが直接ウェイトをプルするのと比較して、ラック間のトラフィックを75%削減し、フリート全体での新しいウェイトの採用を2.2倍高速化しました。
Resilience to inference failures: 実行中、71件の推論インシデントが、トレーニングジョブを終了することなく処理されました。推論容量は中央値8分で回復し、失われた容量は経過したサービングGPU分のわずか0.02%でした。
Environments at scale: 実行中に最大170Kの同時サンドボックスをサポートしました。プラットフォーム全体で、20以上のクラスター、2つのクラウド、4つのリージョンにまたがる10億件以上のサンドボックス作成リクエストを処理しました。新しいサンドボックスの90%は10秒未満で準備ができました。
Efficient Trainer Packing: 動的なパッキングにより、トレーニングバッチは平均99.99%満杯に保たれ、平均ロールアウト長が約70%増加しても、GPUあたりのトレーナーのスループットは1.5%以内に維持されました。
Observability and reward integrity: トークンごとのレコードにより、各ステップでトレーニングと推論間の数値的な一貫性チェックが可能になりました。独立したジャッジが、ベリファイアの悪用に対して合格したソリューションを再スクリーニングし、再生可能なレコードにより、報酬とそのトレーニングでの使用が検査可能になりました。
これらの機能の組み合わせにより、スループットを維持し、障害から回復し、学習プロセスの整合性をチェックしながら、より長いインタラクションとより要求の厳しい環境でトレーニングすることができました。
Pretraining a Foundation for Reasoning
強化学習は、堅牢なベースモデルの上に構築されます。推論を容易にするために、Beamの基盤がコーディングドメインにおける豊富な知識、増幅可能な生来のエージェント能力、および安定したMoE最適化ダイナミクスを備えていることを確認しました。
Beamを開発する間、スケーリングレシピを確立および検証するために、一連の反復的に大きくなるモデルを事前学習しました。それらのパフォーマンスを予測可能にするには、モデルティアの慎重な設計、多様な社内コードおよびWeb検証セットのキュレーション、およびそれらに対するすべてのトレーニングデータの積極的な汚染除去が必要でした。スケーリングは維持され、最終的なBeam Baseは予測されたパフォーマンスに一致し、アクセス可能な同規模のオープンソースベースモデルにも一致するかそれを上回りました。
Stable and balanced MoE optimization
Beamアーキテクチャと最適化レシピは、持続的な下流RLのための数値的に健全な基盤を強調しています。インターリーブされたローカルおよびグローバルアテンション、きめ細かなルーティングされたエキスパート、制御された残差ストリーム、および複数の負荷分散形式を組み合わせて、安定したバランスの取れたエキスパート利用と残差を通じた健全な信号伝播を保証します。
エキスパート利用のために、補助損失なしの負荷分散(DeepSeek-AI et al., 2024)を基盤とし、トレーニング後半のエキスパートバイアスの更新のコサイン減衰を導入してルーティングの摂動を減らしました。シーケンスレベルのバランシングは、事前学習分布外のデータでのエキスパート利用をさらに促進し、モデルを下流RLの変化する分布に備えさせます。その結果、最終的な事前学習済みベースはほぼ完璧な均一な利用率を持ち、すべてエキスパートが学習済み推論に使用できることを保証します。
残差ストリームについては、サブレイヤー出力が蓄積するにつれてアクティベーションの成長を相殺する深さベースのスケーリングアプローチを開発し、モデルの深さが増加しても残差ノルムを安定させるのに役立ちました。SandwichNorm、要素ごとのアテンションゲーティング、およびFP32残差累積(ストリームへの小さな更新の追加時の丸め誤差を削減)と組み合わせることで、このレシピはアクティベーションの成長と外れ値を制御し、それによってBeamのすべてのレイヤー全体で健全な信号伝播を保証します。この安定性は、事前学習、強化学習、およびアライメント全体で持続します。
Quality-centric data curation
Beamは、Web、公開ソース、およびプロプライエタリなライセンスデータセットから収集された23.8兆もの多様で高品質なトークンで事前学習されました。データパイプラインは、Beamに下流のエージェントコーディングの基盤を提供するために設計されました。ソースコード、技術的な説明、および数学的・科学的知識は、キュレーションのすべての段階で維持されました。Web上で公開されているほぼすべてのアクセス可能で無制限ライセンスのコードとコードドキュメントでトレーニングしました。
Web、コード、STEMコンテンツ用の独自の品質分類器をトレーニングし、データをきめ細かな品質ティアに分割し、より強力な素材に向けてトレーニングを重み付けしました。広範な科学的イテレーションの後、最先端のOSSデータフレームワークで使用される従来のWebフィルターを大幅に超えるデータキュレーションの精度と再現率を最適化しました。一方、約95%の生のインターネットトークンは、解析、重複排除、キュレーションによって排除されます。他方、従来の技術では、保持している約1.8兆もの高品質トークン(キュレーションされたWebコードトークンの87%を含む)を見逃していたことがわかりました。
コードモデリングは、最高のパフォーマンスのために独自のキュレーションを必要とします。各言語について、個別に調整されたフィルターを適用し、低品質の自動生成コンテンツや学習不可能なコンテンツを削除し、トレーニングの安定性を損なう可能性のある破損コンテンツやコードを特定する分類器をトレーニングしました。過剰に表現されている言語やファイルタイプは、露出をさらに広げるために再調整されます。
また、PDFアーティファクトを処理するための高スループットパイプラインを開発し、ベースBeamが幅広いSTEMトピックに関する知識を持つことを保証しました。これは、ビジョン言語OCRモデルと社内品質分類器およびアーティファクト検出器を統合しており、フォーマットが不適切な再構築を検出し、数千のGPUに分散してペタバイトの技術データを処理します。
トレーニング期間中にモデルの露出を増やすために、コードと技術コンテンツを複数回繰り返しました。これには、ファジー重複排除、パッキングアルゴリズム、および過学習の科学に細心の注意を払う必要があり、繰り返されたデータソースが汎化を助け、損なわないようにしました。
Frontier-grade pretraining infrastructure
Beamは、6,144個のNVIDIA GB300 NVL72 GPUクラスターで4週間未満でエンドツーエンドで事前学習されました。Beamを大規模にトレーニングするために必要な信頼性、パフォーマンス、および開発速度を達成するために、インフラストラクチャスタックのほぼ全体を社内で構築しました。これには、クラスター全体にわたる新しいトポロジー認識型のKubernetesベーススケジューラ、継続的なヘルスモニタリングとアラートを備えた内部ノードライフサイクルシステム、および半自律的な巻き戻しと再起動が可能なサイレントデータ破損(SDC)検出システムが含まれていました。これらのシステムを組み合わせることで、フロンティアモデルを効率的かつ高い安定性でトレーニングするために必要なパフォーマンスと運用制御が得られました。
トレーニングレシピの安定性、インフラストラクチャ、およびデータ品質への広範な投資の結果、全体的な事前学習実行は非常にスムーズな軌跡で完了しました。非決定的な勾配ノルムスパイクまたは疑わしいSDCに起因する9回の半自動巻き戻しを実行しました。さらに、チェックポインティング、障害検出、およびノードヘルス管理の改善のおかげで、実行のグッドプット(最終モデルに残されたトレーニングステップに費やされた壁時計時間の割合)は終盤で92.3%に達しました。
Building a strong prior for RL in Midtraining
ミッドトレーニングステージは、高計算量のRLの基盤として特別に設計され、Beamがより要求の厳しいタスクから学習することを可能にする知識、推論、およびツール使用能力を開発しました。
実世界のタスクの構造と複雑さを捉えつつ、生のデータだけでは学習が難しい能力のカバレッジを拡大するマルチステージデータキュレーションパイプラインを構築しました。慎重に選択された実世界の例から開始し、これらのパイプラインは素材を変換、結合、拡張して、特定の能力を教えるように設計されたトレーニングデータを作成します。これには、モデルを論理の拡張チェーンにさらす、長くて推論が豊富なドキュメントが含まれます。
ミッドトレーニングは、Beamの効果的なコンテキスト長を1Mトークンに拡張します。構造化されたコードリポジトリ、長期間のタスク、および高品質な長文ドキュメントを組み合わせて、モデルが長いシーケンスにわたって関連情報を識別、保持、および接続することを教えます。
これらの機能の組み合わせにより、RLはより強力な出発点を得て、Beamがより複雑なソリューションを探索し、より長いインタラクションを通じて作業し、そうでなければ手の届かないタスクから学習できるようになります。
Safety and Alignment
安全性とアライメントの作業には、SFTとRLの別のパイプラインを使用して、モデルが従うべき原則を対象としたデータで、事前学習済みチェックポイントから2番目のモデルをトレーニングすることが含まれていました。大規模RLティーチャーと専用の安全性・アライメントティーチャーという2つのティーチャーの能力を、マルチティーチャーオンポリシー蒸留(MOPD)を通じてマージしました。
Beamの安全性とアライメントの原則を3つのティアに編成しました。
(1) Beamが破ってはならないルール:当社の安全ポリシーに従い、AIエージェントとしてのアイデンティティを維持すること。
(2) Beamが一貫して満たすべき品質:与えられたコンテキストを使用すること、正確な主張をすること、不確実性を認めること、ユーザーのリクエストに透明性を持って従うことなど。
(3) Beamが対話すべきデフォルトスタイル:直接的、徹底的、効率的、そしてユーザーが次に必要とするものを予測すること。
アライメントステージのRL環境を、Beamがこれらの原則を遵守するようにインセンティブを与えるように設計しました。これらの環境の多くは、生成的な報酬モデルによってジャッジされる検証不可能な報酬を含んでいましたが、それらを使用してモデルの行動を予測可能に形成することができました。RLを実行する前に報酬がさまざまな行動にどのように影響するかを予測することで、Best-of-N天井だけよりも優れたRLゲインを予測できました(BoN天井でのr=0.46と比較してr=0.79)。これにより、ルーブリックと報酬設計を反復処理し、幻覚や過剰なフォーマットなどの行動を抑制し、Beamの全体的な対話品質を向上させることができました。
安全性トレーニングでは、デリバラティブアライメント(Guan et al., 2024)技術を使用して、安全ポリシーをモデルの推論に直接組み込みました。データセットは、敵対的かつ反復的に構築されました。各ラウンドで、モデルをトレーニングし、有害または過剰な拒否行動を引き出すプロンプトを生成し、成功した攻撃を次のラウンドのSFTミックスに折り返しました。安全性RLについても同様に、シミュレートされた敵対者がツールを使用するモデルに安全でないアクションを取るように圧力をかける単一ターン、複数ターン、ジェイルブレーク、およびエージェントシナリオを調達し、過剰な拒否と有害なコンプライアンスを同時に削減しました。
安全性評価の結果は技術レポートで公開し、内部で使用した安全性評価をオープンソース化して、オープンエコシステムがテストし、貢献できる共有可能で検査可能な標準を作成します。
The Path Ahead
このプレビューは、今日のBeamができることを示しています。Beamのこの初期バージョンを一部のユーザーに提供しています。待機リストへの登録はこちらから可能です。
Beamが広くアクセス可能で、構築しやすいものになることを望んでいます。今月、Apache 2.0ライセンスの下でウェイトをリリースし、ドキュメントと、モデルの実行、評価、ファインチューニングのためのフルスタックを提供します。Beamは、ディストリビューションパートナーのエコシステム、および幅広いオープンソースライブラリやハーネスとの統合とともにローンチされ、開発者は既存のオープンソースワークフロー全体でBeamを使用できるようになります。
Beamはシリーズの最初のモデルであり、チームがコミットしているオープンインテリジェンスの最初のデモンストレーションです。次のモデルをすでにトレーニングしており、リリースごとにオープンフロンティアを知能のフロンティアに近づけることを目指しています。