BaiduがERNIE 5.5 Flash Baseを公開

目次

01はじめに02モデルアーキテクチャ03事前学習04評価05クイックスタート06結論と展望07引用

1. はじめに

ベースモデルは、事前学習によって構築される能力と、さらなるトレーニングの出発点としての両方の価値があります。異なるドメイン、推論タスク、エージェントアプリケーションは、異なるデータ、トレーニング目的、振る舞いを必要とします。事前学習終了時の重みを公開することで、開発者は既に存在する一般的な能力を基盤として、次にモデルをどのように発展させるかを選択できます。

本日、私たちはERNIE-5.5-Flash-Baseを公開します。これは、総パラメータ数2800億、トークンあたり140億がアクティブになるスパースMixture-of-Experts（MoE）言語モデルです。これは33.5兆トークンでスクラッチから事前学習され、最大128Kのトレーニングコンテキストを持ち、ファインチューニングと推論では1Mトークンのコンテキストをサポートします。重みは事前学習終了時のチェックポイントであり、中間または事後トレーニングを経る前のものです。ドメイン適応、指示チューニング、強化学習の研究における一般的な出発点として機能します。

構築する価値のあるベースモデルであるためには、トレーニングと実行のコストが許容範囲内である必要があります。そのため、効率性は当初からの設計目標でした。さらなるトレーニングはモデルから繰り返しサンプルを抽出し、エージェントアプリケーションはマルチターンの対話と長いコンテキストをもたらします。これらはどちらも計算コストとメモリコストを増加させます。したがって、ERNIE 5.5 Flashは、アテンション、残差接続からMoEレイヤー、出力ヘッドに至るまで、あらゆるコンポーネントにおいて能力と効率性のトレードオフを再検討し、アクティブな計算、KVキャッシュ、長コンテキストコストを個別にではなくまとめて考慮します。

データとトレーニングシステムも同様の考え方で形作られました。トレーニングの各後期段階は、事前学習が提供するものの上に構築されるため、コーパスはリポジトリ規模のコードや長コンテキスト理解など、後から追加するのが難しい能力を重視します。そして、効率的なアーキテクチャは、大規模で効率的にトレーニングできる場合にのみ価値を発揮するため、モデルとトレーニングシステムを共同で設計しました。

このリリースにより、より多くの開発者が大規模な事前学習のコストを節約し、関心のある能力、タスク、トレーニング方法に自身のリソースを費やせるようになることを願っています。

主なハイライト：

• さらなるトレーニングのためのオープンな出発点。 中間または事後トレーニングを行わないベース重みであり、コミュニティはドメイン適応、推論、エージェントトレーニングのための独自のНаходкиを追求できます。
• 効率的なさらなるトレーニングと推論のために構築。 スパースMoEとハイブリッドスパースアテンションは、モデル容量、アクティブな計算、長コンテキストコストをアーキテクチャ自体でバランスさせます。
• 広範なデータ、効率的なトレーニング。 多様で高品質な事前学習データは、後続のトレーニングにバランスの取れた基盤を提供し、アーキテクチャと共同設計されたトレーニングシステムは、大規模な事前学習を効率的に保ちます。
• クリーンな研究ベースライン。 事前学習終了時に取得された単一のチェックポイントは、制御された条件下でのトレーニング方法の比較や、各トレーニング方法が追加するものを測定することを容易にします。

2. モデルアーキテクチャ

［画像: ERNIE 5.5 Flash architecture: 43-layer backbone, hybrid sparse attention, Multi-Router Latent MoE, mHC, MultiMax, ECHO, and R2L tokenizer.］

ERNIE 5.5 Flash モデルアーキテクチャ フル画像を表示するにはクリックしてください ↗

ERNIE 5.5 Flash は、43個のTransformerレイヤー、4096の隠れサイズ、64のアテンションヘッドを備えています。

2.1 Latent-Gated Sparse Attention

ハイブリッドMLA + HCAアテンション: ほとんどのレイヤーは遠い過去の粗いビューで十分なため、7つのレイヤーのうち1つだけがトークンレベルで完全なコンテキストへのアクセスを保持し、Multi-head Latent Attention（MLA）を使用します。残りのレイヤーはHeavily Compressed Attention（HCA）を使用します。各HCAレイヤーは、128トークンごとに1つのキャッシュエントリに圧縮し、これらのエントリすべてと最近の非圧縮トークンの短いウィンドウにアテンションを向けます。したがって、HCAレイヤーは依然としてシーケンス全体を見ることができますが、フルコンテキストレイヤーが必要とする量のわずかな割合しかキャッシュしません。

レイヤー固有のヘッド次元: すべてのレイヤーで同じヘッド次元を使用するのではなく、各レイヤーのアテンションのコストに応じて設定します。安価なレイヤーは幅広のヘッドを持ち、高価なレイヤーはより狭いヘッドを持ちます。HCAレイヤーは128倍に圧縮されたシーケンスにアテンションを向けるため、アテンションは安価であり、わずかな追加計算コストで幅広の512次元ヘッドを使用できます。MLAレイヤーはトークンレベルでアテンションを向け、コストが高いため、クエリ/キーと値の両方に狭い256次元ヘッドを使用します。

MLAレイヤーへのKVキャッシュ予算の集中: ほとんどのレイヤーにHCAがある場合、残りのKVキャッシュ予算をどこに費やすかが問題となります。1つの選択肢は、履歴を4倍に圧縮し、その一部のみにアテンションを向ける多くのCompressed Sparse Attention（CSA）レイヤーを使用することです。私たちは代わりに、すべてのトークンを保持する少数のMLAレイヤーを使用します。同等のKVキャッシュ予算での事前学習比較において、HCAとCSAの組み合わせよりもHCAとMLAの組み合わせの方が優れています。

フルコンテキストレイヤーでのスパースアテンション: MLAレイヤーは、すべての遠いトークンを個別に確認できる唯一のレイヤーです。密なアテンションの場合、長いコンテキスト長ではアテンション計算の大部分を占めるため、スパースアテンション（DSA）を使用します。軽量なインデクサーが各クエリの過去の位置をスコアリングし、コアアテンションは最もスコアの高い上位k個の位置でのみ計算されます。したがって、コアアテンションのクエリごとのコストは、コンテキストが成長しても一定に保たれます。DSAを使用すると、これらのレイヤーは事前学習損失において密なアテンションと同等であり、大幅に高速にトレーニングされます。

アテンションレイヤー内には、さらに2つの変更が適用されます。

• 低ランクゲート付きアテンション: ゲート付きアテンションは、学習されたゲートでアテンション出力を乗算します。これは、品質とトレーニングの安定性の両方を向上させることが示されています。通常、ゲートはレイヤーの隠れ状態から計算されます。代わりに、アテンションレイヤーが既に計算しているクエリの圧縮形式である低ランククエリ潜在から計算します。この潜在は隠れ状態よりも4倍狭いため、ゲート投影の重みは75%少なくなります。また、アブレーションでもパフォーマンスの向上が見られます。ERNIE 5.5 Flashのすべてのレイヤー（MLAおよびHCA）は、低ランクゲート付きアテンションを使用します。
• 仮想ヘッドアテンション（VHA）: アテンションの後、VHAはアイデンティティスキップ接続を備えた、ヘッド間の軽量な低ランク混合ステップを追加します。これにより、ヘッドは情報を共有でき、表現力とトレーニング品質が向上します。推論時には、わずかなオーバーヘッドでアテンションカーネルに融合されます。

2.2 Multi-Router Latent MoE

従来のMoEレイヤーは、単一のルーターとハードなトップkでエキスパートを選択します。私たちは、単一のルーターのスコアは、特に中間および深いレイヤーにおいて、各エキスパートが実際にどれほど有用であるかとの相関が弱いことを見出しました。また、トップkから外れたエキスパートは、そのトークンから勾配を受け取らないため、ルーターは誤った選択をしたというシグナルを受け取らず、誤った選択は自己強化される傾向があります。

Multi-Routerは、単一のルーターを、エキスパートを共同でスコアリングする、独立して初期化された複数のシグモイドルーターに置き換えます。ルーターは明確に異なる好みを開発します。エキスパートは、1つのルーターがそれを強く支持するか、または複数のルーターがそれを共同で支持することによって選択される可能性があります。これにより、誤った選択は修正されやすくなります。いずれか1つのルーターのエラーが選択を決定しなくなり、ルーティングはノイズの多い特徴や分布シフトに対する感度が低下します。アクティブなエキスパートの数、エキスパートのFLOPs、通信量は同じままです。単一のルーターと比較して、ルーティングスコアは、各エキスパートの有用性との相関が著しく向上し、中間および深いレイヤーで最大の増加が見られます。

最初のレイヤーを除くすべてのレイヤーは、MoEフィードフォワードブロックを使用します。

• 512個のルーティングされたエキスパート（トップ10）と1個の共有エキスパート、補助損失フリー、バイアス補正付きロードバランシング。
• Latentエキスパート。 各MoEレイヤーは最初にトークンを4096から2048次元の潜在空間に投影します。エキスパート（中間サイズ2048）はその空間で実行され、単一の共有アッププロジェクションが結果を4096次元に戻します。これにより、フル幅エキスパートと比較して、ディスパッチ/結合トラフィックとエキスパートFLOPsが約半分になります。
• 学習可能なスカラーを備えたStable LatentMoE設計。 MoEブロックはStable LatentMoE設計（アッププロジェクション前のRMSNormとSiTU-GLUエキスパート活性化）に従っており、これにより43レイヤーすべてでエキスパート出力のスケールが適切に保たれ、最適化が安定します。さらに、各ルーティングされたエキスパートのルーティング重みは、それ自身の学習可能なスカラーで乗算されます。

2.3 Manifold-Constrained Hyper-Connections (mHC)

ERNIE 5.5 Flashは、標準の残差接続をmHCに置き換えます。各レイヤーは、制約付き混合行列を介して4つの並列残差ストリームから読み取り、書き込みます。これにより、レイヤーはわずかな追加計算コストで互いに情報を伝達するためのより広いチャネルを持つことができます。

2.4 MultiMax Output Head

単一のソフトマックス温度はトレードオフを強制します。温度を下げると分布はスパースになりますが、他のもっともらしいトークンも抑制されます。温度を上げるとそれらは保持されますが、もっともらしくないトークンの長いテールが太くなります。MultiMaxは、単一の温度を学習可能な区分的温度に置き換えるため、出力ヘッドはもはや選択する必要がなくなります。長いテールのもっともらしくないトークンを抑制しつつ、いくつかのもっともらしい次のトークンを保持します。ソフトマックスの直前に、Tritonで融合されたクロスエントロピーカーネル内でロジットが要素ごとに再スケールされます。これにより、トレーニングオーバーヘッドはわずかで、追加のメモリも不要であり、事前学習損失が大幅に低下します。

2.5 ECHO: MTPモジュールの置き換え

従来のマルチトークン予測（MTP）は、バックボーンに追加モジュールを接続して将来のトークンを予測するため、将来のトークンに対する損失は主にそれらのモジュールをトレーニングし、バックボーンは依然として次のトークンを予測するために主にトレーニングされます。ERNIE 5.5 Flashは、MTPモジュールをECHOに置き換えます。これは、バックボーン自身の最終レイヤーを再利用して将来のトークンを予測します。独立したMTPレイヤーがないため、将来のトークンに対する損失は、次のトークンを生成するのと同じパラメータを直接トレーニングします。次のトークン以降を見越して学習することは、バックボーンがシーケンスの方向性を予測するように促し、推論とコードで明確な利点があります。ERNIE 5.5 Flashは、単一ステップのECHOで事前学習されます。同じレイヤーは、スペキュラティブデコーディングのドラフトモデルとしても機能し、トレーニングを超えて一般化します。1つの追加トークンを予測するようにトレーニングされているにもかかわらず、同じ方法でトレーニングされた補助MTPモジュールよりも高い受け入れ率で、複数のトークン先をドラフトします。

2.6 トークナイザー

ERNIE 5.5 Flashは、約20万エントリの語彙を持つ新しいBPEトークナイザーを使用します。数字は右から左（R2L）に最大3桁のグループでトークン化されます。これにより、同じ桁の値を持つ数字が、異なる長さの数字間で整列されます（例: 1,234,567 → 1 234 567）。これは、算術や数字が多いテキストに役立ちます。

3. 事前学習

ERNIE-5.5-Flash-Baseは、MuonオプティマイザとFP8混合精度を使用して、33.5兆トークンでスクラッチから事前学習されました。トレーニングコンテキストは、事前学習の過程で徐々に128Kトークンまで拡張され、ファインチューニングと推論は1Mトークンのコンテキストをサポートします。公開されているチェックポイントは、事前学習終了時のものであり、中間または事後トレーニングは一切経ていません。

3.1 データ

事前学習コーパスは、幅広いドメインと言語をカバーしており、知識の広さと品質の両方でキュレーションされています。この広範な基盤に加えて、私たちは3つの領域に焦点を当てました。

• Webデータ。 多言語のWebデータは大規模にクロールされ、高忠実度で抽出され、複数の次元で品質をスコアリングするモデルによってフィルタリングされます。結果は幅広い知識をカバーし、有用なトレーニングシグナルが豊富です。
• コードデータ。 リポジトリやWebから収集されたコードは、非コードコンテンツを除去するためにフィルタリングされ、積極的に重複排除され、複数の粒度で品質が評価されます。静的コードに加えて、コーパスにはソフトウェアの進化と実行方法に関するデータが含まれています。コミット、イシュー、プルリクエスト、コードレビュー、要件からPRへの移行、マルチコミット軌跡、生成されたテスト、CI検証済み修正などです。このデータは、リポジトリレベルの推論とエージェント的なソフトウェアエンジニアリングを対象としています。
• 長コンテキストデータ。 3つの補完的なソースがあります。長距離依存関係のために選択され、埋め込みベースの重複排除、LLM品質スコアリング、ルールでクリーニングされた自然な長文ドキュメント。取得された意味的に類似したディストラクタを連結して構築された長いシーケンス。MRCRスタイルの検索、引用に基づくQA、マルチホップQAのための合成データ。

3.2 トレーニングインフラストラクチャ

この実行のために、2つのインフラストラクチャコンポーネントを構築しました。数千のGPUにわたって効率を維持する分散Muonオプティマイザと、大きなヘッド次元用のFlashMask-4アテンションカーネルです。

分散Muon。 Adamのような要素ごとのオプティマイザとは異なり、Muonは各パラメータ行列の更新を全体として直交化します。これにより、分散トレーニングの通信方法とGPU間でのメモリの分散方法が変更されます。2つの最適化により、数千のGPU規模で実用的になります。

• 通信効率の高い更新。 従来、密なパラメータは、クラスター内のすべてのGPUを通過する単一のリング上で同期されます。データは多数のノード間リンクを小さなメッセージで移動するため、リンクが十分に活用されず、クラスターが大きくなるにつれてレイテンシとジッターが増加します。MoEパラメータは異なる方法で同期されます。各GPUは、他のノード上の同じランクを持つGPUとのみデータを交換します。密なパラメータの同期を同じパスに移動し、密な転送とMoE転送を1つのコレクティブ操作に結合します。メッセージが大きくなるため、帯域幅がより完全に利用されます。通信パターンはより規則的になり、エキスパート並列通信に適しています。ノード間レイテンシとジッターが大幅に低下します。オプティマイザの更新はまったく同じままです。
• メモリバランスの取れたシャーディング。 Muonは効率的な通信のために大きなメッセージを必要とするため、単純なシャーディングでは多くのパラメータテンソルをグループ化して最初の数個のGPUに配置します。その結果、少数のノードが他のノードよりもはるかに多くのオプティマイザ状態を保持します。これらはOOM（メモリ不足）エラーを起こしやすく、チェックポイントの保存、アップロード、ダウンロードが遅いため、障害からの回復時間が長くなります。この問題はGPU数とともに増加します。ノード間バランスの取れたシャーディングは、これらのオプティマイザ状態をより多くのGPU（順序の後ろの方のGPUを含む）に分散させます。これにより、メモリはノード間でほぼ均等にバランスが取れますが、メッセージは効率的な通信に十分な大きさのままです。

大きなヘッド次元のためのFlashMask-4。 大きなヘッド次元では、FlashAttentionスタイルのカーネルは、共有メモリやテンソルメモリなどのオンチップストレージの制限に直面します。計算利用率が低下し、一部の設定は実装が困難です。FlashMask-4は、SM90およびSM100 GPUの両方に対してCuTe-DSL上に構築されています。2-CTAタイル並列計算と、SM100ではテンソルメモリでのダブルバッファローテーションにより、これらの制限を回避します。FlashMaskのコンパクトなO(N)列ごとのマスク表現を維持し、完全にマスクされたブロックをスキップします。FlashAttention-4がサポートする範囲を超えて、ヘッド次元をqk_head_dim = 576およびv_head_dim = 512までサポートします。SM100 GPUでは、フォワードパスでFlashAttention-4 MaskModよりも最大175%高速、バックワードパスで最大74%高速です。

4. 評価

4.1 セットアップ

ERNIE-5.5-Flash-Baseに加えて、図と表には同様のサイズの3つのベースモデルが報告されています。DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）です。4つのモデルすべてが、公開されているチェックポイントから、同じ評価ハーネス、プロンプト、少数ショット例を使用し、自由形式QAには同じLLMジャッジを使用して評価されました。

4.2 全体結果

［画像: ERNIE 5.5 Flash Base, DeepSeek V4 Flash Base, Hy3 preview Base, and MiMo V2.5 Base across 30 benchmarks in seven categories. Full scores are provided in Detailed Results.］

ERNIE 5.5 Flash Base 全体評価結果 フル画像を表示するにはクリックしてください ↗

ERNIE-5.5-Flash-Baseは、すべてのベンチマークカテゴリで強力なパフォーマンスを発揮し、特に推論、コード、試験ベンチマークで優れた結果を示しています。43レイヤーのうち37レイヤーが128倍に圧縮されたシーケンスをアテンドしていますが、6つのMLA-DSAレイヤーは、6つの長コンテキストベンチマークでパフォーマンスを強力に維持するのに十分です。

4.3 詳細結果

ERNIE 5.5 Flash Base および比較対象のベースモデルの完全な評価

ベンチマーク（メトリック）

ショット

ERNIE 5.5 Flash
Base

DeepSeek V4 Flash
Base

Hy3 preview
Base

MiMo V2.5
Base

総パラメータ数

280B

284B

295B

310B

アクティブパラメータ数

14B

13B

21B

15B

試験

MMLU (EM)

5-shot

93.3

89.4

87.5

87.6

MMLU-Redux (EM)

5-shot

94.1

90.9

88.7

89.4

MMLU-Pro (EM)

5-shot

78.4

69.2

66.9

65.7

CMMLU (EM)

5-shot

90.0

89.7

89.3

87.7

知識

SimpleQA (LLM-Judge)

10-shot

34.1

29.1

25.9

20.8

ChineseSimpleQA (LLM-Judge)

10-shot

73.0

75.3

73.2

68.8

PreciseWikiQA (LLM-Judge)

10-shot

59.3

52.0

50.3

46.0

HotpotQA (LLM-Judge)

10-shot

57.3

51.8

50.9

50.1

PopQA (LLM-Judge)

10-shot

52.2

48.7

49.3

45.7

STEM

GPQA (EM)

5-shot

60.2

55.9

50.2

51.4

MGSM (EM)

8-shot CoT

87.0

84.6

76.9

83.8

MathBench-CN (LLM-Judge)

5-shot

80.8

78.0

75.3

65.6

推論

BBH (EM, direct)

3-shot

77.1

69.0

67.5

68.0

BBH (EM, CoT)

3-shot CoT

89.2

87.5

90.0

89.8

WinoGrande (EM)

5-shot

87.8

84.9

82.4

85.2

PIQA (EM)

5-shot

96.0

95.0

95.2

93.6

多言語

MMMLU-lite (EM)

5-shot

81.0

78.5

76.1

72.2

INCLUDE-lite (EM)

5-shot

79.5

79.8

77.7

74.5

MultiLoKo (LLM-Judge)

5-shot

43.3

42.8

39.5

36.3

コード

HumanEval+ (Pass@1)

1-shot

82.3

69.5

78.0

74.4

MBPP+ (Pass@1)

0-shot

81.5

67.2

78.3

74.3

LiveCodeBench (Pass@1)

1-shot

40.1

31.9

33.5

32.4

FullStackBench (Pass@1)

1-shot

54.6

43.3

56.7

54.1

RepoBench (EM)

0-shot

50.3

49.1

49.1

48.9

長コンテキスト

HELMET-RAG (SubEM)

2-shot

71.5

68.9

67.2

69.0

HELMET-Rerank (NDCG@10)

0-shot

56.2

60.0

55.7

56.6

HELMET-ICL (EM)

many-shot

85.9

83.8

83.0

80.2

RepoQA (Pass@1)

0-shot

91.7

81.0

91.3

56.5

LongBench-v2 (EM)

0-shot

48.7

44.5

39.8

44.6

InfiniteBench (Avg)

0-shot

46.5

48.0

33.0

46.7

各行で最高のスコアは太字で表示されています。モバイルでは横にスワイプして表全体を表示してください。

5. クイックスタート

ERNIE-5.5-Flash-Baseは、Hugging FaceでFP8およびBF16のsafetensors（BF16バージョンはERNIE-5.5-Flash-Base-BF16）で利用可能です。ERNIE 5.5 Flash Base Model License Agreement v1.0の下で提供されます。モデルはすべての入力の先頭にBOSトークンを期待するため、トークン化する際にadd_special_tokens=Trueを維持してください。

Python · Transformers

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "baidu/ERNIE-5.5-Flash-Base-BF16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model_inputs = tokenizer(["The hybrid attention architecture of ERNIE 5.5 Flash"], add_special_tokens=True, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**model_inputs, max_new_tokens=256)[0], skip_special_tokens=True))

SGLangとvLLMはどちらもcompletions APIを通じてモデルを提供します。デプロイメント手順についてはモデルカードを参照してください。ファインチューニングについては、ERNIE 5.5の例を参照してください。

6. 結論と展望

ERNIE-5.5-Flash-Baseは、1つの前提から始まります。それは、さらなるトレーニングを目的としたベースモデルは、設計上効率的であるべきだということです。アテンションや残差接続からMoEレイヤー、出力ヘッドに至るまで、あらゆるコンポーネントで能力と効率性のバランスを取りました。このアーキテクチャは、広範で高品質な事前学習データと、モデルと共同設計されたトレーニングシステムに支えられています。トークンあたり140億パラメータがアクティブになり、KVキャッシュがコンパクトであるため、モデルは長コンテキストベンチマークを含む、幅広いベンチマークで強力なパフォーマンスを発揮します。

このベースモデルは単なる出発点です。ポストトレーニングされたERNIE 5.5 Flashが続きます。コミュニティが、ドメイン適応、推論、またはエージェントのために、これの上に構築するものを楽しみにしています。

引用

ERNIE 5.5を研究やプロジェクトで利用される場合は、このブログ投稿を引用することを検討してください。

BibTeX

@misc{ernie5.5flash,
  title = {ERNIE 5.5 Flash Base},
  author = {{Baidu ERNIE Team}},
  year = {2026},
  howpublished = {ERNIE Blog},
  url = {https://ernie.baidu.com/release/ernie-5-5-flash-base/}
}

ERNIE Team, Baiduトップへ戻る ↑

---