HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

ドイツのAIコンソーシアムがベンチマークでトップを記録したオープンな30Bモデル「Soofi S」をリリース

German AI consortium releases Soofi S, an open 30B model that tops benchmarks (the-decoder.com)

87 pointsby amai18 コメント

要約

ドイツの研究コンソーシアムが、Deutsche TelekomのAIクラウドインフラで完全にトレーニングされたオープンソース言語モデル「Soofi S」を発表しました。このモデルは、トークンごとに31.6億パラメータのみをアクティブにするリソース効率の高いハイブリッドアーキテクチャを採用しており、長い入力でも処理速度を一定に保ちます。ドイツ語のトレーニングデータに重点を置いたSoofi Sは、ドイツ語、英語、プログラミングタスクのベンチマークで、Olmo 3 32BやApertus 70Bなどの他の完全にオープンなモデルを上回っています。

全文翻訳

ドイツのAIコンソーシアムがSoofi Sをリリース、英語とドイツ語の両方のベンチマークでトップのオープン30Bモデル

2026年7月24日のアップデート:

コンソーシアムは、プレトレーニングレポートのバージョン3.0を公開し、初期リリース後にコミュニティが発見した開示済みトレーニングデータにおける汚染インシデントを文書化しました。この問題はQA-baseデータセットに影響を与えましたが、このデータセットは25の標準ベンチマークからの再構成されたトレーニングスプリットのみを含むはずでした。これらはモデルにテスト形式を教えるための練習問題であり、実際のテスト問題そのものではありませんでした。しかし、このデータセットには、英語と機械翻訳されたドイツ語の両方で、科学ベンチマークGPQAのテストセットからの再構成された質問(GPQA Diamondバリアントを含む)も含まれていました。

レポートは、GPQAの特異性に原因をたどっています。Hugging Faceでは、このベンチマークには個別のトレーニングセットがありません。すべてのテスト資料はデフォルトの「train」ラベルの下にあります。データパイプラインがこれらのスプリット名に基づいてコンテンツを選択したため、テストセットが練習問題と混在してしまいました。発見を受けてトリガーされた完全な監査により、同じパターンを持つベンチマークがさらに3つ(TruthfulQA、BLiMP、Inverse Scaling)見つかりましたが、それらのいずれもSoofi-Sの評価には使用されていませんでした。

これに対応するため、コンソーシアムはGPQAを評価から完全に除外し、比較を公平に保つために、比較された全16モデルの全体的な結果を再計算しました。著者によると、ランキング順序は変更されませんでした。注目すべきは、トレーニング中にこの問題に誰も気づかなかったことです。モデルは影響を受けたGPQAタスクで32.3から43.4ポイントへと着実に改善しましたが、その増加は通常の範囲内であり、他のテストでの進捗と変わらないように見えました。警告サインとなるような急激なスパイクはありませんでした。この種のインシデントを再発防止するため、チームは現在、誤解を招きやすいラベルに頼るのではなく、トレーニングデータとすべてのテスト質問を自動的にクロスチェックしています。

Nicolas Flores Herr氏(Fraunhofer IAIS)のようなプロジェクト参加者は、データが公開されていたためコミュニティが問題を発見できたという点で、このインシデントをオープンアプローチが機能している証拠として挙げています。チームは、検証のために約152,000件の個別の結果を公開したと述べています。コンソーシアムパートナーであるEllamindによる別個の評価では、モデルがトレーニング中に見たことが保証されている意図的に秘匿されたテストデータを使用し、結果を確認しました。コンソーシアムによると、影響を受けた部分は総コーパスのごく一部に過ぎません。ファインチューニングされたinstructおよびreasoningバリアントは現在ベータテスト中で、今後数週間で寛容なライセンスの下で出荷される予定です。より大きなSoofi Lモデルはすでにトレーニング中です。

2026年7月15日のアップデート:

ローンチ後、批評家はSoofi Sが古典的なChinchillaスケーリング則の基準で大幅に「過学習」していると主張しました。Google DeepMindは2022年にこれらの法則を発表し、固定された計算予算でモデルサイズとトレーニングデータをどのようにバランスさせるかを説明しました。彼らが特定したスイートスポットは、パラメータあたり約20トークンでした。Soofi Sはこの比率をはるかに超えています。約27兆トークンと300億パラメータで、これは数百対1の比率になります。アクティブなパラメータがトークンあたりわずか32億であると考慮すると、比率は数千対1に跳ね上がります。

プロジェクトの技術リーダーの一人であるMichael Fromm氏は、その批判に反論しています。彼は、それらのルールはMixture-of-Experts(MoE)アーキテクチャには単純に適用されないと主張しています。「古いスケーリング則がMoEアーキテクチャにはもはや適用されないことを示す新しい研究があります」とFromm氏は述べています。その理由はMoEモデルの構築方法にあります。個々のエキスパートは同じドキュメントを見ることから恩恵を受けるため、大規模で高品質なデータセットにおけるデータの繰り返しは、密なモデルの場合よりも問題になりにくいです。比較対象として、Fromm氏はNvidiaが最大25兆トークンで独自のモデルをトレーニングしたことを挙げています。

2026年7月13日のオリジナル記事:

Soofi Sは、ミュンヘンにあるDeutsche TelekomのIndustrial AI Cloudで完全にトレーニングされた最初の大型言語モデルの1つです。このオープンな30Bモデルは、スリムなハイブリッドアーキテクチャと、意図的にドイツ語に重点を置いたトレーニングミックスを使用しています。

ドイツAI連盟(KI Bundesverband)が調整するドイツの研究コンソーシアムは、Soofi S 30B-A3Bをリリースしました。これは、そのプレトレーニングレポートによると、完全にオープンなモデルの中で英語とドイツ語のベンチマークで最高のスコアを達成し、OLMo 3 32BやApertus 70Bのような以前のリーダーを上回っています。

[画像: Soofi S 30B-A3Bと競合モデルを比較した2つのチャート。左:40Kコンテキストでのデコード速度(TPS/GPU)に対する能力指数。右:4Kから256Kトークンまでのコンテキスト長に対するデコード速度。Soofi Sは両方のパネルでリードし、ほぼ一定のスループットレートを維持しています。]

Apertus 70BやQwen3 32Bのような密なモデルが急激に低下する一方で、Mamba-Transformerハイブリッドアーキテクチャのおかげで、Soofi Sは非常に長いコンテキストでもスループットを維持します。| Image: Soofi

長いコンテキストのために構築されたスリムなアーキテクチャ

Soofi SはMixture-of-Expertsモデルです。合計で316億パラメータを含みますが、生成されるトークンあたり約32億しかアクティブになりません。これにより、計算コストは従来の30Bモデルよりも3Bモデルに近くなります。コンソーシアムは、Mamba-2レイヤーと標準的なアテンションレイヤーを組み合わせたハイブリッド設計であるNvidiaのNemotron 3 Nanoのアーキテクチャを無変更で採用しています。

典型的なトランスフォーマーとの主な違いはメモリの動作です。従来のモデルでは、アテンション計算のために前のトークンを保存するKVキャッシュは、コンテキスト長とともに線形に増加します。長い入力と多数の並列リクエストでは、そのキャッシュの再ロードがボトルネックになります。Soofi Sの52レイヤーのうち、6つだけがそのようなキャッシュを維持しています。

実用的なメリットは、生成スループットに現れます。32の並列リクエストで40,000トークンのコンテキスト長において、Soofi Sは140億から240億パラメータ範囲の密なモデルよりも、GPUあたり毎秒約8倍のトークンを生成します。コンベンショナルモデルではコンテキストが長くなるにつれてスループットが大幅に低下しますが、Soofi Sは4,000から256,000トークンまでほぼフラットな状態を維持します。測定において同様の挙動を示す唯一のモデルは、ハイブリッドアーキテクチャを使用するAlibabaのQwen3.5 35B-A3Bです。

ドイツ語を中心に構築されたトレーニングミックス

コンソーシアムは合計で約27兆トークンを処理し、3つのフェーズに分割しました。最初のフェーズでは、モデルは広範なWeb、コード、数学、およびドメイン固有のテキストのミックスから抽出された約20兆トークンから言語の基礎を学習します。次に、以前に学習したパターンをシャープにするために設計された、より高品質なソースからの約6兆トークンで2番目のフェーズが行われます。その後、短い3番目のフェーズで、最大100万トークンの非常に長いドキュメントをトレーニングすることでコンテキストウィンドウが拡張されます。

[画像: 3つのフェーズにわたるトレーニングデータミックスを示すフローチャート。英語Web、コード、推論、数学、ドイツ語を含む7つのカテゴリが、フェーズ1(約23Tトークン)からフェーズ2(約6T)を経てフェーズ3(約188B)へとシフトし、ドイツ語のシェアは7.2%から15.3%に上昇します。]

3つのトレーニングフェーズ全体で、データミックスはより高品質なソースと大幅に増加したドイツ語データのシェアへとシフトします。| Image: Soofi

ドイツ語への意図的な焦点が中心です。最初のフェーズでは、ドイツ語はトレーニングミックスの7.2%を占めます。2番目のフェーズでは、そのシェアは15.3%に上昇します。NvidiaのNemotron参照レシピでは、すべての非英語言語を合わせた割合はわずか約5%です。

データソースとして、コンソーシアムはHPLTからのドイツ語Webテキスト、オープンライセンスのGerman Commonsコーパス、FinePDFsおよびFineWikiのドイツ語部分、そして916のドイツの出版物からの1億9300万の記事を含む商用ライセンスのGeniosコーパスを組み合わせています。機械翻訳されたドイツ語テキストと合成生成されたドイツ語テキストがミックスを完成させます。

ドイツ語と英語の両方で最高のオープンモデルスコア

レポートによると、16の他のオープンモデルとの評価において、Soofi Sはドイツ語と英語の両方の集計スコアで、すべての完全にオープンなモデルをリードしています。これには、Allen Institute for AIのOLMo 3 32Bや、ETH ZurichおよびEPFLのApertus 70Bが含まれます。すべての欧州の主権ベースラインと比較して、このモデルはドイツ語ベンチマークのすべてで、時には二桁の差をつけて優位に立っています。

[画像: Soofi S 30B-A3BとApertus 70B、Alia 40B、Olmo 3 32B、EuroLLM 22Bを8つのベンチマークグループで比較した棒グラフ。Soofi Sはすべてのカテゴリで1位を獲得し、英語集計で70.1、ドイツ語集計で79.1を記録しました。]

完全にオープンソースのモデルの中で、Soofi SはApertus 70Bのようなはるかに大きなモデルに対しても、すべてのカテゴリでトップの座を占めています。| Image: Soofi

コードベンチマークでは、Soofi SはHumanEvalで73.8%、MBPPで70.2%、ドイツ語MBPPバリアントで84.2%のスコアを記録し、オープンソースの同業者の中で最高の成績を収めました。ドイツ固有の地域知識のテストであるINCLUDE-DEでは、Soofi Sはより大きなQwen3.5 35B-A3Bと並んで61.2ポイントで1位タイとなりました。Nemotronベースラインと比較して、ドイツ語データレシピは言語能力を15.1ポイント、科学テストGPQA-Diamondを9.6ポイント向上させ、英語のパフォーマンスを犠牲にすることはありません。

[画像: ドイツ語ベンチマークの棒グラフ。Soofi S 30B-A3BがGLP-DE(88.8)、ARC-Challenge-DE(92.3)、MBPP-DE(84.2)を含む7つのテストで、Apertus 70B、Alia 40B、Olmo 3 32B、EuroLLM 22Bを上回ってリードしています。]

Soofi Sは、ドイツ語のすべてのベンチマークで、時には二桁の差をつけて1位を獲得しています。| Image: Soofi

Soofi Sはドイツ語の競技数学ではそれほど得意ではなく、Minerva MATH-DEで56ポイントを記録し、Qwen3.5 35B-A3B(76.5)やGemma 3 27B(65.6)を大きく下回っています。また、NaturalQuestionsのオープンな事実検索でも遅れをとっています。後者は、密な27Bモデルよりも少ない世界知識しか保存できない可能性のある、アクティブパラメータがわずか30億しかないことに関連している可能性があります。

[画像: Soofi S 30B-A3BとNemotron 3 Nano 30B-A3B、Qwen3.5 35B-A3B、Ministral 3 14B、Gemma 3 27Bを比較した棒グラフ。Soofi SはCode EN、Code DE、GPQA-D-DEでリードし、それ以外では密なモデルと同等のパフォーマンスを示しています。]

より大きなオープンウェイトモデルと比較して、Soofi Sは競争力を維持し、アーキテクチャ的に同一の参照モデルであるNemotron 3 Nanoを一貫して上回っています。| Image: Soofi

RULER長コンテキストテストは、特定の弱点も明らかにしています。モデルが長いテキストから頻繁に出現する単語を抽出する必要がある場合、Soofi Sのヒット率は32,000トークンを超えると約3%に低下しますが、比較対象のNemotronモデルは依然として60%から64%を達成しています。著者らは、これを長コンテキストトレーニングデータに多くの長いドキュメントが含まれているものの、抽出タスク用に設計された合成データが不足しているためと説明しています。残りの12のRULERタスクでは、両モデルはほぼ同等のパフォーマンスを示します。

主権インフラと文書化されたオープン性

トレーニングは3月から5月にかけて、ミュンヘンのDeutsche TelekomのIndustrial AI Cloudで最大512基のNvidia B200 GPUを使用して行われ、合計で約253,000 GPU時間となりました。レポートによると、この施設は完全に再生可能エネルギーで稼働し、Eisbach運河の水で冷却され、廃熱を周辺のTucherpark地区に供給しています。Soofi Sは、このインフラストラクチャ上で行われた最初の主要なトレーニングの1つでした。

Soofiの後ろには、ドイツAI連盟が調整し、欧州IPCEI-CISプログラムの一部としてドイツ連邦経済・気候保護省から資金提供を受けた、ドイツの研究機関と企業のコンソーシアムがあります。

参加者には、Fraunhofer Institute IAISおよびIIS、ドイツ人工知能研究センター(DFKI)、TU Darmstadt、ヴュルツブルク大学、L3S研究センター、ベルリン応用科学大学、およびAI企業EllamindとMerantix Momentumが含まれます。プロジェクトの目標は、主権インフラ上で実行でき、産業アプリケーションでテストできるオープンな欧州AIモデルファミリーを構築することです。

研究者たちは、モデルウェイトと選択された中間チェックポイント、完全なトレーニングおよび評価コード、そして生のトークン数、エポック数、ソースごとの実効貢献度をリスト化した詳細なデータインベントリを公開しています。レビューされたが除外されたソースも文書化されています。チームによると、これはSoofi SがOpen Source InitiativeのOpen Source AI Definition 1.0を満たしていることを意味します。

すべてのトレーニングトークンが自由に配布可能であることを要求する、より厳格な欧州オープンデータ定義の提案は、商用ライセンスを持つGeniosデータの1.3%のシェアがあるため満たされていません。レポートによると、トレーニングミックスの約99%は独立して再構築可能です。モデルのリリースに関する正確なライセンスはまだ最終決定されていません。

技術リーダーであるMichael Fromm氏の記述によると、Soofi Sは、EuroLLMやTeukenのような広範な多言語欧州主権プロジェクトと、最高性能の国際的なオープンウェイトモデルとの間に位置づけられています。プロジェクトのウェブサイトによると、コンソーシアムは、技術文書、コード生成、およびエージェントベースシステムを含むアプリケーションでモデルをテストするための次のフェーズの産業パートナーを探しています。