DiffusionGemma技術レポート

コンピュータサイエンス > 計算と言語 arXiv:2608.00146 (cs) [2026年7月31日提出] タイトル: DiffusionGemma技術レポート 著者: DiffusionGemmaチーム: Adrien Ali Taïga, James Assiene, Daniele Calandriello, Rahma Chaabouni, João Gante, Tamara von Glehn, Nate Keating, Chris Knutsen, Martin Kukla, Tianlin Liu, Ivan Lobov, Ofir Nabati, João Gabriel Oliveira, Nicolas Perez-Nieves, Nastasia Prutianova, Bobak Shahriari, Jean Tarbouriech, Pavel Tyletski, Çağlar Ünlü, Cindy Wu, Glenn Cameron, Jerome Connor, Sertan Girgin, Maarten Grootendorst, Alon Levkovitch, Eliya Nachmani, Omar Sanseviero, Piotr Stanczyk, Quentin Berthet, Andrew Campbell, Clément Crepy, Valentin De Bortoli, Arnaud Doucet, Romuald Elie, Alexandre Galashov, Klaus Greff, Alexis Jacq, David Ruhe, Yu-Han Wu, Sebastian Flennerhag, Brendan O'Donoghue, George Scrivener, Shantanu Thakoor DiffusionGemma技術レポートというタイトルのPDFを表示します。著者: DiffusionGemmaチーム: Adrien Ali Ta"igaおよび他の42名の著者 PDFを表示 HTML (実験的) 概要: 私たちはDiffusionGemmaを紹介します。これは、離散拡散を使用して例外的に高速なテキスト生成を行う実験的なオープンウェイト言語モデルです。DiffusionGemmaは、トークンを1つずつデコードするのではなく、256トークンのブロックを並列に反復的に洗練させることで、従来のautoregressive (AR) 大規模言語モデルのシーケンシャルデコーディングのボトルネックを回避します。ゼロからトレーニングするのではなく、DiffusionGemmaは、アクティブなパラメータ3.8B、合計パラメータ25.2Bを持つmixture-of-experts Gemma 4モデルをファインチューニングして取得します。私たちの計算効率の高い2段階トレーニングパイプラインは、開始ARモデルの総トレーニングトークン予算の10%未満を使用します。最初の段階では、教師ありファインチューニングを使用して双方向のデノイジングを教え、2番目の段階では、強化学習とサンプラー蒸留を組み合わせて、生成品質と推論効率を共同で向上させます。 DiffusionGemmaは、生成速度とモデル能力のトレードオフにおいて新しいパレートフロンティアを確立します。評価スイート全体で平均して、1回のフォワードパスあたり約20トークンを生成し、単一のNVIDIA H100 GPUで毎秒約1,500の出力トークンを達成します。これは、最先端の投機的デコーディングを使用しても、ARモデルよりも大幅に高速です。DiffusionGemmaは、開始モデルの思考モード、マルチモーダル入力、および長文コンテキストのサポートも保持します。拡散ファインチューニングにもかかわらず、わずかなパフォーマンス低下でAR生成が可能であり、ハイブリッド拡散-ARデコーディングへの道を示唆しています。 件名: 計算と言語 (cs.CL); 人工知能 (cs.AI) 引用形式: arXiv:2608.00146 [cs.CL] (またはこのバージョンの場合は arXiv:2608.00146v1 [cs.CL]) https://doi.org/10.48550/arXiv.2608.00146 フォーカスして詳細を学ぶ arXiv発行のDOI (DataCite経由) 提出履歴 送信者: Jean Tarbouriech [メールを表示] [v1] 金曜日, 2026年7月31日 16:11:46 UTC (6,116 KB) 全文リンク: 論文にアクセス: DiffusionGemma技術レポートというタイトルのPDFを表示します。著者: DiffusionGemmaチーム: Adrien Ali Ta"igaおよび他の42名の著者PDFを表示 HTML (実験的) TeXソース ライセンスを表示 現在の閲覧コンテキスト: cs.CL < 前 | 次 > 新しい | 最近 | 2026-08 次の形式で閲覧に変更: cs cs.AI 参考文献と引用 NASA ADS Google Scholar Semantic Scholar エクスポート BibTeX引用 読み込み中... BibTeX形式の引用 × 読み込み中... 提供元データ: ブックマーク 参考文献ツール 参考文献・引用ツール 参考文献エクスプローラー 参考文献エクスプローラー (Explorerとは何ですか?) Connected Papers Connected Papers Litmaps Litmaps scite.ai sciteスマート引用 (スマート引用とは何ですか?) コード、データ、メディア この論文に関連するコード、データ、メディア alphaXiv alphaXiv (alphaXivとは何ですか?) コードへのリンク CatalyzeX 論文用コードファインダー (CatalyzeXとは何ですか?) DagsHub DagsHub (DagsHubとは何ですか?) GotitPub Gotit.pub (GotitPubとは何ですか?) Huggingface Hugging Face (Hugging Faceとは何ですか?) ScienceCast ScienceCast (ScienceCastとは何ですか?) デモ デモ Replicate Replicate (Replicateとは何ですか?) Spaces Hugging Face Spaces (Spacesとは何ですか?) Spaces TXYZ.AI (TXYZ.AIとは何ですか?) 関連論文 レコメンダーと検索ツール Influence Flowerへのリンク Influence Flower (Influence Flowersとは何ですか?) Core recommender CORE Recommender (CORE Recommenderとは何ですか?) 著者 会場 機関 トピック arXivLabsについて arXivLabs: コミュニティ協力者との実験的プロジェクト arXivLabsは、協力者がarXivの機能に直接新しい機能を作成および共有できるフレームワークです。arXivLabsと協力する個人および組織は、オープンさ、コミュニティ、卓越性、ユーザーデータプライバシーの価値を受け入れ、遵守しています。arXivはこの価値観にコミットしており、それらを遵守するパートナーのみと協力します。arXivコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか? arXivLabsの詳細をご覧ください。 この論文の著者は誰ですか? 数式表示 (MathJax) を無効にする (MathJaxとは何ですか?)