Astaにおける高速レポート生成モデルAstaBriefのオープンソース化
Open-sourcing AstaBrief, the fast report-generation model in Asta (allenai.org)
要約
Allen Institute for AI (Ai2) は、科学論文のレポート生成を高速化するモデル「AstaBrief」をオープンソース化しました。AstaBriefは、研究クエリと関連文献抜粋から引用付きレポートを生成し、既存のプロプライエタリモデルと比較して生成時間を約10分の1に短縮します。このモデルは、科学研究の特定の要求に応えるためのオープンな言語モデル構築という、より広範な目標の一環です。
全文翻訳
Open-sourcing AstaBrief, the fast report-generation model in Asta
October 2, 2026
Ai2
言語モデルは、研究者が文献検索、証拠の統合、複雑な問題の解決を支援できるようになりました。しかし、科学的な作業はこれらのモデルに特別な要求を課します。回答は証拠に基づいている必要があり、モデルは研究の結論を静かに広げるのではなく、証拠が実際に支持していることを維持する必要があります。そして、研究者は最終的な出力を検証できる必要があります。
これは、科学的な作業のためのエージェント型プラットフォームであるAstaを科学者がどのように使用しているかにも表れています。単純なキーワード検索ではなく、ユーザーはしばしば substantial なコンテキストと多くの制約を持ち込みます。例えば、Astaに特定のメソッド、集団、または設定を考慮しながら、文献群全体にわたるアプローチを比較するように依頼することがあります。また、生成されたレポートを後で参照し、一度限りの回答ではなく、作業中の研究成果物として扱うユーザーも多くいます。
私たちは、科学者が引用付きのレポートをより速く生成できるよう支援したいと考えました。それは、彼らが自身でダウンロードして実行できるモデルを使用することによってです。そのために、科学レポート生成に特化してトレーニングされた、小さくてオープンなモデルが、私たちが使用していたプロプライエタリなモデルのレポート品質に匹敵できるかどうかをテストし、生成時間を短縮し、サービングコストを削減できるかどうかを検証しました。
私たちはAstaBrief 8Bを開発しました。これは、研究の質問と取得した文献抜粋を引用付きレポートに変換するモデルです。AstaBriefは、AstaのGenerate a report機能において、ClaudeベースのThinking modeと並んでFast modeとして本日利用可能になりました。また、モデルとトレーニングデータもオープンソース化し、他の人々が私たちのアプローチを研究、再現、そして発展させられるようにします。
AstaBriefの開発には、数万件の実際の研究クエリ、引用に焦点を当てたフィルタリング、選好データ、そしてセクションごとにレポートを作成するのではなく、一度に完全なレポートを作成する再設計されたレポート生成パイプラインが必要でした。その結果、私たちが追跡したプロプライエタリなモデルと比較して、レポート生成時間が1桁近く短縮されました。Astaのパイプライン全体では、Fast modeはレポートあたり平均51.1秒であるのに対し、Thinking modeは178.5秒で、約3.5倍高速です。
これらの効率の向上は、AstaBriefを、科学的な作業の特定の要求に適応できるオープンな言語モデルを構築するという、より広範な目標のための有用なテストケースとしました。
オープンなウェイトは、機関がAstaBriefを独自のインフラストラクチャで実行することも可能にします。これは、研究の質問が機密性の高い、または未発表の研究を明らかにする場合に必要となります。モデルのウェイトに加えて、PDFからレポートを作成するために研究者が適応できるサンプルワークフローをリリースし、ローカルレポート生成の出発点を提供します。
この記事では、AstaBriefのトレーニング方法、科学的証拠に基づかせることについて学んだこと、そして私たちのどのアプローチが将来の科学用モデルに引き継げるかについて説明します。説明されているトレーニングと評価のほとんどは2025年に完了したため、トレーニングデータを生成するために使用されたプロプライエタリなモデルや比較対象は、当時の最先端を反映しています。今日の最先端モデルに対して完全な評価を再実行していません。以下の結果は、私たちがテストした特定のトレーニングとシステム設計の選択肢に関する証拠として読むのが最も適切です。
モデルのトレーニング
AstaBriefの目標は、長期的な科学的統合において最も重要なすべての品質、すなわち回答の質、関連性、構造、および引用の根拠を持つオープンウェイトモデルを構築することでした。私たちはQwen3-8Bから開始し、ポストトレーニングデータ、評価、および周辺のレポート生成スキャフォールディングにほとんどの労力を集中しました。
汎用モデルを科学的な作業に適応させること、そして新しい科学モデルを一からトレーニングすることは、Ai2全体で広く探求していることです。NSF OMAI(科学的発見のための完全にオープンなAIインフラストラクチャとモデルを構築するためのAi2が主導する米国国家イニシアチブ)を通じて、私たちの研究者は、将来のオープンモデルに何が必要か、そして今日の汎用モデルがどこで不足しているかを理解するために、科学コミュニティと直接協力しています。これには、科学分野やワークフローによってニーズがどのように異なるかを研究することも含まれており、その研究からのさらなる発見は将来共有される予定です。
私たちのDR Tuluなどの最近の研究は、特にトレーニングループにジャッジモデルが関与する場合、強化学習ベース(RL)の手法がオープンウェイトモデルの長期レポート生成を改善できることを示しています。私たちはAstaBriefでもその経路を検討しましたが、最終的には教師ありファインチューニング(SFT)と直接選好最適化(DPO)を中心とした、よりシンプルなレシピに焦点を当てました。
RLベースのトレーニングは不安定で高価になる可能性があります。私たちは、より安価で運用管理が容易なセットアップで、レポート生成の品質をどこまで引き上げられるかを確認したかったのです。それはデバッグやイテレーションも容易になります。
そのため、トレーニングデータの品質が特に重要になりました。ノイズの多い例を補うために、より複雑な最適化手法に頼るのではなく、プロジェクトの大部分を、私たちが望むレポート作成の振る舞いを実際に実証する例を生成、選択、フィルタリングする方法の特定に費やしました。
また、AstaBriefをより高速にしたいと考えました。これにより、ユーザーは迅速に予備的なレポートを取得し、それを後続のターンでイテレートできるようになります。速度向上のため、ユーザーのクエリと関連する取得済みスニペットが与えられた場合に、最終レポートを直接一度に生成するようにAstaBriefをトレーニングすることにしました。これにより、ClaudeベースのThinking modeが使用する高価なスニペット要約とクラスタリングのステージをバイパスし、回答セクションをセクションごとに書き出すことを回避します。興味深いことに、パフォーマンスを犠牲にすることなくそれが可能であることがわかりました。
SFTトレーニングデータの収集
トレーニングパイプラインは、私たちの論文「Synthesizing scientific literature with retrieval-augmented LMs」と、現在Astaのレポート生成機能を支えるフレームワークであるScholarQAで説明されているシステムを通じて提出された実際のユーザークエリから始まりました。合成プロンプトやベンチマークスタイルのタスクのみでトレーニングするのではなく、AstaBriefに実際の科学者からの実際のクエリから学習させたいと考えました。
私たちの研究は、科学者が言語モデルに対して、汎用チャットボットや従来の検索ツールを使用するユーザーとは異なることを求めることを示唆しています。私たちの数百件のAstaクエリの分析では、専門の研究者は、短いキーワードスタイルのプロンプトに頼るのではなく、しばしば substantial なコンテキスト、複数の制約、および概念間の関係を提供していました。
より最近のAstaユーザー調査でも、研究者がAIを自身の仕事にどのように関与させたいかという違いが明らかになっています。一部のユーザーは、アイデア創出や実験のためにモデルを使用することに快適さを感じていますが、他のユーザーは、統合、文献監視、またはパターン発見におけるより狭い役割を好みます。これらの違いを超えて、参加者は、より明確なソースのトレーサビリティ、モデルが何をしているかの可視性の向上、および使用するコンテキストに対するより大きな制御を求めています。
収集したユーザーログを品質、関連性、プライバシーでフィルタリングしました。ベータテスターとボットのトラフィックを削除し、意味のある長さがないクエリをドロップし、LLMベースのフィルタリングパスを使用して、英語以外のクエリ、科学的でないリクエスト、および個人情報を含むプロンプトを捕捉しました。これにより、90K件の研究に焦点を当てたクエリのプールが残りました。
SFTのために、フィルタリングされたクエリから、Astaのレポート生成の背後にあるマルチステップScholarQAパイプラインを使用して、完全なレポートのターゲット出力を生成しました。パイプラインは関連する文献を取得し、資料をセクションに整理し、バックエンドのレポート生成モデルを使用して証拠を引用付きレポートに統合しました。私たちは、Claude 3.5 Sonnet、Claude 3.7 Sonnet、o3、o4-mini、およびGPT-4.1といったプロプライエタリなシステムの組み合わせを利用しました。品質フィルタリング後、これにより47K件の利用可能なトレーニング例が得られました。
DPOペアの作成
DPOには異なる種類のトレーニングデータが必要でした。クエリごとに1つのターゲットレポートではなく、一方のレポートが他方よりも好ましいペアが必要でした。
SFTデータ生成中に使用されなかった別のクエリサブセットからこれらのペアを作成しました。クエリあたりの1つのレポートは既存のScholarQAパイプラインから取得され、通常はClaude 3.5 Sonnetまたは3.7 Sonnetがバックエンドでした。競合するレポートは、ScholarQAの取得した文献抜粋を別のモデル(例に応じてo3、o4-mini、DeepSeek-V3、またはDeepSeek-R1)にフィードすることによって生成されました。
2つのジャッジモデル(GPT-4.1とDeepSeek-R1)が各ペアを比較し、勝者を選びました。LLMジャッジが人間の選好と一致している(95%の一致率)ことを確認し、両方のジャッジが合意したペアのみを保持しました。これにより、選好セットがよりクリーンになり、大規模に生成される選好データに通常見られるノイズの多くがカットされました。
品質フィルタリング後、最終的なDPOデータセットは約6K件の例になりました。
複数のジェネレーターを使用し、2つのジャッジ間の合意を要求することで、単一のモデルの出力または判断を正解と見なすことなく、選好データを構築するための比較的簡単な方法を得ることができました。
より良い帰属のためのデータフィルタリング
私たちの主な評価ターゲットは、200件のユーザー作成のコンピュータサイエンス研究質問のセットであるSQABench-CS2でした。AstaBriefの開発中は、4つのメトリックを追跡しました。
- Rubric score: レポートがどれだけ必要なコンテンツをカバーしているかを測定します。
- Answer precision: 各段落が質問に関連しているかを測定します。
- Citation precision: 各引用がそれに付随する主張を支持しているかを測定します。
- Citation recall: レポートの主張が提供された引用によって完全に裏付けられているかを測定します。
最終モデルについては、二次評価も実施しました。DeepScholarBench(最近のArXiv論文から構築された長期的な科学的統合のための63クエリのベンチマーク)と、Claudeベースのパイプラインによって生成されたレポートとの2つの個別のペアワイズ評価(SQABench-CS2でのLLMジャッジによる比較、および小規模な人間による調査)です。
レポートは洗練されていて完全であるように聞こえるかもしれませんが、質問から逸れていたり、元の証拠が従わない主張に引用を付けたりすることがあります。科学的統合のためには、これらの行動を個別に測定する必要がありました。しかし、引用のサポートは科学的忠実性の一部にすぎません。モデルは正しい研究を引用しているかもしれませんが、その研究自体が支持するよりも強い主張をしている可能性があります。このようなことは微妙な方法で起こり得ます。例えば、特定のサンプルに関する発見を、集団全体に関する一般的な主張に変えたり、過去形で報告された結果を、より普遍的に真実であるように聞こえる現在形のステートメントに変えたり、記述的な発見を臨床医、政策立案者、または研究者が何をすべきかについての推奨に変えたりすることです。
これらの種類の一般化は、科学レポート生成において特に重要です。なぜなら、各ステップが明らかに証拠の範囲を広げることができるからです。したがって、引用された文は、研究者が実際に確立したことよりも誇張しているにもかかわらず、そのソースに技術的に関連している可能性があります。私たちの開発メトリックは、主に、関連性、カバレッジ、および引用の根拠に焦点を当てていました。科学レポートライターのより豊かな評価は、それらがソースの主張の範囲と強さを維持しているかどうかもテストすべきです。
最初のSFT実行で全体的なコンテンツ品質は向上しましたが、回答の精度と引用の品質においては、Claudeベースのレポート生成パイプラインにまだ遅れをとっていました。言い換えれば、モデルはレポートを書くのが上手くなりましたが、科学的統合に必要な証拠に基づいた一貫性はまだありませんでした。
それが、データ品質にもっと時間を費やすきっかけとなりました。私たちは、弱い合成トレーニング例を特定するために、4つの統計ベースのフィルタをテストしました。
- Output-to-input token ratio: 非常に高い比率の回答は、証拠が少なすぎるテキストを生成しているため、ノイズが多いことがよくありました。
- Citation relevance: トレーニングセット内の各合成レポートについて、引用された論文の取得関連スコアの平均を計算しました。低い平均は、レポートが低ランクの証拠に過度に依存していることを示唆していました。
- Citation density: 少なくとも1つの引用を持つステートメントの割合を測定しました。低い密度を持つレポートは、サポートされていないテキストの大きな区間を持つことがよくありました。
- Citation diversity: Claudeベースのレポート取得パイプラインによって返されたセットを与えられた、回答で引用された論文の割合を測定しました。低いスコアは、レポートが少数の論文に過度に依存していることを示唆していました。
最も顕著な改善は、引用密度が低い合成レポートを除外することから得られました。より積極的なフィルタリング、フィルタの組み合わせ、および学習率のスウィープは、意味のある改善をもたらしませんでした。
それはプロジェクトからの最も明確な教訓の1つでした。より精巧なフィルタリングが必ずしもより良いとは限らないということです。比較的単純な信号—合成レポートが一貫してその主張を引用しているかどうか—は、私たちが試したいくつかのより複雑な組み合わせよりも有用でした。言い換えれば、科学的専門知識は、必ずしも事前トレーニングに科学テキストを追加することの問題ではありません。ポストトレーニングデータの構成と品質、そしてそれが根拠付けや帰属のような振る舞いを実証しているかどうかは、結果として得られるモデルのパフォーマンスに実質的な変化をもたらす可能性があります。
根拠に基づいた有用な出力に焦点を当てることは、Astaのユーザーリサーチで聞いたこととも一致しています。参加者は、より多くのテキストを生成することが必ずしも役立つわけではないと述べています。彼らは、簡潔な統合と、不要な出力を掘り下げることなく結果を確認および検証するための十分なソーストレーサビリティを求めています。
より強力なSFTチェックポイントが得られたら、その上にDPOトレーニングを実行しました。そのステージはパフォーマンスをさらに向上させ、AstaBriefをAstaおよびDR TuluのClaudeベースのレポートパイプラインの範囲内に収めました。
アプローチの検証
このモデルは、エージェント型Astaレポート生成フレームワークの一部として機能することを意図していたため(必ずしもスタンドアロンモデルとしてではなく)、私たちの主な疑問は、AstaBriefが私たちが気にかけているレポートの品質を維持しながら、大幅に高速で安価なレポート生成パイプラインを可能にできるかどうかでした。言い換えれば、個々のベンチマークでより強力なプロプライエタリなモデルに匹敵できるかどうかだけでなく、はるかにシンプルなシステムでその品質のどれだけを維持できるかを知りたかったのです。
開発中に使用した評価では、AstaBriefは、回答と引用の品質のいくつかのメトリックで、ClaudeベースのパイプラインおよびDR Tuluと競争力がありました。以下のチャートはLLMによる比較を示しています。個別の14件の質問からなる人間による調査では、3人の科学研究者がそれぞれ4〜5件の質問を提供し、3つのシステムからのレポートを全体的な選好、完全性、関連性、構成、および引用の正確さ(タイを許可)でランク付けしました。全体的な選好ではDR-Tuluが勝ちましたが、3人の研究者のうち2人は、引用の正確さのメトリックで他のシステムよりもAstaBriefを好みました。これは、私たちのSFTデータ品質フィルタの有用性を示しています。
これらの数値は、この特定のベースモデルが今日の最先端と比較してどこに位置するかについての主張というよりは、開発当時のエンジニアリングアプローチの検証として読むのが最も適切です。モデルエコシステムは急速に進化しています。データ構築、帰属フィルタリング、およびサービングに関する教訓は、一般化できると予想される部分です。
AstaでのAstaBriefの有用性の検証として、Fast modeは初期から有望な使用状況を示しています。それを試した374人のAstaユーザーのうち、29.1%が2日以上使用しており、ユーザーは平均して3.67件のレポートスレッドを生成しています。Fast modeを試したユーザーの23%は、その後も使用を続け、将来のスレッドではThinking modeに切り替えることはありませんでした。さらに18%は、目標に応じてFast modeとThinking modeを切り替えて使用し、Fast modeをスレッドの約40%で使用しました。
フィードバックは一般的に強固な結論を導き出すにはあまりにも少ないですが、Fast modeはThinking modeと同様の率で肯定的なフィードバックを受けていることがわかります(84.2%対85.2%)。
今後の展開
Astaのレポート生成はAstaBriefの最初のプロダクションユースであり、研究者に既存のThinking modeに加えてオープンウェイトのFast modeを提供します。モデルはオープンウェイトであるため、機関はプロプライエタリなモデルAPIに依存することなく、独自のファイアウォール内で、独自のハードウェアにデプロイできます。
Astaでは、これにより、より計算集約的なタスクのためにThinking modeをオプションとして維持しながら、レポート生成パイプラインのこの部分を直接研究および改善できます。
まだやるべきことはたくさんあります。よりきめ細かな選好学習、より強力なRAGプラスRLアプローチ、マルチターンおよびマルチツール機能、追加の科学データソース、およびクエリ分解を検討しています。また、主張に裏付けとなる引用があるかどうかを超えて、モデルが証拠を維持しているかどうかを問う評価にも関心があります。これは、レポートの品質を研究成果物としてよりよく捉え、モデルがソースの証拠の範囲を維持しているかどうかを問うためです。これには、簡潔さや構成といった品質、およびモデルがサンプル固有の発見を広範な一般化に変えたり、記述的な結果を推奨に変えたりするかどうかが含まれます。
AstaBriefは、ScholarQA、DR Tuluから、現在形になりつつあるOlmoの将来のバージョンに至るまで、科学のための言語モデルに関する長い作業ラインにおける1つの実験です。ここでの教訓—特にトレーニングデータ、フィルタリング、および評価に関するもの—は、次に構築するものに情報を提供するのに役立ちます。
または
Hugging FaceからAstaBriefをダウンロードする
。
Join us
Ai2では、透明でオープンソースのAIの未来を構築しています。科学の進歩とこの世界を変える技術の根本的な理解を可能にするためにオープンに構築しています。私たちは利益を上げるためではなく、AIの恩恵が広く共有され、人類の利益となるようにするためにここにいます。これがあなたに響くなら、オープンなポジションをご覧ください。