AI・機械学習
LLMはコンピュータアーキテクチャ論文を深く技術的に理解できるか
Can LLMs Perform Deep Technical Comprehension of Computer Architecture Papers (arxiv.org)
要約
本研究では、大規模言語モデル(LLM)がコンピュータアーキテクチャ論文を要約するだけでなく、中核メカニズムを特定し、隠れた仮定を明らかにし、貢献をその範囲を超えて関連付けるといった深い技術的理解を行えるかを評価します。Gauntletというオープンソースパイプラインを用いた実験では、人間による分析と比較してGauntletが優位性を示し、特にそのマルチエージェント構造と合成段階が効果的であることが明らかになりました。
全文翻訳
コンピュータサイエンス > コンピュータと社会 arXiv:2607.11859 (cs) [2026年7月13日提出] タイトル: LLMはコンピュータアーキテクチャ論文を深く技術的に理解できるか?著者: Nishant Aggarwal, Ayushi Dubal, Sreeraj Kannakarankodi, Ian McDougall, Adarsh Mittal, Vishnu Ramadas, Noah Scott, Ranganath Selagamsetty, Weichu Yang, Karthikeyan Sankaralingam論文のPDFを表示:LLMはコンピュータアーキテクチャ論文を深く技術的に理解できるか?、著者 Nishant Aggarwal および他の9名 PDF HTML (実験的) プレビュー 要旨: 大規模言語モデルは、コンピュータアーキテクチャ論文を要約するだけでなく、中核メカニズムを特定し、隠れた仮定を明らかにし、貢献をその範囲を超えて関連付けるといった、深い技術的理解を行うことができるでしょうか?私たちは、5人の独立した専門家ペルソナレビュアーと敵対的合成段階を通じて論文を分析するオープンソースパイプラインであるGauntletを研究します。20のISCA 2025およびHPCA 2026の論文に対し、10人の研究者がそれぞれ自身の分析を作成し、その後、自身の論文以外の論文について、人間の分析とGauntletの分析を評価しました。20の比較において、評価者は15でGauntletを好み(人間が4、引き分けが1)、その優位性はアナリストごとの合計(ペアワイズウィルコクソン検定、p < 0.01)で有意であり、クリティカルリゴア(批判的厳密性)で最も大きく、キャリブレーション(較正)でのみ消失しました。人間が勝つ場合、それは深さではなく、信頼性と有用性においてでした。自信のある誤った主張、教えられていないメカニズムの説明、または優先順位付けされていない広範さです。98論文の自動アブレーション(要素除去分析)は、その利得がマルチエージェント構造から来ることを示しています――パイプラインは、単一の豊富なペルソナエージェントとして実行された同じモデルを96%の論文で上回ります――そして特にその合成パスから来ています。私たちは、すべての分析、スコア、およびルーブリックをコミュニティリソースとして公開します。コメント: 4ページ、1図主題: コンピュータと社会 (cs.CY); ハードウェアアーキテクチャ (cs.AR); マルチエージェントシステム (cs.MA) 引用: arXiv:2607.11859 [cs.CY] (またはこのバージョンについては arXiv:2607.11859v1 [cs.CY]) https://doi.org/10.48550/arXiv.2607.11859 詳細はこちらをご覧ください arXiv発行のDOI (登録待ち) DataCite経由 投稿履歴 From: Ranganath Selagamsetty [メール表示] [v1] Mon, 13 Jul 2026 17:45:58 UTC (1,070 KB) 全文リンク: 論文アクセス: 論文のPDFを表示:LLMはコンピュータアーキテクチャ論文を深く技術的に理解できるか?、著者 Nishant Aggarwal および他の9名 PDF HTML (実験的) TeXソース ライセンス表示 現在のブラウジングコンテキスト: cs.CY < 前 | 次 > 新着 | 最近 | 2026-07 のブラウジングに変更: cs cs.AR cs.MA 参考文献と引用 NASA ADS Google Scholar Semantic Scholar エクスポート BibTeX引用 読み込み中... BibTeX形式の引用 × 読み込み中... 提供データ: ブックマーク 参考文献ツール 参考文献・引用ツール 参考文献エクスプローラー 参考文献エクスプローラーの切り替え (エクスプローラーとは?) Connected Papers Connected Papersの切り替え (Connected Papersとは?) Litmaps Litmapsの切り替え (Litmapsとは?) scite.ai sciteスマート引用の切り替え (スマート引用とは?) コード、データ、メディア この記事に関連するコード、データ、メディア alphaXiv alphaXivの切り替え (alphaXivとは?) コードへのリンク コード検索のためのCatalyzeX (CatalyzeXとは?) DagsHub DagsHubの切り替え (DagsHubとは?) GotitPub Gotit.pubの切り替え (GotitPubとは?) Huggingface Hugging Faceの切り替え (Hugging Faceとは?) ScienceCast ScienceCastの切り替え (ScienceCastとは?) デモ Replicate Replicateの切り替え (Replicateとは?) Spaces Hugging Face Spacesの切り替え (Spacesとは?) Spaces TXYZ.AIの切り替え (TXYZ.AIとは?) 関連論文 レコメンダーと検索ツール Influence Flowerへのリンク Influence Flower (Influence Flowersとは?) COREレコメンダーの切り替え COREレコメンダー (COREレコメンダーとは?) 著者 掲載誌 機関 トピック arXivLabsについて arXivLabs: コミュニティ協力者との実験的プロジェクト arXivLabsは、協力者がarXivの新しい機能を直接ウェブサイト上で開発・共有できるフレームワークです。arXivLabsと協力する個人および組織は、オープンさ、コミュニティ、卓越性、ユーザーデータプライバシーという私たちの価値観を受け入れ、遵守しています。arXivはこれらの価値観にコミットしており、それらを遵守するパートナーとのみ協力します。arXivコミュニティに価値をもたらすプロジェクトのアイデアがありますか? arXivLabsの詳細をご覧ください。この論文の著者のうち、誰が推薦者ですか? | MathJaxを無効にする (MathJaxとは?)