大規模言語モデルが表形式予測に失敗する理由

コンピュータサイエンス > 機械学習 arXiv:2608.02412 (cs) [2026年8月3日提出] タイトル: 大規模言語モデルが表形式予測に失敗する理由 著者: Marta Garnelo, Wojciech M. Czarnecki PDFを表示: "Why Large Language Models Fail at Tabular Prediction" by Marta Garnelo and 1 other authors PDFを表示 HTML（実験的） 概要: 大規模言語モデル（LLM）は、驚くべき範囲のタスクにおいてデフォルトのツールとなっていますが、最も一般的な機械学習ワークロードの1つである表形式データに対する予測分析においては、顕著な成功を収めていません。このギャップは、急速に成長している表形式基盤モデル分野の根本的な前提ですが、汎用LLMが失敗する理由については未解決のままでした。本研究では、最先端のLLMをその最も純粋な推論レジームで — ツール、エージェント的な足場、ファインチューニングなしで、プロンプトに含まれる全トレーニングデータとテストデータに対する単一の生成パス — 体系的に評価し、失敗の5つの仮説を検証しました: (a) ノイズが多い、または非線形分離不可能なデータを処理できないこと。(b) CSV形式の線形化が列構造を不明瞭にすること。(c) 数値のトークン化。(d) クエリごとに分類されるテストポイントの数。(e) 入力次元数。 制御された実験により、(a)-(d)は偽とされました。対照的に、次元数は決定的でした。31のベンチマークデータセットのランダム線形投影をスイープした結果、LLMは9つの手法の中で唯一、次元が増加するにつれて精度が低下する手法であり、一方、すべての古典的なベースラインはフラットに留まるか改善しました。252の構成済み古典モデルとの行動比較では、2次元ではLLMは局所的な距離ベースの手法のように予測しますが（最大91.6%のグリッド一致）、高次元では、調整された次元依存のノイズで強化された場合でも、どの古典モデルもその予測を再現できませんでした。 我々は、内部メカニズムを特定したと主張するものではありません。我々の結果は、より控えめに、LLMの能力が次元とともに溶解し、ノイズで破損した古典的な学習者はそれを模倣できないことを示しています — これが、他の場所では非常に有能なLLMが、テーブル上では50年前のベースラインに負け続ける理由を説明していますが、予測のメカニズムは未解決の問題として残されています。 件名: 機械学習 (cs.LG) 引用形式: arXiv:2608.02412 [cs.LG] (またはこのバージョンについては arXiv:2608.02412v1 [cs.LG]) https://doi.org/10.48550/arXiv.2608.02412 詳細はこちらをご覧ください arXiv発行のDOI（登録保留中） 提出履歴 From: Marta Garnelo [メールを表示] [v1] Mon, 3 Aug 2026 15:52:51 UTC (10,846 KB) 全文リンク: 論文にアクセス: "Why Large Language Models Fail at Tabular Prediction" by Marta Garnelo and 1 other authors のPDFを表示 PDF HTML（実験的）TeXソース ライセンスを表示 現在の閲覧コンテキスト: cs.LG < 前 | 次 > 新規 | 最近 | 2026-08 次のいずれかで閲覧を変更: cs 参考文献と引用 NASA ADS Google Scholar Semantic Scholar エクスポート BibTeX引用 読み込み中... BibTeX形式の引用 × 読み込み中... 提供データ: ブックマーク 書誌ツール 書誌および引用ツール 書誌エクスプローラー トグル書誌エクスプローラー（エクスプローラーとは何ですか？） Connected Papers トグルConnected Papers（Connected Papersとは何ですか？） Litmaps トグルLitmaps（Litmapsとは何ですか？） scite.ai トグルscite Smart Citations（Smart Citationsとは何ですか？） コード、データ、メディア この論文に関連するコード、データ、メディア alphaXiv トグルalphaXiv（alphaXivとは何ですか？） コードへのリンク CatalyzeX コードファインダー トグルCatalyzeX コードファインダー（論文のコードファインダーとは何ですか？） DagsHub トグルDagsHub（DagsHubとは何ですか？） GotitPub トグルGotit.pub（Gotit.pubとは何ですか？） Huggingface トグルHugging Face（Huggingfaceとは何ですか？） ScienceCast トグルScienceCast（ScienceCastとは何ですか？） デモ Replicate トグルReplicate（Replicateとは何ですか？） Spaces トグルHugging Face Spaces（Hugging Face Spacesとは何ですか？） Spaces トグルTXYZ.AI（TXYZ.AIとは何ですか？） 関連論文 レコメンダーおよび検索ツール Influence Flower へのリンク Influence Flower（Influence Flowersとは何ですか？） Core recommender トグルCORE Recommender（CORE Recommenderとは何ですか？） IArxiv recommender トグルIArxiv Recommender（IArxiv Recommenderとは何ですか？） 著者 会場 機関 トピック arXivについて arXivLabs arXivLabs: コミュニティ協力者との実験的プロジェクト arXivLabsは、協力者がarXivの新しい機能を直接ウェブサイト上で開発・共有できるフレームワークです。arXivLabsと協力する個人および組織は、オープンさ、コミュニティ、卓越性、ユーザーデータプライバシーという価値観を受け入れ、遵守しています。arXivはこの価値観にコミットしており、それらを遵守するパートナーのみと協力します。コミュニティに価値をもたらすプロジェクトのアイデアがありますか？arXivLabsについて詳しく知る。 この論文の著者は誰ですか？ 数式表示（MathJax）を無効にする（MathJaxとは何ですか？）