HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

大規模言語モデルが表形式予測に失敗する理由

Why Large Language Models Fail at Tabular Prediction (arxiv.org)

43 pointsby sbulaev8 コメント

要約

大規模言語モデル(LLM)は、表形式データに対する予測分析という、最も一般的な機械学習ワークロードの1つにおいて、顕著な成功を収めていません。本研究では、最先端のLLMを純粋な推論レジームで評価し、その失敗の5つの仮説を検証しました。実験の結果、LLMの精度は次元数の増加とともに低下する唯一の手法であることが判明し、古典的なベースライン手法は次元数が増加しても精度が維持または向上しました。この次元依存性が、LLMが表形式データで古典的な手法に劣る主な理由であると結論付けています。

全文翻訳

コンピュータサイエンス > 機械学習

arXiv:2608.02412 (cs)

[提出日: 2026年8月3日]

タイトル: 大規模言語モデルが表形式予測で失敗する理由

著者: Marta Garnelo, Wojciech M. Czarnecki

"Why Large Language Models Fail at Tabular Prediction" というタイトルのPDFを表示します。著者: Marta Garnelo とその他1名

PDFを表示 HTML (実験的)

要旨: 大規模言語モデル(LLM)は、驚くほど幅広いタスクで標準的なツールとなっていますが、最も一般的な機械学習ワークロードの一つである、表形式データに対する予測分析では、顕著な成功を収めていません。このギャップは、急速に成長している表形式基盤モデル分野の創設時の前提となっていますが、汎用LLMがなぜ失敗するのかという問いは未解決のままです。私たちは、フロンティアLLMをその最も純粋な推論レジームで研究します。つまり、ツールなし、エージェント的な足場なし、ファインチューニングなしで、トレーニングデータとテストデータの全データを含むプロンプトに対する単一の生成パスです。そして、失敗の5つの仮説を体系的に評価します。(a) ノイズが多い、または非線形分離不可能なデータを処理できないこと。(b) 線形化されたCSV形式が列構造を不明瞭にすること。(c) 数値値のトークン化。(d) クエリごとに分類されるテストポイントの数。(e) 入力の次元数。制御された実験により、(a)-(d) は棄却されます。対照的に、次元数は決定的です。31のベンチマークデータセットのランダム線形投影をスイープすると、9つの手法の中でLLMだけが次元の増加に伴って精度が低下し、一方、すべての古典的なベースラインはフラットまたは改善します。252の設定済み古典モデルとの行動比較により、2次元ではLLMはローカルな距離ベースの手法のように予測しますが(グリッド一致率最大91.6%)、高次元では、調整済みの次元依存ノイズで拡張されたものでさえ、どの古典モデルもその予測を再現できません。私たちは内部メカニズムを特定したと主張するものではありません。私たちの結果は、より控えめに、LLMの能力が次元とともに、ノイズで破損した古典的な学習者が模倣できない方法で溶解することを示しています。これは、他の場所では非常に有能なLLMが、テーブル上では50年前のベースラインに負け続ける理由を説明していますが、予測のメカニズムは未解決の質問として残されています。

件名:機械学習 (cs.LG)
引用:arXiv:2608.02412 [cs.LG]
(またはこのバージョンについては arXiv:2608.02412v1 [cs.LG])
https://doi.org/10.48550/arXiv.2608.02412 DataCite経由のarXiv発行DOI

投稿履歴

送信者: Marta Garnelo
[v1] 2026年8月3日 月曜日 15:52:51 UTC (10,846 KB)

全文リンク:

ペーパーにアクセス

"Why Large Language Models Fail at Tabular Prediction" というタイトルのPDFを表示します。著者: Marta Garnelo とその他1名

ライセンスを表示

追加機能
現在の閲覧コンテキスト:

cs.LG

< 前   |   次 >

新規 | 最近 | 2026-08

以下で閲覧を変更:

cs

参考文献と引用

読み込み中...

BibTeX形式の引用

読み込み中...

提供元:

ブックマーク

[画像: BibSonomy][画像: Reddit]

Bibliographic Tools

Bibliographic and Citation Tools

Bibliographic Explorer Toggle

Bibliographic Explorer (Explorerとは?)

Connected Papers Toggle

Connected Papers (Connected Papersとは?)

Litmaps Toggle

Litmaps (Litmapsとは?)

scite.ai Toggle

scite Smart Citations (Smart Citationsとは?)

Code, Data, Media

この論文に関連するコード、データ、メディア

alphaXiv Toggle

alphaXiv (alphaXivとは?)

Links to Code Toggle

CatalyzeX Code Finder for Papers (CatalyzeXとは?)

DagsHub Toggle

DagsHub (DagsHubとは?)

GotitPub Toggle

Gotit.pub (GotitPubとは?)

Huggingface Toggle

Hugging Face (Hugging Faceとは?)

ScienceCast Toggle

ScienceCast (ScienceCastとは?)

Demos

デモ

Replicate Toggle

Replicate (Replicateとは?)

Spaces Toggle

Hugging Face Spaces (Spacesとは?)

Spaces Toggle

TXYZ.AI (TXYZ.AIとは?)

Related Papers

レコメンダーと検索ツール

Link to Influence Flower

Influence Flower (Influence Flowersとは?)

Core recommender toggle

CORE Recommender (COREとは?)

IArxiv recommender toggle

IArxiv Recommender (IArxivとは?)

  • 著者
  • 会場
  • 機関
  • トピック

About arXivLabs

arXivLabs: コラボレーターとの実験的なプロジェクト

arXivLabsは、コラボレーターが当社のウェブサイト上で直接新しいarXiv機能を開発および共有できるフレームワークです。

arXivLabsと協力する個人および組織は、オープンさ、コミュニティ、卓越性、ユーザーデータプライバシーという私たちの価値観を受け入れ、遵守しています。arXivはこの価値観にコミットしており、それらを遵守するパートナーのみと協力します。

arXivコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか? arXivLabsの詳細をご覧ください。

この論文の著者は誰ですか? | MathJaxを無効にする (MathJaxとは?)