TabFM: 表形式データのためのゼロショット基盤モデル

TabFMの紹介：表形式データのためのゼロショット基盤モデル 2026年6月30日 Weihao KongおよびAbhimanyu Das、リサーチサイエンティスト、Google Research TimesFMの発表以来、時系列予測の処理方法に大きな変化が見られました。今回、その「ゼロショット」ロジックを表形式データにも適用します。TabFMは、分類および回帰ワークフローを簡素化する、表形式データのための新しい基盤モデルです。 クイックリンク Hugging Face GitHub 共有 リンクをコピー 表形式データは、企業データインフラのバックボーンを構成し、重要な予測機械学習アプリケーションの大部分を支えています。顧客離反の予測から金融詐欺の特定まで、表形式の回帰および分類タスクは遍在しています。長年にわたり、AdaBoost、XGBoost、ランダムフォレストといった教師付きツリーベースアルゴリズムがこの分野を歴史的に支配し、構造化データにおいて堅牢なパフォーマンスを提供してきました。 しかし、これらの従来のモデルを展開するライフサイクルは、重大なボトルネックとなっています。新しいデータセットにXGBoostモデルを適合させることは、単一の.fit()ステップの問題ではありません。常に退屈な手動の労力を必要とします。データサイエンティストは、生のデータから信頼できるシグナルを抽出するためだけに、広範なハイパーパラメータ最適化とドメイン固有の特徴量エンジニアリングに数えきれないほどの時間を投資しなければなりません。 一方、広範な機械学習の状況における最近の進歩、特に大規模言語モデル（LLM）の進化は、私たちが新しいタスクと対話する方法を変えました。LLMは、インコンテキスト学習（ICL）を通じたゼロショット予測の驚くべき能力を示しました。この手法により、事前学習済みモデルは、基盤となるモデルの重みを更新することなく、入力コンテキストに例と指示を提供することで新しいタスクを学習できます。 本日、表形式データの分類と回帰のために特別に設計された基盤モデルであるTabFMを発表します。表形式予測をICL問題として捉えることで、TabFMは手動のモデルトレーニング、ハイパーパラメータチューニング、複雑な特徴量エンジニアリングの必要性を排除します。このアプローチにより、ユーザーは以前に見たことのないテーブルに対して、単一のフォワードパスで高品質な予測を生成できるようになることを共有できることを嬉しく思います。TabFMは、Hugging FaceとGitHubのリポジトリで現在利用可能です。 仕組み 従来のMLパラダイムは、与えられたデータセットの分布に特化したモデルパラメータの更新に依存します。対照的に、ICLパラダイムはこれを完全にバイパスします。新しいタスクごとに従来のトレーニングフェーズを経る代わりに、TabFMは履歴トレーニング例とターゲットテスト行の両方を含むデータセット全体を単一の統合プロンプトとして受け取ります。モデルは、推論時にこのコンテキストから直接列と行の関係を解釈することを学習します。 ただし、ICLを表形式データに適用することは、自然言語をトークン化するほど単純ではありません。標準の言語モデルは1次元の順序付けされたシーケンスを処理しますが、テーブルは根本的に2次元であり、本質的に順序がありません。2つの行または2つの列を交換しても、データの根本的な意味は変わりません。これらの多様な表形式構造を効果的に処理し、スケーラブルなゼロショット予測を可能にするために、TabFMはTabPFNやTabICLなどのアーキテクチャの強みを新しいハイブリッド設計に統合しています。以下に視覚化されたこのアーキテクチャは、3つの主要なメカニズムに依存しています。 行と列の交互アテンション：まず、生のテーブルは多層アテンションモジュールを介して処理されます。TabPFNと同様に、このステップでは列（特徴量）と行（例）の両方に交互にアテンションを適用します。これら2つの次元に継続的にアテンションを適用することで、モデルは複雑な特徴量間の相互作用と依存関係をネイティブにキャプチャする豊富な表現を学習します。この深いコンテキスト化は、データサイエンティストによる退屈な手動の特徴量作成を必要とせずに、重い処理を効果的に実行します。 行圧縮：このコンテキスト化の後、個々の行に対する豊富な、相互アテンションされた情報は、単一の密なベクトル表現に圧縮されます。 インコンテキスト学習（ICL）：最後に、専用のTransformerがこの圧縮された埋め込みのシーケンスで動作します。TabICLの非常に効率的なアプローチを採用し、生の非圧縮グリッドではなく、これらの圧縮された行ベクトルに対してアテンションを実行することで、計算コストが大幅に削減されます。これにより、予測ステップは、はるかに大規模なデータセットに対しても、非常に計算効率が維持されます。 TabFMモデルアーキテクチャ 大規模な合成データでのトレーニング 基盤モデルを構築するための典型的なレシピは、大量の多様なデータでトレーニングされた大容量のニューラルネットワークを使用することです。しかし、表形式MLにおける大きなハードルは、高品質で多様な表形式データセット、特に真の産業データ分析を反映するために必要な大規模なテーブルが、オープンソース分野で決定的に不足していることです。産業用テーブルには、独自のスキーマや機密情報が含まれることが多く、広範な事前学習にはアクセスできません。 合成テーブルは任意に大規模に生成できるため、この規模での基盤モデルの事前学習において、事実上唯一の実行可能な選択肢です。その結果、TabFMは数億の合成データセットで完全にトレーニングされています。これらのデータセットは、さまざまなランダム関数を組み込んだ構造的因果モデル（SCM）を使用して動的に生成されます。この大規模な合成生成は、実世界の表形式データに広く存在するさまざまな分布と複雑な特徴量関係を捉えます。その結果、以下のベンチマークで示すように、モデルは未見の実世界のテーブルにもうまく汎化します。 パフォーマンスとベンチマーク TabFMを既存の最先端手法に対して厳密にテストするために、ヘッドツーヘッドの勝率に基づいてEloスコアを計算するライブベンチマークシステムであるTabArenaで評価しました。この包括的な評価は、700から150,000サンプルまでの38の分類データセットと13の回帰データセットに及びます。 以下のパフォーマンスプロットに示すように、モデルの2つの異なる構成をベンチマークしました。 TabFM：これはモデルの箱から出してすぐの機能を表します。予測は単一のフォワードパスで生成され、チューニングやクロスバリデーションは不要です。 TabFM-Ensemble：この構成は、クロス特徴量とSVD（特異値分解）特徴量を組み込むことで、パフォーマンスをさらに向上させます。32方向アンサンブルの最適な重みは、非負最小二乗ソルバーを使用して計算します。分類タスクの場合、このバリアントには追加のキャリブレーションステップとしてプラットスケーリングも組み込まれています。 詳細なフォールドごとのメトリックや特定のベースラインモデルに対するヘッドツーヘッドの勝率を含む、包括的なTabArenaベンチマーク結果については、GitHubページをご覧ください。 TabArena分類（上）および回帰（下）におけるトップ10モデルのELOレーティング（↑）。(D) = デフォルト; (T+E) = チューニング済み + アンサンブル。スコアが高いほど優れたパフォーマンスを示します。 結論 TabFMは、表形式予測をインコンテキスト学習問題として再構築することで、ハイブリッドアテンションアーキテクチャと大規模な合成トレーニングデータを利用して、複雑な特徴量間の相互作用をネイティブにキャプチャします。このアプローチは、手動の特徴量エンジニアリング、ハイパーパラメータ最適化、反復的なモデルトレーニングといった従来のボトルネックをうまく排除し、綿密にチューニングされた業界標準の教師付きアルゴリズムを一貫して上回ります。TabFMは、最新の基盤モデルの箱から出してすぐの利便性を表形式MLワークフローに直接もたらし、実践者が単一のフォワードパスで非常に正確な予測を生成できるようにします。 これをアクセス可能にするため、TabFMはGoogle BigQueryに直接統合されています。今後数週間のうちに、ユーザーはBigQueryでシンプルなAI.PREDICT SQLコマンドを使用して、高度な回帰と分類を実行できるようになります。MLの専門知識は不要です。 謝辞 このプロジェクトは、Erez Louidor Ilan、Taman Narayan、Shuxin Nie、Rajat Sen、Yichen Zhou、Joe Toth、Deqingとの共同作業です。