TabFM: 表形式データのためのゼロショット基盤モデル
TabFM: A zero-shot foundation model for tabular data (research.google)
要約
Google Researchが、表形式データのための新しいゼロショット基盤モデル「TabFM」を発表しました。このモデルは、手動でのモデルトレーニングやハイパーパラメータ調整、特徴量エンジニアリングの必要性を排除し、分類および回帰タスクを簡素化します。TimesFMで培ったゼロショットのロジックを応用し、企業データインフラのバックボーンを形成する表形式データでの予測タスクに、高精度なソリューションを提供します。
全文翻訳
TabFMの紹介:表形式データのためのゼロショット基盤モデル
TimesFMをローンチして以来、時系列予測の扱い方に大きな変化が見られました。今、私たちはその同じ「ゼロショット」ロジックを表形式データにもたらします。
私たちは、分類および回帰ワークフローを簡素化する表形式データのための新しい基盤モデル、TabFMを紹介します。
表形式データは、エンタープライズデータインフラの基盤を構成し、重要な予測機械学習アプリケーションの大部分を支えています。顧客離れの予測から金融詐欺の特定まで、表形式の回帰および分類タスクは至る所に存在します。長年にわたり、AdaBoost、XGBoost、ランダムフォレストなどの教師ありツリーベースアルゴリズムは、構造化データに対して堅牢なパフォーマンスを提供し、この分野を支配してきました。
しかし、これらの従来のモデルを展開するライフサイクルは、大きなボトルネックとなります。新しいデータセットにXGBoostモデルを適合させることは、単に.fit()ステップの問題ではありません。それは必然的に、手間のかかる手作業を必要とします。データサイエンティストは、生のデータから信頼できる信号を抽出するためだけに、広範なハイパーパラメータ最適化とドメイン固有の特徴量エンジニアリングに数えきれないほどの時間を費やす必要があります。
一方、より広範な機械学習の分野、特に大規模言語モデル(LLM)の進化は、新しいタスクとの対話方法を変えました。LLMは、インコンテキスト学習(ICL)を通じて、ゼロショット予測の驚くべき力を実証しました。この技術により、事前学習済みモデルは、基盤となるモデルの重みを更新することなく、入力コンテキストに例と指示を提供することで新しいタスクを学習できます。
本日、私たちは表形式データ分類および回帰専用に設計された基盤モデル、TabFMを紹介します。表形式予測をICL問題としてフレーム化することにより、TabFMは手動モデルトレーニング、ハイパーパラメータチューニング、および複雑な特徴量エンジニアリングの必要性を排除します。このアプローチにより、ユーザーが単一のフォワードパスで、未知のテーブルに対して高品質な予測を生成できる方法を共有できることを嬉しく思います。TabFMは現在、Hugging FaceおよびGitHubリポジトリで利用可能であり、Google Cloud BigQuery内で直接ライブになっています。
仕組み
従来のMLパラダイムは、特定のデータセットの分布に固有のモデルパラメータを更新することに依存しています。対照的に、ICLパラダイムはこれを完全に回避します。各新しいタスクに対して従来のトレーニングフェーズを経る代わりに、TabFMは、履歴トレーニング例とターゲットテスト行の両方を含むデータセット全体を、単一の統一されたプロンプトとして受け取ります。モデルは、推論時にこのコンテキストから直接、列と行の関係を解釈することを学習します。
しかし、ICLを表形式データに適用することは、自然言語をトークン化するほど簡単ではありません。標準的な言語モデルは一次元で順序付けられたシーケンスを処理しますが、テーブルは基本的に二次元であり、本質的に順序がありません。2つの行または2つの列を入れ替えても、データの根本的な意味は変わりません。これらの多様な表形式構造を効果的に処理し、スケーラブルなゼロショット予測を可能にするために、TabFMはTabPFNとTabICLのようなアーキテクチャの強みを新しいハイブリッドデザインに統合します。以下に視覚化されたこのアーキテクチャは、3つの主要なメカニズムに依存しています。
- 交互の行と列のアテンション: まず、生のテーブルはマルチレイヤーアテンションモジュールを介して処理されます。TabPFNと同様に、このステップは列(特徴量)と行(例)の両方に交互にアテンションを適用します。これらの2つの次元に継続的にアテンションをかけることで、モデルは複雑な特徴量の相互作用と依存関係をネイティブに捉えるリッチな表現を学習します。この深いコンテキスト化は、データサイエンティストによる手間のかかる手作業の特徴量作成を必要とする重労働を効果的に実行します。
- 行圧縮: このコンテキスト化の後、個々の行の各リッチでクロスアテンションされた情報は、単一の密なベクトル表現に圧縮されます。
- インコンテキスト学習(ICL): 最後に、専用のTransformerがこの圧縮された埋め込みのシーケンス上で動作します。TabICLの非常に効率的なアプローチを採用し、生の非圧縮グリッドではなく、これらの圧縮された行ベクトルにアテンションを実行することで、計算コストが劇的に削減されます。これにより、はるかに大きなデータセットであっても、予測ステップは非常に計算効率が高く保たれます。
大規模な合成データでのトレーニング
基盤モデルを構築するための典型的なレシピは、膨大な量の多様なデータでトレーニングされた高キャパシティのニューラルネットワークを使用することです。しかし、表形式MLにおける大きなハードルは、高品質で多様な表形式データセット、特に真の産業データ分析を反映するために必要な大規模なテーブルが、オープンソース空間で極めて不足していることです。産業用テーブルは、多くの場合、独自のスキーマと機密情報を含んでおり、広範な事前トレーニングにはアクセスできません。
合成テーブルは任意に大きく生成できるため、この規模で基盤モデルを事前トレーニングするための唯一実行可能なオプションとなります。その結果、TabFMは完全に数百の合成データセットでトレーニングされています。これらのデータセットは、さまざまなランダム関数を組み込んだ構造的因果モデル(SCM)を使用して動的に生成されます。この大規模な合成生成は、実世界の表形式データに存在する分布の広範な多様性と複雑な特徴量の関係を捉えます。その結果、モデルは未知の実世界のテーブルに対してうまく汎化します。これは、以下のベンチマークで実証されています。
パフォーマンスとベンチマーク
既存の最先端手法に対してTabFMを厳密にテストするために、私たちはTabArenaで評価しました。これは、ヘッドツーヘッドの勝率に基づいてEloスコアを計算するライブベンチマークシステムです。この包括的な評価は、700から150,000のサンプルサイズにわたる38の分類データセットと13の回帰データセットを対象としています。
以下のパフォーマンスプロットに示すように、モデルの2つの異なる構成をベンチマークしました。
- TabFM: これは、モデルの箱から出したままの機能を表します。予測は単一のフォワードパスで生成され、チューニングやクロスバリデーションは不要です。
- TabFM-Ensemble: この構成は、クロス特徴量とSVD(特異値分解)特徴量を取り込むことで、パフォーマンスをさらに向上させます。非負最小二乗ソルバーを使用して、32ウェイアンサンブルの最適な重みを計算します。分類タスクの場合、このバリアントはプラットスケーリングも追加のキャリブレーションステップとして組み込みます。
包括的なTabArenaベンチマーク結果(詳細なフォールドごとのメトリクスと特定のベースラインモデルとのヘッドツーヘッド勝率を含む)については、GitHubページをご覧ください。
結論
表形式予測をインコンテキスト学習問題として再定義することにより、TabFMはハイブリッドアテンションアーキテクチャと大規模な合成トレーニングデータを利用して、複雑な特徴量の相互作用をネイティブに捉えます。このアプローチは、手動特徴量エンジニアリング、ハイパーパラメータ最適化、および反復的なモデルトレーニングの従来のボトルネックを効果的に排除し、ヘビーにチューニングされた業界標準の教師ありアルゴリズムを一貫して上回ります。TabFMは、最新の基盤モデルの箱から出したままの利便性を、表形式MLワークフローに直接もたらし、実践者が単一のフォワードパスで高精度の予測を生成できるようにします。
これらの機能をエンタープライズ分析に直接利用できるようにするため、TabFMはGoogle Cloud BigQueryにネイティブに統合されました。実践者は、カスタムモデルトレーニングを排除し、簡単なSQLクエリ(AI.PREDICT)を使用してテーブル上で直接ゼロショット回帰および分類を実行できます。Google Cloudの発表で詳細を読むか、今すぐBigQueryで開始するためのドキュメントをご覧ください。
謝辞
このプロジェクトは、Erez Louidor Ilan、Taman Narayan、Shuxin Nie、Rajat Sen、Yichen Zhou、Joe Toth、Deqing Fu、Samet Oymakとの共同作業です。グラフィックのデザインはKimberly Schwedeに感謝します。