HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

TabPFNとTabICL対調整済みXGBoost:学習しないモデルが14/14で勝利

TabPFN and TabICL vs. tuned XGBoost: the model that doesn't train won 14/14 (efraingaray.com)

23 pointsby EfrainGaray12 コメント

要約

TabPFNとTabICLは、学習せずにテーブルデータ上で予測を行い、調整済みのXGBoostを上回るという主張を持つモデルです。この主張を検証するため、14のデータセットでテストが行われました。その結果、学習しないモデルが14全てのデータセットで勝利し、その優位性は予想以上に長く持続することが示されました。

全文翻訳

TabPFNとTabICL対チューニング済みXGBoost:14のテーブルで学習しないモデルが勝利

[音声]再生中

この主張は数ヶ月前から広まっており、測定可能なほど具体的です。表形式基盤モデルは、学習したことのないテーブルに対して予測を行い、それでもチューニング済みのブースティングモデルを上回るのです。

もしこれが真実なら、半世紀の慣習は形を変えます。ハイパーパラメータの探索は必須のステップではなくなり、時には見返りのない贅沢になるでしょう。

そこで私は、14のデータセット、4つの競合モデル、そして全員に同じストップウォッチを使って、自身の環境でテストしました。

[動画: Your browser does not support HTML5 video.]

33秒のナレーション付き:2つのボットがテーブルを競います。片目のボットは見て答え、歯車のボットは返答前に25通りの組み合わせを試します。全ての数字は測定されたものです。デフォルトではミュートされています:コントロールでオンにしてください。(リールビューアで見る→)

これらのモデルは具体的に何をするのか

表形式基盤モデルは、意図的に生成された何百万もの合成テーブルで事前学習されています。新しいテーブルが到着すると、単一の重みを調整しません。学習済みの行をコンテキストとして受け取り、1回のフォワードパスで予測を生成します。

これは、言語モデルで既に知られているのと同じインコンテキスト学習のアイデアであり、単語から列へと移行したものです。そのため、「学習(train)」という動詞は奇妙に聞こえます。コードは依然として fit と呼びますが、内部には勾配降下法はなく、カードへのデータのコピーが行われます。

それも、コストが予期しないところに現れる理由を説明しています。フィッティングはほぼ無料であり、予測がコストを発生させるのです。これはツリーモデルとは正反対です。

そのように言うと抽象的に聞こえるので、1行の完全な旅程を見てみましょう:リクエストが空のセルで到着し、モデルはそれをこれまでに起こった全ての事柄と比較し、1回のパスで解決し、未来を返します。私が測定した6つのケースのいずれかを選んで、実際のデータで確認してください。

[図: 1行の旅:リクエストから予測まで]

具体的に何に役立つのか

図の6つのケースはパンフレットの例ではありません。私が測定に使用したデータセットです。しかし、マップを広げる価値があります。「表形式基盤モデル」は研究所のように聞こえるかもしれませんが、それが解決する問題は最も一般的なものの一つです。

テーブルとはスプレッドシートのことです。行はケース、列は属性です。そしてタスクは常に同じです。他の列から1つの列を予測することです。

  • 顧客テーブル(利用期間、プラン、利用状況、苦情)で、来月解約する顧客を推定する。
  • 取引ログ(金額、販売者、時間、国)で、不正取引をフラグ付けする。
  • クレジット申請履歴(収入、負債、支払い行動)で、返済しない可能性のある人を推定する。私が測定したデータセットのうち3つはまさにこれです:credit、heloc、default-of-credit。
  • 機械のセンサー readings で、いつ故障するかを予測する。
  • 患者記録(症状と検査結果)で、誰を優先して診察するかを決定する。データセットの1つである Diabetes130US は、実際の病院記録です。

これは、あらゆる企業で行われるデータ作業の半分です。また、ディープラーニングが長年苦戦してきた分野でもあります。テーブルデータにおいては、優れた勾配ブースティングツリーアンサンブルが依然として正しい答えであり、これらのデータセットを収集した研究はまさにそのタイトルで、「なぜツリーが依然として勝つのか」と問うものでした。

約束が守られた場合、何が変わるか

今日、これらのケースのいずれかを解決するには、儀式が必要です。データを準備し、モデルを選択し、ハイパーパラメータを探索し、検証し、繰り返します。探索は退屈な部分であり、機械と人間の時間を消費する部分です。このベンチマークでは、XGBoostの探索はデータセットあたり最大50秒かかりました。実際の、より多くの行とより多くの組み合わせを持つ問題では、これは数分または数時間になります。

表形式基盤モデルは、この儀式を完全にスキップすることを提案しています。テーブルを渡せば、1秒で回答が得られます。それでおしまいです。選択すべきツリーの深さもなく、学習率もなく、25個の候補の中から選択するためのクロスバリデーションもありません。

具体的に言うと、解約モデルのチューニングに午後を費やす代わりに、コーヒーを淹れる時間で回答が得られ、その後に初めて何かを洗練する価値があるかどうかを決定します。新しく到着したテーブルを探索するため、または時間を投資する前に正直なベースラインを持つためには、これに勝るものはありません。

したがって、問題は、そのアイデアが魅力的かどうかではありません。測定したときに結果が通用するかどうかです。

ベンチマークのルール

不適切に構築されたベンチマークは、望むものを何でも示します。これらは、数字を見る前に私が自分自身に課したルールです。

データは第三者によるものであり、この議論が繰り広げられる分野のものです。 私はGrinsztajnの表形式ベンチマークを使用しました。これは、なぜツリーがテーブルデータでディープラーニングに勝つのかを問う研究のために収集されたスイートです。自分でデータセットを選択することは、望む結果を製造する最も簡単な方法です。

XGBoostは装飾のためではなく、チューニングされて使用されます。 主張は「チューニングされたブースティング」と言っているので、工場出荷時のパラメータと比較するのはストローマン(藁人形論法)です。私は2つのバージョンを実行しました。1つは固定された妥当なパラメータを使用し、もう1つは25通りの組み合わせと3分割クロスバリデーションでランダムサーチを行いました。

全員に同じ分割、同じシード、同じ列を使用します。 カテゴリカル変数は整数エンコードされます。これは最善の処理ではありませんが、4つ全てで同一であり、数字を比較可能にしています。

データセットごとに5つのシードを使用し、中央値を報告します。 単一の分割では、信号を運から区別できません。

予測時間には2回の推論パス(クラス予測と確率予測)が含まれます。 ベンチマークは両方を必要とするため、精度と曲線下面積(AUC)を計算できます。これにより、基盤モデルのコストがかかる部分がまさに増幅されるため、それらに公開する秒数は誰にも有利にならないようにインフレさせています。

2つのコアは解放されます。 マシンには他の作業が実行されており、CPU全体を消費するベンチマークは、スケジューラとの戦いを測定するのであり、モデル自体との戦いを測定するのではありません。

全ては16 GBのRTX 4070 Ti SUPERで実行され、XGBoostには14コアが使用されました。

最初の数字が出る前の3つのつまずき

最終的な表だけを公開するのは、不作為による嘘になります。これらは、そこに至るまでのコストです。

PyTorchが何も言わずにGPUをオフにした

環境をセットアップし、ベンチマークを実行したところ、最初の行は device: cpu と表示されました。カードは空いていて、認識されていました。理由は以下の通りです。

2.13.0+cu130   driver 570.144   torch.cuda.is_available() → False

PyTorchはCUDA 13.0用のビルドに解決されましたが、マシンのドライバは12.8を公開していました。失敗する代わりに、サイレントにGPUをオフにし、CPUで続行しました。警告は、torch.cuda.is_available() を手動で確認した場合にのみ表示されます。

正しいインデックスにバージョンをピン留めすることで修正されます。

pip install --no-cache-dir \
  --index-url https://download.pytorch.org/whl/cu128 torch==2.9.1+cu128

今年2度目ですが、同じ落とし穴で丸一回の実行が無駄になりました。GPUベンチマークで疑わしいほど遅い数字が出た場合、まず確認すべき場所です。

OpenMLのAPIが全てのエンドポイントで504を返した

当初の計画は、これらの比較の標準的なソースであるOpenMLからデータセットを取得することでした。実行中に完全に失敗しました。

https://api.openml.org/api/v1/json/data/31          → 504 (16.9 s)
https://www.openml.org/api/v1/json/data/31          → 504 (15.7 s)
https://api.openml.org/api/v1/json/data/features/31 → 504 (16.5 s)

バックオフを増やして4回再試行しても変化はありませんでした。レートの問題ではなく、ゲートウェイがダウンしていたのです。ソースを、HuggingFaceでホストされている同じベンチマークのCSVに切り替えたところ、250ミリ秒で解決しました。再現可能な研究がいかに単一のサービスに依存しているかを示す、不快なリマインダーです。

最も引用されているモデルがアカウントなしではダウンロードできなくなった

これが最も興味深い発見です。技術的なものではないからです。

TabPFNは、このトピックのほぼ全ての報道に登場する名前です。現在のバージョン8.3.0をインストールし、最初の fit で以下のエラーが発生しました。

TabPFNLicenseError: TabPFN requires a one-time license acceptance
to download model weights for local inference, but no interactive
terminal is available.

重みをフェッチするには、ブラウザを開き、登録し、ベンダーのサイトのタブでライセンスに同意し、アカウントトークンをエクスポートする必要があります。最も有名な表形式基盤モデルは、インストールして実行できるものではなくなりました。

2つの抜け道があり、両方を試しました。

  • TabPFNの2.xシリーズは、登録なしで重みをダウンロードできます。 私は2.2.1を別の環境にインストールし、初回で動作しました。以下の表で使用しているのはこれです。
  • InriaのSodaチームのTabICLは、3つの条項のBSDライセンスであり、一切の障壁なしにダウンロードできます。また、2つのうちでより優れた結果となりました。

[画像: イラスト:小さなレンズ目のロボットが、大きな歯車の機械に直面している。床はスプレッドシートのセルでできている。]

ベンチマークの2つの競合:左はテーブルを見て答える方、右は30秒かけて組み合わせを試す方。

数字

14のデータセット、全て3,000行にトリミングされ、比較が均質化されています。精度は5つのシードの中央値です。秒の列は、フィッティングと予測の合計であり、それぞれが正直なコストです。

datasetrows × colsTabICLTabPFN 2.2.1XGBoostTuned XGBs TabICLs tuned XGB
bank-marketing3000 × 70.79440.79670.77110.78330.81.8
credit3000 × 100.76670.75780.74780.75330.82.2
heloc3000 × 220.72220.73000.70220.70780.81.6
pol3000 × 260.98440.98330.97780.97560.81.0
eye_movements3000 × 200.61000.61110.59440.58330.83.0
california3000 × 80.89670.89780.88330.87670.61.6
house_16H3000 × 160.88110.87440.87220.87111.13.0
MagicTelescope3000 × 100.87780.86220.84890.84561.32.4
electricity3000 × 70.81780.81110.81560.81780.82.4
Diabetes130US3000 × 70.59110.59330.56440.59000.81.4
default-of-credit3000 × 200.69560.69670.68780.69440.94.5
compas-two-years3000 × 110.67330.67670.64440.67000.60.7
Bioresponse3000 × 4190.79220.75670.78440.77446.027.2
albert3000 × 310.65000.66110.65110.66111.82.6

チューニング済みXGBoostに対する精度:

  • TabICL:12勝、1引き分け(electricity)、1敗(albert)。 平均差 +0.0106。
  • TabPFN 2.2.1:11勝、1引き分け(albert)、2敗(electricityとBioresponse)。平均差 +0.0075。

精度は粗い指標です。閾値に依存し、クラスのバランスによって罰則が異なります。曲線下面積(AUC)はより情報量が多く、結果はより鮮明になります。

modelAUC winsmean difference
TabICL14 of 14+0.0114
TabPFN 2.2.113 of 14+0.0089

TabICLは、例外なく全てのデータセットでチューニング済みXGBoostを上回ります。精度で負けたalbertでも、AUCはより優れています(0.7101対0.7094)。この詳細は、両方の指標を見る価値がある理由を正確に示しています。精度では「敗北」と言った場所でも、確率の順序付けでは「わずかに勝利」と言っています。

とはいえ、熱狂には調整が必要です。14のうち14で勝つことは、圧倒的な優位性ではなく、一貫性の強いシグナルです。平均差は1/100です。ダッシュボードでは誰もそれに気づかないでしょう。注目されるのはもう一つのことです。

コストは予想と逆になる

表の最後の2列をもう一度見てください。TabICLは、何もチューニングせずに、1秒未満でデータセットを解決します。チューニング済みXGBoostは、ハイパーパラメータを探索するのに0.7秒から27.2秒かかり、それでも下回っています。

これが本当の議論であり、精度ではありません。仕事のコストのかかる部分、つまり人間と機械の時間を消費する部分が、単に消えるということです。

驚き:サイズで優位性が崩れない

ここで私は約束を覆そうと期待していました。これらのモデルに対する一般的な反論は、学習行がトランスフォーマーのコンテキストに収まる必要があるため、おもちゃのテーブルでしか機能しないというものです。

jannis(57,580行)を取り上げ、成長するサイズにトリミングしました。サイズごとに3つのシードを使用します。

rowsTabICLXGBoostTuned XGBs TabICLs tuned XGB
5000.75330.77330.75330.73.2
1,0000.77330.74670.75330.94.9
2,0000.78000.75830.76671.19.4
4,0000.78170.76920.77251.821.1
8,0000.79580.76580.75832.619.7
16,0000.80900.77850.78525.334.6
32,0000.82300.78940.792911.750.3

優位性は崩れず、大きい方では統合されます:32,000行で+0.030。そして時間の分割は直感とは逆の方向に開きます:11.7秒対50.3秒。

何が成長し、何が成長しないかを正確に言う価値があります。なぜなら、違いは重要だからです。着実に上昇するのは、TabICLの絶対精度です:0.7533、0.7733、0.7800、0.7817、0.7958、0.8090、0.8230。これは7つの測定全てで単調増加しています。対照的に、XGBoostに対する優位性は不規則です:0.000、+0.020、+0.013、+0.009、+0.038、+0.024、+0.030。上昇と下降を繰り返します。

そして4,000行では、その+0.009の優位性は3つのシード間のばらつきよりも小さい(TabICLは0.768から0.799の範囲、チューニング済みXGBoostは0.758から0.790の範囲)ため、その時点ではノイズと区別がつかず、勝利とはカウントしません。

堅調なのはトップです:32,000行では、TabICLの最悪のシード(0.8216)がXGBoostの最高(0.7950)の上に位置します。そこには重なる余地はありません。

XGBoostがクリーンに勝つ唯一の場所は、500行という小さい方です。そこではシード間の変動が非常に高いため、その差に賭けることはできません。

あなたが、そして私もそうでしたが、ある時点でカーブが反転することを期待していたなら、ここではそうなりません。それを見つけるには、かなり高く行く必要があります。

[画像: イラスト:巨大な光るデータ列の壁を押そうと苦労しているロボット。]

Bioresponseは419列あります。テーブルの長さはそれらを止めません。幅が止めるのです。

壊れる場所

Bioresponseは決定的なデータセットです:419列。

TabPFN 2.2.1は0.7567に低下し、4つの競合モデルの中で最悪で、未チューニングのXGBoostよりも下です。そしてコストは18.1秒かかり、通常のデータセットの25倍です。TabICLははるかに良好な性能を維持します(0.7922、4つのモデルの中で最高)が、コストもかかります:通常の0.8秒に対して6.0秒。

読み取れるのは、テーブルの長さではなく、幅が実際に圧迫する軸であるということです。これは理にかなっています。列数はトランスフォーマーの注意コストに入り、合成事前学習は数十列のテーブルには適していますが、数百列には適していません。

この測定が示さないこと

限界を隠すふりをするよりも、リストアップする方が良いです。

  • 二項分類のみ。 回帰や多クラス分類はテストしていません。
  • メインテーブルの行数上限は3,000行。 スケールスイープは32,000行に達しますが、単一のデータセットでです。
  • ハイパーパラメータ探索は25回の組み合わせでした。 より積極的なチューニングはギャップの一部を埋めるでしょう。どの程度かは測定していないので分かりません。
  • XGBoostの探索は精度を最適化しました。そして後で曲線下面積(AUC)でも比較します。 これは、「AUCで14/14」が、そのメトリックでチューニングされていないブースティングモデルに対するものであることを意味します。AUCのためにチューニングすると、おそらくそこで改善されるでしょう。それは測定していません。
  • カテゴリカル変数は、全員に対して整数エンコードされました。 より良い処理は、他のモデルよりもXGBoostに有利に働くでしょう。
  • エンコーディングと欠損値補完は、分割前にテーブル全体で計算されました。 これは4つのモデル全てで同じリークであり、誰が勝つかを変えるものではありませんが、全員をわずかに膨張させるため、そのように行うべきではありません。
  • いくつかの精度での勝利は、シード間の変動よりも小さいです。 Diabetes130US は0.0011で勝利していますが、シードごとの差は-0.011から+0.049の範囲です。そこでは、どのシードが出るかによって符号が決まります。曲線下面積のカウントはシードごとに有効ですが、精度は3つまたは4つのデータセットではそうではありません。
  • 幅広テーブルの発見は、単一のデータセットに基づいています。 Bioresponse は数百列を持つ唯一のデータセットです。したがって、「幅が圧迫する」というのは、1つの観察に基づいた仮説であり、ルールではありません。
  • TabPFNの現在のバージョン8.3.0は、ライセンスの障壁のため測定されませんでした。 TabPFNの数字は2.2.1のもので、2世代前です。
  • CPUは、マシン上の他の作業と共有されていました。 これはGPUよりもXGBoostの時間に影響を与えるため、もし影響があるとしても、タイミング比較では基盤モデルに対して不利に働きます。

いつ使用し、いつ使用しないか

使用するのは、1,000行から30,000行の間で、100列未満のテーブルで、人の時間が最後の1/100よりも価値がある場合です。1秒の計算時間、ゼロのチューニング、そして私の測定では一貫して優れた結果が得られました。初期探索においては、これを行わない正当化は難しいです。

使用しないのは、非常に幅の広いテーブル(性能が低下し、高価になる)、GPUなしでの本番環境、または検査可能で軽量なコンテナにデプロイできる小さなアーティファクトが必要な場合です。学習済みツリーはキロバイト単位で、どこでも実行できますが、ここではトランスフォーマーをロードする必要があります。

そして、重みの出所を監査できるという基準が含まれる場合、今日の答えはTabICLです。パフォーマンスのためではなく(性能も2つのうちで優れていましたが)、まだ誰にも許可を求めることなくダウンロードして実行できるからです。

*測定日:2026年8月16日、16 GB RTX 4070 Ti SUPER、torch 2.9.1+cu128、XGBoost 3.4.1、TabICL 2.1.1、TabPFN 2.2.1。データは inria-soda/tabular-benchmark 表形式スイートから。メインテーブルは585秒、スケールスイープは514秒かかった。

ソース