HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

時系列予測の不合理な難しさ

The unreasonable difficulty of time series forecasting (suzyahyah.github.io)

106 pointsby suzyahyah42 コメント

要約

時系列予測は、他のシーケンス学習タスクや独立同分布(IID)の機械学習問題と比較して、なぜこれほど難しいのかを探求する記事です。多くの最新モデルや基盤モデルでさえ、特に季節性が強いデータでは単純な統計モデルやゼロショットモデルに劣る場合があることが示されています。これは、時系列データが単一の実現値の軌跡であり、独立したサンプルではないこと、信号対雑音比が低いこと、実効サンプルサイズが小さいこと、そして分布シフトの影響を強く受けることに起因すると分析されています。

全文翻訳

時系列予測の不合理な難しさ

プレビュー

最近、時系列予測問題が、他のシーケンス学習タスクやIID(独立同分布)機械学習問題と比較して、なぜそれほど難しいのかについて考えてきました。

まず、予測問題の難しさを示すための基本的なベースラインをいくつか紹介します。私は一連のモデルを実行しました。

  • 統計モデル(Naive, AutoARIMA, Theta, MSTL, Seasonal-Naive)
  • 線形/Transformerニューラルモデル(DLinear, NLinear, PatchTST)
  • 勾配ブースティングツリー(LightGBM)
  • ゼロショット基盤モデル(Chronos, TimesFM, TTM)
  • 数値シーケンスの継続を指示された「AI」LLM(Claude Opus, Haiku)

これらのモデルを以下のベンチマークデータセットで評価しました。

  • m4_hourly, m4_daily
  • etth
  • exchange
  • electricity
  • bitcoin

これらはインタラクティブなプロットです。凡例をクリックするとラインを非表示にし、ダブルクリックすると孤立させることができます。視覚化のために、履歴セクションは予測ウィンドウの3倍に切り詰められています。

結果

多くのラインがありますが、ベンチマーク研究の主な結論は、m4_hourly のような強い安定した季節性を持つ系列では、単純な統計ベースライン(Seasonal-Naive, MSTL)とゼロショット基盤モデルが圧倒的な差で勝利するという点です。しかし、洗練されたモデルは多くの時系列タスクで完全に的外れになる傾向があり、予測が完全に間違った方向にトレンドする可能性があるため、ナイーブな予測因子と大差ありません。

予測には、特に為替レートのような実世界のデータでは、予測に不可欠な因果情報が考慮されていない、といった直感があるかもしれません。しかし、それらの「特徴」があっても、人々は市場で簡単に儲けているわけではありません。

また、多くの機械学習問題では、因果関係の要因に関する完全な情報がなくても、合理的な、あるいは少なくともランダムウォークよりも優れた予測を行うことができます。したがって、この記事では、予測問題の本質と、それが古典的な機械学習よりもはるかに難しい理由を調査します。

何が起こっているのか?

なぜ時系列(予測)は難しいのか

問題定義

予測とは、観測の履歴シーケンス $y}_{1:t}$ に基づいて、確率変数(または変数のセット)の将来の値を推定する行為です。目標は、予測ホライズン $h \ge 1$ と呼ばれる将来の時刻 $t + h$ における変数の値を予測する予測関数 $f$ を学習することです。

(\hat{y}{t+h} = f(y}_{1:t}))

この問題定義にはいくつかのバリエーションがあります。

  • 外因性変数(exogenous variables)を用いて予測する場合: $f(y}{1:t}, x}{1:t})$ となり、予測は系列と同時に観測される外部ドライバー(天気、プロモーション、価格) $x$ も条件とします。
  • 点予測(point forecast)ではなく、確率的予測(probabilistic forecast)を行う場合: $p(y}{t+h} \mid y}{1:t})$ となります。
  • 複数系列(multiple series)の場合: $f(y}{1:t}, v}{1:t}, \cdots)$ となります。これは基盤モデルの設定です。
時系列データはデータ生成プロセスから生じ、IIDではない

今日の機械学習の現状では、学習複雑な非線形予測子 $f_\theta: X \rightarrow Y$ (ここで $(x, y) \sim p(x, y)$)のための強力で確立されたアルゴリズム(ディープラーニングの企業)があり、これは最大尤度推定トレーニングによって、訓練データセット全体での期待損失を最小化することで実現されます。

(\begin{equation} \min_\theta \mathbb{E}{(x, y)\sim p(x, y)} \left[\ell (f_\theta (x), y)\right] \approx \min_\theta \frac{1}{n}\sum_{i=1}^n \left[\ell (f_\theta (x_i), y_i)\right] \end{equation})

しかし、時系列は、データにおける信号と予測の関係のため、このセットアップとは根本的に異なります。時系列では、 $n$ 個のサンプルではなく、 $t$ 個の時間ステップにわたる単一の実現/軌跡を観測しています。対照的に、IID機械学習は $p$ (データ生成分布)から $n$ 個の独立したサンプルを取得します。

時系列データはデータ生成分布ではなく、データ生成プロセスから生じます。そして、その重要な含意は、データのシーケンスは個々のIIDデータポイントではなく、パス全体の同時確率分布であるということです。

\begin{equation} p(y_1, y_2, \cdots, y_t) = p(y_1) \prod}{i=2}^t p(y_i | y}{i-1}, y}_{i-2}, \cdots, y_1) \end{equation}

この因数分解は、あらゆる同時分布に対して成り立ちます。しかし、古典的なMLフレームワークのIID仮定の下では、過去の条件付けが省略されるため、予測問題が大幅に単純化されます。

式(1)からの多くの学習仮定は成り立たず、時系列は学習に特有の課題をもたらします。特に、

  1. 時系列は信号対雑音比が低い(特徴が乏しい)

  2. 時系列は「データ不足」である

  3. 時系列は分布シフトの影響をはるかに大きく受ける

  4. 時系列は信号対雑音比が低い(特徴が乏しい)

機械学習問題との大きな違いは、時系列では信号が乏しい $f(y_t \mid y}_{<t})$ のに対し、IID MLでは予測 $f(y_n \mid x_n)$ が豊かな特徴空間に存在することです。

興味深いことに、言語モデリングも逐次的な自己回帰予測問題ですが、LLMによって「解決済み」に近いと考えられています。違いは、言語は高い意味内容を持ち、単語(トークン)は文脈と次のトークンの間に高い相互情報量を持つことです。一方、実数値シーケンスは信号がほとんどありません。

  1. 時系列は「データ不足」である

これは直感に反する声明かもしれません。なぜなら、様々なソースから、時にはミリ秒単位の測定値で、大量の時系列データを持っているのではないか? テキストや画像ほどインターネット上に時系列データが多くないかもしれませんが、それでも少なくはないように思えます。問題は、

  • 高い自己相関が有効サンプルサイズを縮小する。系列の $T$ 個の時間ステップで相関するデータがある場合、 $T$ 個の時間ステップは $T$ 個の独立した情報を持たないため、有効サンプルサイズは $T$ より小さくなります。 $y}_{t+1}$ を予測するように学習しても、$y_t$ よりも多くのことは学んでいません。

  • 重要なのはタイムスタンプではなく、サイクルです。つまり、自己相関のない予測につながる時系列の実現です。景気後退につながるパターンを学習していた場合、有効サンプルサイズとして過去の景気後退 $m$ 回のみが存在します。

これはベンチマークから観察できます。m4-hourly は、それぞれが完全な1日のサイクルに貢献する数千の短い系列であるため、有効なサンプルサイズは単一系列の長さよりもはるかに大きいです。これにより強い季節性が現れ学習可能になりますが、単一の長い為替レートの軌跡は学習するための独立した例をわずかしか提供しません。

  1. 時系列は分布シフトの影響をはるかに大きく受ける
  • ML問題では、分布シフトの問題は通常、しばらく経ってから現れます。時系列では、タスクの時間的性質のため、トレーニング中および推論中に分布シフトの問題が発生します。

  • 特に、予測は外挿であり、内挿ではありません。テスト時には時間インデックス $t$ は $T$ より大きい値しか取らず、根本的なダイナミクスのあらゆる変化に対して脆弱です。古典的な機械学習のセットアップでは、テストポイントも分布外である可能性がありますが、少なくともそれは保証されていません。

イベント駆動型で継続的にドリフトする系列である為替やビットコインでは、洗練されたモデルはナイーブモデルと大差ありません。なぜなら、すべての予測は分布がシフトしたシーケンスへの外挿だからです。

実際に何を学べるのか?

信号対雑音比が低いこと、データ不足、分布シフトはすべて、データ生成プロセス(多くのIID描画ではなく、1つの依存パス)の結果です。時系列には多くの課題があるため、何を学ぶことができると期待できるでしょうか?

単一のプロセスが学習可能である理由

確率的データ生成プロセスは、実現されたシーケンス(プロセスからのデータサンプリング)からプロセスの特性を推定することを可能にする3つの主要な特性(定常性、エルゴード性、自己相関)を持つ必要があります。

定常性。プロセスが定常であれば、その同時分布は時間シフトに対して不変です。定常性の厳密な定義によれば、時系列の部分シーケンスの同時分布は、すべての時間ラグ/シフト($h$)で同じです。

\begin{equation} p(y_1, \cdots, y_n) = p(y}{1+h}, \cdots, y}{n+h}), \quad \forall h \end{equation}

弱定常性/共分散:平均が一定、分散が一定、および $\mathrm{Cov}(y_t, y}_{t+h})$ は絶対時間 $t$ ではなく、ラグ $h$ のみに依存します。

実際には、実データは決して定常ではなく、したがって多くのモデリングアプローチも定常性を近似しようと変換を適用します。

エルゴード性。私たちはデータ生成プロセスの単一の実現しか持っていませんが、理論的にはプロセスから描画された $m$ 個の実現が存在する可能性があり、それらは観測されていません。

プロセスがエルゴード的(平均に対して)であるとは、時間平均がアンサンブル平均($m$ 個の仮説的実現の)に収束することです。

(\lim}{T \rightarrow \infty} \frac{1}{T}\sum}{t=1}^{T} y_t = \mathbb{E}[y_t] = \mu.)

この性質がないと、プロセスが定常であっても、単一実現のデータ量ではプロセスについて何もわかりません。エルゴード性の厄介な点は、アンサンブル平均を計算するために時系列の $m$ 個の仮説的実現を実際に観測したことがないため、テスト不可能な仮定であることです。

プロセスを学習することは予測には不十分である。

定常性とエルゴード性を持つということは、プロセスの統計的特性をプロセスからの十分に長いサンプルから推測できることを意味します。しかし、データ生成プロセスの統計的特性を持っているからといって、それが予測可能であるとは限りません。

ホワイトノイズのケース

ホワイトノイズは定常かつエルゴード的ですが、自己相関がゼロの系列です。ホワイトノイズの統計的特性を知っていても、次の値を予測するのに十分な信号がないため、最善の予測は平均値です。

自己相関から予測値を得る

自己相関は時系列データの特性であり、信号とその遅延コピーとの相関を測定します。直感的には、すべての自己相関信号をすべての時間ラグと間隔で利用したいと考えます。ニューラル以前の、純粋な統計時代には、自己相関は意図的な変換のシリーズを通じて捉えられ、それらを計算する必要がありました。以下から始まります。

  1. 2点間の生の自己相関

  2. 中心化(正規化)

  3. 時間ラグへの一般化

  4. 複数時点への拡張

  5. 生の自己相関

2つの時点 $t_1, t_2$ 間の自己相関は、値間の単純な積モーメントです。

(\R_{yy}(t_1, t_2) = \mathbb{E}[y}{t_1} \times y}{t_2})

これは信号処理の定義です。これは2つの絶対時間の関数であり、中心化されていないため、レベル $\mu$ を混合します。そのため、共運動を分離するのではなく、信号の大きさや平均とともにスケールされます。

  1. 自己共分散のための中​​心化

平均を減算することによる中心化(正規化)は、絶対的なサイズではなく、偏差の共運動を測定します。

\begin{align} K}{yy}(t_1, t_2) &= \mathbb{E}[(y}{t_1} - \mu}{t_1}) \times (y}{t_2} - \mu}{t_2})]
&= \mathbb{E}[y}
{t_1} \times y}{t_2}] - \mu}{t_1}\mu}_{t_2}
\end{align}

  1. 時間ラグへの一般化

弱定常性は、共分散が絶対的な時間位置ではなく、時間間隔 $h=t_2 - t_1$ のみに依存すると仮定するため、共分散はラグの単一引数関数になります。

(\gamma (h) = K}_{yy}(t_m, t_n))

同じ時間ラグ $h$ を持つすべてのタイムスタンプに対して、ここで $h=0, 1, \cdots, T$ です。

  1. 自己相関関数への標準化

まだ生のデータのスケールを使用しているため、ラグ間および系列間で比較可能な、$[-1, 1]$ スケールに正規化して、それが強い関係か弱い関係かをより良く解釈できるようにします。

(\rho(h) = \frac{\gamma(h)}{\gamma(0)} = \frac{\mathbb{E}[(y_t - \mu)(y}_{t+h} - \mu)]}{\mathbb{E}[(y_t - \mu)^2]} \in [-1, 1])

異なるモデルがラグをどのように使用するか

ACFはラグ全体にわたる関数であるため、異なるモデルファミリーは2つの軸で異なります。どのラグを読み取るか、そしてそれらのラグでどのような種類の依存関係を利用するかです。

A classic linear forecasting model

たとえば、自己回帰AR(p)モデルを考えてみましょう。これは、前の観測タイムスタンプの加重和によって次のタイムステップを予測します。

(\hat{y}{t+1} = \sum}{i=1}^p \phi_i , y}{t-i+1} = \phi_1 y_t + \phi_2 y}{t-1} + \cdots + \phi_p y}{t-p+1})

そして、最適な重み($\phi_1, \cdots, \phi_p$)を見つけるには、自己相関関数に依存する方程式系(Yule–Walker方程式)を解く必要があります。

複数のプロセスから構造を学習する

しかし、複数の時系列データで学習することはできないのでしょうか?

実世界の時系列問題では、たとえ $m$ 個の時系列シーケンスがあったとしても、それらは1つのプロセスから描画された $m$ 個のシーケンスではなく、$m$ 個の関連するが別個のプロセスとして考慮されます。たとえば、金融市場を考えると、個々の株価の軌跡はそれぞれ独自のプロセスです。

「グローバル」なパターンを学習しようとすることができます。これは、Time series Foundationモデル(timesfm, chronos, ttm)が数百万の系列全体でトレーニングすることでまさに試みていることです。ベンチマークは、古典的な季節性ベースラインがすでにかなり良好な場合(m4_hourly)、それらが役立ち、予測可能性が本質的に低い系列では他の予測モデルと一緒に失敗することを示しています。

「分類」

異なるモデルファミリーは、どのラグを読み取るか、そしてそれらのラグでどのような種類の依存関係を利用するかによって異なります。「自己相関」は、平均の線形依存関係を説明しました。より複雑な予測方法は、依存関係の形状全体と非線形関係を使用しようとします。

  • ナイーブ: $h=1$ のみ。最後の値をそのまま引き継ぎます。
  • シーズナルナイーブ:1つのラグのみ、$h=m$(季節の長さ、例:毎時なら24)。
  • AR($p$) / ARIMA:最初の $p$ 個のラグ、$h=1\dots p$ を加重和として使用します。
  • HAR(ボラティリティ用):3つの固定ラグ — 1日、5日、22日(日次/週次/月次)。
  • DLinear / NLinear:ルックバックウィンドウ $h=1\dots L$ のすべてのラグに対する学習済み重み。
  • PatchTST / Attention, LightGBM:ウィンドウ全体を使用しますが、特定のラグを選択して非線形に組み合わせることができます。例:ラグ1の効果はラグ2の値に依存します。
  • 時系列基盤モデル(timesfm, chronos, ttm):ウィンドウ全体を使用しますが、ラグから値へのマッピングは、単一のターゲット系列ではなく、数百万の系列全体で事前学習されています。
予測可能性の測定

予測可能性はいくつかの方法で推定できます。

  • ナイーブベースラインとの直接比較。より洗練されたモデルがナイーブベースラインよりもパフォーマンスが向上しない場合、利用できる構造的自己相関は限られている可能性が高いです。
  • スペクトル予測可能性。Nixtlaの tsfeatures の entropy 特徴。その下のスペクトル密度は scipy.signal.periodogram / welch から来ています。これは周波数コンテンツのピーク度を測定します。
  • Ljung-Box検定。ナイーブベースラインに対して差分を取った後にどれだけの構造が残っているか。statsmodels.stats.diagnostic.acorr_ljungbox(np.diff(y), lags=[m])
結論

時系列は、分布からのIID描画のバッグではなく、データ生成プロセスからの単一の依存パスです。この構造的な違いにより、信号は乏しくなり、有効サンプルサイズは小さくなり、テストセットは常に訓練サポートの外に位置します(ドリフト下での外挿)。

主な結論は、この理解に基づくと、より複雑な非線形モデル(ニューラルネットワーク)、履歴シーケンスでの特徴量エンジニアリング、基盤モデルを使用したデータのプール、または合成時系列データの生成を投入しても、予測可能性の低い実世界の時系列問題に対する改善の源泉にはならないということです。

予測信号の欠如を考えると、次の明白なステップは、予測モデルを支援できる外部(外因性)特徴を現実世界で探すことです。結局のところ、多くの実世界の時系列はイベント駆動型(FX、ビットコイン)であり、それゆえにショックやドリフトにさらされており、これらはデータ生成プロセスで測定または考慮することができます。