Timestral: Mistralが時系列基盤モデルを発表

時系列基盤モデル (TSFM)

思考

要約

Timestralは、Mistral初の時系列基盤モデルファミリーであり、わずか2億900万パラメータで最先端の確率的・多変量予測を実現します。これは、主要なベンチマークにおいてより大きなモデルを凌駕し、過去および将来の共変量をサポートします。500万から2億900万パラメータまでの4つのサイズで提供されるこのモデルは、精度と効率のバランスを取り、CPU上で効率的に動作し、多様なドメインでのゼロショット予測に優れています。モデルは、合成データによる事前学習、共変量を意識したアテンション、ロングコンテキスト学習を組み合わせ、Mistral Forgeを通じてドメイン適応のためのファインチューニングも可能です。

本日、私たちはTimestral、すなわち時系列基盤モデルの最初のファミリーをリリースします。当社の最大のモデルは、わずか2億900万パラメータでありながら、この分野の主要な3つの公開ベンチマークであるGIFT-Eval、TIME、およびfev-benchのすべてで1位を獲得し、モデルパラメータの3分の2しか使用せずに以前の最先端技術を上回っています。

Timestralは、確率的・多変量予測を提供し、過去のみの共変量および既知の将来の共変量をサポートします。当社のモデルファミリーは、予測精度とモデルサイズのパレートフロンティア上に位置し、各サイズで最先端のパフォーマンスを提供します。結果はGIFT-EvalおよびTIMEリーダーボードに提出されました。

時系列は、センサーテレメトリからオブザーバビリティメトリクスまで、エンタープライズで最も一般的なデータタイプの一つです。それに基づいた予測は、キャパシティプランニング、エネルギー、サプライチェーン、リスク、メンテナンスにおける意思決定を推進します。

産業プラントは、生産スケジュールに対してプロセスセンサーを予測し、機器のドリフトが故障する前に検出し、数千の資産にわたるキャパシティとスペアパーツを計画します。金融チームは、フロー、ボリューム、ボラティリティを予測して、ポジション、ヘッジ、およびトレジャリーを数千のアカウントにわたって通知します。

ARIMAや線形回帰などの古典的なモデルは、時系列予測のための確立されたツールであり続けています。これらのモデルは通常、単一の系列に適合され、その系列の履歴からのみ学習します。

PatchTSTのようなディープラーニングモデルは、多くの関連系列にわたる非線形パターンを学習する能力を追加しますが、それでも通常は各データセットでスクラッチからトレーニングされるため、学習した内容は新しいドメインに引き継がれません。

時系列基盤モデルは、事前学習アプローチを時系列にもたらします。大規模で多様なコーパスでトレーニングされた当社のモデルは、系列間で転移するパターンを学習し、データが不足しているドメインであっても、見たことのないデータに対してゼロショットで予測します。

ベンチマーク結果

私たちは、Timestralを3つの主要な公開予測ベンチマークであるGIFT-Eval、TIME、およびfev-benchで評価しました。事前学習済みでゼロショットのモデルの中で、5つのメトリクスすべてで1位を獲得しました。これらの結果は、アンサンブルなしの単一チェックポイントから得られています。

GIFT-Eval、83の比較可能な事前学習済みおよびゼロショットのエントリの上位10件。低いほど良い。

TIME、35のリーダーボードエントリの上位10件。両方のメトリクスで低いほど良い。

［画像: ベンチマーク結果のグラフ］

fev-bench、37のエントリの上位10件、SQLスキルスコア別。高いほど良い。

あらゆる仕様に最適化されたモデルファミリー

Timestralは、5M、28M、123M、209Mパラメータの4つのモデルからなるファミリーとして最適化されています。より大きなモデルは予測パフォーマンスを向上させ、より小さなモデルはより高速で安価です。4つのモデルすべてが同じアーキテクチャとトレーニングレシピを共有しています。各サイズは、精度対モデルサイズのパレートフロンティア上に位置しています。各モデルサイズにおいて、公開されているモデルでこれより優れた予測をするものはありません。

GIFT-Eval、TIME、およびfev-benchでのスコア対モデルサイズ（1 - スキルスコアとして表示）。低いほど良い。当社の28Mモデルは、GIFT-EvalおよびTIMEで約4倍大きいChronos-2を上回っています。当社の209Mモデルは、より少ないパラメータでTimesFM-3およびFalcon-2.0を上回っています。

Timestralは、推論時にGPUを必要としません。標準的なサーバーCPU（8スレッド）で、15分間隔の3週間の履歴から1日先を予測する場合、5Mモデルでは10ミリ秒、209Mモデルでは140ミリ秒かかります。より小さなモデルは、精度を犠牲にして速度を向上させます。28Mモデルは209Mモデルよりも5倍高速であり、123Mモデルは209Mモデルのレイテンシの4分の3でスコアの0.2%以内に収まります。

産業例

産業プラントには、機器全体に数千のセンサーがあるとします。Timestralは、そのデータに対する予測をいくつかの方法で改善できます。

多変量予測。 ポンプの振動、温度、圧力は独立して変動しません。一つの値の上昇は、しばしば別の値の変化を説明したり引き起こしたりします。Timestralは関連する系列を共同でモデル化するため、各センサーを個別に予測するのではなく、それらの依存関係を利用できます。

確率的予測。 単一の予測値では、全体像を示せない場合があります。Timestralは分位点（quantiles）の完全なセットを予測するため、チームは不確実性の幅を確認し、それらを反映したアラートしきい値を設定し、単一の数値ではなくリスクを中心にメンテナンスを計画できます。

カテゴリカル共変量。 一部の共変量は、曜日や機械の状態（稼働中、アイドル、メンテナンス中）など、連続的な数値ではなく、値のセットから値を取ります。これらを数値としてエンコードすると、本来持たない順序やスケールが課せられます。Timestralは、予測を改善するために、これらをカテゴリカル入力として直接受け取ります。

既知の将来の共変量。 センサーの動作のいくつかのドライバーは、生産スケジュール、計画されたシャットダウン、天気予報など、事前に知られています。Timestralは、予測品質を向上させるためにこれらを条件付けできるため、計画された負荷増加は驚きとしてフラグ付けされるのではなく、予期されるようになります。

モデルからシステムへ

Timestralは、既存の監視パイプライン内で実行できる数値モデルであり、当社の言語モデルとマルチモーダルエージェントワークフローでペアにすることもできます。

プラントでは、次のようなことが考えられます。

1. プラントのセンサー ストリームでTimestralが継続的に実行され、異常が発生した際に検出します。
2. ポンプの異常をフラグ付けすると、エージェントは信号を埋め込み、過去のセンサーデータの埋め込みと比較して、類似した過去の障害を見つけます。
3. 次に、エージェントはサブエージェントを起動して根本原因分析を実行し、そのプラントのコンテキスト（メンテナンス記録、シフトログ、オペレーターノート、機器マニュアル、過去の作業指示書、関連機器からの読み取り値など）を引き出します。
4. エージェントは、発見された内容に基づいた提案された診断を、証拠と可能な次のステップとともにドラフトします。

プラントマネージャーは、単なるアラートではなく、センサーデータに裏打ちされた診断と計画を受け取ります。

主要な技術的貢献

これらの結果を生み出すために、いくつかのアイデアが組み合わされました。それぞれについて、技術レポートで詳細に説明します。

1. デカップルホライゾン予測 (Decoupled Horizon Forecasting)。 Toto 2.0およびTimesFM-3のように、連続的なパッチマスキングでトレーニングされた因果デコーダーは、予測される値をマスクするため、それらは欠損値のように見え、後続の予測のコンテキストとしても失われます。当社のDHFアプローチは、この2つを分離します。完全な履歴はシーケンス内に残り、学習された予測トークンはそれ以前の履歴を読み取ります。したがって、観測された各値は、ターゲットとコンテキストの両方として機能し、真のギャップは欠損としてフラグ付けされたままになり、トレーニングホライゾン長と欠損データ拡張は互いに独立して調整できます。

2. 共変量アウェアアテンション (Covariate-aware attention)。 各入力系列には役割が割り当てられます：ターゲット変数、過去のみの共変量、または既知の将来の共変量です。既知の将来の共変量はウィンドウ全体で可視化されますが、ターゲットは因果関係を保ち、情報フローは共変量からターゲットへと一方通行です。したがって、Timestralは、ターゲット自身の将来を予測に漏洩させることなく、休日カレンダーや天気予報を使用できます。

3. 合成データ優先 (Synthetic-first data)。 トレーニングデータの大部分は合成データでした。まず、トレンド、季節性、多様なノイズパターンを含む、一貫した時間的ダイナミクスを持つ単変量プロセスを生成しました。次に、多変量シンセサイザーを使用して、これらのプロセスの間に非線形依存関係を導入することにより、多変量系列を構築しました。

4. 2段階トレーニング (Two-stage training)。 Timestralは、まずコンテキストサイズ8192の純粋な合成データで大規模に事前学習され、次にリアルデータと合成データの混合で4倍長いコンテキストでポストトレーニングされます。目的関数は、CRPSの離散近似である21個の分位点に対するピンボールロスです。

［画像: トレーニングプロセスの図］

適応可能なモデル

公開ベンチマークは一般的なパフォーマンスを測定しますが、本番データは動作と構造が大きく異なる場合があります。市場がレジームを変更し、機器が劣化し、需要パターンが変化するにつれて、時間の経過とともに変化することもあります。永続的な価値は、モデルをドメイン内データに適応させ、分布が移動するにつれて再トレーニングし続ける能力にあります。

さらに進んだ組織のために、Timestralは、当社の言語モデルに使用しているトレーニングパイプラインと同じMistral Forgeを通じて利用可能です。これは以下をサポートします。

• すぐに使えるゼロショット推論。
• アーキテクチャ拡張、ドメイン固有の共変量など。
• 独自のデータでのファインチューニング、一般的なパフォーマンスを維持しながらドメインに特化。
• トレーニングデータに対する制御、トレーニングミックスの調整、事前トレーニングデータの再生、ターゲットドメインを反映する合成データサンプルの生成など。データに対する完全な制御により、バックテストされたものが事前トレーニング中に一切見られていないことが保証されます。

パイプライン全体は、エアギャップ環境を含むクライアントのハードウェアにデプロイできます。

次のステップ

Timestralをご自身のデータで実行できるように、GitHubリポジトリを公開しました。完全な結果を含む技術レポートが続きます。より専門的な予測問題、または研究での協力については、お気軽にお問い合わせください。