HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: 自身のデータで15個の血糖値予測モデルをトレーニングしました

Show HN: I have trained 15 blood glucose forecasting models on my own data (github.com)

82 pointsby 0xdeadf1sh44 コメント

要約

開発者は自身の1型糖尿病管理のために、自身のデータと公開データセット(MetaboNet)を用いて、血糖値予測モデルを多数トレーニングしました。特に、Transformerベースの「T1DMAI」モデルは、LoRAアダプターを適用することで、既存の最先端モデルに匹敵する精度を示し、低血糖の早期検知能力も向上しました。ただし、これは研究目的であり、医療機器としては使用できません。

全文翻訳

T1DMAI

注

このリポジトリのコードの多くはAIによって書かれました。それが気に入らない場合は、ご自由におやめください。

このリポジトリは動物園です。ここで私は、自身のデータとMetaboNet(公開)の両方で、多くの血糖値予測モデル(自身のものを含む)をトレーニングおよびテストしています。

私のモデルは、2時間先を予測する小さなTransformerです。DILATEとMSEの損失をそれぞれトレーニングに使用するD16 DILATEとD16 MSEの2つのバリアントを作成しました。D16はモデルの幅(16)を表します。これらは両方とも合成トレースでトレーニングされ、その後、軽量なファインチューニングのためにLoRAアダプターが追加されますが、アダプターなしでもテストしています。

これらの予測をご覧ください(これらは合成トレースでトレーニングされ、私のトレーニングスプリットでLoRAアダプターを使用してファインチューニングされています)。

[画像: T1DMAI D16 DILATE my glucoseを予測、テスト日ブロック1] [画像: T1DMAI D16 DILATE my glucoseを予測、テスト日ブロック2] [画像: T1DMAI D16 MSE my glucoseを予測、テスト日ブロック1] [画像: T1DMAI D16 MSE my glucoseを予測、テスト日ブロック2]

注意

研究および教育目的のみ - 医療機器ではありません。 T1DMAIは研究成果物です。臨床的に検証されておらず、規制当局の承認も受けていません。その出力は研究信号の予測であり、医療アドバイスではありません。医療、診断、または治療の決定、インスリン量の計算または調整、または糖尿病の管理には絶対に使用しないでください。医療に関するガイダンスについては、資格のある医療専門家にご相談ください。ソフトウェアは「現状有姿」で提供され、いかなる保証もありません(ライセンスを参照)。

目次

  1. 背景
  2. 主な結果
  3. モデル
  4. データ
  5. 手法
  6. 結果
  7. 限界
  8. 用語
  9. 全表
  10. 再現
  11. 公開スコア
  12. 参考文献

1. 背景

私は1型糖尿病であり、日々の管理に役立つ血糖値予測モデルをトレーニングできるかどうかを知りたいと思っています。そのために、いくつかの補助ツールを作成しました。

  • T1DMSIM は、UVA/Padovaが私のラップトップで遅すぎたため、合成CGMトレースを作成します。
  • T1DMDROID は、私の電話でモデルを実行し、複数のCGMから一度にBGを読み取るなどの便利な機能も備えています。

評価には、JacobsらによるIEEE Reviews in Biomedical Engineering, 2024 [1] の推奨事項を使用しています。これは読むべき素晴らしい論文です。

2. 主な結果

すべてのモデルは劣っています。XGBoostが最良ですが、私のモデルもそれに迫ります。詳細は以下の通りです。

  1. 私のデータでは、D16 DILATE + LoRAは26モデル中3位(22.8)で、XGBoost(22.2)とLightGBM(22.4)に次ぎます。Wilcoxon検定では、60分と90分では両モデルと同等ですが、30分と120分ではそれらに劣ります。
  2. MetaboNetでは、D16 DILATE + LoRAは9位(34.6)ですが、90分でのRMSEは全モデル中最低です。XGBoostは30分、60分、120分でトップです。
  3. 60分では、3771パラメータのLoRAアダプターが両モデルの両データセットで役立ちます。私のデータでは26.1から22.8へ、27.1から23.5へ。MetaboNetでは36.6から34.6へ、36.7から35.1へ。120分でMetaboNetではD16 DILATEを悪化させます(48.0から50.4)。
  4. MetaboNetでは、LoRAはバンドも修正します。90%バンドは、60分でシムのみの場合は75-78%、LoRA使用の場合は81-85%の真実を保持します。私のデータでは両方とも83-85%です。
  5. T1DMAI + LoRAは私のデータで最も早く反応します。60分で40-50分の時間的利得があり、XGBoostは30分です。
  6. 私のデータで最も多くの低血糖を捉えます。60分で40-47%、XGBoostは29%です。MetaboNetでは、低RMSEのモデルはほとんどの低血糖を見逃します(XGBoost 0%、T1DMAI 6-8%)。一方、線形外挿は58%を捉えます。
  7. LightGBMは、どこでもXGBoostと0.2 mg/dL以内で一致します。15時間の履歴を持つLSTMは、MetaboNetで3位(60分で33.6)であり、2時間履歴のものは35.9です。
  8. ゼロショットのChronos-2とTimesFM 2.5は、両データセットで60分においてゼロショットのChronos-Boltよりも1.4-2.7 mg/dL優れていますが、ファインチューニングされたChronos-Boltには劣ります。

3. モデル

モデルファミリー説明
PersistenceBaseline前回の読み取り値をそのまま引き継ぐ。
Linear extrapolationBaseline直近数回の読み取り値を通る直線。
AR (ridge)Classical直近の血糖値に対する線形回帰。
ARX (ridge)Classical直近の血糖値、インスリン、炭水化物に対する線形回帰。
ARIMAClassical血糖値のみ。
SARIMAXClassicalインスリンと炭水化物を含む。
Kalman filterClassical減衰した局所線形トレンド。
SVRClassical血糖値、インスリン、炭水化物。
Sparse GPClassical1000個の誘導点。
XGBoostClassical血糖値、インスリン、炭水化物 [18]。
LightGBMClassicalXGBoostと同じ特徴量、深さ、レート、ラウンド [19]。
LSTMDeep2時間の履歴 [5]。
LSTM (15 h)DeepMetaboNet-Bench [3] と同様、15時間にわたる128個の2層。
GluNetDeep4時間にわたる拡張因果畳み込み [6]。
PatchTSTDeep[13]
N-HiTSDeep[14]
Chronos-Bolt tiny and miniFoundation9Mおよび21Mパラメータ、血糖値のみ、ゼロショットおよびファインチューニング済み [15]。
Chronos-2Foundation120Mパラメータ、ゼロショット。過去のインスリンと炭水化物。私のデータでは将来のインスリンと炭水化物も [16]。
TimesFM 2.5Foundation200Mパラメータ、ゼロショット。MetaboNetでは血糖値のみ。私のデータでは、in-context回帰による将来のインスリンと炭水化物 [17]。
T1DMAI D16 DILATE and D16 MSET1DMAI31kパラメータ。血糖値、炭水化物、インスリン。

括弧内の数字は参考文献を指します。ベースラインとファウンデーションモデルを除くすべては、各データセットのトレーニングスプリットでゼロからトレーニングされました。T1DMAIには2つのバージョンがあります:sim onlyはmodels/のチェックポイントで、sim + LoRAは実際のトレーニングスプリットでトレーニングされたランク1のアダプター[23](3771パラメータ)を追加します。

T1DMAIの詳細

アーキテクチャエンコーダーのみのTransformer、30分パッチ、1つのアテンションヘッド、RoPE [26]、SwiGLU
サイズ幅16の16層、31kパラメータ
損失7つの分位点ピンボール損失と中央値項(DILATE [25] on soft-DTW [24]、またはMSE)
入力リスクスケール化された空間のCGM、炭水化物吸収曲線、インスリン作用曲線、マスクビット
出力次の2時間の5分ごとの7つの分位点(5%から95%)
履歴最大7日間
シミュレータートレーニング100万人のシミュレートされた人々、それぞれ7日間、バッチ512で10000ステップ
ランタイムExecuTorchまたはLiteRT、T1DMDROID上の電話で実行

docs/USAGE.mdおよびARCHITECTURE.mdでさらに詳細を確認できます。

4. データ

私のデータ。 T1DMDROIDからの115日間:トレーニング用に1日から80日、テスト用に81日から115日。モデルは将来のインスリンと炭水化物のような入力を認識することに注意してください。おそらく、それらの入力を除外した状態でアダプターをトレーニングすべきです。

ソース被験者人日予測数CGMカバレッジ %平均 mg/dLCV %< 54 %< 70 %70-180 %> 180 %> 250 %
t1dmdroid135976497130280.43.08980

[画像: 35テスト日の私のCGM読み取り値の分布]

MetaboNet [2]。公式スプリット、9研究からの279人のテスト被験者。ブラインドデータです。なぜなら、それらの多くは、モデルがまだ見ていないグルコースに反応するクローズドループポンプを使用しているからです。

ソース被験者人日予測数CGMカバレッジ %平均 mg/dLCV %< 54 %< 70 %70-180 %> 180 %> 250 %
AZT1D413177599141300.31.382172
BrisT1D2312195377144330.21.878203
CTR351157105251141380.73.578194
HUPA-UCM4315896100132360.96.878162
IOBP26247371465384159370.42.068308
Loop1594743820353893139400.73.977195
PEDAP62070632185158380.42.468299
ReplaceBG3579673568387158411.04.264329
ShanghaiT1DM2192833159391.03.863337
All2796414626489990143400.73.775226

[画像: テストスプリットにおけるMetaboNet CGM読み取り値の分布]

5. 手法

私のデータMetaboNet
予測テスト日の各5分リーダーボードテンプレートの10行ごと
ホライゾン30、60、90、120分30、60、90、120分
トレーニングウィンドウ、その他のモデル60000351000(ファインチューニングされたChronosは200000)
LoRAステップ20006000
  • LoRAチェックポイントは、各被験者のトレーニングデータの最後の10日間の平均RMSEで選択されます。
  • すべてのモデルは同じ瞬間に予測します。
  • 95%間隔:ブートストラップ(MetaboNet)または日(私のデータ)ごと。
  • 有意性:最良モデルに対するペア化絶対誤差のWilcoxon符号順位検定、ボンフェローニ補正済み。
  • クリニカルエラーグリッド:DTS [20]、Clarke [22]、CG-EGA [21]。

6. 結果

[画像: 私のデータにおけるモデルごとのRMSE] [画像: MetaboNetにおけるモデルごとのRMSE] [画像: ホライゾン別のRMSE、私のデータ] [画像: ホライゾン別のRMSE、MetaboNet] [画像: 60分でのRMSEと95%信頼区間、私のデータ] [画像: 60分でのRMSEと95%信頼区間、MetaboNet] [画像: 私のデータにおける最良RMSEモデルとのWilcoxon検定] [画像: MetaboNetにおける最良RMSEモデルとのWilcoxon検定] [画像: 私のデータにおけるテスト日ごとの60分RMSE] [画像: MetaboNetにおける個人ごとの60分RMSE] [画像: 私のデータにおける状況別の60分RMSE] [画像: MetaboNetにおける状況別の60分RMSE] [画像: ホライゾン別の低血糖捕捉率、私のデータ] [画像: ホライゾン別の低血糖捕捉率、MetaboNet] [画像: モデルとホライゾン別の低血糖検出MCC、私のデータ] [画像: モデルとホライゾン別の低血糖検出MCC、MetaboNet] [画像: 実測値が70 mg/dL未満の場合の平均誤差、私のデータ] [画像: 実測値が70 mg/dL未満の場合の平均誤差、MetaboNet] [画像: モデルとホライゾン別のDTSエラーグリッドゾーンA、私のデータ] [画像: モデルとホライゾン別のDTSエラーグリッドゾーンA、MetaboNet] [画像: 私のデータにおけるT1DMAIバンドのキャリブレーション(60分)] [画像: MetaboNetにおけるT1DMAIバンドのキャリブレーション(60分)] [画像: 私のデータにおける予測例] [画像: MetaboNetにおける予測例] [画像: 私のデータにおけるホライゾン別のClarkeエラーグリッド] [画像: MetaboNetにおけるホライゾン別のClarkeエラーグリッド] [画像: 私のデータにおけるT1DMAI(LoRAあり/なし)] [画像: MetaboNetにおけるT1DMAI(LoRAあり/なし)] [画像: CPU時間ごとの精度]

モデルパラメータ数予測あたりのマイクロ秒使用履歴
Persistence00.00425 分
Linear extrapolation00.03330 分
AR (ridge)6480.132 時間
SARIMAX8,0880.218 時間
ARIMA4,6320.274 時間
ARX (ridge)1,1160.366 時間
Kalman filter8640.483 時間
SVR69,7724.26 時間
Sparse GP66,1346.16 時間
N-HiTS417,7726.56 時間
LSTM103,192332 時間
GluNet65,368714 時間
PatchTST182,266746 時間
XGBoost2,692,8605066 時間
Chronos-Bolt tiny (fine-tuned)8,669,9011,34624 時間
Chronos-Bolt tiny (zero-shot)8,669,9011,36124 時間
Chronos-Bolt mini (zero-shot)21,256,1413,87124 時間
Chronos-Bolt mini (fine-tuned)21,256,1413,88924 時間
T1DMAI D16 DILATE31,2535,679168 時間
T1DMAI D16 MSE31,2537,342168 時間

7. 限界

  • 私のデータはN=1で35日間です。
  • テストセットは大きく異なります(範囲89% vs 75%、CV 28% vs 40%)。そのため、それらの間の数値を比較しないでください。
  • 低血糖はまれです:私のデータで292件の予測、MetaboNetで8347件。
  • T1DMAIは私の予測の0.7%、MetaboNetの0.4%で最後の読み取り値にフォールバックしました。これには上海T1DMの28件すべてが含まれます。他のモデルはフォールバックしません。
  • バンドは生の分位点であり、共役補正はありません。
  • スパースGP自身の不確実性は示されていません。そのノイズフィットはグリッドの底に達し、約1 mg/dL幅のバンドになりました。
  • 時間的利得は私のデータでのみ計算されます。
  • 記録されていない食事は「食事なし」としてカウントされます。
  • CPUタイミングは1つのラップトップコアでの単一実行であり、実行間で最大45%変動しました。
  • LightGBM、LSTM (15 h)、Chronos-2、TimesFM 2.5にはまだCPUタイミングがありません。

8. 用語

用語意味
Non-blindモデルは予測時点より後に記録された炭水化物とインスリンを受け取ります。
Blind受け取りません。
Time gainホライゾンから予測とCGMのピーク相関のラグを引いたもの。
Example forecasts以下の中央値ケース:低血糖に陥る、食事後の40 mg/dL超の上昇、穏やかな夜。
After a meal直前の2時間以内に少なくとも5gの炭水化物が記録されている。
Parameter countエクスポートされたモデルに保存されている重みと定数。

9. 全表

  • は最低RMSEおよびそれと有意差のないモデルを示します。

私のデータ

精度:RMSE、MARD、バイアス(mg/dL、%)
モデルファミリーRMSE 30RMSE 60RMSE 90RMSE 120gRMSE 60MARD 30MARD 60MARD 120ME 60MRE 60 %TG 30TG 60
XGBoostClassical14.7 *22.2 *26.9 *31.1 *24.28.513.419.8+0.8+3.11530
LightGBMClassical14.7 *22.4 *27.0 *31.0 *24.48.513.419.8+0.9+3.21530
T1DMAI D16 DILATE (sim + LoRA)T1DMAI15.222.8 *27.4 *31.724.78.813.520.3-1.6+1.21540
SVRClassical15.1 *23.027.831.624.98.513.620.0-0.7+1.81025
LSTM (15 h)Deep15.223.228.332.524.98.914.321.5+2.0+4.01025
PatchTSTDeep15.123.328.933.125.08.914.321.8+1.3+3.31025
Sparse GPClassical15.423.528.332.125.69.114.421.0+0.8+3.41025
T1DMAI D16 MSE (sim + LoRA)T1DMAI15.123.528.432.425.48.713.920.3-0.2+2.02050
GluNetDeep15.423.629.634.425.38.914.322.3+1.0+2.81025
ARX (ridge)Classical15.724.128.631.626.39.415.121.2+1.0+4.01015
LSTMDeep15.424.330.635.825.78.914.622.9+0.2+1.91020
N-HiTSDeep15.825.031.436.026.69.515.523.3+2.0+3.51530
T1DMAI D16 DILATE (sim only)T1DMAI16.226.133.239.928.69.616.025.2+0.6+3.91015
T1DMAI D16 MSE (sim only)T1DMAI16.827.133.937.529.89.916.824.4+1.2+4.81015
AR (ridge)Classical17.227.332.334.530.310.317.223.0-0.1+4.155
Chronos-Bolt tiny (fine-tuned)Foundation17.327.333.036.030.09.816.423.4-2.2+1.7510
Chronos-Bolt mini (fine-tuned)Foundation17.327.332.936.029.99.816.523.6-1.5+2.2510
TimesFM 2.5 (zero-shot)Foundation18.429.135.839.431.510.517.425.1-1.5+2.055
Chronos-2 (zero-shot)Foundation17.829.436.440.031.810.217.725.5-1.0+2.5510
SARIMAXClassical17.729.838.645.431.610.217.928.8-3.5-0.655
Chronos-Bolt tiny (zero-shot)Foundation18.730.838.342.032.910.818.527.1+0.8+3.555
Chronos-Bolt mini (zero-shot)Foundation18.730.938.342.432.910.718.527.2+1.0+3.6510
Kalman filterClassical18.531.339.645.033.210.618.728.6+0.2+2.705
ARIMAClassical18.631.439.745.133.310.718.828.7+0.2+2.705
PersistenceBaseline20.032.139.744.734.211.719.428.5+0.2+3.300
Linear extrapolationBaseline24.348.971.089.250.113.327.956.4+0.1-0.31015
クリニカル:DTS、Clarke、CG-EGA(点の%)
モデルDTS A 30DTS A 60DTS A 120DTS A+B 120Clarke A 60Clarke A+B 120CG-EGA hypo AP 30hypo EP 60eu EP 60hyper EP 60
XGBoost91.578.362.896.978.696.677.751.90.00.1
LightGBM91.478.062.796.978.496.677.750.30.00.3
T1DMAI D16 DILATE (sim + LoRA)90.778.060.796.878.397.083.238.40.00.1
SVR91.377.561.397.377.897.183.547.40.00.8
LSTM (15 h)91.076.058.397.276.396.782.648.70.00.1
PatchTST90.975.057.696.575.396.982.348.10.00.4
Sparse GP89.975.759.297.176.196.871.958.70.00.8
T1DMAI D16 MSE (sim + LoRA)91.276.460.096.776.797.088.135.50.00.3
GluNet90.775.856.396.076.196.886.842.30.00.1
ARX (ridge)90.073.759.596.774.096.769.772.30.00.1
LSTM90.875.655.395.575.997.189.431.60.00.1
N-HiTS89.872.454.595.472.897.184.233.90.00.1
T1DMAI D16 DILATE (sim only)89.072.150.893.072.495.873.562.60.10.4
T1DMAI D16 MSE (sim only)88.269.754.093.970.196.269.471.90.10.5
AR (ridge)87.167.755.795.967.996.553.297.70.00.3
Chronos-Bolt tiny (fine-tuned)88.369.854.195.870.096.471.676.50.00.3
Chronos-Bolt mini (fine-tuned)88.269.554.095.669.796.473.980.60.00.4
TimesFM 2.5 (zero-shot)86.167.351.893.967.696.578.461.00.00.3
Chronos-2 (zero-shot)87.166.651.693.866.995.882.963.50.00.4
SARIMAX87.664.743.589.865.297.490.627.40.00.3
Chronos-Bolt tiny (zero-shot)86.064.449.592.464.795.879.453.90.00.3
Chronos-Bolt mini (zero-shot)86.264.649.992.364.995.682.654.50.00.3
Kalman filter86.164.047.190.864.396.185.246.80.10.3
ARIMA86.064.046.990.864.396.085.246.80.10.3
Persistence82.962.547.591.063.196.179.751.30.00.3
Linear extrapolation78.750.525.965.951.383.291.923.22.02.6
低血糖(< 70 mg/dL ホライゾン時)
モデルSens 30Sens 60Spec 60PPV 60MCC 30MCC 60RMSE<70 30ME<70 30ME<70 60
XGBoost0.490.290.9970.730.620.4513.1+9.1+17.6
LightGBM0.480.310.9960.700.620.4512.8+9.0+17.1
T1DMAI D16 DILATE (sim + LoRA)0.630.400.9930.650.690.5011.3+6.2+13.0
SVR0.620.340.9920.580.660.4310.7+6.2+14.4
LSTM (15 h)0.590.360.9930.620.660.4611.2+5.7+13.8
PatchTST0.570.390.9890.520.630.4311.7+4.9+11.7
Sparse GP0.510.230.9950.570.600.3513.7+9.5+19.0
T1DMAI D16 MSE (sim + LoRA)0.660.470.9920.640.700.5410.3+4.7+10.9
GluNet0.660.490.9870.550.660.5011.1+3.3+8.5
ARX (ridge)0.380.180.9950.540.490.3013.4+10.1+21.5
LSTM0.700.530.9830.500.650.5010.3+1.5+5.2
N-HiTS0.650.530.9840.500.660.5012.4+3.0+7.8
T1DMAI D16 DILATE (sim only)0.510.210.9970.690.640.3713.2+9.2+20.2
T1DMAI D16 MSE (sim only)0.420.140.9970.620.580.2814.1+10.5+22.3
AR (ridge)0.220.000.9990.000.33-0.0016.1+14.3+31.4
Chronos-Bolt tiny (fine-tuned)0.430.070.9930.240.480.1113.4+10.1+23.4
Chronos-Bolt mini (fine-tuned)0.460.060.9940.230.510.1112.9+9.5+24.4
TimesFM 2.5 (zero-shot)0.540.270.9870.390.550.3113.3+7.0+19.1
Chronos-2 (zero-shot)0.590.240.9830.310.530.2511.7+5.7+21.5
SARIMAX0.710.550.9640.320.600.409.2+2.3+7.6
Chronos-Bolt tiny (zero-shot)0.550.340.9800.340.510.3212.3+6.4+17.8
Chronos-Bolt mini (zero-shot)0.600.290.9820.340.540.3011.9+5.8+18.5
Kalman filter0.630.400.9740.330.560.3410.7+5.6+15.0
ARIMA0.630.400.9740.330.560.3410.7+5.7+14.9
Persistence0.550.360.9810.360.540.3412.8+8.1+18.1
Linear extrapolation0.790.720.8720.150.470.2911.1-1.8-3.5

9661件の予測(60分)。*は最低RMSE、またはそれと有意差がないことを示します(絶対誤差に対するWilcoxon検定、alpha 0.05/25)。

MetaboNet

精度:RMSE、MARD、バイアス(mg/dL、%)
モデルファミリーRMSE 30RMSE 60RMSE 90RMSE 120gRMSE 60MARD 30MARD 60MARD 120ME 60MRE 60 %
XGBoostClassical19.8 *33.2 *41.346.0 *40.310.618.627.2+0.5+6.3
LightGBMClassical19.833.241.346.0 *40.310.618.727.2+0.5+6.3
LSTM (15 h)Deep20.333.641.546.1 *40.310.818.626.9-0.0+5.4
SVRClassical20.433.9 *41.946.6 *40.910.518.125.5-2.5+3.5
Sparse GPClassical20.834.342.146.641.611.119.127.5+0.3+6.3
N-HiTSDeep20.634.442.747.840.811.019.027.4+0.5+5.4
PatchTSTDeep20.334.442.948.040.710.719.027.7+0.7+5.5
Chronos-Bolt mini (fine-tuned)Foundation21.134.542.046.2 *40.910.818.125.0-2.6+2.6
T1DMAI D16 DILATE (sim + LoRA)T1DMAI21.534.641.0 *50.441.210.918.025.2-3.5+2.0
Chronos-Bolt tiny (fine-tuned)Foundation21.234.642.246.3 *41.010.918.225.0-2.4+2.8
GluNetDeep20.634.843.649.041.110.819.027.7+0.2+4.9
TimesFM 2.5 (zero-shot)Foundation20.735.043.347.9 *41.410.718.626.1-1.7+3.2
T1DMAI D16 MSE (sim + LoRA)T1DMAI21.835.141.0 *46.8 *41.311.218.125.1-3.8+1.3
Chronos-2 (zero-shot)Foundation21.035.343.448.041.610.818.726.2-1.3+3.6
ARX (ridge)Classical21.335.443.547.942.311.720.529.5+2.6+8.1
AR (ridge)Classical21.435.643.648.142.411.720.729.9+3.3+8.5
LSTMDeep21.135.945.151.041.911.119.528.5+0.6+4.8
T1DMAI D16 DILATE (sim only)T1DMAI23.436.644.048.044.012.220.428.8+0.0+6.0
T1DMAI D16 MSE (sim only)T1DMAI23.436.744.148.243.813.121.729.7+4.4+9.7
Chronos-Bolt tiny (zero-shot)Foundation22.837.746.451.343.311.920.128.3+0.7+4.4
Chronos-Bolt mini (zero-shot)Foundation22.937.746.351.443.411.819.928.2+0.1+3.8
Kalman filterClassical22.238.448.955.643.911.420.330.3+0.2+3.5
SARIMAXClassical22.339.251.059.444.311.621.233.7+2.2+4.8
PersistenceBaseline25.240.049.455.546.213.121.330.3+0.3+4.4
ARIMAClassical23.441.955.164.647.112.122.235.5+0.1+2.6
Linear extrapolationBaseline30.759.281.898.864.015.631.456.8+0.1+0.7
クリニカル:DTS、Clarke、CG-EGA(点の%)
モデルDTS A 30DTS A 60DTS A 120DTS A+B 120Clarke A 60Clarke A+B 120CG-EGA hypo AP 30hypo EP 60eu EP 60hyper EP 60
XGBoost86.066.949.693.067.093.133.599.40.13.1
LightGBM85.966.849.593.067.093.132.699.40.13.1
LSTM (15 h)85.567.050.293.167.293.453.687.50.12.9
SVR86.067.651.693.667.892.961.791.30.13.4
Sparse GP84.866.049.392.766.293.145.897.10.13.0
N-HiTS85.066.149.192.466.393.357.580.00.12.9
PatchTST85.766.048.892.366.293.363.979.70.12.7
Chronos-Bolt mini (fine-tuned)85.467.753.193.767.993.365.677.40.13.1
T1DMAI D16 DILATE (sim + LoRA)84.967.849.593.168.091.871.779.80.13.2
Chronos-Bolt tiny (fine-tuned)85.267.553.093.767.793.362.277.80.13.1
GluNet85.466.048.791.966.293.164.275.90.12.8
TimesFM 2.5 (zero-shot)85.666.651.392.766.893.367.673.80.13.1
T1DMAI D16 MSE (sim + LoRA)84.467.751.594.067.992.468.574.80.12.9
Chronos-2 (zero-shot)85.366.351.092.766.693.268.974.60.13.3
ARX (ridge)83.862.045.391.962.293.251.193.40.12.8
AR (ridge)83.761.845.191.761.993.252.193.50.12.8
LSTM84.964.947.791.165.192.867.572.40.12.8
T1DMAI D16 DILATE (sim only)82.362.445.392.462.692.756.086.30.13.3
T1DMAI D16 MSE (sim only)80.159.245.091.859.393.334.693.90.13.1
Chronos-Bolt tiny (zero-shot)82.863.949.290.964.192.866.967.90.33.0
Chronos-Bolt mini (zero-shot)83.164.249.491.064.492.770.766.90.33.1
Kalman filter83.963.346.388.563.692.274.761.00.32.9
SARIMAX83.661.542.086.561.891.174.261.20.42.7
Persistence79.661.046.188.761.592.157.368.30.23.4
ARIMA82.459.340.183.659.789.878.051.90.53.3
Linear extrapolation74.948.626.867.049.478.083.534.33.67.8
低血糖(< 70 mg/dL ホライゾン時)
モデルSens 30Sens 60Spec 60PPV 60MCC 30MCC 60RMSE<70 30ME<70 30ME<70 60
XGBoost0.060.001.0000.740.200.0326.5+22.3+45.6
LightGBM0.060.001.0000.680.190.0426.6+22.5+45.8
LSTM (15 h)0.300.050.9970.370.370.1224.6+17.8+39.3
SVR0.340.020.9990.330.380.0822.6+15.8+38.4
Sparse GP0.220.010.9990.270.310.0425.9+19.9+44.5
N-HiTS0.340.100.9920.290.390.1624.3+16.3+37.0
PatchTST0.400.100.9920.280.420.1522.8+14.4+36.0
Chronos-Bolt mini (fine-tuned)0.400.100.9930.320.410.1621.9+14.1+33.5
T1DMAI D16 DILATE (sim + LoRA)0.420.060.9970.380.410.1520.6+13.3+33.4
Chronos-Bolt tiny (fine-tuned)0.370.100.9930.300.400.1622.5+15.0+33.7
GluNet0.410.130.9880.260.420.1722.9+14.1+34.8
TimesFM 2.5 (zero-shot)0.440.140.9870.260.430.1721.4+12.8+32.6
T1DMAI D16 MSE (sim + LoRA)0.400.080.9960.370.400.1621.7+14.2+32.1
Chronos-2 (zero-shot)0.460.140.9860.260.430.1721.6+12.0+33.0
ARX (ridge)0.270.030.9960.200.330.0724.5+17.7+42.7
AR (ridge)0.280.030.9950.190.330.0724.0+17.3+42.9
LSTM0.440.160.9820.230.420.1722.7+13.0+33.2
T1DMAI D16 DILATE (sim only)0.320.070.9910.200.340.1024.9+16.9+39.3
T1DMAI D16 MSE (sim only)0.180.030.9970.220.270.0728.6+22.5+45.1
Chronos-Bolt tiny (zero-shot)0.460.200.9760.210.410.1823.2+12.7+31.9
Chronos-Bolt mini (zero-shot)0.490.200.9760.210.410.1822.4+11.5+31.0
Kalman filter0.520.260.9630.190.430.1920.7+9.8+28.3
SARIMAX0.530.270.9610.180.430.1921.2+9.8+28.8
Persistence0.370.190.9750.190.350.1626.1+16.3+33.6
ARIMA0.590.370.9380.160.430.2120.7+7.3+23.8
Linear extrapolation0.720.580.8610.120.410.2127.2-1.4+12.3

264893件の予測(60分)。*は最低RMSE、またはそれと有意差がないことを示します(絶対誤差に対するWilcoxon検定、alpha 0.05/25)。

生の数値はresults/にあります。

10. 再現

python -m zoo.run MODEL --cache CACHE --template template.parquet --truth truth.parquet [--causal]
python finetune.py --checkpoint CKPT --cache CACHE --lora-rank 1 --val-days 10 --select-on rmse \
  [--blind | --no-blind]
python export_submission.py --checkpoint CKPT --template template.parquet --cache CACHE \
  --max-context 336 --fill ladder --quantiles [--future-doses zero]
python leaderboard.py MANIFEST.json --out results

Chronos-2とTimesFM 2.5は.venv-zoo(requirements-zoo.txt)の下で実行されます。

11. 公開スコア

各モデルの論文で報告されているRMSE(mg/dL)、および私のデータとMetaboNetでの同じモデルのRMSE。論文では異なる被験者、スプリット、入力、履歴長を使用しているため、両サイドのギャップは直接的な比較ではありません。私のデータはノンブラインド、MetaboNetはブラインド(§8)。

[画像: 公開RMSE(30分および60分)と、私のデータおよびMetaboNetでの同じモデルの比較]

モデル論文論文データ論文入力論文 30論文 60私のデータ 30私のデータ 60MetaboNet 30MetaboNet 60
XGBoost7OhioT1DM 2018 (6)CGM、投与量、食事、活動20.4-14.722.219.833.2
LightGBM3MetaboNetCGM、炭水化物、インスリン、時間20.834.514.722.419.833.2
T1DMAI D16 DILATE (sim + LoRA)-----15.222.821.534.6
SVR6OhioT1DM 2018 (6)CGM、炭水化物、インスリン21.834.315.123.020.433.9
LSTM (15 h)3MetaboNetCGM、炭水化物、インスリン20.133.415.223.220.333.6
PatchTST9DCLP3 train, OhioT1DM test (12)CGM、炭水化物、インスリン16.724.615.123.320.334.4
T1DMAI D16 MSE (sim + LoRA)-----15.123.521.835.1
GluNet6OhioT1DM 2018 (6)CGM、炭水化物、インスリン19.331.815.423.620.634.8
ARX6OhioT1DM 2018 (6)CGM、炭水化物、インスリン21.539.515.724.121.335.4
LSTM5OhioT1DM 2018 (6)CGM18.931.415.424.321.135.9
T1DMAI D16 DILATE (sim only)-----16.226.123.436.6
T1DMAI D16 MSE (sim only)-----16.827.123.436.7
TimesFM 2.5 (zero-shot)412 datasets, mixedCGM18.831.818.429.120.735.0
Chronos-2 (zero-shot)412 datasets, mixedCGM19.232.017.829.421.035.3
ARIMA8OhioT1DM 2020 (6)CGM、投与量、食事、運動23.736.418.631.423.441.9
Persistence3MetaboNetCGM26.341.520.032.125.240.0

RMSE(mg/dL)は、各論文で印刷されている単一ステップ30分または60分先の予測値です。T1DMAIには公開スコアはありません。

Chronos-Bolt(Zhang et al. 2026)とN-HiTS(Potosnak et al. 2025; Sergazinov et al. 2024)は、ホライゾンまでのすべてのステップの平均RMSEとしてのみ公開されており、同じ数量ではないため、行はありません。

12. 参考文献

  1. Jacobs PG, Herrero P, Facchinetti A, Vehi J, et al. Artificial Intelligence and Machine Learning for Improving Glycemic Control in Diabetes: Best Practices, Pitfalls, and Opportunities. IEEE Reviews in Biomedical Engineering 17:19-41, 2024. https://doi.org/10.1109/RBME.2023.3331297
  2. Wolff MK, Calhoun P, Aiello EM, Qin Y, Royston SF. MetaboNet: The Largest Publicly Available Consolidated Dataset for Type 1 Diabetes Management. arXiv:2601.11505, 2026. https://arxiv.org/abs/2601.11505
  3. Jeffries N, Wolff M, Royston S, Healey E, Mayer C, Klonoff D, Snyder M, Wang T. MetaboNet-Bench: A Multi-modal Benchmark for Glucose Forecasting in Type 1 Diabetes. arXiv:2606.18640, 2026. https://arxiv.org/abs/2606.18640
  4. Lu B, Liang Z, Pontius R, Tang S, Prioleau T. GlucoFM-Bench: Benchmarking Time-Series Foundation Models for Blood Glucose Forecasting. arXiv:2606.06881, 2026. https://arxiv.org/abs/2606.06881
  5. Martinsson J, Schliep A, Eliasson B, Mogren O. Blood Glucose Prediction with Variance Estimation Using Recurrent Neural Networks. Journal of Healthcare Informatics Research 4(1):1-18, 2020. https://doi.org/10.1007/s41666-019-00059-y
  6. Li K, Liu C, Zhu T, Herrero P, Georgiou P. GluNet: A Deep Learning Framework for Accurate Glucose Forecasting. IEEE Journal of Biomedical and Health Informatics 24(2):414-423, 2020. https://doi.org/10.1109/JBHI.2019.2931842
  7. Midroni C, Leimbigler PJ, Baruah G, Kolla M, Whitehead AJ, Fossat Y. Predicting Glycemia in Type 1 Diabetes Patients: Experiments with XGBoost. KHD@IJCAI-ECAI, CEUR-WS 2148:79-84, 2018. https://ceur-ws.org/Vol-2148/
  8. McShinsky R, Marshall B. Comparison of Forecasting Algorithms for Type 1 Diabetic Glucose Prediction on 30 and 60-Minute Prediction Horizons. KDH@ECAI, CEUR-WS 2675, 2020. https://ceur-ws.org/Vol-2675/
  9. Altin Karagoz M, Breton MD, El Fathi A. A Comparative Study of Transformer-Based Models for Multi-Horizon Blood Glucose Prediction. IFAC EDT, 2025. arXiv:2505.08821. https://arxiv.org/abs/2505.08821
  10. Zhang B, Cheng H-W, Yang H, et al. Evaluating Time-Series Foundation Models and Multimodal Dietary Context for CGM Forecasting. arXiv:2609.11872, 2026. https://arxiv.org/abs/2609.11872
  11. Potosnak W, Challu C, Olivares KG, Dufendach KA, Dubrawski A. Global Deep Forecasting with Patient-Specific Pharmacokinetics. CHIL, PMLR 287, 2025. arXiv:2309.13135. https://arxiv.org/abs/2309.13135
  12. Sergazinov R, Chun E, Rogovchenko V, Fernandes N, Kasman N, Gaynanova I. GlucoBench: Curated List of Continuous Glucose Monitoring Datasets with Prediction Benchmarks. ICLR, 2024. arXiv:2410.05780. https://arxiv.org/abs/2410.05780
  13. Nie Y, Nguyen NH, Sinthong P, Kalagnanam J. A Time Series is Worth 64 Words: Long-term Forecasting with Transformers. ICLR, 2023. https://arxiv.org/abs/2211.14730
  14. Challu C, Olivares KG, Oreshkin BN, Garza F, Mergenthaler-Canseco M, Dubrawski A. N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting. AAAI 37(6):6989-6997, 2023. https://doi.org/10.1609/aaai.v37i6.25854
  15. Ansari AF, Stella L, Turkmen C, et al. Chronos: Learning the Language of Time Series. TMLR, 2024. https://arxiv.org/abs/2403.07815
  16. Ansari AF, Shchur O, Kuken J, Auer A, Han B, et al. Chronos-2: From Univariate to Universal Forecasting. arXiv:2510.15821, 2025. https://arxiv.org/abs/2510.15821
  17. Das A, Kong W, Sen R, Zhou Y. A Decoder-Only Foundation Model for Time-Series Forecasting. ICML, PMLR 235:10148-10167, 2024. https://arxiv.org/abs/2310.10688
  18. Chen T, Guestrin C. XGBoost: A Scalable Tree Boosting System. KDD, 785-794, 2016. https://doi.org/10.1145/2939672.2939785
  19. Ke G, Meng Q, Finley T, Wang T, Chen W, Ma W, Ye Q, Liu T-Y. LightGBM: A Highly Efficient Gradient Boosting Decision Tree. NeurIPS 30:3146-3154, 2017. https://papers.nips.cc/paper/6907-lightgbm-a-highly-efficient-gradient-boosting-decision-tree
  20. Klonoff DC, Freckmann G, Pleus S, et al. The Diabetes Technology Society Error Grid and Trend Accuracy Matrix for Glucose Monitors. Journal of Diabetes Science and Technology 18(6):1346-1361, 2024. https://doi.org/10.1177/19322968241275701
  21. Kovatchev BP, Gonder-Frederick LA, Cox DJ, Clarke WL. Evaluating the Accuracy of Continuous Glucose-Monitoring Sensors: Continuous Glucose-Error Grid Analysis Illustrated by TheraSense Freestyle Navigator Data. Diabetes Care 27(8):1922-1928, 2004. https://doi.org/10.2337/diacare.27.8.1922
  22. Clarke WL, Cox D, Gonder-Frederick LA, Carter W, Pohl SL. Evaluating Clinical Accuracy of Systems for Self-Monitoring of Blood Glucose. Diabetes Care 10(5):622-628, 1987. https://doi.org/10.2337/diacare.10.5.622
  23. Hu EJ, Shen Y, Wallis P, Allen-Zhu Z, Li Y, Wang S, Wang L, Chen W. LoRA: Low-Rank Adaptation of Large Language Models. ICLR, 2022. https://arxiv.org/abs/2106.09685
  24. Cuturi M, Blondel M. Soft-DTW: a Differentiable Loss Function for Time-Series. ICML, PMLR 70:894-903, 2017. https://arxiv.org/abs/1703.01541
  25. Le Guen V, Thome N. Shape and Time Distortion Loss for Training Deep Time Series Forecasting Models. NeurIPS, 2019. https://arxiv.org/abs/1909.09020
  26. Su J, Ahmed M, Lu Y, Pan S, Bo W, Liu Y. RoFormer: Enhanced Transformer with Rotary Position Embedding. Neurocomputing 568:127063, 2024. https://doi.org/10.1016/j.neucom.2023.127063

ライセンス

Copyright 2026 0xdeadf1sh. MIT. See also T1DMSIM, T1DMDROID and T1DMCOMMON.