スクラッチからのクロスバリデーションとn=100での驚き
Cross-Validation From Scratch and a Surprise at n=100 (kenkoonwong.com)
要約
テキストブックでは、LOOCV(Leave-One-Out Cross-Validation)はバイアスが最も低いがバリアンスは最も高いとされています。しかし、シミュレーションデータを用いてn=1000ではこの説が成り立つものの、n=100ではそうではないことが示されています。記事では、K-Fold CVをスクラッチで実装し、RMSEを評価することで、データ生成プロセスに一致する最適なモデルを特定するプロセスを解説しています。
全文翻訳
クロスバリデーションをゼロから実装し、n=100での意外な結果
教科書では、LOOCV(Leave-One-Out Cross-Validation)は10-foldや5-foldと比較して、バイアスは最小だがバリアンスは最大であると述べられています。学習のためにK-Fold CVをゼロからコーディングし、シミュレーションデータでテストしたところ、n=1000ではその通りでした。しかし、n=100ではどうでしょうか?あまりそうではありませんでした。
[画像: 上の画像はchatGPTによって生成されました。このブログ記事のテキスト全体をアップロードし、漫画の生成を依頼しました。非常に印象的です。以前はテキストのスペルミスや意味不明な文章でしたが、今では画像上にまとまりのある単語が表示されます。驚きです。]
モチベーション
クロスバリデーションは、機械学習(および従来の統計手法)において非常に重要なステップであり、現在ではsklearnやtidymodelsのような使いやすいライブラリに組み込まれているため、自分で実装する必要はほとんどありません。私の他の学習経験と同様に、概念を学ぶ最良の方法(概念を学ぶこと以外で🤣)は、それをゼロからコーディングして仕組みを理解することです!K-Fold CVでは、トレーニングデータはK個のチャンクに分割されます。モデルはK回学習され、各回で異なるチャンクをホールドアウトします。性能はすべてのKフォールドで平均化され、より安定した推定値が得られます。特殊なケースとして、各観測値が独自の検証セットとして機能するLeave-One-Out CV(LOOCV)があります。これは徹底的ですが、計算コストが高くなります。LOOCVのバイアス < 10-fold < 5-fold、バリアンスLOOCV > 10-fold > 5-foldであると聞きました。それは本当でしょうか?また、繰り返し(リサンプリング)は、本当にバリアンスを減少させるのでしょうか?調べてみましょう。
目標
- データ生成プロセスが既知のデータセットをシミュレートする
- K-Foldクロスバリデーションをゼロから実装する
- RMSEの評価
- CV RMSEを用いた候補モデルの比較
- ホールドアウトされたテストセットで最良のモデルを検証する
- 改善の機会
- 学んだ教訓
データセットのシミュレーション
library(tidyverse)
set.seed(1)
n <- 1000
x <- rnorm(n)
w <- rnorm(n)
y <- 0.5*x^2 + -0.5*w + 0.3*w*x + rnorm(n)
df <- tibble(x,y,w)
idx <- sample(1:n, size=0.8*n)
train <- df[idx, ]
test <- df[-idx, ]
上記のコードは、応答変数 y が予測変数 x と w を含む既知のデータ生成プロセスに基づいて生成される1000個の観測値を持つデータセットをシミュレートします。データセットは、トレーニングセット(80%)とテストセット(20%)に分割されます。可視化してみましょう。
df |>
mutate(w_cut = cut_interval(w, n=5)) |>
ggplot(aes(x=x, y=y, color=w_cut, group=w_cut)) +
geom_point(alpha=0.5) +
theme_bw() +
geom_smooth(method = "gam", se=F)
[画像: ]
これは非常に興味深い可視化であり、関係は明らかに線形ではありません。x と w の何らかの相互作用のようです。K-Foldクロスバリデーションを使用して、基盤となるデータ生成プロセスを回復できるか見てみましょう。
folds <- 5
segment_portion <- nrow(train)/folds
formula_list <- list(as.formula("y~x"),as.formula("y~I(x^2)"),as.formula("y~I(x^2)+w+w:x"),as.formula("y~I(x^3)+w+w:x"),
as.formula("y~w:x"),as.formula("y~w"),as.formula("y~x+w+x:w"),as.formula("y~I(x^2)+w:x"),
as.formula("y~I(x^2)+w"))
cv_log <- tibble()
for (formula in formula_list) {
print(formula)
predict_log <- y_log <- vector(mode="numeric",length=segment_portion*folds)
start <- 1
end <- segment_portion
for (fold in 1:folds) {
val_i <- train[start:end,]
train_i <- train[-c(start:end),]
model_i <- lm(formula,train_i)
predict_i <- predict(model_i, val_i)
predict_log[start:end] <- predict_i
y_log[start:end] <- val_i$y
start <- end + 1
end <- start + segment_portion - 1
}
val_df <- tibble(predict=predict_log,y=y_log) |
mutate(formula=deparse(formula))
cv_log <- cv_log |
bind_rows(val_df)
}
## y ~ x
## y ~ I(x^2)
## y ~ I(x^2) + w + w:x
## y ~ I(x^3) + w + w:x
## y ~ w:x
## y ~ w
## y ~ x + w + x:w
## y ~ I(x^2) + w:x
## y ~ I(x^2) + w
さて、上記で行ったのはK-Foldクロスバリデーションの手動実装です。リスト内の各数式をループし、各数式について、トレーニングデータを5つのフォールドに分割します。各フォールドについて、他の4つのフォールドでモデルをトレーニングし、現在のフォールドで検証します。後で評価するために、予測値と実際の値を格納します。
基本的に、フォールド全体で最も低いRMSEを持つ数式を確認したいのです。次にそれを計算しましょう。DGPの数式から、最良のモデルは y~I(x^2)+w+w:x であることがわかっています。K-Fold CVを使用してそれを回復できるか見てみましょう。
RMSEの評価
cv_log |
group_by(formula) |
summarize(rmse = sqrt(mean((y-predict)^2))) |
arrange(rmse) |
mutate(rmse = format(rmse, digits = 8))
## # A tibble: 9 × 2
## formula rmse
## <chr> <chr>
## 1 y ~ I(x^2) + w + w:x 1.0397338
## 2 y ~ I(x^2) + w 1.1008693
## 3 y ~ I(x^2) + w:x 1.1607225
## 4 y ~ I(x^2) 1.2144857
## 5 y ~ x + w + x:w 1.2826723
## 6 y ~ I(x^3) + w + w:x 1.2912046
## 7 y ~ w 1.3578304
## 8 y ~ w:x 1.3732478
## 9 y ~ x 1.4451807
ここでは、y は連続データであり、それを予測しようとしているため、損失関数はRMSEです。RMSEが最も低い数式は、実際にデータ生成プロセスに一致する y~I(x^2)+w+w:x です。少なくとも現時点では、5-Foldクロスバリデーションを使用して基盤となるDGPを回復できることがわかりました。しかし、5-fold、10-fold、あるいはLOOCVの間には違いがあるのでしょうか?違いがある場合、それをどのように評価するのでしょうか?過去には、真のATEに基づいてバイアスとバリアンスを評価することができましたが、真のRMSEとは一体何でしょうか!?
教科書の主張(バイアスLOOCV < 10-fold < 5-fold; バリアンスLOOCV > 10-fold > 5-fold)が成り立つかどうかを確認するために、Claude Sonnet 5の助けを借りて小規模なシミュレーションを実行しました。データ生成プロセスを制御できるため、500個の異なるシミュレーションデータセットで「正しい数式」(上記のように正しい数式が最も低いRMSEを持つと仮定)を、大規模なテストセット(n=10000)から推定された「真の」RMSEと比較できます。これは、大数の法則により、真実として扱えるほど十分大きい値です。シミュレーション全体での平均を取ることで、バイアス(CVの実行が真のエラーからどれだけずれているか)とバリアンス(CVの推定値がサンプルごとにどれだけ変動するか)を各手法について計算します。これは妥当でしょうか?🤔 教科書の主張が正しければ、バイアスLOOCV < 10-fold < 5-fold、バリアンスLOOCV > 10-fold > 5-foldを観測できるはずです。以下のシミュレーションでそれを観測できるか見てみましょう。
候補モデルの比較
# set.seed(1)
# 指定された数式とデータセットに対するk-fold CV RMSE(k = n は LOOCV を与える)
cv_rmse <- function(data, formula, k) {
n <- nrow(data)
folds <- sample(rep(1:k, length.out = n))
preds <- numeric(n)
for (i in 1:k) {
train_i <- data[folds != i, ]
val_i <- data[folds == i, ]
model_i <- lm(formula, train_i)
preds[folds == i] <- predict(model_i, val_i)
}
sqrt(mean((data$y - preds)^2))
}
# "真の" RMSE: trainでフィットさせ、DGPからの大規模な新しいサンプルで評価する
true_rmse <- function(train, formula, n_test = 10000) {
x <- rnorm(n_test); w <- rnorm(n_test)
y <- 0.5*x^2 - 0.5*w + 0.3*w*x + rnorm(n_test)
test <- tibble(x, y, w)
model <- lm(formula, train)
sqrt(mean((test$y - predict(model, test))^2))
}
formula_true <- as.formula("y ~ I(x^2) + w + w:x")
n_sim <- 500
n_train <- 100
results <- vector("list", n_sim)
for (s in 1:n_sim) {
x <- rnorm(n_train); w <- rnorm(n_train)
y <- 0.5*x^2 - 0.5*w + 0.3*w*x + rnorm(n_train)
train_s <- tibble(x, y, w)
results[[s]] <- tibble(
sim = s,
true_err = true_rmse(train_s, formula_true),
loocv = cv_rmse(train_s, formula_true, k = n_train),
cv5 = cv_rmse(train_s, formula_true, k = 5),
cv10 = cv_rmse(train_s, formula_true, k = 10)
)
}
sim_df <- bind_rows(results)
sim_long <- sim_df |
pivot_longer(cols = c(loocv, cv5, cv10), names_to = "method", values_to = "cv_estimate")
sim_long |
group_by(method) |
summarize(
mean_cv_estimate = mean(cv_estimate),
mean_true_error = mean(true_err),
bias = mean(cv_estimate - true_err),
variance = var(cv_estimate),
.groups = "drop"
) |
arrange(bias) |
mutate(variance = format(variance, digit = 8))
## # A tibble: 3 × 5
## method mean_cv_estimate mean_true_error bias variance
## <chr> <dbl> <dbl> <dbl> <chr>
## 1 loocv 1.00 1.00 0.000703 0.00053227867
## 2 cv10 1.00 1.00 0.000945 0.00053192050
## 3 cv5 1.00 1.00 0.00124 0.00053176441
すごい、結果を見ると、教科書の主張が成り立つことがわかります。LOOCVはバイアスが最小ですが、バリアンスは最大です。10-fold CVは中間にあり、5-fold CVはバイアスが最大ですがバリアンスは最小です。しかし、バリアンスの違いを見るために、数字の桁数を8に増やす必要があったことに注意してください。それは本当にわずかな差です。主に、n=1000はすでにかなり大きいため、バリアンスはすでに非常に小さいからです。nを100に減らすとどうなるでしょうか?
## # A tibble: 3 × 5
## method mean_cv_estimate mean_true_error bias variance
## <chr> <dbl> <dbl> <dbl> <chr>
## 1 loocv 1.02 1.02 -0.00400 0.0063905148
## 2 cv10 1.02 1.02 -0.00138 0.0065753049
## 3 cv5 1.03 1.02 0.00244 0.0068098389
!?!?!?🤷♂️ n=100の場合、バイアスとバリアンスの順序に関する経験則はもはや当てはまらないのでしょうか?なぜでしょうか?私にはわかりません。もしあなたが知っていれば、教えてください。n_simを1000に増やしましたが、パターンは同じでした。教科書のバリアンスの順序が再び観測されるようになるまでnを850まで上げる必要があったのは興味深いですが、それもまた非常にわずかな差でした。
テストセットでの検証
test |
mutate(predict = predict(lm(as.formula("y ~ I(x^2) + w + w:x"), train), test)) |
mutate(residual = y-predict) |
mutate(res_square = residual^2) |
pull(res_square) |
mean() |
sqrt()
## [1] 1.018281
よし!テストセットでのRMSEは、検証セットの平均値と非常に似ています!🙌 テストセットでのモデルの予測値と実際の値を可視化してみましょう。
test |
mutate(predict = predict(lm(as.formula("y ~ I(x^2) + w + w:x"), train), test)) |
ggplot(aes(x=predict, y=y)) +
geom_point(alpha=0.5) +
theme_bw() +
geom_smooth(method = "lm") +
labs(title="Predicted vs Actual y on Test Set", x="Predicted y", y="Actual y")
[画像: ]
summary(lm(y ~ predict, data=test |> mutate(predict = predict(lm(as.formula("y ~ I(x^2) + w + w:x"), train), test))))
##
## Call:
## lm(formula = y ~ predict, data = mutate(test, predict = predict(lm(as.formula("y ~ I(x^2) + w + w:x"),
## train), test)))
##
## Residuals:
## Min 1Q Median 3Q Max
## -2.98185 -0.61410 -0.05514 0.62883 2.28837
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 0.08581 0.08390 1.023 0.308
## predict 0.80885 0.07562 10.696 <2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 1.007 on 198 degrees of freedom
## Multiple R-squared: 0.3662, Adjusted R-squared: 0.363
## F-statistic: 114.4 on 1 and 198 DF, p-value: < 2.2e-16
ここでは傾きが1ではなく0.81です。正しい数式であっても、係数は有限でノイズの多いサンプルから推定されるため、predictは実際には「真の信号 + 推定誤差」です。yをノイズのあるそれ自身で回帰すると、傾きが1未満に引き下げられます。これは、変数内の誤差バイアスと呼ばれる既知の効果です。トレーニングデータが増えると、その推定誤差は縮小するため、傾きは1に近づくはずです。切片は0の近くにとどまります。なぜなら、推定誤差は系統的にどちらかの方向にバイアスがかかっているわけではなく、単にノイズが多いだけなので、予測値は平均的には正しく中心にとどまるからです。これが本当なら、nを10000に増やせば、傾きが1に近く、切片が0に近くなるはずです。この理論を検証してみましょう。
set.seed(1)
n <- 10000
x <- rnorm(n)
w <- rnorm(n)
y <- 0.5*x^2 + -0.5*w + 0.3*w*x + rnorm(n)
df <- tibble(x,y,w)
idx <- sample(1:n, size=0.8*n)
train <- df[idx, ]
test <- df[-idx, ]
formula <- as.formula("y ~ I(x^2) + w + w:x")
folds <- 10
segment_portion <- nrow(train)/folds
predict_log <- y_log <- vector(mode="numeric",length=segment_portion*folds)
start <- 1
end <- segment_portion
for (fold in 1:folds) {
val_i <- train[start:end,]
train_i <- train[-c(start:end),]
model_i <- lm(formula,train_i)
predict_i <- predict(model_i, val_i)
predict_log[start:end] <- predict_i
y_log[start:end] <- val_i$y
start <- end + 1
end <- start + segment_portion - 1
}
val_df <- tibble(predict=predict_log,y=y_log)
val_df |
summarize(rmse = sqrt(mean((y-predict)^2))) |
arrange(rmse) |
mutate(rmse = format(rmse, digits = 8))
## # A tibble: 1 × 1
## rmse
## <chr>
## 1 1.0126176
test |
mutate(predict = predict(lm(as.formula("y ~ I(x^2) + w + w:x"), train), test)) |
mutate(residual = y-predict) |
mutate(res_square = residual^2) |
pull(res_square) |
mean() |
sqrt()
## [1] 0.9884315
test |
mutate(predict = predict(lm(as.formula("y ~ I(x^2) + w + w:x"), train), test)) |
ggplot(aes(x=predict, y=y)) +
geom_point(alpha=0.5) +
theme_bw() +
geom_smooth(method = "lm") +
labs(title="Predicted vs Actual y on Test Set", x="Predicted y", y="Actual y")
[画像: ]
summary(lm(y ~ predict, data=test |> mutate(predict = predict(lm(as.formula("y ~ I(x^2) + w + w:x"), train), test))))
##
## Call:
## lm(formula = y ~ predict, data = mutate(test, predict = predict(lm(as.formula("y ~ I(x^2) + w + w:x"),
## train), test)))
##
## Residuals:
## Min 1Q Median 3Q Max
## -3.08711 -0.67088 0.01239 0.69015 2.86620
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 0.02778 0.02527 1.099 0.272
## predict 0.96577 0.02369 40.762 <2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.9884 on 1998 degrees of freedom
## Multiple R-squared: 0.454, Adjusted R-squared: 0.4538
## F-statistic: 1662 on 1 and 1998 DF, p-value: < 2.2e-16
これでわかりました!テストセットでのRMSEは、検証セットの平均値と非常に似ています!🙌 傾きは現在0.97で、1に非常に近く、切片は0.02で、0に非常に近いです。これは、トレーニングデータが増えると推定誤差が減少し、より良い予測につながるという理論を確認しています。
改善の機会
- ハイパーパラメータチューニング(例: xgboostのハイパーパラメータ、lasso/ridge/elasticnet/glmnet)にクロスバリデーションをゼロから適用する
- ネストされたリサンプリングについて学ぶ。これは、チューニング活動とモデルの有効性を推定するために使用されるプロセスを分離する、リサンプリングの追加レイヤーを使用します。こちらを参照
- グループ化および層化CVをゼロからコーディングする方法を学ぶ
- 時系列CVについてもう少し学ぶ
- n=100の場合にバイアスとバリアンスの順序が成り立つかどうかを確認するために、n_simを10000で試す必要がある。シミュレーションはかなり遅いため、完了まで実行しなかった。更新: n=100でn_simを10000実行しましたが、LOOCVは依然として最も低いバリアンスを持っていました。
学んだ教訓
- Rで数式に多項式項を含めたい場合は、
I()を使用する必要があることを学びました。そうしないと、Rはそれらを相互作用項として解釈します。 deparseは、数式オブジェクトをログ記録目的で文字列表現に変換するのに役立つことを学びました。
この記事が気に入ったら:
- コメントを送ったり、他のブログを訪れたりしてください。
- BlueSky、twitter、GitHub、またはMastodonでフォローしてください。
- コラボレーションをご希望の場合は、お問い合わせください。
投稿日:
2026年8月5日
所要時間:
12分読書、2385語
カテゴリ:
r R crossvalidation resampling bias variance
タグ:
r R crossvalidation resampling bias variance
関連記事:
Learning Amino Acids Part 1: Non-Polar Amino Acids, Rodrigues Rotation, and Lennard-Jones Potential
Exploring the CovR/S Two-Component System in Streptococcus pyogenes