「G検定」復習用 2025

5-6 学習安定化・正則化手法まとめ

● ドロップアウト（Dropout）

• 学習中に一部のニューロンをランダムに無効化。
• 特定の重みに依存しすぎるのを防ぎ、過学習を抑制。
• 毎回異なる構造で学習するため、アンサンブル学習的な効果もある。

● 早期終了（Early Stopping）

• 検証データの損失が最小になった時点で学習を終了。
• 学習を続けすぎて起きる過学習を防ぐ。
• 関連：
  ・ノーフリーランチ定理：「すべてに最適なアルゴリズムは存在しない」
  ・二重降下現象：学習を進めると一度性能が悪化し、その後再び良くなることがある。

● 正規化（Normalization）

• データやパラメータの値を一定範囲に調整して学習を安定化。
• 入力や重みが極端な値になるのを防ぐ。

● 標準化（Standardization）

• 各特徴量を平均0・分散1にスケーリング。
• 特徴量間のスケール差をなくし、効率的な学習が可能になる。

● 白色化（Whitening）

• 平均0・分散1に加えて、特徴量同士の相関も取り除く処理。
• 高次元データに有効。標準化の進化版ともいえる。

● 重みの初期値の工夫

• 初期値が不適切だと、勾配消失や発散が起きて学習が進まない。
• 活性化関数に合わせた初期値の設計が必要。
  ・シグモイド関数 → 勾配消失を防ぐため、小さな初期値がよい
  ・ReLU関数 → He初期化（標準偏差√2/nの正規分布）などが有効

● バッチ正規化（Batch Normalization）

• 各ミニバッチごとに隠れ層の出力を標準化（平均0・分散1）。
• 学習が高速かつ安定になり、過学習の抑制にも効果がある。
• ドロップアウトと併用されることも多い。