正則化

Last updated Unknown Edit Source

• 機械学習で、回帰モデルの時にそれぞれの特徴量が与える影響を小さくすることで過学習を防ぐ

  • リッジ回帰は、調整が聞かない線形モデルに対して調整する、L2正則化 - Alpha値を操作する - Alpha値が高いほど、係数への制約が大きくなる=凡化できる - 0に近づくと、効果が薄れる - Learning Curve - - データーがめっちゃあるなら、正則化はあまり関係ないことがわかる
  • L1%e6%ad%a3%e5%89%87%e5%8c%96">[Lasso回帰]は、いくつかの係数が完全に0になることがある = より過激な正則化

• RidgeとLassoの使い分け

  • Ridgeをまず試す
  • もし、ほとんどの特徴量が意味ないことが想定されるなら、Lasso試す
  • シンプルなモデルが欲しい時も、Lasso試す

• 良いとこどりのElasticNetもある

  • 実用上はこれだけど、パラメーター二つ調整しないとで大変

• 分類問題では、下のグラフのように変化

  • • 正則化をどのくらいするかは、Cが決める
      • • Cが大きいと、正則化が弱くなる (アルファと逆)
      • • つまり、正則化が弱い => 過学習 => 細かい点に引っ張られやすくなる(3つ目のグラフ) #Pythonで始める機械学習