決定木

Last updated Unknown Edit Source

• 決定木の分ける場所は、不純度が最大化されるところに引く（計算できる）

  • 誤り率とか、エントロピーとか、ジニ係数で不純度を計算する

• 枝かりをして、過学習防ぐ

良い点

• 結構いろんなスケール/タイプのデーターでいける

• 順応性高い

• 素人にも説明ができる木が作れる

• 決められた範囲外のことは何もできない

• 

  • Tree predictionは、範囲外は何もできていない

• 過剰適合がしやすい

• ランダムフォレストで、ちょっとデーターと特徴量を欠けさせた木をたくさん作る、その多数決をとることでめっちゃ精度高くなる

  • 過学習も避けられる
  • 一番メジャーな回帰/分類の手法
  • ただ、木のメリットである説明性は減る

• 勾配ブースティング回帰木もある、パラメーター多いけどより性能良い

  • 事前枝刈りをした小さい木をたくさん組み合わせる #Pythonで始める機械学習