決定木

Last updated Unknown Edit Source

• 決定木の分ける場所は、不純度が最大化されるところに引く（計算できる）

  • 誤り率とか、エントロピー

    エントロピー

    https://www.youtube.com/watch?v=OaAaGzE1CK4 ...

    1/3/2023

    とか、ジニ係数で不純度を計算する

• 枝かりをして、過学習

  過学習

  from 機械は、パラメータを訓練する時間を与えれば与えるほど複雑なモデルを考えようとする それをやめたい そういう意味では、結果に対してはと同じ話をしている 逆に、人間はそういうことはなさそう ことへのモチベを持っているからかな ...

  1/3/2023

  防ぐ

良い点

• 結構いろんなスケール/タイプのデーターでいける

• 順応性高い

• 素人にも説明ができる木が作れる

• 決められた範囲外のことは何もできない

• 

  • Tree predictionは、範囲外は何もできていない

• 過剰適合がしやすい

• ランダムフォレストで、ちょっとデーターと特徴量を欠けさせた木をたくさん作る、その多数決をとることでめっちゃ精度高くなる

  • 過学習

    過学習

    from 機械は、パラメータを訓練する時間を与えれば与えるほど複雑なモデルを考えようとする それをやめたい そういう意味では、結果に対してはと同じ話をしている 逆に、人間はそういうことはなさそう ことへのモチベを持っているからかな ...

    1/3/2023

    も避けられる
  • 一番メジャーな回帰/分類の手法
  • ただ、木のメリットである説明性は減る

• 勾配ブースティング回帰木もある、パラメーター多いけどより性能良い

  • 事前枝刈りをした小さい木をたくさん組み合わせる #Pythonで始める機械学習