クロスエントロピー

Last updated Unknown Edit Source

from 東大1S情報α

• [[$ ]]
• 正解ラベルの情報量として捉えられるらしい（？）
• 負の尤度関数としても捉えられるらしい（？）
• よくわからん、そのうち分かりそう

• クラス分類の時の、Loss Functionになるやつ

• 自然対数を確率にかけて、和を求める

  • ln(a)+ln(b) = ln(a*b)を使う、logを使えば掛け算を避けられる

• 確率（下のxの値、0~1）を全部かけた値が小さいほど、クロスエントロピーは大きくなる

• 確率が0に近い = 損失は多い

• 確率が1に近い = 損失は少い

• あと、微分するとなんか良い感じになるのも理由の一つ?（たぶん）

• PyTorchでは、nn.CrossEntropyLoss()

  • これは、LogSoftMaxと、NLLLossを合わせたもの
  • LogSoftmaxとNLLLossで同じ結果になる