過学習
- 機械は、パラメータを訓練する時間を与えれば与えるほど複雑なモデルを考えようとする
- それをやめたい
- そういう意味では、結果に対してはオッカムの剃刀と同じ話をしている
- 逆に、人間はそういうことはなさそう
Search
基本の回帰モデルを表すと↑になる これの層を増やしたり、間のユニットを増やすことで学習 各矢印が、重みwを持っている、全部違う値 学習によって調整される それだけだとただの回帰と同じ、だから、やを使ってフィルターをかける みたいに、して重みを0に近づけることもできる デフォルトはほとんど正則化しない 最初は、乱数で重みを決める 学習した内容の解析が難しい、やる方法の一つは重みのヒートマップをみること パラメーター学習のには、や等が初心者向けにある #Pythonで始める機械学習 モデルが完成したら、実際にする時はこの計算をすればいいだけ、簡単 （xが入力、Wが各層の重み、yが出力、σが） 一つの層のたくさんあるのうち、一つがめっちゃ影響力強くなっちゃうことがある それを避けるために、ランダムにdropoutする を避けるために #UdacityIntrotoDeepLearningwithPyTorch #ディープラーニング...
山中俊治 Shunji Yamanaka(@Yam_eye) 私たちが自然を通じて認識する「美しさ」には２種類ある。一つは景色や生き物から直接受け取る美的体験、もう一つはその背景にあるルールが見えた時に得られる美的体験。かつては前者はアーティストのもの、後者は科学者のものだった。 #多摩美術大学特別講義 https://twitter.com/Yameye/status/1462090326944923650?refsrc=twsrc^google|twcamp^serp|twgr^tweet で、美しいと言われるもの これ、自分が何が好きなのかと言うのとも関わってくるので追い求める意味ありそう #物事をシンプルに説明する をやっている これ、要は と同じ議論か #決定論 よりシンプルな議論になりそうだけど 20201229 なんで抽象化したシンプルな記述を求めるのかが今まで説明できなかったけど、最近「美」とかそういうのじゃなくてシンプルに便利ってだけなのかなと思って来ている https://scrapbox.io/villagepump/数学の学び方#6396bf11aff09e000019ea2b これ、というのか 抽象化すると、シンプルな記述（脳で処理しやすい）でさまざまな複雑な具体を処理できる さらに、良い具合に抽象化すれば、未知の事象にも適応できる これは多分確率の話で、因果の連なりがシンプルの方が起こりやすいという （因果の連なりって人間の認識にどのくらい頼ってるんだろう） 「良い具合」が、における（避け） https://twitter.com/fukuso_sutaro/status/1418859563290402823?s=21 #自分...
データーに偏りがある場合は、少ない方でとを測る R^2を使う は、モデルの正確さを表す(only) 0~1 1が完璧に適合(恐らく) とテストセットの値の差が大きい = よくない 単純に2:8で分割するのではなく、それを何パターンも試す 状況に応じて、いろんな分割方法がある 特定のグループを全てテストケースに入れたいときとか 膨大なデーターがある時に、全部は使わずに一部だけとるとか 本の5.1に色々書いてある 精度の数字を比べるだけでは足りない、実際の用途に応じてフレキシブルに 例: 医療において偽陽性より偽陰性の方がやばいのは明らか、二つのミスを同じ重みで扱わないようにする #教師あり学習 #機械学習 #Pythonで始める機械学習...
決定木の分ける場所は、不純度がされるところに引く（計算できる） とか、とか、で不純度を計算する 枝かりをして、防ぐ 良い点 結構いろんなスケール/タイプのデーターでいける 順応性高い 素人にも説明ができる木が作れる 決められた範囲外のことは何もできない Tree predictionは、範囲外は何もできていない 過剰適合がしやすい で、ちょっとデーターと特徴量を欠けさせた木をたくさん作る、その多数決をとることでめっちゃ精度高くなる も避けられる 一番メジャーな回帰/分類の手法 ただ、木のメリットである説明性は減る もある、パラメーター多いけどより性能良い 事前枝刈りをした小さい木をたくさん組み合わせる #Pythonで始める機械学習...
線形モデルは、多次元のデーターに対しては非常に強力 つまり、に注意する必要がある () p67に良くまとまっている パラメーターは、アルファorCの調整が重要 線形モデルは、基本的に非常に高速、予測も高速 予測手法がわかりやすい 課題としては、の意味が理解しにくい の数が、サンプルの個数よりも多いときに性能を発揮する https://riptutorial.com/ja/machine-learning/example/23896/ロジスティック回帰とsvmの違い は、分割する線の周りにスペースを取りたがる、は違う #教師あり学習 #機械学習 #Pythonで始める機械学習...