局所解

Last updated Unknown Edit Source

#ディープラーニング #ニューラルネットワーク #機械学習

• 勾配法とかで微分した傾きを使ってだんだん値を変えていくと、局所解にハマることがよくある
• 解決法 @Udacity_Intro_to_Deep_Learning_with_PyTorch
  • ランダムリスタート: シンプルにいろんなところから再スタートする
  • 動きに慣性を持たせる: 数回前とかまでの変化の記録を使って、最適化の動きに慣性を持たせる（ボールが転がる的な）
  • learning rateを大きめにして、飛び越せるように
    • など

#誰のためのデザイン

• イノベーションの二種類で、同じ話があった
  • 漸進的なのは、軽い変化、言い換えるとインクリメンタルな改善
  • 急進的なのは、全てを変えるようなもの
• #問題発見・解決・企画のノウハウ個人的まとめ のノウハウに、工学で生まれた手法を応用できるかも
  • とても面白い、こういう感じの応用好き
  • #一般化

#別分野への転用