Bluemo's Brain

Search

ニューラルネットワーク

Last updated Unknown Edit Source

- 基本の回帰モデルを表すと↑になる

これの層を増やしたり、間のユニットを増やすことで学習
各矢印が、重みwを持っている、全部違う値
- 学習によって調整される
それだけだとただの回帰と同じ、だから、ReLUやTanhを使ってフィルターをかける
リッジ回帰みたいに、正則化

正則化

 で、回帰モデルの時にそれぞれの特徴量が与える影響を小さくすることで過学習を防ぐは、調整が聞かない線形モデルに対して調整する、 Alpha値を操作する ...

1/3/2023

して重みを0に近づけることもできる
- デフォルトはほとんど正則化しない
最初は、乱数で重みを決める
学習した内容の解析が難しい、やる方法の一つは重みのヒートマップをみること
パラメーター学習のアルゴリズムには、adamやlbfgs等が初心者向けにある #Pythonで始める機械学習

モデルが完成したら、実際に予測

する時はこの計算をすればいいだけ、簡単（xが入力、Wが各層の重み、yが出力、σがシグモイド関数）

一つの層のたくさんあるパーセプトロン

パーセプトロン

 とかの元一個だけのだと、表現力低いから使い物にならないじゃないといけないクラス分け問題方法重み[ベクトル]とxベクトルの内積の正負が、2つのベクトルが同じ側をむいているかどうかを表す同じ側を向いていない=が負だったら、重みベクトルをxベクトル+重みベクトルに更新これを全データーでやる #Pythonで始める機械学習パーセプトロンの表し方は二種類ある ...

1/3/2023

のうち、一つがめっちゃ影響力強くなっちゃうことがある
- それを避けるために、ランダムにdropoutする
- 過学習
  
  過学習
  
  from 機械は、パラメータを訓練する時間を与えれば与えるほど複雑なモデルを考えようとするそれをやめたいそういう意味では、結果に対してはと同じ話をしている逆に、人間はそういうことはなさそうことへのモチベを持っているからかな ...
  
  1/3/2023
  
  を避けるために

#Udacity_Intro_to_Deep_Learning_with_PyTorch #ディープラーニング

Backlinks

グラフの性質検査

グラフの性質検査

 な: のある左から全ての右、ある右から全ての左に繋がってる（イメージ: の二層をグラフにしたみたいなものはbiclique）違反枝、違反非枝の個数を用いる #性質検査...

1/3/2023
グラフ構造と機械学習

グラフ構造と機械学習

 の課題(?): ベクトル以外のデータ構造を扱うは自明ではない (非主流という意味?) ex: グラフグラフ扱えれば、友達関係とか化合物とか(あくまでも一例)いろいろな物に使えるようにグラフグラフ構造からのにを用いるグラフ等と同じ考え方、周辺頂点の情報を取り込んで圧縮していく...

1/3/2023
ディープラーニング

ディープラーニング

 モデルのへの拡張変換を何度も繰り返して、徐々に複雑な関数を表現していく = 深層学習を、の手段の一つとして捉える以前学んだ時は、なんでこれであんな複雑なタスクが出来るんだろうと気味が悪かったただ、で再学習したら、まあできるよなという気持ちになってきた「モデルに沢山パラメータがあれば複雑なものが表現できる」という感覚がついたのが、自分の中での変化な気がする超大量のパラメータを持つモデル（）があればなんでも出来るよな、という気持ちの、を分けて考える話、他人に説明する時にも参考になる LinearRegressionと深層学習の対応関係とかも...

1/3/2023
パーセプトロン

パーセプトロン

... 同じ側を向いていない=が負だったら、重みベクトルをxベクトル+重みベクトルに更新これを全データーでやる #Pythonで始める機械学習パーセプトロンの表し方は二種類ある一つは、上の画像みたいに、Biasをインプットの一つ（値は常に1）にして、その重みがbiasになるというものもう一つは、バイアスをパーセプトロンの内部値として持つタイプ前者の方が多く使われるらしい AND operatorとかも、パーセプトロンで表現できる↓ ↑のみたいなパーセプトロンを組み合わせるとXOR↓が作れる、シンプルなニューラルネットワーク? #UdacityIntrotoDeepLearningwithPyTorch とかを使って、出力を値にしないといけないなぜなら、値だと少し動かした時に変化が起きないからと同じシグモイド関数だと、xの値がある程度大きいとgradient（errorに使う値）がほとんど0になってしまうその対策として、とか、とかの他の関数を使うこともある ...

1/3/2023
予測学習

予測学習

... データは人間の操作とかで集める? そのシーケンスデータを学習し、ロボットが次の瞬間の環境を予測できるようにするの範囲はどこまでか、という的議論とも繋がる予測学習したロボットは、すごい自己の範囲が狭い物となる自己は自分の「意思」（＝予測データ）のみ、それ以外は全て非自己（環境）予測学習は、普通の[ニューラルネットワーク]])だときつい? 一コマ前の状態だけから予測するのは大変例えば往復運動している物体を予測する場合、あるコマが往路なのか復路なのかは分からない ...

1/3/2023
予測符号化理論

予測符号化理論

認知ロボティクスの講義「」に基づく脳・認知の計算 #構成論的手法予測（出力）と感覚（入力）との誤差（）を算出予測誤差を、その時の感覚入力自体の（信頼度みたいな?）で重み付けその時の入力が確実な場合ほど、予測誤差を重く扱う学習・知覚・行動は、重み付けされた予測誤差を最小化するものとする誤差を小さくするために、「意図」を変えて、行動を変更する（で認知の理解を目指している）はそういった人間の認知のモデルを、身体付きで試して仮説検証することを目指している実際にこのの理論をに落とし込むと、うまく動いた予測誤差最小化に基づいて、「意図」を表す入力を変えていくポイント: 予測誤差最小化という単純な原理によって、ロボット間の協調等の複雑な動きができたさらに、（）をこのモデルをによって再現を目指すの、不確実性を推定する部分に損傷を加えるそうすると、予測誤差に不自然な重み付けがされる実際にそれでを動かしてみる不確実性が過少の場合誤差が本来より大きく評価されるよって、本当は変わる必要がない「意図」が変更され、異常行動に繋がる不確実性が過大の場合誤差が本来より小さく評価されるよって、環境が変わっても誤差が大きくならず、意図の切り替えが生じず、異常行動に繋がる結果、実世界でも見られるような精神医学?的な法則がロボットの動きでも見れたのレイヤーと、での行動のレイヤーのギャップを、によって埋められた! これも #身体知といえる?...

1/3/2023
分析的手法と構成論的手法

分析的手法と構成論的手法

認知ロボティクスの講義理解したい対象を観察・する ex: , など人間の応答とか、脳の反応とかを計測する #構成論実際にシステムを作って動かしてみる方法 ex: , など人間の/を再現するを作って、試すもこれかなこの二つのアプローチが融合していくと嬉しいのの研究とかは、二つの発見を繋ぐ的な位置に存在...

1/3/2023
言語モデル

言語モデル

...* P( | hello world) 各単語について、それ以前の文章から考えてその単語がどのくらいありうるかを評価 P(a|b)をどうするかの出現頻度で簡単に計算できる低頻度な現象には弱い 0を返されるとP(a|b)の総乗が0になってしまうによる近似単語以前の全てではなく、単語以前のn単語のみを用いて nが小さいほど、低頻度な物に強くなる nが多いほど長い文脈を考慮できる機械翻訳n=4 (4-gram)までが一般的による推定に突っ込む言語モデルは、等を測る上で単語間の繋がりの情報を保持しているつまり、言語モデルは文章等をにエンコード/デコードする物とも定義できる? によるに突っ込んで () 出力はで0~1に正規化長い文になると、各単語が出力ベクトルに与える影響が小さくなってしまう出力ベクトルのサイズは固定アテンションの重みを計算して、重要な単語を強く反映させるのを無くして、注意機構のみでエンコード/デコードベクトルへのエンコードと、その別言語によるデコードができればが出来る , などはの応用言語モデル様々なタスクに適応できる大規模モデルはメンテナンス等にコストかかり、扱いにくい専用の小さいモデルと比べて、この点がデメリット軽量なモデル(とか)も作られている......

1/3/2023
認知ロボティクス

認知ロボティクス

認知ロボティクスの講義 + でいうと、作った知能のモデルを人間に入れることはできないので、をロボットで作って関連分野（で、）もっと「認知のメカニズムの理解」が目的学習もっと「良いロボットを作る」ことが目的との中間に、が位置するイメージこれらの分野は全て、認知を扱うために的アプローチをとる , , など...

1/3/2023
Autoencoder

Autoencoder

認知ロボティクスの講義 a.k.a. 高次元の入力Xを低次元なzにし、低次元の特徴量zを、高次元のX'にするのはxとx'の差これのデコーダーを、同じものを再現するのではない別のものにしてあげるとできることが広がる「」と言う例えばエンコーダが画像to低次元デコーダが低次元to文章 --> 画像のキャプション生成ができる #画像処理 #自然言語処理例えばエンコーダが日本語to低次元デコーダが低次元to英語 --> #自然言語処理 #ディープラーニング...

1/3/2023
FPGA

FPGA

Field Programmable Gate Array 「やわらかい」の形を変えられる設計方法 : アセンブラ書くようなもの、細かくいじれるけど大変 : Pythonとかで設計 : Pythonの高位合成フレームワークのモデルから、それ専用のハードウェアを生成できるコンパイラを生成? #コンピューターアーキテクチャ #回路...

1/3/2023
GAN

GAN

一回触ってみたい https://www.imagazine.co.jp/gan%EF%BC%9A敵対的生成ネットワークとは何か%E3%80%80%EF%BD%9E%E3%80%8C教師/ z（ノイズ）がみたいなものシード値を動かすとだんだん画像が変わっていくのねよくGANで生成された画像で見るやつか今さら聞けないGAN（1）基本構造の理解 - Qiita 対象読者ど真ん中な感じ Discriminator まあこれは普通(?)の分類問題のって感じ Generator をする逆CNNとかはせずに、シンプルに値をreshapeするのね逆CNNをするのはとか呼ばれるらしい学習「真データを使って、Discriminatorのみを学習」「Discriminatorを使って、Generatorを訓練」の二つを交互?にやる感じかな $\mathbb{E}$ の意味がわからないな Discriminatorの学習では、V(D, G)を最大化させたい $\log D(x)$ を最大化したい = 真データ（x）の時に1を出力させたい $\log (1-D(G(z)))$ を最大化したい = 偽データ（G(z)）の時に==0==を出力させたい Generatorの学習の時は、V(D,G)を最小化させたい $\log (1-D(G(z)))$ を最小化したい = 偽データ（G(z)）の時に==1==を出力させたいつまり、Discriminatorと真逆の方向に学習...

1/3/2023
HyperNeRF解説原稿

HyperNeRF解説原稿

... 物体を上から見た時と左から見た時の画像を生成すると、それぞれはもっともらしい見た目をしているけど、それらに整合性がありませんでした。 NeRFはその課題を、そもそも解く問題を変えることで解決しています空間上のある一点をある角度から観た時に、その点がどんな色と透明度を持っているか例えば、お茶のペットボトルのある一点を真横から見た時にどんな色と透明度かと問われて、茶色で半透明だと答えられるニューラルネットワークを訓練しようとしているキャップのところであれば、緑色で完全に不透明空中の何も無い所の座標の場合は、無色かつ透明 ...

1/3/2023
HyperNeRF： A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields

HyperNeRF： A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields

... にあったトポロジー変化時の問題を解決したのがHyperNeRF Nerual Rendering ~2019、imageからimageを生成するニューラルネットワークを訓練する研究がいろいろただ、いろいろな視点の画像生成したときに整合性取れない問題が ...

1/3/2023
NeRF

NeRF

... そのときに、位置t_n(nearest)から位置nの密度の分色と密度を減衰させたいので、T(t)を掛けるこれを離散化したやつは、できるオペレーターで表現できるので、ニューラルネットワークが訓練できる #区分求積法細かい工夫 ...

1/3/2023
Salient Object Detection in the Deep Learning Era： An In-depth Survey

Salient Object Detection in the Deep Learning Era： An In-depth Survey

...deep SOD models and provides in-depth analyses. §6 provides further discussions and presents open issues and future research directions of the field. Finally, §7 concludes the paper のアーキテクチャによる分類ピクセルベースのやつと、的なやつがある教師のレベルによる分類人間の視線とかのアノテーションベース weakなやつ（みたいなやつの途中段階で物体のところがハイライトされる） #弱教師あり学習が近そうあと、Single Task Learning vs Multi Task......

1/3/2023