Search
原著 https://arxiv.org/abs/1706.03762 の提案 深層学習界の大前提Transformerの論文解説！ - Qiita 前提: の機構 AI界を席巻する「Transformer」をゆっくり解説(2日目) ～Introduction / Background編～ の記憶力弱いのに対して、Transformerは強い、と AI界を席巻する「Transformer」をゆっくり解説(3日目) ～Model Architecture編 1～ Transformer解説：GPT-3、BERT、T5の背後にあるモデルを理解する | AI専門ニュースメディア...
...* P( | hello world) 各単語について、それ以前の文章から考えてその単語がどのくらいありうるかを評価 P(a|b)をどうするか の出現頻度で簡単に計算できる 低頻度な現象には弱い 0を返されるとP(a|b)の総乗が0になってしまう による近似 単語以前の全てではなく、単語以前のn単語のみを用いて nが小さいほど、低頻度な物に強くなる nが多いほど長い文脈を考慮できる 機械翻訳n=4 (4-gram)までが一般的 による推定 に突っ込む 言語モデルは、等を測る上で単語間の繋がりの情報を保持している つまり、言語モデルは文章等をにエンコード/デコードする物とも定義できる? による に突っ込んで () 出力はで0~1に正規化 長い文になると、各単語が出力ベクトルに与える影響が小さくなってしまう 出力ベクトルのサイズは固定 アテンションの重みを計算して、重要な単語を強く反映させる のを無くして、注意機構のみでエンコード/デコード ベクトルへのエンコードと、その別言語によるデコードができればが出来る , などはの応用 言語モデル 様々なタスクに適応できる 大規模モデルはメンテナンス等にコストかかり、扱いにくい 専用の小さいモデルと比べて、この点がデメリット 軽量なモデル(とか)も作られている......
原著 https://arxiv.org/abs/1706.03762 の提案 深層学習界の大前提Transformerの論文解説！ - Qiita 前提: の機構 AI界を席巻する「Transformer」をゆっくり解説(2日目) ～Introduction / Background編～ の記憶力弱いのに対して、Transformerは強い、と AI界を席巻する「Transformer」をゆっくり解説(3日目) ～Model Architecture編 1～ Transformer解説：GPT-3、BERT、T5の背後にあるモデルを理解する | AI専門ニュースメディア AINOW わかりやすい ...
...radiance at that spatial location. input 3d座標 視点の角度 視点で色とか明るさ変わるもの（鏡面とか）もいけるよってことか output volume density: これはでいうボクセルの透明度ということかな? emitted radiance: 放射輝度、ある方向における明るさみたいな 一般向け記事 VRで注目、新技術「NeRF」の衝撃 様々な視点の画像を美しく合成：日経クロストレンド > 具体的には、ある3次元点の位置（x,y,z）と視線方向（θ,Φ）を入力すると、その点の輝度と不透明度を出力するニューラルネットワークである（図2 （a）、（b）参照）。例えば、学習済みのNeRFに物体表面の座標と視線方向を入力するとその位置に対応した輝度と不透明度を出力する。また、物体の存在しない空気中の点の座標と視線方向を入力すると、その位置が無色かつ透明であるという情報を出力する。このように、輝度と不透明度を考慮した「場」を用いて画像を合成するというのがNeRFの基本的なアイデアであり、独創的な点である。 > 複数の視点の画像から、新たな視点の画像を合成して作り出す「Novel View Synthesis」というタスクがある。VRやスポーツの自由視点映像などには不可欠な技術だ。 > このNovel View Synthesisで驚異的な性能を達成したのが、本記事で紹介する「NeRF」という手法である。NeRFは合成する画像の圧倒的な美しさもさることながら、アルゴリズムもこれまでの研究とは全く異なる独創的なものになっており、非常に見どころの多い研究である。本記事ではその面白さを少しでも伝えることができればうれしい限りである。 要は、 一つので一つのシーンを表現する そのNNは、inputで位置と視線方向をとって、outputで輝度と不透明度を出す その情報が学習できれば、あとは古典的で画像が生成できる 動画 https://www.youtube.com/watch?v=JuH79E8rdKc&t=4s すごいよく作られた映像だなw 既存手法との研究とか丁寧に違いを示している というかすげえな 反射もちゃんとrenderされている......