HyperNeRF： A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
#HyperNeRF
- 未踏Jr動画用発表:
- HyperNeRF解説
HyperNeRF解説
HyperNeRF HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields (Park et al., 2021) SIGGRAPH Asia Technical Papers ✨ HyperNeRFで出来る事 https://www.youtube.com/watch?v=qzgdE_ghkaI https://hypernerf.github.io/static/images/teaser.mp4 ...
- HyperNeRF解説原稿
- HyperNeRF解説
#SIGGRAPH_Asia_2021 https://hypernerf.github.io/ https://arxiv.org/pdf/2106.13228.pdf
NeRFとかのあたりから勉強する必要が有りそう
- 発表聞いて気になっていたので、調べる良い機会
未踏JrのYoutube企画で、これを7分くらいに纏めたい
これを選んだ理由
- 高次元を扱うよう発想面白〜と思った
- 空間の次元と、それ以外の次元を一緒に扱うの、次元に着目して一般化感(?)
- 階層高い事を考えたくなりがち
- トポロジーっぽいの面白そう（よく分かっていないけど）
- 色々面白そうだけどよく分かっていないので、分かりたい
- 高次元を扱うよう発想面白〜と思った
https://hypernerf.github.io/ で論文の内容がinteractiveにvisualizeされているの、良いな
- 紙やpdfではできないことをやっている感じがあってよい
高速で論文がバリバリ読める落合先生のフォーマット
の問いとか意識しつつ読みたい高速で論文がバリバリ読める落合先生のフォーマット
DL輪読会 A Higher-Dimensional Representation for Topologically Varying …
以下は論文読んだまとめ
- abstract
dynamic scenes（物動いたり）でNeRFやるためのextension的workが色々ある
- ただ、トポロジーに変化あるタイプは苦手、と
- この問題を、NeRFを高次元に引き上げる事で解決した
- 次元高めちゃえばトポロジーが異なってたやつも
- それをhyper-spaceと呼ぶ
目指す事（evaluationするtask）
- これはNeRFはやってない - これはNeRFもやってる事だな- 要はt軸の位置変えても、x/y/z/視点の位置を変えても、元々存在しなかった画像を生成(interpolate)できるようにしたいって事だな
そんでもって、この人たちが前やってたNerfiesよりもerror rate少なくいい感じにできるよ、と
- Intro
- 現実のものの変化、topological change多いよと
- ものが割れたりとか
- 表情の変化（口の開け閉めとか）もよく考えればtopological changeある
- これはcontinuousな変化ではない（トポロジーが変化するdiscontinuousなタイミングがあるので）
- なので既存のシーン間interpoalteするアルゴリズムで扱うのが難しかったと
- この解決策として、レベルセット法ってのがある
レベルセット法
from 1988、結構古い手法なのね これは、変化する何か（ex: 二次元図形）を、一次元高い物（ex: 三次元立体）のsliceととらえるみたいな? https://hypernerf.github.io/static/figures/level_set/interpolate2.mp4 moving scenesをより高い次元で捉える事で、discontinuousではなくsmoothなtransformationとして捉えられる なるほど〜〜〜...
- このpaperは、ざっくり言えばNeRF x レベルセット法
- classicalなレベルセット法との違い
レベルセット法
from 1988、結構古い手法なのね これは、変化する何か（ex: 二次元図形）を、一次元高い物（ex: 三次元立体）のsliceととらえるみたいな? https://hypernerf.github.io/static/figures/level_set/interpolate2.mp4 moving scenesをより高い次元で捉える事で、discontinuousではなくsmoothなtransformationとして捉えられる なるほど〜〜〜...
- classicalなのは次元一つしか増やさないけど、HyperNeRFは何次元でもいけるよと
- ambient dimensionを増やすっていってる
- トポロジーの知識がないのでよくわからんけど、とりあえずユークリッド空間に限っていないってのは分かった
- non-euqlidianなのをニューラルネットワークで表現してるらしい
ニューラルネットワーク
基本の回帰モデルを表すと↑になる これの層を増やしたり、間のユニットを増やすことで学習 各矢印が、重みwを持っている、全部違う値 学習によって調整される それだけだとただの回帰と同じ、だから、やを使ってフィルターをかける みたいに、して重みを0に近づけることもできる デフォルトはほとんど正則化しない 最初は、乱数で重みを決める 学習した内容の解析が難しい、やる方法の一つは重みのヒートマップをみること パラメーター学習のには、や等が初心者向けにある #Pythonで始める機械学習 モデルが完成したら、実際にする時はこの計算をすればいいだけ、簡単 （xが入力、Wが各層の重み、yが出力、σが） 一つの層のたくさんあるのうち、一つがめっちゃ影響力強くなっちゃうことがある それを避けるために、ランダムにdropoutする ...
- Hyperdimentional NeRFでHyperNeRF
- 正則化の代わりにoptimization strategy、らしい
- よくわからん
- 人の手が少ないって事なのかな..?
- 現実のものの変化、topological change多いよと
- Related Works
- Non-rigid reconstruction
- マルチレンズとかデプスセンサ（LIDARとか）を使ったのはあるけど、デバイスセットアップ大変
- ただのレンズ一つの時の既存手法も指摘してるけど、その仕組みを理解してないので問題点も理解できない
- HyperNeRF： A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
HyperNeRF： A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
#HyperNeRF 動画用発表: #SIGGRAPHAsia2021 https://hypernerf.github.io/ https://arxiv.org/pdf/2106.13228.pdf https://www.youtube.com/watch?v=qzgdE_ghkaI とかのあたりから勉強する必要が有りそう 発表聞いて気になっていたので、調べる良い機会 のYoutube企画で、これを7分くらいに纏めたい これを選んだ理由 を扱うよう発想面白〜と思った ...
- これと同じ話っぽい
- とりあえず飛ばすか、そのうち理解できたら嬉しい
- HyperNeRF： A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
- Nerfiesにあったトポロジー変化時の問題を解決したのがHyperNeRF
- Nerual Rendering
- ~2019、imageからimageを生成するニューラルネットワークを訓練する研究がいろいろ
- ただ、いろいろな視点の画像生成したときに整合性取れない問題が
- その後、NeRFみたいなニューラルネット自体でシーンを表現する物が出てきたと
- これならgeometricな整合性を保てる
- NeRFの問題として、物動いてると困る
- そりゃそう
- その解決策として、二つのアプローチがある
- deformation-based
- continuousなdeformation fieldで動いている物を表現?
- Radiance Fieldと同じように、Deformation Fieldも近似する
- NeRDFだな(?)
- これにはtopological changeやtransient effects(火など)を表現できない弱点がある
- continuousなdeformation fieldで動いている物を表現?
- modulation-based
- latent（潜在）code
- あまり仕組みは理解できず
- topological changeなどもカバーできる
- HyperNeRFは、二つの両方を融合したようなアプローチ
- deformation fieldでシーンの変化をモデル化する
- deformation-based
- ~2019、imageからimageを生成するニューラルネットワークを訓練する研究がいろいろ
- Non-rigid reconstruction
以下はサイト読んだまとめ
- Motivation
- レベルセット法という物が元の考え
レベルセット法
from 1988、結構古い手法なのね これは、変化する何か（ex: 二次元図形）を、一次元高い物（ex: 三次元立体）のsliceととらえるみたいな? https://hypernerf.github.io/static/figures/level_set/interpolate2.mp4 moving scenesをより高い次元で捉える事で、discontinuousではなくsmoothなtransformationとして捉えられる なるほど〜〜〜...
- これは、変化する何か（ex: 二次元図形）を、一次元高い物（ex: 三次元立体）のsliceととらえるみたいな?
- https://hypernerf.github.io/static/figures/level_set/interpolate2.mp4
- レベルセット法
- Architecture
