<論文ログ> SmartPlayer： User-Centric Video Fast-Forwarding
kineto
の企画練る時にもう一回読むべきkineto
プロジェクト関連ページは、 #pKineto にまとめる ...
映像
をみるときの体験として、運転中の景色のような物を実現映像
は映像の世紀 映像を通して[時間]]と、人同士の、[[コンピューター]]()、との関係等を考えていた は群集統治の手段として映像を活用 ベルリン #魔法の世紀 [[ Comparison of Automatic Shot Boundary Detection Algorithms Based On Color, Edges...
速度を自由に見ながら調整できる #早送り #スロー再生
時間ないときに、既存のインターフェースだとユーザーは勘で動画を飛ばさないといけない
自動でやろうよ
映像をスキムすることをサポート
映像要約手法は、二つのアプローチを紹介
- still-image abstraction
- 映像の一部の画像を並べる感じ
- video skimming
- 映像の一部をカットしてつなげる感じ?
- still-image abstraction
video skimmingで、初見の映像を飛ばしてくと、ユーザーは情報を逃していないか不安になる
機能
- 映像の再生速度を、その時の内容の複雑さに基づいて自由に操作できる
- 運転中にGPSナビを使うように、再生バーに重要な点が明示される(POI)
- 自動運転的な感じで、自動で速度をいじるモードもある
- 機械学習で、映像のフレームの動きと、映像の意味的なとこを見ながら速度をいじる
- 3つのレイヤーでこれを実現
- Motion Layer
- LucasKanade法でオプティカルフロー見て、その値使って計算
- 意味的なとこのレイヤー
- 今回のテストでは人力で設定した、でも映像の種類別に使える自動モデルはある
- 例: 結婚式動画でsemanticなポイント抽出をするやつとか
- この研究の本質はここではないから、人力で設定
- パーソナライズレイヤー
- ユーザーの操作を元に学習調整する
- パーソナライズする
- 機械学習で、映像のフレームの動きと、映像の意味的なとこを見ながら速度をいじる
先行研究で、様々な映像インタラクションが載ってる
映像要約したりするやつも
- ノートまとめる方に使えるかも
思ったこと
- すごい近いことを目指している？
- 映像を要約するアプローチ参考になる
- これを、リアルタイムでやる（後知恵なし）方法を考えたい
- 同時に複数人が講義を受けていることを活用して、機械学習チックなことできるかも？
- ユーザーフィードバックのこの意見参考になる
- 「政治ニュースには興味がなかったから早送りしたけど、10秒飛ばしはしなかった。なぜなら、ざっくりとは一応知っておきたかったから」
- 学校でも、知ってる内容を飛ばしつつ、一応全部分かってる内容なのかどうかは確認したい = 早送り、not10秒飛ばし
- 事前にユーザーが映像について知識ある場合はもっと良い感じにできるかも
- 例: 野球ゲームの流れを分かってる人が観戦する時は、シークバーに試合についての情報を増やして人力で映像を飛ばせるようにする
時間操作インターフェースのノウハウが結構詰まってる?
次によむべき論文は？
- この二つは、kinetoみたいな特異な環境における映像分析だから参考になりそう
kineto
プロジェクト関連ページは、 #pKineto にまとめる ...
- 映像のSummarize系
- この二つは、kineto
https://www.researchgate.net/publication/221518075_Smartplayer_User-centric_video_fast-forwarding #kineto