Bluemo's Brain

Search

Search IconIcon to open search

情報科学の達人映像処理研究

Last updated Unknown Edit Source

    #pKineto #情報科学の達人

    UNISALを授業映像にかけてみた

    • 意外と上手くいきすぎている
    • ↓の計画がだめに
    • さあどうしよう
    • これを使った上で、授業映像の重要度評価をするとか?
      • UNISALとかのネットワークの一部切り取ったりできたら面白い

    20200319会議

    • やりたいこと：映像の中で、重要なタイミングと重要じゃないタイミングを見分ける

    • 方法

    • フレームではなく、授業映像のSaliency高い場所を評価する方が実用的だしおもしろい気がする

      • kineto的には、saliency高いところだけ生徒の書き込みをうすくするとかできる
        • これ結構ありだな
      • その上で、数秒後のsaliency予測とかできたらおもしろい

    • 既存研究

    • やること

      • 授業映像のワンシーンをpredimportance.mit.eduに投げる
      • 授業映像を既存saliencyに投げる

    • 授業映像でsaliencyが高い場所とは（一般的なsaliencyとの違い）

      • スポーツとかと、saliencyの持続性とかが異なりそう

    • Q. 授業の画像のsaliencyじゃだめなの?

      • A. 文脈によって変わってくるから映像じゃないと
        • もしくは何かしらの方法で文脈の情報を伝える
      • 「文脈」をもっと具体的に言いたい
      • とりあえず既存のやつを授業映像で走らせてみて問題を探そう

    • 考えること

      • 教師はどうするか
        • 既存モデルの一部引っこ抜くみたいなのやってみたい
          • 授業映像でいう既存モデルは何に当たるのかな
      • どこまでfineなannotationを目指すか
        • pixel-levelか、bounding boxレベルかみたいな
        • 計算コストとのトレードオフ
      • Audioは扱う？

    • 結局のところ、重要度とは何か

      • とりあえず手を動かして考えよう
      • Complexityみるやつ試す
      • saliency寄りを見たいな

    • Idea

    20210312

    202101021

    • 映像処理のことは取り組めなかった
    • /kineto/Kinetoとは 一般向け説明文を書きました
    • 「授業映像」ではなく「共有黒板」という捉え方
      • Jamboard, Miroの延長線上に置く

    20210115 Meeting

    20210105 Meeting

    • やったこと

      • とりあえずスライド/黒板上に増えたものの「大きさ」を評価したい
      • image
        • スライド変化のタイミングを検知して、変化前後の差分を取る、その上でdrawContours
          • 30フレームごとに変化をチェックしている
        • 全パーツがばらばらになっちゃう
          • ぼかしつけてみた(Gaussian Blur)
      • OCRで文字を文字としてくくる
      • image image - ↑でいうと数値とかはそんなに重要じゃ無いかも
        • 黄色で囲まれている部分が、変化を検知した部分
      • 分かったこと
        • スライド変化とアニメーション変化時で、別々の対応が必要
        • スライドの場合、アニメーションがゆっくりだと各フレームの差分がスレッショルド以下になることも
        • スライド中に突然映像とか出されると困る
        • ⭐️変化の大きさを測る方法がムズイ
          • ただdiffのmean取るだけだと問題あり、ばらつき
          • というか物体が占める画素数に左右されすぎる
          • ex: 白背景の上に、地が白い図が出ても検知できない（変化したピクセル数が小さいので）
        • 変化を知る方法もむずい
          • アニメーション変化は問題ない、スライド追加が困る
          • スライド追加はそれを検出して場合わけかな

    • 学校の先生に相談

      • 黒板で文字サイズはかえない方が良いと言われている（らしい）（教師共通のノウハウ?）
        • どちらかと言うと重要度の表現には色を使うと言っていた
        • これ知っていればOCRとかも楽になるかも

    • 方向性

      • 「授業映像」における変化の分類（実写授業, スライド授業など)

        • 永続(?)差分: 黒板の書き込み、スライドのアニメーション等、後に残るもの
        • 一時的差分: 先生の動き（実写授業の黒板の上の先生、スライド授業のワイプ窓）等
        • リセット差分: 黒板の全消し、スライド移動等
        • （その他ノイズ）

      • どう分類するか

        • サンフレーム比べれば永続かどうかわかる
        • 人とか動体はlucas-kanadeとか

      • 差分を分類して、永続差分の複雑さ(?)を評価したい

        • 一時的差分は人間の体とかになるのでnon-semantic?な複雑性が意味をもたなさそう
        • 複雑さのイメージ (同じ面積を占めている場合の比較)
          • ただの図形 < 地図
          • 単色の地図 < 複数色の地図
          • 図形 < 文字
        • スライド/黒板の画像だからこそ使える評価軸?

      • 黒板の授業（細切れの一時的差分）、アニメーション多めのスライド授業、アニメーション少なめのスライド授業、を全部同じ枠組み(linearな構造）として考えたい

      • 実際どう実装すれば?

      • 画像の「複雑さ」「complexity」と検索してもそれらしいものが出てこない

        • 良い言葉があれば教えてください🙏
        • わいど と せんど

      • ヒストグラムの分散など?

        • 外れ値

      • あとは、線画化(?)して、線の本数を数えるとかできそう

        • 直線と交差するアウトライン線の数を数えるとか
        • それで直線を回転させて360回試すとか

      • 先行研究

      • 新規性

    • 先生に色々聞いて事前知識得る

      • 色々: 飛ばせるところとか（話す速度との対比など）
      • 速度変える根拠になる

    • 研究として

    20201202 Meeting

    • 重要なフレームを切り出す研究はいくつかある

      • ホワイトボードの画像から選んだりとか

    • 各frameの重要度を評価みたいなものは無い?

      • 速度を変えたいので、ほしいのはこっち

    • あと、「必要な部分を選ぶ」というより「いらない部分を省く」アプローチは少ない

    • そもそもelastic timelineの考え方が珍しい？（数ヶ月考えてるとあたりまえに見えてくる）

      • elastic timelineの研究が、牛のやつとContent-aware –しか見つからない

    • 仮説:書き込んだ内容の大きさは重要度？

    • 相談

      • 他の要素と掛け合わせて速度いじりたい
      • どう掛け合わせる?
        • シンプルな加算/乗算より良い方法がありそう

    • 後からみた時の要約にも

      • 遅刻でも不参加でも
      • 要約頑張っても追いつかない場合どうするか

    20201118 Meeting

    • 対象となりそうな映像

      • 実写の授業映像
      • スライドベースの授業
      • 授業で使う資料映像（多様）
      • （範囲を絞るべき?）
        • 絞るべき
        • リアルと講義は性質が違う
          • スライドベースだと、文字とか図表とか
          • 音声が重要になりそう
            • 動画像: 3次元
            • 音声: 1次元 (軽め)
            • ベクトル化できれば同じ枠組みに
          • リアルタイム性のある場合は深層学習難しめ
            • 動画処理はとくに

    • Goal: このグラフの線を曲げる

      • 速度を変える
        • 速度を変えても内容理解に影響のない部分を見つける
        • 人間がどう感じるかが評価基準になる?
      • 不必要な部分を飛ばす
        • 映像要約系のものを応用（弱くする?）
      • 先人の情報を使う
      • その他の思い付いていない方法もあるかも

    Backlinks

    Interactive Graph