情報科学の達人_20210522発表
日時 5月２２日（土）16:00-17:30 オンライン会議 内容 情報科学の達人プログラムにて行ってきた研究 今後行なっていきたい研究 報告 20分、質疑10分
やっべ、何も準備してない
てか映像処理の進捗が無だ…
- まあ無い進捗は無い
①Kineto
ぐんま国際アカデミー高等部12年 青山柊太朗です。今回取り組んだ研究「時間」を超えてつながる授業体験、そしてそれを実現するKineto（ゆっくり）について発表させていただきます。よろしくお願いします。メンターは第一段階では荒瀬先生、第二段階では片岡先生にご指導頂きました。
こういったプロフィールとなっています。
時間軸のVRとありますが、「没入」できる軸としての時間軸について興味を持っていて、今回は授業の時間軸について取り組んだ研究について発表させて頂きます。
今まで小中高の学校生活ではこのような対面授業、もしくはコロナ禍ではZoomなどの授業を受けてきて、何も不自由を感じていませんでした。しかし、テスト勉強などのためにYoutube上の授業動画を見出すようになると、Youtubeでは当たり前にできる、再生停止早送り十秒戻しなどの操作が普段の授業で出来ないことを急にもどかしく感じるようになりました。わからないことがある時にちょっと前にもどって確認したり、落ち着いてノートを取るために映像を止めたり、という操作は映像授業でないとできません。ただなら全部の授業がYoutubeで良いかというとそういう訳はなく、対面やZoom授業でないと学生感のコミュニケーションが失われてしまいます。
学生間のコミュニケーションと時間のコントロール、この二つの両立はドラえもんの秘密道具のようなものが無いとできない、、ように思えますが、今回それをKinetoで実現しました。
どの様に二つの両立を実現したかというと、従来のリアルタイム授業では授業の時間は一本にまとまっていました。この時間軸をこのように分離し、それぞれについて自由な操作をできるようにすることによって両立を実現しました。
具体的に何ができるかというと、
- 教師はKinetoに授業映像をアップローどもしくはライブ配信できます
- 生徒は授業を受けながら、Kinetoのボード上でお互いに考えや感情を共有することができます。
- ふせん・手書きペン・投票機能など、さまざまなインタラクションの場が設けられており、生徒はkineto上でクラスメイトとコミュニケーションを取ることができます。
- 生徒は授業を受けながら、自由に一時停止や早送り、巻き戻しなどの時間の操作を行うことができます。
- 映像を巻き戻すと、他の生徒が貼った付箋や書き込んだメモも一緒に巻き戻っていきます
この「時間軸をもった黒板」がどのように先程の学生間のコミュニケーションと時間のコントロールを両立させているのかについて、これから説明していきます。
まず、既存の授業の環境を同期性に着目して整理すると、授業をこの二つに分類することができます。
- 対面授業やZoom授業などの各生徒が同じ内容を同期的に体験するものが一つ目の種類で、Youtubeやニコニコ動画などが二つ目にあたります。
- 対面授業やZoom授業などのメリットは、生徒同士のコミュニケーションが豊富であるという点であり、欠点が非同期的な時間のコントロールができないという点になります。
- Youtube動画やニコニコ動画はその逆で、時間のコントロールが可能であるものの、生徒間のコミュニケーションが乏しくなってしまいます。
- こうして比べてみると、豊かな⭐（押す）️生徒間のコミュニケーションがしたいという需要と、と非同期的な⭐️（押す）時間のコントロールがしたいという需要が、トレードオフの関係になっていることが分かります。
この二つは、授業の形によってどのくらいそれぞれ求められるのかというのが変わってきます。実際どのような場面で求められているかというのをより詳しく見てみます。
まず、生徒間のコミュニケーションについては、一方的に教師の話を聞いて生徒が全く発言しない授業では生徒間コミュニケーションが取れる授業環境は必要ありません。ただ、本当にそれで問題ないことは珍しく、少なくとも笑い、驚きなどの感情は共有できた方が良いことが多いです。また、最近は、より生徒が能動的に授業に参加するような授業も広まってきていますが、問いについて議論したりするような形の授業では豊かな生徒間コミュニケーションが求められています。
- そして、これらを従来の授業環境がどの程度カバーしているかというと、現実やZoom授業では全て可能、それに対してYoutube動画では一方的に教師の話を聞く事以外は難しい状況になっています。ニコニコ動画を用いた授業では、擬似同期的なコメントシステムによってYoutube以上の生徒間コミュニケーションは可能です。しかし、あくまでも笑い・驚きなどの感情の共有や、簡単な意見の共有が行われる程度となっています。
次に、時間のコントロールが様々な授業の形でどの程度求められるかを表したのがこの図です。
- 生徒がなんとなく聞き流しているだけの授業では、時間のコントロールができることは求められませんが、普通に授業を聞いていれば聞き逃した時に数秒戻りたいと思ったり、さらには受講中に軽く休憩したり、ノートをとるために随時授業を止めたいということはあると思います。
- これを既存の授業環境がどうカバーしているかについては、まあ当たり前ですがZoomや現実では全くできず、Youtubeやニコニコ動画では自由に再生、停止、早送りなど行うことができます。
今紹介したこの二つの軸をこのようにぐわっとうごがして、さらにぐわっとグラフにしてみると、同期性に注目した時に現在の授業環境はこの色塗られた部分をカバーできていることが分かります。具体的な例にはこういったものがあり、先進的な学校ではこれらが上手く組み合わされていると思います。
しかし、逆にいうとこの色塗られている範囲でしか授業は存在できないということになり、このぽっかり空いたスペースにあるである授業は実現できません。例えば、生徒間で議論しつつ再生、停止、十秒戻しなどの操作を行うことはできませんでした。
この空いているスペース、未踏の領域を埋め、授業のあり方を拡張するのが「Kineto」です。
Kinetoが時間コントロールのニーズを満たしていることは、最初の動画でお分かりいただけたと思います。現実やZoomでは自分のペースに合わせて時間を操作できませんが、Kinetoではこの画面にあるようにもちろんできます。
なおKinetoでは、Zoomと同じような同期的な体験を生徒にしてもらうために、あえてYoutubeのようなシークバーUIは採用せず、このように現在の自分が中心の時間コントロールUIを実装しています。
ちょっと前の図に当てはめると、Kinetoは当然このように全てカバーできています。
そして、Kinetoではこういった時間のコントロールを保ったまま、生徒間のコミュニケーションもできるようになっています。これを成り立たせているKinetoの三つの特徴、時間を共有している感覚、文脈の同期したコミュニケーション、弾性同期による双方向対話について説明していきます。
まず一点目、時間を共有している感覚については、従来のYoutube動画などでは他人と一緒に授業を受けている感覚が得られません。この感覚は授業に参加するモチベーションにも直結する重要なもので、オンデマンド授業の大きな欠点と言われています。Kinetoでは他人の書いたコメントによって他の生徒の存在が確認できるため、実際には同期していない他の人ともこの時間を共有している感覚が得られます。また、時間方向の解像度の高さ、内容がどのくらいのペースで変化していくかという事がこの感覚に重要であると考えていますが、Kinetoではこのように手書き/ふせんのどちらでも書く過程が随時共有されています。
二点目、文脈が同期したコミュニケーションについては、非同期的授業の欠点の一つとして、「文脈の同期したコミュニケーション」が取れないという点がありました。どういうことかというと、例えばYoutube授業では他の生徒と意見を交換するためにはYoutubeのコメント欄や、あるいは別の共有ドキュメントなどを用意する必要があります。しかし、これを行うと映像を見ている地点がバラバラな人たちがコミュニケーションを直接取ることになるため、先人からネタバレを受ける可能性があります。会議などでは問題ないかもしれませんが、授業という学びのプロセスの過程でそういったことが起きてしまうと自分で思考する機会が失われてしまいます。
Kinetoを用いた授業体験では、時間軸上の「その時」に他の人がどう考えたか・感じたかを知れます。それによって、情報交換・コミュニケーション時のネタバレを避けることができます。
そして、Kinetoの最大の特徴がこの三番目、弾性同期による双方向対話です。Youtube動画や、あるいはニコニコ動画による授業でも、授業中に他の生徒と双方向に対話することはできません。Kinetoでは、弾性同期という仕組みによって部分的に双方向の対話が可能です。
弾性同期、というのは、非同期的に視聴しているユーザ同士を再生速度の自動変化によって同期させるシステムです。
- このグラフは横軸が現実の時間軸、縦軸が見ている映像の時間軸、そして傾きが再生速度を表しています。
- 従来の授業では、常に同期か常に非同期（右図）のどちらかしか選べませんでした。
- これを
これまでコンセプトを説明してきましたが、具体的なイメージが湧きにくいと思うので授業事例を紹介します。
このようにこのグラフで様々な位置にある授業を試してきましたが、今回はやはり一番Kinetoらしい右上の授業を紹介します。
僕の学校の高松先生に行っていただいた道徳の授業で、参加者は同級生7名です。
この授業はトロッコ問題について議論したもので、このようにまず〜〜、、〜〜、〜〜〜。
この授業を行った後のインタビューではこういった意見を頂きました
- 読み上げる
- 情報科学の達人 進捗報告202103原稿
- また、このソフトウェア開発と同時に、CVによる授業映像解析の研究にも取り組んでいます。
- こちらに関しては現在取り組んでいる途中であまり大きな進捗がない為、先行研究や今後の方針について説明させて頂きます。
- 目指していることとしては、授業映像の各フレームで重要度を評価するというものです。
- 先程説明させていただいた弾性同期において、
- 重要度の低いフレームで
- なので、生徒が映像を早送りされても問題ない点が、ここでいう重要度が低いということになります
- この目的に、顕著性、saliencyというものを使えると考えています。
- 顕著性というのは、にいんげんが
- 映像にこれを用いている先行研究の一例として、UNISALというものがあります。
- 元々の予想ではこれは授業映像の様な特殊な映像には対応できないのではないかと考えていたため、まずこれを可能にする顕著性評価モデルをつくりだそうと考えていました。
- しかし、UNISALを実際に試したところ、このように思っていた以上に正しく評価が行われていました。
- 直近に書かれた黒板の内容の顕著性が高くなっているため、実際に生徒が注目するであろう部分の顕著性が高くなっています。
- そのため、今後の方針としてはこれを元にフレームの重要度を評価する研究に取り組みたいとおもっています
- という内容を三月に発表したのですが、学校の課題や受験に追われて取り組めていません、、、
また、先程の内容に関連して、バーチャルな時間軸が関わる体験という物を最近考えています
発表の最初でKinetoは
電話やZoomは、同じ空間にいないと話せないという物理空間の制約を無くしたと言われていますが、同じように物理時間の不便な制約を解消する方法がないかという事を考えています
- まだふわっと考えているだけの段階なのですが、コミュニケーションにおける時間軸のあり方や、体験における時間軸と空間軸の関係であったり、後は時間を自在に扱えるようなインターフェースなどについても研究したいと思っています。
④達人で良かったこと
- 映像処理などで研究のサポートを頂けたのはもちろん
- 映像講座で色々な分野を知れた
- 情報科学の中でも様々な分野の研究のアプローチを知ることができたというのはとても良かったと思っています。
- 元々開発していたKinetoをもとに研究のテーマを決めたのですが、開発の過程で生まれた課題ややりたいことに対して、XXの分野の研究にありそう、もしくは繋がりそう、と考えられる
って感じで良いかな
大体過去のスライドで乗り切れそう