KinetoでReality Check

Last updated Unknown Edit Source

# kinetoでReality Check #pKineto

Source: https://iis-lab.org/misc/realitycheck/

• このページでは，研究プロジェクトとして考えているアイデアがどれだけしっかりしているか，をチェックするための質問項目を記載しています．アイデアの方向性がある程度固まった時点でこのReality Checkを行ってみて，矢谷と相談してください．書くものを用意し，一番上の質問項目から順番に答えていってください．このReality Checkは最後まで行うことで完結するように設計されていますので，必ず最後までやりきるようにしてください． もし，埋め方に詰まったり，質問があったりする場合は，ぜひ先輩にアドバイスをもらってみてください．
• このReality Checkは自分のアイデアがある程度固まったと思った時点で実行してください。

• まず今のアイデアについて少し整理をし，全体像を把握しましょう．
• Let’s start sorting out your current idea, and build a good big picture.

- どんなことをやろうとしているのか？目標や目的ではなく，作るシステムや実行する調査を具体的に述べる．
    - 一言で言うと、授業の同期性を
    - 授業で、同期性の良さを保ちつつ教師から情報を非同期的に受け取れるようにする
        - 「同期性の良さ」
    - ペン書き込みを通じた同期的/疑似同期な生徒間コミュニケーションを実現する


    - iPadで見る映像を通じて授業を受け、非同期的に

- 何を作るのか？何を改良するのか？何を調査するのか？
    - 授業のうち講義を中心とする部分
- 他の人が聞いてこれから作るシステムが理解できる程度の具体性があるか？

- そのアイデアが解決する問題はどのくらい世の中で重要なのか？
    - How important is the problem your idea is trying to solve?
- もしアイデアが実現できればどんなインパクトをもたらすことができるのか？
    - What impact would you offer if you make your idea happen.
- その調査の結果がわかるとどんな新しい知見を見いだせそうか？
    - What new insight would you bring after your survey?

- そのアイデアで誰が得をするのか？
    - Who gets benefits from your idea?
- ユーザは誰でどんな状況下にあるのか？
    - Who are the target users and under what contexts/scenarios?
- そのようなユーザは世の中に何人いるのか？あるいはどのくらいの頻度でそのような状況下に置かれるのか？ユーザ層は狭すぎたりしないか？
    - How many are such users? How often or likely are the target users under the context/scenario you are thinking of? Isn't your target user population too narrow?

- このアイデアはどんなところが新しいのか？
    - What's new in your idea?
- この研究を行うとどんな新しい知識や技術を世の中に提供できるのか？
    - What novel knowledge and technology would you offer through this research?

- どんな技術的新しさがあるのか？
    - What technological novelty would you offer?
- なぜ既存の技術では実現できないのか？
    - Why is existing technology insufficient?
- 他の電気系の先生を納得させれる技術的新規性は何か？
    - What is the technological novelty profs in EEIC can appreciate.

• 以上の質問に全て答えられたら次のExecution Strategyに移ってください．
  • When you have answered all questions, please move on to Execution Strategy.

• 次にこのアイデアを具体的に実現する方法について検討をしていきます．
• Now you are asked to think about how you can turn your idea into reality.

- どうやってそのアイデアを実現するのか？
    - How will you turn your idea into reality?
- どんな既存技術を使えるのか？
    - What existing technology can you utilize?
- どんな新しい技術を開発しなければならないか？
    - What novel technology will you have to develop?
- どんな手法を用いて調査を行うのか？その手法を正当化する理由は何か？
    - What methods will you use for your survey? And why?

- システムを作るためにどんな機材や設備がいるのか？
    - What equipment and facilities will you need to build your system?
- 調査を行うためにどんなサービスを使う必要があるのか？どこからデータを収集するのか？
    - What services will you use for your survey? How will you collect data?

- よくある解決法や一般的な解決手法は何か？
    - What are typical or common solutions?
- それらにはどんなメリットとデメリットがあるのか？
    - What pros and cons do they have?

- どんな競合する技術があるか？
    - What are competitors’ technologies?
- 最新の関連技術は何か？
    - What are latest related technologies?
- 特に関連する研究は何か？
    - What is strongly relevant research?
- それらにはどんなメリットとデメリットがあるのか？
    - What pros and cons do they have?

- 既存技術と比べてこのアイデアにどんなメリットがあるのか？
    - What merits do your idea have compared to existing technologies?
- 「効率」という言葉が出てくる場合は、何の効率を言っているのか？それは計測できるものなのか？
    - If you say “efficient/efficiency,” what efficiency do you mean? Can you really measure?
- 「最適(optimal, optimized)」という言葉が出てくる場合は、何を最適にし、どんな指標で最適と言えるのか？本当に最適(これ以上がない)なのか？
    - If you say “optimal or optimized,” what exactly will you optimize and with what metrics can you confirm? Can you show that what you get is really “optimal” (i.e., nothing else is better).
- 「最高・最良(best)」という言葉が出てくる場合は、何を持って最高・最良であると言えるのか？本当に最高・最良(上限に達している)なのか？
    - If you say “best”, with what metrics can you confirm that what you get is best? Can you show that what you get is really “best” (i.e., nothing else is better).
- 「直感的に(intuitive)」という言葉が出てくる場合は、どのように(定性的ではなく)定量的に直感的であることを示せるのか？
    - If you say “intuitive”, how quantitatively can you show such intuitiveness?

- どのような実験をすればこのアイデアの優位性を示せるのか？
    - Through what experiments can you show advantages of your idea?
- 何がどのように良くなると仮定できるか？
    - What can you hypothesize that would be improved and how?
- その実験において計測するものは何か？それは客観的に計測できるものか？
    - What will you measure? Can you measure them objectively?
- どのような実験条件が考えられ，どの実験条件に絞り込むのか？それはなぜか？
    - What conditions do you think to be considered? How would you narrow them down? Why?
- 実験条件が公平であるか？どのような正当性を持つか？
    - Are conditions fair? How do you justify?
- 実験参加者は誰か？上で想定したユーザと齟齬はないか？
    - Who are your participants? Aren’t they different from your target users?

- どのようなスケジュールにすれば今目標にしている論文締切の1ヶ月前までに全ての実装や調査が終えられるのか？
    - Describe your plan so that you can finish everything one month before the final deadline (e.g., thesis submission).
- その間に重要な締切等はないか？あればそれは何でいつか？
    - Is there any other important deadline or milestone in your plan? If so, what and when?
- 実行すべき大きな項目を5～7個程度に対して，それらをいつから始めていつ終えるのか？
    - Itemize 5-7 major action items and when you will start and end for each.
- そのスケジュールに無理はないか？無理があるとすれば目標としていることを見直すべきではないか？
    - Can you really follow your plan? If there is a stretch, which goals should you re-consider?

• 以上の質問に全て答えられたら次のDevil’s Reviewに移ってください．
  • When you have answered all questions, please move on to Devil’s Review.

• 次にこのアイデアのよさを批判的な立場から検証します．このように意図的に批判的な立場にたって質問することをDevil’s advocateといいます．例えば，“Let me play a Devil’s advocate.”とか言うことがあります．これらの質問に答えながら，ここまでに書いてきたことを必要に応じて修正してください．単に「問題ない」と答えるのではなく，「こうこうこういう理由で問題がない」と論拠を説明してください．
  • Now you are criticizing your idea by playing a Devil’s advocate. Please answer the following questions and revise your answers above if necessary. Do not provide simple answers like “shouldn’t be an issue.” You must provide justifications and explanations for your argument of “no issue”.

- そのアイデアが解決する問題はどのくらい世の中で重要なのか？
    - How important is the problem your idea is trying to solve?
- もしアイデアが実現できればどんなインパクトをもたらすことができるのか？
    - What impact would you offer if you make your idea happen.
- その調査の結果がわかるとどんな新しい知見を見いだせそうか？
    - What new insight would you bring after your survey?

- 単に見た目に面白そうなだけで役に立たないものをつくっているだけではないか？
    - Aren’t we creating something that just looks cool but totally useless?
- 実際にシステムを使ってくれるユーザはいるのか？いるなら誰でどのくらい一般的なのか？
    - Are there really people who would want to use your system? If so, how many?
- 実社会で有益なアプリケーションはあるのか？あるならそれは何か？ないならば，なぜこの技術を作る必要があるのか？
    - What are applications that bring real benefits to the world? If so, what is that? If not, why are we building this technology after all?
- このシステムや手法でしかできないことはあるのか？あるならそれは何で，それが実現できるとどのくらいユーザにとって嬉しいのか？
    - Is there anything only this system or method enables? If so, what is that? How much happier would it make users if your idea happens?

- 今解決しようとしている問題は本当に重要なのか？研究のための課題を作り上げているのではないか？
    - Is the problem you are going to solve really important? Aren’t you just making up a problem for research?
- その問題が解決することで誰がどの程度幸せになるのか？
    - If you solve that problem, who would be happier? And how much?

- これから作ろうするシステムは単に既存技術の組み合わせではないか？
    - Isn’t your system just a sum of existing technologies?
- 単なる組み合わせ以上の効果を本当に生み出せるのか？生み出せるとしたらその根拠は何か？
    - Can you create more than effect from the sum of technologies? If so, what is your justification?

- 既存研究と比較して単なる＋αの仕事をしていないか？
    - Is your work just a small delta from prior work?
- 速度や精度が上がるとして，ユーザにとってどの程度影響があるものか？
    - If you can improve speed or accuracy, how much would it impact on users?
- incrementalではなく，innovativeだと世の中に言ってもらえる点はどこか？
    - What convinces people that your work is innovative, not incremental?
- システムの有用性は本当に社会に影響力のあるものなのか？
    - Would the utility of your system really bring impact to the society?

- このアイデアは本当に自分がやるべきか？このアイデアに似たことをやりそうな研究グループは誰か？
    - Is your idea really what we should do? Any other research group who may be working on similar ideas?
- 他の人たちが簡単に追いつけない，我々だけの有利な点があるか？
    - What is our unique advantage that other people do not have?
- このアイデアを実行するのに必要な知識を持っているか？なければ何を勉強しないといけないか？
    - Do we have necessary knowledge for execution? If not, what will we have to learn?

- このアイデアに直接関係するプロジェクトをやっている研究者の名前を数名挙げられるか？
    - Can you list up a few names who work on relevant projects?
- 直近の会議で発表されたものはチェックしたか？
    - Have you checked publications at recent conferences?
- 逆に古い文献で似たようなものは本当にないのか？
    - Have you checked classic publications?
- このアイデアに直接関係するもので一番古い論文はどれか？
    - What is the oldest paper related to your idea?

- システムや実験が非常に限れた状況でしか行えないものではないか？
    - Does your system or experiment work only under a limited condition?
- このまま世の中に出してもある程度は運用可能か？
    - Can your system be deployable?

- システムの設計方針を理論立てて説明できるか？
    - Can you justify your system design rationales?
- インタフェースデザインを正当化する論拠はあるのか？
    - How can you justify your interface design?
- システムや実験におけるパラメタはどうやって決めるのか？その決定方法は他の研究者に納得してもらえるものか？
    - How would you determine parameters for your system and/or experiment? How can your decision convince other researchers?

- 実験では自分のシステムにとって有利になるような評価軸を使っていないか？
    - Aren’t you using metrics that are in favor for you?
- 他の評価軸としては何があるのか？なぜそれらを使わないのか？
    - What are other possible metrics? Why don’t you use them?
- 自分にとって有利となるような状況やタスクを設定していないか？
    - Aren’t you setting conditions and task that are in favor for you?
- 他のタスクや実験条件は考えられないのか？考えられる場合，なぜそれらを選ばないのか？
    - What are other possible tasks and conditions? If so, why don’t you use them?
- ユーザ実験の場合には自分の実験に都合の良い実験参加者を選んでいないか？当初ターゲットとしていたユーザ層との食い違いはないのか？
    - If you conduct user studies, do you pick up participants who are biased toward you? Is there any discrepancy between them and your target users?

• 以上の質問に全て答えられたら次のExecutive Summaryに移ってください．
  • When you have answered all questions, please move on to Executive Summary.

• State Concisely: Executive Summary
• 最後にこのアイデアを簡潔かつ正確に説明してみましょう．
  • As a final exercise, let’s explain your idea concisely and precisely.

- このアイデアを初対面の人にどう紹介し、面白いと思わせるか？
    - Consider how you can explain your research to others and convince them your project is very cool.
- 次の5つのポイントを各々1～2行で説明し，全体で7～8行くらいにする．
    - Explain the five following points in 1 or 2 sentences and make the paragraph 7-8 sentences.
    - 何をやろうとするのか？
        - What are you going to do?
    - どんな問題を解決するのか？
        - What problems will you solve?
    - なぜその問題は重要なのか？
        - Why is your problem so important?
    - 自分の研究のユニークなところはどこか？
        - What is unique in your research?
    - 自分のアイデアにどんなメリットがあるのか？
        - What merits would your idea offer?

- 1行で自分のアイデアをどうやって説明できるか？
    - Can you explain your idea in a single sentence?
- キーワードが過不足なく含まれているか？
    - Does your description contain all important keywords?
- 実際にやることや得られるであろう結果と比べて誇張しすぎていないか？
    - Make sure you are not over-claiming what exactly you are going to do.
- 漠然としていないか．例えば他の似た研究プロジェクトでも同じ文が使えてしまわないか？
    - Isn’t your description too generic? Can similar projects use the same description?
- 逆に特定しすぎていて，研究プロジェクトを狭めてはいないか？
    - Isn’t your description too specific or narrow?

• 以上の質問に全て答えられたら終わりです．お疲れ様でした．最後の節を読んで論文のドラフトを書きましょう！
  • This is the end of the reality check. Great job! Please take a look at the last section and create a paper draft!

• 以上でReality Checkは終わりです．ここで書いたことを少し整理・修正するだけで論文のドラフトを書くことができます．今までに記述してきたことと論文の構成には大まかには以下のような対応関係があります．

• That’s all for the reality Check. Now, you can create a paper draft with making minor revisions on your answers. You can roughly map between what you have written and what you need to put in your paper draft as follows.

• Title

  • Explain your research in one sentence.

• Abstract

  • Explain your research in 30 seconds.

• Introduction

  • Why is your idea so important?
  • Who cares?
  • What is your key scenario?
  • What is your goal?

• Contributions

  • How radical?

• Related Work

  • What are the classics?
  • Who are competitors?
  • What are your advantages?

• Implementation

  • How will you implement your system and/or run your study?
  • What will you need to build your system and/or run your study?

• Experimental Design

  • How will you confirm your advantages?