GPT-3
Last updated
Dec 16, 2022
Edit Source
- Transformerのデコーダを使用
- Open AIが作った言語モデル (GPTのv3)
- めっちゃ巨大なモデル
- Common Crawlというコーパス、書籍、Wikipedia等を使っている
- 巨大なコーパスがあると、同じ文が繰り返し出るのを防げる = 文を覚えたりしないで訓練できる
- 言語モデルを他の様々なタスクにも応用 (どうやって?)
- タスクのタイプ
- zero-shot型 (やることだけ自然言語で指定)
- few-shot型 (やることの指定に加え、実例も指定)
- ニュース記事生成
- 文章補完
- 機械翻訳 (!?) (コーパスに少し(7%)含まれていた他言語の情報だけで、高性能の翻訳ができるように)
- 苦手: 合意関係認識(AがBから推論可能か判定)、二つの文を比較する学習はしていないから?
- #自然言語処理