Bluemo's Brain
Search
Backlinks
- 大規模言語モデルを使ってEssay執筆
大規模言語モデルを使ってEssay執筆
やをうまく使って、協力しながら執筆する方法を模索したい もちろんplagiarismにならない範囲で 何をしたらplagiarismになるのか分からんが @blu3mo: せっかくなので、今週末締め切りのレポートの執筆にChatGPTがどう使えるかを実験してみたい （もちろん剽窃はしないようにしつつ、と言いたい所だが何をしたら剽窃になるのだろうか..?） やり方の案: ...
- 言語モデル
言語モデル
...* P( | hello world) 各単語について、それ以前の文章から考えてその単語がどのくらいありうるかを評価 P(a|b)をどうするか の出現頻度で簡単に計算できる 低頻度な現象には弱い 0を返されるとP(a|b)の総乗が0になってしまう による近似 単語以前の全てではなく、単語以前のn単語のみを用いて nが小さいほど、低頻度な物に強くなる nが多いほど長い文脈を考慮できる 機械翻訳n=4 (4-gram)までが一般的 による推定 に突っ込む 言語モデルは、等を測る上で単語間の繋がりの情報を保持している つまり、言語モデルは文章等をにエンコード/デコードする物とも定義できる? による に突っ込んで () 出力はで0~1に正規化 長い文になると、各単語が出力ベクトルに与える影響が小さくなってしまう 出力ベクトルのサイズは固定 アテンションの重みを計算して、重要な単語を強く反映させる のを無くして、注意機構のみでエンコード/デコード ベクトルへのエンコードと、その別言語によるデコードができればが出来る , などはの応用 言語モデル 様々なタスクに適応できる 大規模モデルはメンテナンス等にコストかかり、扱いにくい 専用の小さいモデルと比べて、この点がデメリット 軽量なモデル(とか)も作られている......
- Github Copilot
Github Copilot
...friendly chat with @github #copilot about #Coffee > https://twitter.com/mhadaily/status/1418444259183796224 これ、GPT-3の仕組みを知らないとすごい不気味に見えそう 「自我を持って、本来の仕事から逸脱したことをし出すAI」に見える ...
- Shortly.ai
Shortly.ai
https://shortlyai.com/ 文章を補完してくれるサービス 強すぎる 使ってるやつ 良い点 書いている途中で手も思考も止まった時に、これで生成すれば「それが良いか悪いか」という思考が働いて作業が再開する 悪いなら直せば手が動くし、良いならそれで良い 生成された表現を直接使わなくても、言い回しとか言及内容とかが参考になる...