自然言語処理

Last updated Unknown Edit Source

• Encodingの歴史
  • LV1 One-hot

    One-hot

    one-hot ベクトル: $(0,...,1,...,0)$みたいな形式で値を表現する ...

    1/3/2023

    vector = 0,0,0,1,0,0,0 (only one 1 (hot))
  • LV2 Tf-idf = appear frequently globally => not important & apper frequently locally => important
  • LV3 Word2vec = x,x,x king - distance(male,female) (includes some essence tf-idf
  • LV4 BERT
    • BERT can’t understand he/she (pronouns)
      • But, it 推測 from surrounding other words (word sense disambiguation)

https://ishitonton.hatenablog.com/entry/2018/11/25/200332

• embeddingについて

• やることの一部

  • 機械翻訳
  • 文章読解
  • テキストマイニング: ツイート等の膨大な自然言語データーから情報を得る

• ただの言語の処理だけではない

  • 言語が持つ意味、知識、感情等、人間の知能に関わる深いところまで繋がる
  • イメージ以上に広い分野

• 方法論

  • 文字列として処理はできない　（ケヤキとケーキは文字列としては近い、意味的には全然違う）

  • 意味をどのように扱うか

    • 意味とは?: 人間が同値性を判定できるもの
    • （頭の中の処理は観察できないので、観察できる同値性の判定を用いる）

  • 「離散構造

    離散構造

    = 的なもの 、、など を起こしがち、愚直に探すとが大変なことに は、それをアルゴリズムの工夫でなんとかす ...

    1/3/2023

    」と「連続的規則性」をどう組み合わせるか
    • 自然言語の構造は、正誤がはっきりしている = 離散値構造的な規則性がある
      • ex: 画像とかなら一ピクセル変えてもそんなに影響ない、でも自然言語で一文字変えると大きな問題
    • ただ、あいまい性、不確実性もある (統計的、連続値的な性質）
      • 言語のあいまい性と直結
    • つまり、離散的・連続的の複合的な性質を持つ

  • 何をコーパスから学ぶか

    • 自然言語テキストデーターのことを「コーパス」という
    • 規則性等をコーパスから学べる
    • ex: 言語モデル

      言語モデル

      の講義 言語モデルの定義の一つ: 文の「」を評価する とかのいくつかの認識結果候補から一つを選ぶのにも使える 「[[文]]」の数学的表現 文s =...

      1/3/2023

      (文らしさを評価)

  • 技術として一番よく使うのはやはり機械学習

    機械学習

    分類 あまり意識しないけど、機械学習等は基本的にを仮定している（連続空間） 距離を知りたかったらとか ...

    1/3/2023

• 構文解析

  構文解析

  #自然言語処理 意味を解釈する前段階 (というか第一歩) 句構造（[[木]]）、依存構造（関係図）などで表す https://www.sist.ac.jp/~kanakubo/research/naturallanguageprocessing/syntactic_analysis.html このように、複数の構造がありうるけど、大体の場合は人間の解釈は一つに落ち着く 人間の常識等が元になっているこの判断をどうコンピューターでやるか 的な性質の「構造」と的な性質の「意味」をどう両立、定式化するか 方法の一つ: シフト・還元法 文の最初から単語を2つづつみていって、その二つをくっつけるかどうか判定する ...

  1/3/2023

  • 文章の構文を理解する技術
  • 詳しく↑に書いた

• 意味解析

  意味解析

  #自然言語処理 二つの「意味」: 単語的意味 / 構造的意味 単語的意味 の近さとか 関係、上位/下位 ()関係とか 同義, 類似, 上位/下位関係などは ・にデーターとして存在する ...

  1/3/2023

  • 文章/単語の意味を理解する技術
  • 詳しく↑に書いた