Analysis of Polysemy Using Variance Values for Word Embeddings by BERT

Autor: Yanghuizi, Ou, Rui, Cao, Jing, Bai, Wen, Ma, Hiroyuki, Shinnou
Jazyk: japonština
Rok vydání: 2020
Předmět:
Zdroj: 言語資源活用ワークショップ発表論文集 = Proceedings of Language Resources Workshop. 5:174-180
Popis: Ibaraki University
会議名: 言語資源活用ワークショップ2020, 開催地: オンライン, 会期: 2020年9月8日−9日, 主催: 国立国語研究所 コーパス開発センター
BERT が出力する単語の埋め込み表現は，その単語が現れた文の文脈に依存している．このためある単語wの用例を収集し，BERT により得られる単語wに対する埋め込み表現から，それらの分散値を計算すると，その値は単語wの語義の広がりに対応すると考えられる．そこで多義語「頭」「意味」「核」「記録」「言葉」「胸」と単義語「生産」，「政治」，「意識」，「抗議」，「成績」を対象にそれら単語の用例を収集し，分散値の比較を行った．多義語に対しては大きな分散値，単義に対しては小さな分散値が出ることが予想される．またBERT のどの位置の階層が最も語義の広がりに影響しているかも調査した．しかしこれら実験から，上記の分散値では語義の広がりを測定するのは困難であることがわかった．その原因について考察する．
Databáze: OpenAIRE
Externí odkaz: