Discovery Sagaサイレントキーワード俯瞰

文の意味を計算処理可能な形式で表し、文と文との意味的関係を判定する含意関係認識技術の実現は、計算機による人間らしい言語理解の実現に向けて解決すべき最重要課題である。近年、深層ニューラルネット(DNN)を用いた含意関係認識の研究が盛んに行われているが、文の構成的な意味におけるDNNの表現力は明らかではなく、未知のデータに対する頑健性が不透明である。本研究では、DNNの文の構成的な意味における表現力を明らかにするとともに、表現力の向上を目指す。本年度は、【研究課題1】文の構成性原理に基づく言語モデルの評価システムの開発について、主に次の2つの成果を得た。
研究成果1. DNNが獲得する意味表現の体系性の分析手法の開発
前年度ではDNNの推論の体系性を分析する手法を開発したが、この手法ではなぜ推論を体系的に学習できないのか、特定が困難であった。そこで、文を意味表現に変換する意味解析のタスクでDNNが学習データからどの程度文の意味を体系的に学習しているか分析する手法を開発した。開発手法で現行のDNNを分析した結果、学習データと文の構造が類似する構造に対しては汎化しやすい一方で、未知の深さの関係節の埋め込みなど構造が変わる場合は汎化しにくいことが示唆された。
研究成果2. 文法誤り訂正モデルの文法知識における汎化性能の分析手法の開発
自然言語処理の応用技術として、テキストに含まれる文法誤りを自動的に訂正する文法誤り訂正モデルがある。近年では大量の訓練データを用いたモデルが高性能を達成しつつあるが、実応用ではモデルの軽量化が求められており、どの程度の訓練データが必要か分析する手法が求められている。そこで、モデルが訂正に必要な文法知識をどの程度汎化できているか分析する手法を開発した。実験の結果、現行のモデルは簡単な設定では誤り検出をある程度汎化できる一方で、訂正は汎化しにくいことが示唆された。