言語概念のマルチメディアへのグラウンディングに基づく世界知識構築
【研究キーワード】
自然言語処理 / 知識獲得 / マルチモーダル / マルチメディア / 少量データ学習 / 画像認識 / グラウンディング / 知識グラフ / ゼロショット認識 / 深層学習 / シーングラフ / ストーリー生成 / 教師なし学習
【研究成果の概要】
本研究では、画像・動画像等のマルチメディアに言語概念をグラウンディング(記号接地)させ、時空間的な共起関係を手掛かりにさまざまな概念間の関連性を推定し、グラフ構造を有するデータベース(知識グラフ)として獲得する新しいアプローチを提案する。本年度は、大きく分けて以下に示す三つの成果を得た。
1.BERTにより辞書データ(Wiktionary)から特徴抽出を行った単語概念と画像領域特徴をアラインメントし、共通の埋め込み空間を学習する手法を提案した。これにより、事前学習済み言語モデルの表現能力を活用しながら、画像概念と言語概念のグラウンディングを行ったマルチモーダル埋め込み空間を得ることができる。この空間では、Transformerの注意機構により、画像領域の視覚的特徴のみならず複数領域の共起関係や位置情報なども考慮された埋め込みが行われていることが重要であり、この空間上での距離を基準として概念が為すグラフを構築することができる。その具体的な応用として、画像中の未知物体に対しグラフ上の最近傍の単語を検索することで、ゼロショットの画像キャプショニングを高い精度で実現できることを示した。本研究はコンピュータビジョンの最難関国際会議であるCVPRへ採択された。
2.自然言語処理におけるストーリー生成タスクを題材とし、概念グラフ上の探索を通じて論理性を保ちながら多様性のあるテキスト生成を行う手法を開発した。ここで提案したグラフ探索法は汎用性の高いものであり、ストーリー生成に限らずさまざまなダウンストリームタスクで、知識グラフを活用するための重要な基礎技術となる。
3.グラウンディング自体の性能向上を行うため、基礎的な画像認識の手法開発にも引き続き取り組み、訓練時に想定しない入力ノイズに対して認識の頑健性を高める手法を複数開発した。
【研究代表者】
【研究種目】基盤研究(B)
【研究期間】2019-04-01 - 2023-03-31
【配分額】17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)