没入型バーチャルリアリティ環境における表情認識技術の構築
【研究分野】ヒューマンインタフェース・インタラクション
【研究キーワード】
表情認識 / ユビキタス光センシング / HMD / 表情計測 / 反射型光センサ / 機械学習 / 表情識別 / 頭部装着型ディスプレイ / 幾何形状推定 / バーチャルリアリティ / 光センシング / ユーザインターフェース
【研究成果の概要】
本研究課題では，外部からの光学的な観測が難しい頭部装着型ディスプレイ内部での計測が可能な組み込み型光センサと機械学習を用いた表情認識技術を高度化することを目的に研究を推進した．基本表情のクラスを識別する手法を発展させ，表情の表出強度を推定し，合成した表情をアバターに反映できることを示した．また，基本表情クラスを識別するのみでは無く，低次元の光センサ情報から，高次元の顔表面の特徴点の位置を3次元再構成できることを確認した．更に，表情の多様性を考慮した機械学習として，視線や頭部方向を考慮した学習データセットを構築することで表情識別精度を頑健にできることを示した．
【研究の社会的意義】
本研究では学習データの多様性を考慮した機械学習を行なうことで，没入型バーチャル環境における表情認識精度を頑健にできることを示した．こうした，没入型バーチャル環境に対してユーザの身体情報を反映する技術基盤は，我々が没入型バーチャル環境においてソーシャルコミュニケーションを行なう上で必要となるものであり，実環境とバーチャル環境をシームレスに接続することに貢献するものである．また，本研究課題で開発を行なった組み込み型光センサと機械学習を用いる手法は，低次元のセンサ情報から高次元のユーザの状態を推定することにも活用できるため，様々な身体情報の認識を行なっていく上で重要な技術になると期待される．
【研究代表者】
【研究種目】若手研究(A)
【研究期間】2016-04-01 - 2020-03-31
【配分額】19,890千円 (直接経費: 15,300千円、間接経費: 4,590千円)