Discovery Sagaサイレントキーワード俯瞰

スポーツ運動分析や介護姿勢推定を目的として、機械学習により映像から骨格情報抽出を行い、動作整合を自動的に行う手法の高精度化を達成した。基本的な姿勢検出については、前年度までの手法を踏襲した。まず機械学習により映像中の各フレームの人物画像に対して骨格情報を抽出し、関節の座標値と信頼度数値を得る。推定された２５個の関節点から重要な１２個を選択し６６次元の特徴ベクトルを形成する。これらをフレーム毎に求め、空間ベクトルの特徴量として動作推定に用いる。
また、本年度は近接する２フレーム間の関節点とその角度の変化を、時間ベクトルの特徴量として追加した。時間ベクトルの特徴量は１２点において、移動距離、移動方向、信頼度の３要素を持つ。姿勢類似度は、２系列の空間ベクトルの差と時間ベクトルの差の積で与えられる。したがって姿勢類似度は０以上の数値であり、０に近いほど類似していることを示す。
姿勢類似度に基づき、２本の映像に含まれるフレームの対応付けを、動的時間伸縮法（ダイナミック・タイム・ワーピング）により決定する。基準となる映像の最初から最後のフレームに対して、探索すべき映像の最初から最後までのフレームに対して、姿勢類似度を再帰的に計算する。
動作整合の実験対象として、野球の投球フォーム及びゴルフのスイングフォームの２種類の映像を選んだ。左利きの選手による運動姿勢との動作整合を求めるために、推定された関節位置の左右反転検出のための判定手法を導入した。評価手法としてケンドールの順位相関係数を用いた。この相関係数は－１から１までの数値を取り、１に近いほど類似フレームの相関が強いことを示す。提案手法は投球データセットに対して、ケンドールの順位相関係数において０．８５５となり、従来法に比べて０．２３５改善できた。同様に、ゴルフスイングにおいては０．８８２となり従来法に比べて０．３０６改善できた。