Discovery Sagaサイレントキーワード俯瞰

非剛体として、(1)水、(2)樹木、(3)人物像、の3種類を検討対象とし、それぞれの挙動を画像処理により認識するとともに、仮想的3次元空間において再現する方法の検討を以下のように行った。
(1)水面を観測するカメラ画像を解析し、Bump mappingを用いて水面形状を再現する方法の検討を進めた。Bump mappingを行うためには、水面における多数の点に対する法線ベクトルを推定する必要があり、Shape from Shading(SfS)が有効と考えられる。SfSにおける直交投影カメラモデルに起因する誤差抑制のために、遺伝的アルゴリズムを用いて法線ベクトルの向きの推定結果を最適化する方法を提案し、良好な結果の見通しを実験により得た。
(2)実空間中の樹木の挙動を、3次元樹木モデルで再現するためには、樹木の挙動を認識する必要があるが、枝や葉を逐一追跡するのは隠れの問題などのため大変困難である。そこで、あらかじめ何種類かの風が吹いた状態における樹木の動画像を蓄積しておき、学習的に風の強さと向きを推定する方法を提案し、有効性の見通しを得た。
(3)人物全身像の画像処理による3次元姿勢推定法の検討を進めた。人体パーツに対応して色分けした衣服を着用した人物を複数カメラで観測し、色彩情報により人体パーツを抽出する。パーツ領域の画素数の大きい2つのカメラ画像を選択し、パーツの形状を解析して、関節に対応する特徴点の3次元座標を求める手法の有効性の見通しを得た。また、前述の画像処理による方法の姿勢推定結果は、装着型のモーションキャプチャシステムと比較して低解像度であり推定可能な自由度が低いという問題があるので、ニューラルネットを用いた学習によりこの問題を解決する方法を検討し、有効性の見通しを得た。一方、表情の3次元顔モデルにおける再現については、顔モデルの変形に加えて、顔画像から得られる実写テクスチャを適宜マッピングすることにより、皺などの微細構造をリアルに表現できる見通しを得た。