Discovery Sagaサイレントキーワード俯瞰

画像処理 / 画像合成 / クロマキー / 立体画像 / コンピュータビジョン / 3次元計測 / バーチャル・リアリティ / ステレオカメラ

1.ストライプ状背景を用いた撮影画像からの対象抽出:スタジオ内で撮影された人物などの画像と別途撮影された画像を合成するために必要な、画像からの対象抽出手法を構築した。背景色と同一色の対象を抽出することが不可能であるという従来のクロマキーの問題点を解決するため、2色から成るストライプ状背景を用いて任意色対象の抽出を行った。
2.輪郭抽出処理の高精度化:ストライプ状背景を用いた対象抽出処理で得られる抽出結果をさらに高精度化するために、同結果を初期輪郭として動的輪郭モデル(Snakes)を適用する処理手順を構築した。
3.市松模様の背景を用いた撮影画像からの対象抽出:ストライプ状背景は水平方向のみにエッジが存在するという方向性を有する。従って抽出対象のエッジがこのエッジと平行な場合は両エッジは交差せず、輪郭情報を得ることができない。そこで背景の垂直方向にもエッジを持たせるように市松模様の背景とする方式を提案し、これにより任意の方向の輪郭を抽出することを可能とした。
4.対象抽出・画像合成の改善:異なる2枚の画像を合成する際に綺麗な合成画像を得るためには、対象抽出の輪郭および合成境界部分において、前景画像と背景画像の色合いがどの程度混ぜ合わさっているかを表す指標であるα値の推定が重要である。そこで、より高精度にα値を推定する手法を構築した。
5.画像合成のための幾何学的関係推定:背景と人物の位置や大きさの関係を考慮せずに画像合成を行うと、不自然な画像となってしまう。そこで、ステレオカメラを用いて対象の3次元計測を行うことにより、合成時の前景となる対象の位置情報や幾何学的情報を取得する手法について検討した。
6.立体画像合成実験:提案した画像抽出・合成手法による立体画像合成実験を多数の被写体に対して行うことにより、提案手法の有効性を確認した。

CG / VR / 顔モデル / 表情 / アニメーション / CG(Camputer Graphics) / 三次元計測 / CG(Computer Graphics) / モーションキャプチャリングシステム

本研究ではCGで人間の表情をよりリアルに表現することを目的に,人間の3次元顔モデルの作成と表情データの作成を行った.
顔モデルの作成には,実時間三次元計測装置を利用した.しかし,この計測装置は縞投影を用いているため,撮影装置に対して傾きが大きい面や光が反射されない部位に対してはデータが計測できないという問題点がある.
そこで,本研究では,表情作成の基礎的な研究としてデータ欠損のない三次元顔モデルを生成する手法について検討を行った.提案手法は,無表情で顔を左右に振る動きを三次元計測装置で計測し,そのデータを用いて逐次的に三次元顔モデルの欠損部分の補間および計測誤差を修正する手法である.まず,ある時刻に計測された三次元データから初期値となる顔モデルを作成する.その後,逐次的に計測されたデータから作成した顔モデルとその時点までに補間,修正を行った顔モデルを比較し欠損部分の補間,モデルの修正を行うことで三次元顔モデルを作成した.
また,表情データの作成には,データの入力方法としてモーション・キャプチャ技術を用い,現在最もリアルに表情が生成できると思われる筋肉モデルを用いて表情を生成した.
心理学の研究によると,人間の感情を表す顔の表情は,怒り,悲しみ,恐怖,嫌悪,驚き,喜びの6種類であり,それらは万国共通である.本研究では,これらの6種類の表情についてデータを取り,CGアニメーションで表現を行った.
モーションキャプチャシステムを用いて,顔の任意の点の動きを測定することができるが,採取したデータからワイヤーフレームで作成したCGモデルをどの様に動かすかが問題になる.そこで,人間の顔の表情は,表情筋の収縮によって表現されるという解剖学的知見を用いる.つまり,顔にある17個の表情筋の動きをモーションキャプチャシステムで採取するために顔面上に13個の特徴点を定め計測する.その特徴点の動きを表情筋の収縮率に変換し,CGモデルを動かす.CGモデルでは,ワイヤーフレームモデル上に筋肉モデルを定義し、ワイヤーフレームモデルを動かし表情を表現した.

【研究分担者】
山下淳	静岡大学	工学部	助手	(Kakenデータベース)
新井民夫	東京大学	工学部	教授	(Kakenデータベース)
三浦憲二郎	静岡大学	創造科学技術大学院	教授	(Kakenデータベース)
奥平雅士	武蔵工業大学	環境情報学部	教授	(Kakenデータベース)