Discovery Sagaサイレントキーワード俯瞰

製造業・看護など様々な業界において，熟練者から初心者への技能伝承，組織内でのノウハウ共有が重要な課題となっている．本研究の目的は，画像認識により自動的に画像・映像を組織化することで，技能伝承・ノウハウ共有を促進することである．
2021年度は以下の検討を行った：
(1) 映像と言語の類似度学習による作業映像のシーン分割：技能伝承・ノウハウ共有を促進する上で，映像に関連する作業手順書，メモ等の文書情報を活用することは重要である．今年度は映像と言語情報の対応関係に着目した映像のシーン分割手法について検討した．作業映像が複数のシーンから構成され，各シーンに言語情報（例えば，作業内容記述文）が対応することを仮定し，シーン分割を「キャプションとフレーム画像の１対多マッチング」と捉えることでシーン分割を自動化する手法を提案した．
(2) 画像認識結果の能動的提示・ユーザフィードバックによる弱教師あり学習：作業映像の時系列アライメントについて検討を継続している．映像から抽出したシーンを能動的にオペレータに提示し，動画一対比較の結果を画像表現学習にフィードバックことで，少量のアノテーション作業で時系列アライメントの精度を向上させる．本年度は，オペレータに提示するシーン対をシーン境界付近から多く選択することでアノテーション作業時間が短縮できることを確認した．
(3)深層学習を用いた漫画の半自動彩色：本技術の漫画制作への展開可能性を検討した．漫画の彩色作業は言語化が難しく高い技能を必要とする作業である．陰影のない「ベタ塗り」画像は非熟練者でも比較的短時間で作成できることに着目し，ベタ塗り画像とスクリーントーン画像から半自動で高品質な彩色画像を生成する深層学習ベースの手法，及び，カラーヒントを与えることでインタラクティブにベタ塗り画像を作成するシステムを作成しユーザ評価実験を実施した．

【研究分担者】
古田諒佑	東京大学	生産技術研究所	助教	(Kakenデータベース)