モダリティの転移によるデータドリブンな線画・漫画に対する自動彩色
【研究分野】情報科学、情報工学およびその関連分野
【研究キーワード】
漫画 / 画像処理 / データセット / 物体検出 / セリフ検出 / 中割り / フォント / マルチモーダル / マルチモーダル学習 / 着色 / 画像検索 / GAN / 深層学習 / コンピュータビジョン / グラフィックス / 彩色
【研究成果の概要】
本研究では、２つの命題について取り組んだ。一方は、漫画のデータセットであり、もう一方は、着色を中心とした漫画の新技術の研究である。前者は、109巻、約2万ページ、約50万のアノテーションからなり、研究コミュニティが自由に学術研究に利用できる。後者の新技術では、着色と検索、検出に取り組んだ。着色：たった一枚の参照画像からcGANのトレーニングを行い、同一キャラクタを彩色できることを示した。検索：2種のデータで学習した深層特徴量により、スケッチから精度よく漫画を検索できることを示した。検出：セリフ、コマ、キャラクタの顔と全体の検出を行い、AUCが0.92以上と高い精度を実現した。
【研究の社会的意義】
日本の漫画は、世界的に注目され、人気のあるコンテンツである。日本におけるいわゆる電子書籍の市場は前年比25％増と大きな増加をたどっており、コミックがその8割を占めるに至っている。しかし、書籍であったことから、メディア処理の研究対象とされてこなかった。本研究では、この漫画に対して、着色、検索、検出などのメディア処理に関する主導的な研究を行うことができた。
特に、技術的な課題だけでなく、データセットを完成させたことは大きな貢献となった。これは、研究コミュニティで広く利用可能な基盤となり、現時点で、約500のリクエストがあり、うち3分の2は海外からのものである。
【研究代表者】
【研究種目】挑戦的研究(萌芽)
【研究期間】2017-06-30 - 2019-03-31
【配分額】6,500千円 (直接経費: 5,000千円、間接経費: 1,500千円)