大規模マンガデータベースのための自動要約生成の研究
【研究分野】エンタテインメント・ゲーム情報学
【研究キーワード】
マンガ / 自動要約 / 機械学習 / 顔画像検出 / キャラクター検出 / メタデータ / 深層学習 / キャラクター抽出 / コマ抽出 / セリフ抽出 / オブジェクト認識 / クラスタリング / 吹出し抽出 / ディジタルアーカイブズ / 情報システム / 画像
【研究成果の概要】
ユーザ主導型での高度なマンガ検索を実現することを目的として、機械学習を用いたマンガオブジェクト検出手法及びマンガ要約の自動生成手法の検討を行った。マンガメタデータの対象となるコマ、キャラクタ顔画像、吹出し、セリフの検出にはFaster R-CNNを用いた方式が有効であることが分かった。画像要約には、マンガの登場人物のキャラクタ顔画像検出した後に、クラスタリングによって分類することが必要でありDBSCANが有効であることが分かった。最後に、自動要約を生成し、主観評価実験により効果を確認した。提案方式は要約の満足度と情報量の点では不十分であるが、理解度については十分な結果が得られた。
【研究代表者】
【研究分担者】 |
| 柳澤 秀彰 | 早稲田大学 | 理工学術院 | 助教 | (Kakenデータベース) |
|
【研究種目】基盤研究(C)
【研究期間】2017-04-01 - 2020-03-31
【配分額】4,160千円 (直接経費: 3,200千円、間接経費: 960千円)