Discovery Sagaサイレントキーワード俯瞰

近年の信号処理・機械学習技術の進展によって，発声時や傾聴時の音声を頭蓋内脳波から推定したり再構成することが可能になりつつある．一方で，想像している発話の推定は，脳波と正解ラベルの同期を取るのが困難であることもあり，めぼしい成果が出ていないのが現状である．本年度は，想像音声と脳波が適切に同期していれば，発声や傾聴時脳波の場合と同様に，脳波から音声をデコーディングできるという仮説を立て、研究を実施した．
実験参加者は聴覚および視覚に問題なく，てんかん治療のため頭蓋内に電極を留置した男性4名（s1, s5, s6, s8），女性4名（s2, s3, s4, s7）であった．実験前には実験前には共同研究機関である順天堂大学医学部附属順天堂医院の承認に基づいて，実験参加者からインフォームドコンセントを得た.ECoG測定の電極には，てんかん治療のため頭蓋内に留置した頭蓋内電極を使用した．ECoGを測定する時のGNDは硬膜外電極とした．まず，短い文が映し出された画面を実験参加者に呈示し，文字の色を１文字ずつハイライトすることで，想像時のタイミングや想像速度を制御できる実験を設計した．その上で，音声想像，音声傾聴，発声の3種類タスクを課し，そのときの頭蓋内脳波を記録した．さらに，傾聴タスクでは呈示した音声，発声タスクでは実験参加者の発話を記録した．計測した頭蓋内脳波に対して，発声または傾聴時の音声のメルケプストラム係数をもちいたエンコーダ・デコーダモデルによって，想像音声を学習・推論した．想像時の頭蓋内脳波からデコーディングした文の文字誤り率は，最良で約17%を達成した．

【研究分担者】
篠田浩一	東京工業大学	情報理工学院	教授	(Kakenデータベース)
田中雄一	東京農工大学	工学(系)研究科(研究院)	准教授	(Kakenデータベース)
菅野秀宣	順天堂大学	医学部	先任准教授	(Kakenデータベース)