音声・表情・言葉から仕事機能の低下の程度を推定するモデルを開発

概要

スマートフォンで繰り返し撮影した短い動画から音声・表情・言葉の特徴を統合し、「仕事機能の低下」について、精神科医の評価に近い推定ができる機械学習モデルを開発しました。心身の健康上の問題を抱えて働く「プレゼンティーイズム」に関連する状態を低負担で繰り返し把握できる可能性を示しました。
　心身の健康上の問題を抱えながらも働くことで、労働者が本来の力を発揮しにくくなる状態は「プレゼンティーイズム」と呼ばれ、働く人にとっても組織にとっても重要な課題です。しかし、その状態を知る方法はこれまで、質問票や人的・時間的コストのかかる面談などが中心で、日々の変化を手軽に繰り返し把握することが難しいという課題がありました。
　本研究では、企業で働く従業員29人が、スマートフォン上のアプリケーションで「本日の体調はいかがですか」という問いに10〜30秒で答える短い動画を、出退勤時に繰り返し撮影しました。そして、得られた音声・表情・言葉の特徴を統合するマルチモーダルな機械学習モデルを構築しました。さらに、このモデルが、3人の精神科医が動画をもとに評価した「仕事機能の低下」の程度（健康・中程度・不調の3段階）をどれだけ正確に推定できるかを検証しました。
　その結果、言葉の情報を中心に、音声や表情を組み合わせた機械学習モデルは、精神科医の評価に近い推定ができることを示しました。この技術は、仕事の生産性そのものを測ったり病気を診断したりするものではありませんが、働く人の状態の変化に早く気づき、支援につなげるための、新しいマネジメント支援ツールになると期待されます。

PDF資料

プレスリリース

研究代表者

筑波大学システム情報系
鈴木 健嗣　教授
野口 泰我　エンパワーメント情報学プログラム（一貫制博士課程）5年次

掲載論文

【題名】

Estimating presenteeism from repeated smartphone-based multimodal behavioral responses
（スマートフォンで繰り返し取得したマルチモーダルな行動反応からのプレゼンティーイズムの推定）

【掲載誌】

PLOS One

【DOI】

10.1371/journal.pone.0354342

関連リンク

システム情報系
エンパワーメント情報学プログラム