AffectiveHMD

論⽂概要

没⼊型バーチャル環境において顔表情の識別を⾏う基盤技術として組込型光センサと教師あり機械学習を⽤いて,頭部装着型ディスプレイ(HMD)内部のユーザーの表情を識別する技術についての研究である.接眼部周辺および頬周辺を計測するセンサをHMD に組み込むことによって,良好な精度での表情認識を実現している.

特筆すべき研究成果

個⼈毎の教師データを⽤意することで,外部からのカメラなどでは撮像しにくいHMD を装着したユーザーの表情を良好な精度で識別できることを確認することができた.本研究は,SIGGRAPH 2019 Emerging Technologyにおける実演展⽰として成果発表を⾏っており,多数の来場者に実際に提案技術を体験して貰うことができた.

今後の展望・応⽤+社会実装の可能性

没⼊型バーチャル環境においてユーザーの⾝体情報を計測する技術は,⾝体⾃在化のための基盤技術として重要であると考えられる.本研究の応⽤としてはアバターを介したコミュニケーションにおいて実環境のユーザーの顔表情を反映することによって,ユーザーの感情を考慮したコミュニケーションを⾏える可能性がある.

主要成果論⽂

Masaaki Murakami, Kosuke Kikui, Katsuhiro Suzuki, Fumihiko Nakamura, Masaaki Fukuoka, Katsutoshi Masai, Yuta Sugiura, Maki Sugimoto SIGGRAPH '19 ACM SIGGRAPH 2019 Emerging Technologies,Article 7, 1–2, 2019.7 DOI: 10.1145/3305367.3335039.