マスクをしても表情をセンシングできる
耳掛けタイプのウェアラブルデバイスが開発

コーネル大学の研究機関 SciFi Lab(Smart Computer Interfaces for Future Interactions Lab)では、「C-Face」(Contour-Face)と呼ばれる耳掛けタイプのウェアラブルセンシング技術を開発している。

ユーザーはヘッドホンまたはイヤホンをセットし、そこに取り付けられた小型カメラでユーザーの顔の輪郭の動きや変化をキャプチャ。カメラがとらえたさまざまな細かい輪郭の変化から、口や目、眉の42の特徴を評価し、ディープラーニングを通じて顔の表情をたえず再構築する。

この技術が目指すのは、COVID-19対策でマスクをして顔の半分が隠れていたとしても、顔の動きだけからその人がどのような表情をしているのか、3Dモデルを作成したりして相手に向かって表現することだ。

また、これだけではなく、研究チームは「C-Face」の2つの活用法を提示している。ひとつは、顔の表情をキャプチャして、その表情に相当する絵文字を出すことができるという機能である。送られてきたメッセージに対して笑ったり怒ったりと、その反応をすぐに絵文字にして送り返すことも可能だ。

もうひとつは、声を出さずに表情のみからユーザーがどんな言葉を発したかを評価する「サイレント音声認識」である。この機能を使えば、声を出さずに音楽をかけたり止めたりすることができるかもしれないそうだ。End