ジェームズダイソン財団が主催する国際エンジニアリングアワード「James Dyson Award 2021」では、日本国内最優秀賞に筑波大学大学院・鈴木一平ら5名のチームによる「See-Through Captions」が選ばれた。

▲See-Through Captionsを使用時に、ろう・難聴者側から見たとき

See-Through Captionsは、ろう・難聴者が聴者とより豊かなコミュニケーションを実現するために開発された、透明ディスプレイ上にリアルタイムに字幕を表示するシステム。

スマートフォンの音声認識アプリを使うとき、ろう・難聴者は音声認識結果を確認するために目線が画面に釘付けとなり、相手の表情・ボディランゲージを見落としてしまうという問題があるという。

一方、ARデバイスの音声認識アプリを使った場合、ろう・難聴者は音声認識結果と相手の表情・ボディランゲージを同時に見ることができるが、聴者は音声認識結果を見ることができず、誤認識によるコミュニケーションミスを未然に防ぐことが難しいそうだ。

▲科学館での実証実験において、See-Through Captionsがろう・難聴者へのインタビューに使用されている様子

▲科学館におけるガイドツアーに持ち運び型See-Through Captionsを活用し、ろう・難聴者の方にガイドツアーを提供している様子

そこで、See-Through Captionsでは、表示デバイスを透明ディスプレイとすることで、ろう・難聴者と聴者の双方から字幕結果を確認することが可能となった。

さらに、字幕の読みやすさは個々人で異なるため、文字サイズやフォントの変更、振り仮名の有無の指定ができるようになっており、これらの操作を行うためのユーザーインターフェースも搭載。

チームが開発したのは、設置型と持ち運び型の2タイプ。設置型は聴者とろう・難聴者のあいだに設置して１対１のコミュニケーションを想定したもの。持ち運び型は、聴者が透明ディスプレイを持ち運びながら字幕表示を行うシステムとなっている。

▲ガイドツアーに使用可能な持ち運び型See-Through Captions

See-Through Captionsはさまざまな展開が可能なシステムで、将来的には、設置型は受付やレジ、職場などへの導入を念頭にしているそうで、コミュニケーションの質の向上が期待されるという。また、持ち運び型は、科学館・博物館などでのガイドツアーに応用することで、ろう・難聴児たちの学習機会の増加にも寄与できるとしている。