▲Photo by Marcos Luiz Photograph on Unsplash

日本テレビが2019年7月26日（金）より開催しているイベント「超☆汐留パラダイス！」の企画「HUNTER×HUNTER」のPRブースに、DMM.comと東京大学大学院情報理工学系研究科システム情報学専攻 猿渡研究室が共同で開発した「リアルタイム音声変換」技術が登場した。

参加者がブースでアニメの映像に合わせてセリフを話すと、自分の声が「HUNTER×HUNTER」のキャラクターの声に変換されてスピーカーから流れ、なりきりアフレコ体験ができるというものだ。

従来は、音声変換の処理に時間がかかるためリアルタイムでの音声変換は難しく、イベントやライブ配信などリアルタイム性が求められる場面での活用は困難だったという。

今回のシステムでは1～2時間程度の収録で得られる音声データを元に、機械学習を用いた独自の変換処理により遅延を小さく抑え、人間が音声遅延を認識する約70msを下回る約50msでの音声変換を実現。

音声変換モデルの機械学習には、変換精度を高めるため、主に画像生成等において成果を上げている「GAN（Generative Adversarial Network）」と呼ばれる生成モデルと同様の技術を応用。また、音声変換部分はシステムを軽量化したことで、一般的なノートパソコンでも十分に動作が可能になっているそうだ。