▲Photo by Ahmad Odeh on Unsplash

東京大学 大学院情報理工学系研究科 中村仁彦研究室とNTTドコモの研究チームは、東京大学・中村研究室の開発したカメラ映像だけからモーションキャプチャを行う技術「VMocap（ブイモーキャプ）」を応用することで、特殊な装置やスーツを用いずに、広い空間における複数人のモーションキャプチャを行う技術を開発した。

これにより、スポーツの試合やライブ会場など、従来モーションキャプチャが困難だった場所でも手軽にモーションデータを取得し、運動解析や3Dアニメーションの作成ができるようになる。

この技術は、解析に用いるべき最適な映像を、複数のカメラから自動的に選択して切り替えることで、広い空間における複数人のモーションキャプチャを行う。また、人同士の身体が映像上で重なって見える状況下でも、人の骨格構造と運動の連続性、そして最新の画像認識技術を活用することによって頑強に運動を推定することができる。

▲複数人ビデオモーションキャプチャのイメージ

▲同技術の概略図

そのため、フットサルのように複数の選手が激しく動き回るようなシーンでも、高精度で滑らかなモーションデータや骨の動きが取得できることを実証した。

▲12台のカメラを用いて、フットサルの試合を行っている全選手のモーションを取得している様子。可動域まで考慮した関節角度を計算することで、骨の動きをCGとして描いている。

▲取得したモーションデータから、選手の筋活動をシミュレーションしている様子。CGにおいて赤く描かれている部分が、筋が強く活動している部分を表している。

さらに、中村研究室がもつロボティクスに基づいた動作解析技術を用いることで、 骨の運動だけでなく身体に働く力や筋の活動まで計算し、可視化できることを確認。これによって複数台のカメラ映像だけから、運動の計測・解析までが一貫して行えるようになった。