Preferred Networks（PFN）は7月27日、深層学習を活用して身体の動きや指先の向きまで高精度に認識する3D姿勢推定技術を開発したと発表した。協業先を募集している。
同社ではこれまで、イラスト向けとして、動画撮影した人物のモーションをトラッキングして2Dキャラクターに同じ動きを反映させる技術をコミックマーケット94（2018年）に出展したほか、スポーツ解析向けとして、サッカーのパスコース判定に姿勢推定技術を応用している。
今回、3DCGによる人体シミュレーションによって大量の学習データを作成してスーパーコンピューターで学習させ、全身を総合的に認識できる高度な3D姿勢推定モデルを構築。専用カメラによる撮影や、身体へのセンサー装着の必要がなく、これまでの技術で課題となっていた指先の向きや両手が重なる場面などでの誤検出を大幅に削減。スマホなどで撮影した動画でも身体細部の動きを高精度にトラッキングできるようになったという。
これまでデジタル化が難しかった楽器演奏やスポーツの解析、細かな手作業の技術継承、遠隔診断・リハビリなどへの技術応用が期待できるとともに、アバターアニメーション制作などの自動化を進めることが可能になる。
今回の3D姿勢推定技術はソフトバンクが開発する、手話と音声による双方向コミュニケーションシステム「SureTalk」に採用。ソフトバンクが集めた多様な手話動画から、指先の向きや身体（手首・肘・肩・首・鼻・腰）の動きをトラッキングし、手話話者個人を特定しないCGによる統一規格の手話アバター動画を生成するための基礎技術として活用されているという。
PFNでは今後、ソフトバンクと共に日本語音声から手話アバター動画を自動生成する技術の開発を進め、聴覚障がい者と健聴者との円滑なコミュニケーションの実現を目指すとしている。
週刊アスキーの最新情報を購読しよう
本記事はアフィリエイトプログラムによる収益を得ている場合があります