JOIC：オープンイノベーション・ベンチャー創造協議会

第47回NEDOピッチ「IoT、AI Ver.」レポート

脳内イメージが可視化できる？ 期待したいIoT、AIスタートアップ5社

メタバースにおける「自分」を生み出す技術「xpression camera」
株式会社EmbodyMe

株式会社EmbodyMeは、写真や絵画などの2次元画像と自分の外見を置換し、表情や体の動きに応じてリアルタイムに動かすソフトウェア「xpression camera」の開発を行っている。このソフトウェアを用いると、自分の画像の代わりに歴史上の人物や有名画像の顔画像をZoomなどのビデオチャットで利用することができる。

株式会社EmbodyMe CEO 吉田 一星氏

　xpression cameraは大きく2つの技術を用いて開発されている。1つは3D Dense Face Trackingで、これは顔画像に5万点以上の3Dポイントを推定配置し、それに基づいて顔の各部位の認識を行う。通常のFace Tracking技術では70点以下のポイントを推定するだけだったので認識が不正確であったが、Embody社の技術は非常に詳細な表情の認識が可能になっている。また、3Dセンサーを使う必要がなく、一般的な（2D）カメラだけあれば一般的なPCでも利用可能だ。

　もう1つの技術はNeural Renderingで、ニューラルネットワークを用いて2Dイメージを生成する。これに3D Dense Face Tracking技術を組み合わせることにより、3Dの 顔の情報を元に2Dの顔画像データに対して任意の表情を自動的に割り当てることができる。つまり、ユーザーが「こんにちは」と言えばそれを読み取って生成した顔画像も「こんにちは」と話すし、くしゃみをすれば生成した顔画像でもくしゃみをすることになる。

　コロナ禍により仕事でのビデオチャットの利用が一般的になってきているが、プライバシー保護にセンシティブなユーザーの中にビデオチャットの画面に自分を出したくないと考える人が増えてきている。xpression cameraを使うと、顔画像を好きな人物やキャラクターに変更したうえで、話すときの口の動きを話す内容に一致させることができる。

　現在βテストを行っており、正式版は2022年3月末にリリースされる予定だ。今後は顔だけでなく、全身の動きにも対応できるよう開発を続けて行くとしている。そうなれば手話のような声以外を使ったコミュニケーションも可能となるだろう。新たなコミュニケーションのあり姿を創造するEmbodyMe社の技術は、メタバースの時代における基盤技術になるのかもしれない。