第41回

3Dスキャンの進化がすごい。今なら無料で高精度、しかも簡単！

2023年11月06日 07時00分更新

3DデータをUnrealEngineに取り込む流れも

　ここまでは第一段階。現在、3Dガウシアンスプレッティングがリアルタイムでも扱いやすいという特徴を利用して、生成したデータをゲームエンジンのUnrealEngineやUnityに取り込んで利用しようという動きも出ています。Luma AIで作成したデータは、ゲームエンジンでも扱えるデータにすることができるんですよ。具体的には、Unreal Engineで3Dガウシアンスプレッティングのデータを扱えるようにするプラグイン「3D Gaussians Plugin」が、空き家総研VRラボから発売されています。これを使うと、Luma AIで作成したデータも簡単にUE上で表示することができるんです。

　メッシュ情報ではないので、そのままのデータが出てしまうんですが、たとえば、さっきお見せしたベンチはこういう感じで配置されます。ベンチ周辺だけを撮ることもできるんですが、ガウシアンスプラッティングは周辺部分はきれいに取れていないことがわかります。物体ではなく、ただ床に置いているだけなので通り抜けちゃうんですけど。

Luma AIで生成した #GaussianSplatting データを、空き家総研さんのPlugin(100ドル)を使ってUE5に入れてみた。色味が元よりも白っぽくなっている印象だが、簡単にデータを読み込めた。公式のPluginは、今のところ、ここまで簡単に扱えない。ノイズを整えたりすれば十分に使い物になるかも。 https://t.co/ce1QIstQ4J pic.twitter.com/ItIe02rk42
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) October 22, 2023

　Luma AIのサイトでは、これをポリゴン（三角形）化で構成されたメッシュとして一般的なファイルデータに変換することもできるのですが、実際にやって表示してみると、ガタガタなのがわかります。そもそもが、存在しない情報を推計させているので、細かい部分や、半透明のところはすべてつぶれてしまうんです。

ベンチのデータを、公式サイトの機能を使い、3DデータのOBJファイルとしてダウンロードし、UE5に取り込んだ様子。ベンチの形状はほぼ崩れてしまっていて、データとしては使い物にならない

　このようにまだ現実的には使いにくい部分もありますが、様々な実験が始まっています。映像表現として使うといった例が登場しています。

　代表的なものだと、これをUnityに持っていって、ガウシアンの情報をエフェクトの情報に置き換えて、動的に動かしているような例です。この人の作例はわかりやすいですね。撮ったものを動的にインタラクトさせて見せるわけです。

As much as I'm loving playing with Gaussian Splatting, there's just something about raw & dirty point clouds 🤌🤌 pic.twitter.com/b9g1HMh4Re
— 𝐑𝐔𝐁𝐄𝐍🥽𝐅𝐑𝐎 (@Ruben_Fro) October 18, 2023