間取り図から3DCGを作ってみる

 生成AIが進化しまくってるので、間取り図から部屋の3DCGモデルが作れていい気がしたので、試した記録。

結果：

・間取り図から直接3DCGデータはできないが、一度画像生成を経由すると精度高めで成功する

試したこと：

１．TripoAIで間取り図から3Dモデル生成

　上のルートで、間取り図のまま立体になってるだけで、間取り図として解釈できてない。プロンプト入力できたから行けるのかと思ったらそうでもなかった。

２．Geminiで一度3D画像にする

　ほかの間取り図ではましだったが、この間取り図では全然解釈できてない

３．ChatGPTで一度3D画像にする

　いい感じの3DCG画像になるし、プロンプトで部屋の雰囲気も作れる。

　できた3D画像をTripoAIにいれると、シンプルな方は床が抜けてたが、小物が増えた方は概ね成功していた。雰囲気入れたとこでトイレはなくなってるが、ここの画像づくりを丁寧にやって、マルチビューの画像を入れるとさらに精度があがると思われる。

まだ3Dモデルとしては一つだが、今後家具や小物ごとに分割された3Dモデルができる時代がすぐに来そうな予感がした。

3D生成AIの環境構築

流行りの生成AIの3D生成でローカル環境構築可能なものを試す

 

Unique3D

ご参考：

https://note.com/ngc_shj/n/nd500fdadcb78

環境できた

GPUメモリ足りないエラー

結果：
RTX2070(8G)では失敗

TripoSR

Stable Diffusionの会社なので本命

ご参考：

https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1585536.html

https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1576519.html

GPUなしでいけるとの記事をみたが、GPUメモリ足りないエラー。

サンプル画像は

PCを変える

結果：
RTX2070(8G)では失敗

RTX3080（10G）では成功した

Shape-E

OpenAIが開発

ご参考：

https://www.kkaneko.jp/ai/win/shape.html

未着手

gaussian-splattingをやってみる

 lidar付のiphoneを持ってないのでフォトグラメトリやNeRFで空間スキャンしてたところにgaussian-splattingすごいらしいと聞いたのでやってみる

参考にさせて頂いたサイト：

https://www.docswell.com/s/Ovjang/KW1LE1-2023-09-10-113237?fbclid=IwAR0LVYVVO_-oNtgjQK4ms65DVJ6crotF4ZT8HFfRcN4zSDepPqyroCRXSL0#p37

https://zenn.dev/aster_ideatech/articles/523b4909d4e48f

https://lilea.net/lab/how-to-setup-3d-gaussian-splatting/

ツール：

・gaussian-splatting（GitHubより）

・CUDA　Toolikit

・ANACONDA

・COLMAP

トレーニングに時間かかるけど、確かに良い制度でできた。感覚的にはNeRFと同じくらい。

Inputデータはフォトグラメトリ用に以前撮影した写真26枚。RTX2070 8Gでトレーニングは1時間くらい。

Unityにも取り込めた。

Starter Assetsを入れると走り回れた。

LumaAIでUE取り込んだ時のようなことができた。

無料で使えてこれは凄い。

3DF Zephyerでフォトグラメトリをやった記録

 フォトグラメトリ熱が高まったのでやってみた記録。

iPhoneのLiDARでやりたいけどAndroidユーザーなのでPixcel7で頑張る。

撮影ポイント：

・人物の映り込みは消しゴムマジック大活躍

・カニ歩きで２歩移動くらい

・影やら光の影響を抑えたいので曇りの天気がよい

・カメラ設定はワイドかつ広角にする

やりかた：

１．上記の撮影ポイントを踏まえて写真をとる。5～20枚くらい

２．3DF Zephyrに写真を食わせる

３．高精細にする

４．3Dモデルとしてobj形式エクスポートする

５．Unityに取り込む

結果：

Unityに取り込むとこう

わかったこと：

・草とか旗とか動くやつは苦手

・晴れだと綺麗だが光と影がモデルにのる

・動画より写真からの方が高精細な気がするしブレを気にしないでよい

UE5のMETAHUMANで自分のモデル使ってみる

 フォトリアルな人間キャラクターが作成できるUNREAL ENGINEのツール、METAHUMANに、プラグインで自分のモデルデータが使えるとのことでやってみる。

参考：

https://zenn.dev/riti0208/articles/b2ba380b3268e8

https://docs.metahuman.unrealengine.com/ja/mesh-to-metahuman-quick-start-in-unreal-engine/

まずは3Dデータを準備する。

使用するのは首から腕だけでOK。

Blenderで不要なメッシュを綺麗にしてから3D Builderで首から上だけにしました。

fbxで書きだすために再びBlenderでインポートして向きなどを確認。

UE5でプラグインを有効にして、上記のfbxをレベルにインポートする

そして「有効フレームを登録する」で顔の特徴点を設定する（自動）

そして「Meta Human Identityの解決」を押す。

モデルデータに問題がある場合はここでエラーになる。

上手くいったら「メッシュをMetaHumanに変換」を押す。

しばらく待つと、自身のアカウントのMetaHumanにモデルが生成されている。

出てきた。

髪やら髭やら設定して完成。

なお、「メッシュをMetaHumanに変換」までいけて、壊れたやつがでてくることもある。

そんな時はモデルデータを見直すこと。メッシュの点群にゴミがあったり、データが壊れてるとダメなので、Blenderで確認する。

おかしなデータを使うと、寄生獣的なおかしな奴が出てきた。

3DセンシングしたモデルデータをVRchatのアバターにした

前回の記事にてStructure Sensorで3DスキャンしたデータをUnityで動かしたが、そのデータをVRchatのアバターにした記録。



前回の記事：

https://mementomorisince2013.blogspot.com/2020/01/3dblenderunity.html



前回Unityで歩き回れるようにした3Dデータだが、どうやらポリゴン数やらボーン数やらの制約がありそのままではVRchatに使えないとのこと。



順を追って記載する：


・ボーン多すぎ

　→骨間引き必要


　Blenderで関係なさそうな骨を適当に減らした。

　表情に使ってなかったので、顔の骨と胸の骨を消した。


これが




こうなった




・ポリゴン数圧縮

　下記を参考に、ポリゴン数を15000くらいにした　

https://vrchatjp.playing.wiki/d/%A5%A2%A5%D0%A5%BF%A1%BC%BA%EE%C0%AE%20MMD%CA%D4

　ポリゴン数は減ったが、顔が潰れた。

　全体を均一に削減してはだめ。


・顔と身体のメッシュを分離して身体だけポリゴン圧縮

　CTL＋クリックでくくって分離できる。

　https://blender-cg.net/separate-join-objects/







　この状態で体だけポリゴン削減する。


・モデルが分割されたままだとVRChatのほうで怒られうので、分離したやつは圧縮後再び結合する。

　そうすると、今度はボーンとヒートマップズレた


　自動でウェイトをつけるとおかしくなったので、元の状態からこつこつ手作業でヒートマップを塗る。

　http://nn-hokuson.hatenablog.com/entry/2017/08/30/195716

　http://nn-hokuson.hatenablog.com/entry/2017/10/03/205639

　

　関節を動かしながら、意図した通り体がついてくるように調整する。


・UPPER CHESTのエラー

　https://shinrinmusic.com/vroid-vrchat-avatar-upload/

　上記参考に、一つずらす。UPPER CHESTはNONEにする


・Tポーズのエラー

　Unityでアバター設定を開き「Enforce T-pose 」を選択する

　https://docs.unity3d.com/jp/460/Manual/ConfiguringtheAvatar.html


これでなんとかVRchatのアバターアップロードが上手くいった。

3DセンシングデータにBlenderで骨格をいれてUnityで動かした記録

先日の勉強会でStructure Sensorというipadにつけるだけで高精度な3Dモデルを作ることができるスキャナを使い、全身の3Dスキャンデータをもらいました。

Structure Sensor：


短時間で高精度なモデルができたことに驚きです。

これをUnityで動かすことができればVRChatやUnityのいろんなコンテンツで使えるので、骨格（ボーン）を入れることにしました。

ボーンを入れるツールはBlenderを使用します。

やり方は参考書として下記を購入して学びます。

ステップバイステップで大変わかりやすい本でしたが、関節を一つ一つ入れる手順になっているので、もっと簡単な方法を探します。

どうやら自動的に骨格を入れてくれるBlenderのプラグインがある模様。

今回使用したのはUnity公式の「Rigify」です。

Blender Rigifyでググるといろいろ手順が出てくるので手順は割愛しますが、全身だけでなく顔まで骨が入ります。

個別にやったのは、ボーンがもとのモデルからはみ出ないようにモデルの形とサイズ感の調整をしたくらいです。

ただし、撮影時に指を広げていれば指の骨もいい感じで分けれたことを悔やむ。

Blenderでいろいろな形式にエクスポートできますが、Unityで使いやすそうなfbx形式でエクスポート。

次にUnityにとりこみます。

fbsデータをUnity空間に配置し、Standard Assetsを参考に、Third Person Motion Controllerをつけます。

注意すべき点は、下記のパラメータ。これを調整しないと、膝を曲げて中に浮いたままになります。

私の場合は下記値でした。

・Capsule ColliderのCenterのYと、Heightの値

　Center：0 -> 1

    Height：1 -> 2

・Third Person CharacterのGround Check Distance

　0.1 -> 0,2

・Unity Japan Officeに配置して走り回る姿

　

受付する姿

無事動きました。

家の間取りを図面から3Dモデルに起こしてみた

家の間取りを検討することになり、ハウスメーカーさんが3Dで見せてくれるわけですが、3Dデータをもらえなかったので、自分で3DCGに起こしてみました。

元にしたのは、間取りの設計図面です。

使うツール：

・Sweet Home 3D

無料の間取り作成ツールです。
　SketchUpなどと迷いましたが、私はこれが一番使いやすかったです。

ざっくりしたやり方：

1. Sweet Home 3Dをインストールする
2. 間取り図面を元に床を配置する
3. 壁を配置する
4. ドアと窓をつける
5. 家具をおく

※外部データのインポートもできます

6. 床や壁にテクスチャをはりつける

※テクスチャはGoogle画像検索で取得

1Fの間取り

2Fの間取り

3F(屋根)

外壁も、タイル柄のテクスチャをググって取得して貼り付けました。

3Dビューモードにて、住民視点で内覧できます。

歩き回ることもできます。

家具の寸法も指定して配置できるので、使いたい家具や、引っ越しで持っていって良い家具のサイズを考慮したりと、詳細まで間取りのシミュレーションができた点が一番よかったです。

なお、3Dビューのタブから「OBJ形式でエクスポート」を選択することで、OBJファイルとしてエクスポートできます。

つまり、この3DモデルをUnityに取り込んだり、3Dプリントすることができます。

次回は、外構含めた周囲の環境をUnityで作成し、3Dの家をヘッドマウントディスプレイをつけてVR空間で歩き回りたいと思います。