gaussian-splattingをやってみる

 lidar付のiphoneを持ってないのでフォトグラメトリやNeRFで空間スキャンしてたところにgaussian-splattingすごいらしいと聞いたのでやってみる

参考にさせて頂いたサイト：

https://www.docswell.com/s/Ovjang/KW1LE1-2023-09-10-113237?fbclid=IwAR0LVYVVO_-oNtgjQK4ms65DVJ6crotF4ZT8HFfRcN4zSDepPqyroCRXSL0#p37

https://zenn.dev/aster_ideatech/articles/523b4909d4e48f

https://lilea.net/lab/how-to-setup-3d-gaussian-splatting/

ツール：

・gaussian-splatting（GitHubより）

・CUDA　Toolikit

・ANACONDA

・COLMAP

トレーニングに時間かかるけど、確かに良い制度でできた。感覚的にはNeRFと同じくらい。

Inputデータはフォトグラメトリ用に以前撮影した写真26枚。RTX2070 8Gでトレーニングは1時間くらい。

Unityにも取り込めた。

Starter Assetsを入れると走り回れた。

LumaAIでUE取り込んだ時のようなことができた。

無料で使えてこれは凄い。

PLATEAU for Unityをやった記録

 PLATEAU for Unityをやった記録

公式のVrChatで動かすまでの手順をやる

　https://www.mlit.go.jp/plateau/learning/tpc13-1/

GitをUnityから使う

　https://www.hanachiru-blog.com/entry/2021/05/24/120000

PlateauSDKを使う

 https://project-plateau.github.io/PLATEAU-SDK-for-Unity/manual/Installation.html

 https://github.com/Synesthesias/PLATEAU-SDK-for-Unity.git#v1.0.0

 https://github.com/Synesthesias/PLATEAU-SDK-for-Unity.git#v1.1.0

3Dデータをとってくる

　https://www.geospatial.jp/ckan/dataset/plateau

　CityGMLを横浜と宗像

Unityde3Dデータの任意の地図位置を読み込む

　https://project-plateau.github.io/PLATEAU-SDK-for-Unity/manual/ImportCityModels.html

CityGMLから変換する方式を試すが、ここでPCの挙動がおかしくなる

メモリ消費量が爆上がりしているので、私のPCでは力不足のようだ。

このためCityGMLから変換する方式はやめて、直接objデータを取り込むことにする。

Pythonでは改行コードに注意

https://mytech-blog.com/python-syntaxerror/

あと引数のフォルダパスにも注意

python .\convertobj.py .\tokyo_models\ .\..\tokyo_models_dst\ -35592 -5819

出力先を一つ上の階層にしたほうがいい

マテリアルの変更は一つづつ必要で大変だけどコツコツやる

設定できたらHierarchyにおく

地面が無くて味気ないので地面の画像を置く

そのためにはオルソ画像を取得する

https://www.geospatial.jp/ckan/dataset/plateau-tokyo23ku

編集のためにQGISを入れる

https://www.mlit.go.jp/plateau/learning/tpc05-1/

※QGISインストーラーはサイズが1ギガ

地域Meshのダウンロード

https://www.geospatial.jp/ckan/dataset/biodic-mesh/resource/38bd3651-120e-480f-99cf-7bb89cad7a05

しこしこ画像を切り出して保存する。

Tiffになるので、別途ペイントでPNGに変換する

Unityに取り込みマテリアルに設定

地面が白くなくなりそれっぽくなる。しかし面倒くさすぎた。

スーツケースのキャスターを交換する

 jal life&spiceのスーツケースのキャスターがゴムも剥がれプラスチック部分も欠け、まともに回らなくなったので交換修理した記録。

ググると修理に出すと1万円くらいかかるようだ。

Youtubeで修理動画を探すが、修理の宣伝ばかりで肝心のやり方が分からない。

なので試行錯誤でやってみる。

使ったもの：

・交換用のキャスターキット

・金鋸（百均でよい）

・電気ドリル＆マイナスドライバー（なくてもよい）

プラスチックのカバー外すための小さな穴をあけるのに使った。

多分無くても良い。隙間にさせる細い金属とかでいいはず。

やったこと：

まず、キャスターのカバー部分の外し方が分からない。

試しにドリルで小さな穴を開けてみたら、単にプラスチックの蓋だとわかる。

接着されてるわけでもないので、簡単に隙間からドライバーでこじ開けれた。

あとは百均の金鋸でゴリゴリ、元のネジ部を切断する。

大変だけど一つ3分もかからない。最後は慣れて1分で切断できた。

Amazonで購入した部品

後は付属の工具で閉めるだけ。

切断した部品たちと、外したカバーとか。

もとのカバーを再びつける。

ドライバーで開けた穴は若干残るが気にしない。

使った道具とか

優秀な、百均の金鋸

異音が全く無くなりスムーズに動く。

大成功。

Zapworksでお手軽アバターをつくる

 Zapworksでお手軽アバターをつくる

AR_Fukuokaの勉強会で教わったやり方をやる。

https://my.zap.works/projects/

スマホで顔の写真を３枚とるとアバターが生成される

髪型や服などいろいろ変えられる

AR画像に紐づけることで、スマホで認識したカメラ上にAR表示できる。

簡単に一瞬でAR名刺ができて焦る。

3DF Zephyerでフォトグラメトリをやった記録

 フォトグラメトリ熱が高まったのでやってみた記録。

iPhoneのLiDARでやりたいけどAndroidユーザーなのでPixcel7で頑張る。

撮影ポイント：

・人物の映り込みは消しゴムマジック大活躍

・カニ歩きで２歩移動くらい

・影やら光の影響を抑えたいので曇りの天気がよい

・カメラ設定はワイドかつ広角にする

やりかた：

１．上記の撮影ポイントを踏まえて写真をとる。5～20枚くらい

２．3DF Zephyrに写真を食わせる

３．高精細にする

４．3Dモデルとしてobj形式エクスポートする

５．Unityに取り込む

結果：

Unityに取り込むとこう

わかったこと：

・草とか旗とか動くやつは苦手

・晴れだと綺麗だが光と影がモデルにのる

・動画より写真からの方が高精細な気がするしブレを気にしないでよい