PLATEAU for Unityをやった記録

 PLATEAU for Unityをやった記録

公式のVrChatで動かすまでの手順をやる

　https://www.mlit.go.jp/plateau/learning/tpc13-1/

GitをUnityから使う

　https://www.hanachiru-blog.com/entry/2021/05/24/120000

PlateauSDKを使う

 https://project-plateau.github.io/PLATEAU-SDK-for-Unity/manual/Installation.html

 https://github.com/Synesthesias/PLATEAU-SDK-for-Unity.git#v1.0.0

 https://github.com/Synesthesias/PLATEAU-SDK-for-Unity.git#v1.1.0

3Dデータをとってくる

　https://www.geospatial.jp/ckan/dataset/plateau

　CityGMLを横浜と宗像

Unityde3Dデータの任意の地図位置を読み込む

　https://project-plateau.github.io/PLATEAU-SDK-for-Unity/manual/ImportCityModels.html

CityGMLから変換する方式を試すが、ここでPCの挙動がおかしくなる

メモリ消費量が爆上がりしているので、私のPCでは力不足のようだ。

このためCityGMLから変換する方式はやめて、直接objデータを取り込むことにする。

Pythonでは改行コードに注意

https://mytech-blog.com/python-syntaxerror/

あと引数のフォルダパスにも注意

python .\convertobj.py .\tokyo_models\ .\..\tokyo_models_dst\ -35592 -5819

出力先を一つ上の階層にしたほうがいい

マテリアルの変更は一つづつ必要で大変だけどコツコツやる

設定できたらHierarchyにおく

地面が無くて味気ないので地面の画像を置く

そのためにはオルソ画像を取得する

https://www.geospatial.jp/ckan/dataset/plateau-tokyo23ku

編集のためにQGISを入れる

https://www.mlit.go.jp/plateau/learning/tpc05-1/

※QGISインストーラーはサイズが1ギガ

地域Meshのダウンロード

https://www.geospatial.jp/ckan/dataset/biodic-mesh/resource/38bd3651-120e-480f-99cf-7bb89cad7a05

しこしこ画像を切り出して保存する。

Tiffになるので、別途ペイントでPNGに変換する

Unityに取り込みマテリアルに設定

地面が白くなくなりそれっぽくなる。しかし面倒くさすぎた。

スーツケースのキャスターを交換する

 jal life&spiceのスーツケースのキャスターがゴムも剥がれプラスチック部分も欠け、まともに回らなくなったので交換修理した記録。

ググると修理に出すと1万円くらいかかるようだ。

Youtubeで修理動画を探すが、修理の宣伝ばかりで肝心のやり方が分からない。

なので試行錯誤でやってみる。

使ったもの：

・交換用のキャスターキット

・金鋸（百均でよい）

・電気ドリル＆マイナスドライバー（なくてもよい）

プラスチックのカバー外すための小さな穴をあけるのに使った。

多分無くても良い。隙間にさせる細い金属とかでいいはず。

やったこと：

まず、キャスターのカバー部分の外し方が分からない。

試しにドリルで小さな穴を開けてみたら、単にプラスチックの蓋だとわかる。

接着されてるわけでもないので、簡単に隙間からドライバーでこじ開けれた。

あとは百均の金鋸でゴリゴリ、元のネジ部を切断する。

大変だけど一つ3分もかからない。最後は慣れて1分で切断できた。

Amazonで購入した部品

後は付属の工具で閉めるだけ。

切断した部品たちと、外したカバーとか。

もとのカバーを再びつける。

ドライバーで開けた穴は若干残るが気にしない。

使った道具とか

優秀な、百均の金鋸

異音が全く無くなりスムーズに動く。

大成功。

Zapworksでお手軽アバターをつくる

 Zapworksでお手軽アバターをつくる

AR_Fukuokaの勉強会で教わったやり方をやる。

https://my.zap.works/projects/

スマホで顔の写真を３枚とるとアバターが生成される

髪型や服などいろいろ変えられる

AR画像に紐づけることで、スマホで認識したカメラ上にAR表示できる。

簡単に一瞬でAR名刺ができて焦る。

3DF Zephyerでフォトグラメトリをやった記録

 フォトグラメトリ熱が高まったのでやってみた記録。

iPhoneのLiDARでやりたいけどAndroidユーザーなのでPixcel7で頑張る。

撮影ポイント：

・人物の映り込みは消しゴムマジック大活躍

・カニ歩きで２歩移動くらい

・影やら光の影響を抑えたいので曇りの天気がよい

・カメラ設定はワイドかつ広角にする

やりかた：

１．上記の撮影ポイントを踏まえて写真をとる。5～20枚くらい

２．3DF Zephyrに写真を食わせる

３．高精細にする

４．3Dモデルとしてobj形式エクスポートする

５．Unityに取り込む

結果：

Unityに取り込むとこう

わかったこと：

・草とか旗とか動くやつは苦手

・晴れだと綺麗だが光と影がモデルにのる

・動画より写真からの方が高精細な気がするしブレを気にしないでよい

google mediapipeでジェスチャーをやる

勉強会で学んだGoogle Mediapipeを活用しつつ、例のジェスチャーをやってみました。

参考：

https://note.com/npaka/n/n6503816b4d2c

インスピレーション：

https://www.youtube.com/watch?v=f6AgrXZMMCQ

これがこうで

ほぼ参考サイトのロジック流用させて頂きました。

できたやつ：

UE5のMETAHUMANで自分のモデル使ってみる

 フォトリアルな人間キャラクターが作成できるUNREAL ENGINEのツール、METAHUMANに、プラグインで自分のモデルデータが使えるとのことでやってみる。

参考：

https://zenn.dev/riti0208/articles/b2ba380b3268e8

https://docs.metahuman.unrealengine.com/ja/mesh-to-metahuman-quick-start-in-unreal-engine/

まずは3Dデータを準備する。

使用するのは首から腕だけでOK。

Blenderで不要なメッシュを綺麗にしてから3D Builderで首から上だけにしました。

fbxで書きだすために再びBlenderでインポートして向きなどを確認。

UE5でプラグインを有効にして、上記のfbxをレベルにインポートする

そして「有効フレームを登録する」で顔の特徴点を設定する（自動）

そして「Meta Human Identityの解決」を押す。

モデルデータに問題がある場合はここでエラーになる。

上手くいったら「メッシュをMetaHumanに変換」を押す。

しばらく待つと、自身のアカウントのMetaHumanにモデルが生成されている。

出てきた。

髪やら髭やら設定して完成。

なお、「メッシュをMetaHumanに変換」までいけて、壊れたやつがでてくることもある。

そんな時はモデルデータを見直すこと。メッシュの点群にゴミがあったり、データが壊れてるとダメなので、Blenderで確認する。

おかしなデータを使うと、寄生獣的なおかしな奴が出てきた。

ARCore GeospatialAPIを試す

 ARCore GeospatialAPIを試します。

VPS（ビジュアルポジショニングシステム）です。

GPS情報だけでなく、カメラ画像に対してストリートビューをもとに位置合わせするすごいやつです。

・Unity

・AR Core

・外部パッケージ使う

　https://github.com/google-ar/arcore-unity-extensions

　\ARCore Extensions\1.31.0\Geospatial Sample\Scripts\Editorはエラーになるので消す

画像はないけど、無事成功

近所の公園の座標に、無事召喚できました。

参考：

https://zenn.dev/tkada/articles/04b44474149130

上手く動かないときはProject SettingsのXR PuluginのAR Core周りを要確認。