Zapworksでお手軽アバターをつくる

 Zapworksでお手軽アバターをつくる

AR_Fukuokaの勉強会で教わったやり方をやる。

https://my.zap.works/projects/

スマホで顔の写真を３枚とるとアバターが生成される

髪型や服などいろいろ変えられる

AR画像に紐づけることで、スマホで認識したカメラ上にAR表示できる。

簡単に一瞬でAR名刺ができて焦る。

3DF Zephyerでフォトグラメトリをやった記録

 フォトグラメトリ熱が高まったのでやってみた記録。

iPhoneのLiDARでやりたいけどAndroidユーザーなのでPixcel7で頑張る。

撮影ポイント：

・人物の映り込みは消しゴムマジック大活躍

・カニ歩きで２歩移動くらい

・影やら光の影響を抑えたいので曇りの天気がよい

・カメラ設定はワイドかつ広角にする

やりかた：

１．上記の撮影ポイントを踏まえて写真をとる。5～20枚くらい

２．3DF Zephyrに写真を食わせる

３．高精細にする

４．3Dモデルとしてobj形式エクスポートする

５．Unityに取り込む

結果：

Unityに取り込むとこう

わかったこと：

・草とか旗とか動くやつは苦手

・晴れだと綺麗だが光と影がモデルにのる

・動画より写真からの方が高精細な気がするしブレを気にしないでよい

google mediapipeでジェスチャーをやる

勉強会で学んだGoogle Mediapipeを活用しつつ、例のジェスチャーをやってみました。

参考：

https://note.com/npaka/n/n6503816b4d2c

インスピレーション：

https://www.youtube.com/watch?v=f6AgrXZMMCQ

これがこうで

ほぼ参考サイトのロジック流用させて頂きました。

できたやつ：

UE5のMETAHUMANで自分のモデル使ってみる

 フォトリアルな人間キャラクターが作成できるUNREAL ENGINEのツール、METAHUMANに、プラグインで自分のモデルデータが使えるとのことでやってみる。

参考：

https://zenn.dev/riti0208/articles/b2ba380b3268e8

https://docs.metahuman.unrealengine.com/ja/mesh-to-metahuman-quick-start-in-unreal-engine/

まずは3Dデータを準備する。

使用するのは首から腕だけでOK。

Blenderで不要なメッシュを綺麗にしてから3D Builderで首から上だけにしました。

fbxで書きだすために再びBlenderでインポートして向きなどを確認。

UE5でプラグインを有効にして、上記のfbxをレベルにインポートする

そして「有効フレームを登録する」で顔の特徴点を設定する（自動）

そして「Meta Human Identityの解決」を押す。

モデルデータに問題がある場合はここでエラーになる。

上手くいったら「メッシュをMetaHumanに変換」を押す。

しばらく待つと、自身のアカウントのMetaHumanにモデルが生成されている。

出てきた。

髪やら髭やら設定して完成。

なお、「メッシュをMetaHumanに変換」までいけて、壊れたやつがでてくることもある。

そんな時はモデルデータを見直すこと。メッシュの点群にゴミがあったり、データが壊れてるとダメなので、Blenderで確認する。

おかしなデータを使うと、寄生獣的なおかしな奴が出てきた。

ARCore GeospatialAPIを試す

 ARCore GeospatialAPIを試します。

VPS（ビジュアルポジショニングシステム）です。

GPS情報だけでなく、カメラ画像に対してストリートビューをもとに位置合わせするすごいやつです。

・Unity

・AR Core

・外部パッケージ使う

　https://github.com/google-ar/arcore-unity-extensions

　\ARCore Extensions\1.31.0\Geospatial Sample\Scripts\Editorはエラーになるので消す

画像はないけど、無事成功

近所の公園の座標に、無事召喚できました。

参考：

https://zenn.dev/tkada/articles/04b44474149130

上手く動かないときはProject SettingsのXR PuluginのAR Core周りを要確認。

UnrealEngine5でマトリックスのCityサンプルを動かす

なんとマトリックスの街が無料公開されたとのことで、さっそく動かす。

 

https://www.unrealengine.com/marketplace/ja/product/city-sample?sessionInvalidated=true

 

100GB くらあるので、ダウンロードだけでも大変。

Ｃドライブに空きがないと入手できないので注意。

半日かけてUE5をダウンロードし、半日かけて読み込む。

開いた最初の画面。

必要スペックがかなり高いです。

私のGTX1070では最低スペックを満たしてなさそう。

上記の画面のまま実行しても何もおきないので注意。

Small CityまたはBig Cityのレベルを開いて実行します。

私のPCスペックでは厳しそうなのでSmall Cityを選択。

一応読み込めました。

ただし動くと、処理が間に合わずガクガクです。

さっき隣をエージェントスミスが歩いたような。

早速ゲームを作ってる人がいたり、

例の栗饅頭シミュレーションしてたりで、楽しいですね。

栗饅頭

Meta Avatars SDKを試す

 MetaがMeta Avatars SDKをリリスしたとのことなので触ってみる。

https://www.moguravr.com/meta-unity-avatar-system-sdk/

まずは環境構築。

Unity2020.3.25f1を使う

ここからSDKをダウンロードする。

https://developer.oculus.com/downloads/package/meta-avatars-sdk/

Newtonsoft.Jsonの重複でビルドエラーになっている。

Unity2020ではプリインストールとのことで、Assetsに含まれている方を消す。

Assets\Oculus\Avatar2\Scripts\AvatarEditorDeeplink

のNewtonsoft.Jsonを消す。

これでビルドエラーは解消。

適当にサンプルシーンを実行してみる。

アバターが複数生成された。

それぞれ瞬きしたり、口もとが動いたりしている。

照明のサンプル

視線がキューブを追跡するサンプル

そのほかサンプルいろいろ

Oculusと繋げないとよくわからず。