google mediapipeでジェスチャーをやる

勉強会で学んだGoogle Mediapipeを活用しつつ、例のジェスチャーをやってみました。

参考：

https://note.com/npaka/n/n6503816b4d2c

インスピレーション：

https://www.youtube.com/watch?v=f6AgrXZMMCQ

これがこうで

ほぼ参考サイトのロジック流用させて頂きました。

できたやつ：

UE5のMETAHUMANで自分のモデル使ってみる

 フォトリアルな人間キャラクターが作成できるUNREAL ENGINEのツール、METAHUMANに、プラグインで自分のモデルデータが使えるとのことでやってみる。

参考：

https://zenn.dev/riti0208/articles/b2ba380b3268e8

https://docs.metahuman.unrealengine.com/ja/mesh-to-metahuman-quick-start-in-unreal-engine/

まずは3Dデータを準備する。

使用するのは首から腕だけでOK。

Blenderで不要なメッシュを綺麗にしてから3D Builderで首から上だけにしました。

fbxで書きだすために再びBlenderでインポートして向きなどを確認。

UE5でプラグインを有効にして、上記のfbxをレベルにインポートする

そして「有効フレームを登録する」で顔の特徴点を設定する（自動）

そして「Meta Human Identityの解決」を押す。

モデルデータに問題がある場合はここでエラーになる。

上手くいったら「メッシュをMetaHumanに変換」を押す。

しばらく待つと、自身のアカウントのMetaHumanにモデルが生成されている。

出てきた。

髪やら髭やら設定して完成。

なお、「メッシュをMetaHumanに変換」までいけて、壊れたやつがでてくることもある。

そんな時はモデルデータを見直すこと。メッシュの点群にゴミがあったり、データが壊れてるとダメなので、Blenderで確認する。

おかしなデータを使うと、寄生獣的なおかしな奴が出てきた。

ARCore GeospatialAPIを試す

 ARCore GeospatialAPIを試します。

VPS（ビジュアルポジショニングシステム）です。

GPS情報だけでなく、カメラ画像に対してストリートビューをもとに位置合わせするすごいやつです。

・Unity

・AR Core

・外部パッケージ使う

　https://github.com/google-ar/arcore-unity-extensions

　\ARCore Extensions\1.31.0\Geospatial Sample\Scripts\Editorはエラーになるので消す

画像はないけど、無事成功

近所の公園の座標に、無事召喚できました。

参考：

https://zenn.dev/tkada/articles/04b44474149130

上手く動かないときはProject SettingsのXR PuluginのAR Core周りを要確認。

UnrealEngine5でマトリックスのCityサンプルを動かす

なんとマトリックスの街が無料公開されたとのことで、さっそく動かす。

 

https://www.unrealengine.com/marketplace/ja/product/city-sample?sessionInvalidated=true

 

100GB くらあるので、ダウンロードだけでも大変。

Ｃドライブに空きがないと入手できないので注意。

半日かけてUE5をダウンロードし、半日かけて読み込む。

開いた最初の画面。

必要スペックがかなり高いです。

私のGTX1070では最低スペックを満たしてなさそう。

上記の画面のまま実行しても何もおきないので注意。

Small CityまたはBig Cityのレベルを開いて実行します。

私のPCスペックでは厳しそうなのでSmall Cityを選択。

一応読み込めました。

ただし動くと、処理が間に合わずガクガクです。

さっき隣をエージェントスミスが歩いたような。

早速ゲームを作ってる人がいたり、

例の栗饅頭シミュレーションしてたりで、楽しいですね。

栗饅頭