google mediapipeでジェスチャーをやる

勉強会で学んだGoogle Mediapipeを活用しつつ、例のジェスチャーをやってみました。

参考：

https://note.com/npaka/n/n6503816b4d2c

インスピレーション：

https://www.youtube.com/watch?v=f6AgrXZMMCQ

これがこうで

ほぼ参考サイトのロジック流用させて頂きました。

できたやつ：

UE5のMETAHUMANで自分のモデル使ってみる

 フォトリアルな人間キャラクターが作成できるUNREAL ENGINEのツール、METAHUMANに、プラグインで自分のモデルデータが使えるとのことでやってみる。

参考：

https://zenn.dev/riti0208/articles/b2ba380b3268e8

https://docs.metahuman.unrealengine.com/ja/mesh-to-metahuman-quick-start-in-unreal-engine/

まずは3Dデータを準備する。

使用するのは首から腕だけでOK。

Blenderで不要なメッシュを綺麗にしてから3D Builderで首から上だけにしました。

fbxで書きだすために再びBlenderでインポートして向きなどを確認。

UE5でプラグインを有効にして、上記のfbxをレベルにインポートする

そして「有効フレームを登録する」で顔の特徴点を設定する（自動）

そして「Meta Human Identityの解決」を押す。

モデルデータに問題がある場合はここでエラーになる。

上手くいったら「メッシュをMetaHumanに変換」を押す。

しばらく待つと、自身のアカウントのMetaHumanにモデルが生成されている。

出てきた。

髪やら髭やら設定して完成。

なお、「メッシュをMetaHumanに変換」までいけて、壊れたやつがでてくることもある。

そんな時はモデルデータを見直すこと。メッシュの点群にゴミがあったり、データが壊れてるとダメなので、Blenderで確認する。

おかしなデータを使うと、寄生獣的なおかしな奴が出てきた。

ARCore GeospatialAPIを試す

 ARCore GeospatialAPIを試します。

VPS（ビジュアルポジショニングシステム）です。

GPS情報だけでなく、カメラ画像に対してストリートビューをもとに位置合わせするすごいやつです。

・Unity

・AR Core

・外部パッケージ使う

　https://github.com/google-ar/arcore-unity-extensions

　\ARCore Extensions\1.31.0\Geospatial Sample\Scripts\Editorはエラーになるので消す

画像はないけど、無事成功

近所の公園の座標に、無事召喚できました。

参考：

https://zenn.dev/tkada/articles/04b44474149130

上手く動かないときはProject SettingsのXR PuluginのAR Core周りを要確認。

UnrealEngine5でマトリックスのCityサンプルを動かす

なんとマトリックスの街が無料公開されたとのことで、さっそく動かす。

 

https://www.unrealengine.com/marketplace/ja/product/city-sample?sessionInvalidated=true

 

100GB くらあるので、ダウンロードだけでも大変。

Ｃドライブに空きがないと入手できないので注意。

半日かけてUE5をダウンロードし、半日かけて読み込む。

開いた最初の画面。

必要スペックがかなり高いです。

私のGTX1070では最低スペックを満たしてなさそう。

上記の画面のまま実行しても何もおきないので注意。

Small CityまたはBig Cityのレベルを開いて実行します。

私のPCスペックでは厳しそうなのでSmall Cityを選択。

一応読み込めました。

ただし動くと、処理が間に合わずガクガクです。

さっき隣をエージェントスミスが歩いたような。

早速ゲームを作ってる人がいたり、

例の栗饅頭シミュレーションしてたりで、楽しいですね。

栗饅頭

Meta Avatars SDKを試す

 MetaがMeta Avatars SDKをリリスしたとのことなので触ってみる。

https://www.moguravr.com/meta-unity-avatar-system-sdk/

まずは環境構築。

Unity2020.3.25f1を使う

ここからSDKをダウンロードする。

https://developer.oculus.com/downloads/package/meta-avatars-sdk/

Newtonsoft.Jsonの重複でビルドエラーになっている。

Unity2020ではプリインストールとのことで、Assetsに含まれている方を消す。

Assets\Oculus\Avatar2\Scripts\AvatarEditorDeeplink

のNewtonsoft.Jsonを消す。

これでビルドエラーは解消。

適当にサンプルシーンを実行してみる。

アバターが複数生成された。

それぞれ瞬きしたり、口もとが動いたりしている。

照明のサンプル

視線がキューブを追跡するサンプル

そのほかサンプルいろいろ

Oculusと繋げないとよくわからず。

OculusQuest2のPassthrough APIを試してみる

 OculusQuest2のPassthrough APIが開発者用に使えるようになったとのことで、サンプルを試してみた記録。

参考にさせて頂いたサイト

https://framesynthesis.jp/tech/unity/oculusquest/#%E3%83%91%E3%82%B9%E3%82%B9%E3%83%AB%E3%83%BC%E6%A9%9F%E8%83%BD%E3%82%92%E4%BD%BF%E3%81%86%E3%81%AB%E3%81%AF

上記リンクの注意点にある通り、

OVRPluginやLinearなど細かい設定もちゃんとしないと映らなかったので注意。

AugmentedObjects

白黒ですが現実空間に仮想オブジェクトが重畳しているのがわかります。

OverlayPassthrough

スティック操作で仮想現実と現実をいったりきたり

Lighting

懐中電灯で現実を照らすことができます

adbが何故かトラブったがQuest2側は特に問題なく動かせました。

テレワーク環境を快適にするために椅子にキーボードをつけた

 テレワーク環境を快適にするためにやったこと

他にもあるけど、下記４点が効果的だった。

・ディスプレイアームでディスプレイを浮かせる

快適すぎて結局二つ購入したので、

最初から二つ付けられる下記を買えばよかった。

・椅子にキーボードをつける

　机につけるやつと迷ったが、自分の机の幅的にちょうど良いのがなかったので、

　検討した結果、椅子につける方が自由度が高いと考え至る。

・トラックボールマウス

ディスプレイモニターを３枚設置しているので、

ハジからハジまで楽に移動できるし、手が疲れないので必須。

・エルゴノミクスキーボードを使う

椅子につけるキーボード台だと結構近い位置にキーボードがくるので、

これにすると手首がかなり楽になる。

説明は中国語だったけど大体わかる。

一式。工具も全部ある。

マウス台もある。

椅子の下の方に固定する。

完成。

キーボードをこの後エルゴノミクスに変える。