生成AI環境を手軽につくる

これまでStable Diffusion, Stable Video Diffusion,MagicAnimate,ollamaなどなど、ローカル環境用の様々なLLM構築してきたが、いつも苦労したのはTouchやPythonのバージョン合わせ。

とここで、オープンソースの簡単な環境構築方法があることを知る。

それがこちらのpinokio

https://pinokio.computer/

ワンクリックで、これまで入れた生成AI含み有名どころの環境がそろってる。

非常に簡単なのと、一括管理できるので、これから始める人はぜひ活用するとよいです。

そのうえで試したのが、CogStudio。

CogVideoを使うと、Luma AIや、klingやrunwayみたいなプロンプトありの動画生成AI環境をローカルにサクッと作れる。生成スピードは有料Webサービスにはかなわないけど、ローカルなので変な規制がないのが良い。

2D画像をaiで深度推定して3Dにする技術

 

Xでみかけた、

2D画像をaiで深度推定して3Dにする技術を試した記録。

利用したフレームワーク：

https://github.com/GeorgeAdamon/monocular-depth-unity?tab=readme-ov-file

こちらを取得して、記載の手順通り、manifest.jsonを編集してUnityで開くだけでOK。

任意の動画を取り込んで添付すれば、その動画の映像を推定して3Dにしてくれる。

そして、Looking GlassのSDKを当ててやれば、そのまま立体で出力できる。

3D生成AIの環境構築

流行りの生成AIの3D生成でローカル環境構築可能なものを試す

 

Unique3D

ご参考：

https://note.com/ngc_shj/n/nd500fdadcb78

環境できた

GPUメモリ足りないエラー

結果：
RTX2070(8G)では失敗

TripoSR

Stable Diffusionの会社なので本命

ご参考：

https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1585536.html

https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1576519.html

GPUなしでいけるとの記事をみたが、GPUメモリ足りないエラー。

サンプル画像は

PCを変える

結果：
RTX2070(8G)では失敗

RTX3080（10G）では成功した

Shape-E

OpenAIが開発

ご参考：

https://www.kkaneko.jp/ai/win/shape.html

未着手

ローカルLLM入れてみる（Ollama)

 生成AIがローカル環境で出来るとのことで、試してみる。

修正がかかっていないモデルがあとのことで、それも試してみる。

https://gigazine.net/news/20230807-llama2-uncensored/

１．Ollamaをダウンロード

　https://ollama.com/download

２．SetUpでインストール

Cドライブにインストールされる

３．コマンドラインから叩けるようになる

４．実行する

　$ ollama run phi3

　日本語も使える

５．ほかのモデルをいれる

　$ ollama run llama3

　複数の言語が扱えるとのこと

６．プログラムもかけそうだ

７．GUIをつける

　Chromeのエクステンションが簡単とのこと

　https://chromewebstore.google.com/detail/ollama-ui/cmgdpmlhgjhoadnonobjeekmfcehffco?pli=1

　Chromeの拡張機能を開くと、すぐに使えた

８．倫理に反する質問をしてみる

　回答できない旨を回答される。

９．チューニングされているモデルをいれる

　https://ollama.com/library/llama2-uncensored

　

　$ ollama run llama2-uncensored

　そして倫理に反する質問をしてみる

　llama2ベースだからか的を得てない感じはするが、拒否回答ではなくなった。
　

以上で、チューニングされた軽量モデルをローカルPCで動かすことができることが分かった。

Robloxのゲーム開発してみる

  

Roblox開発環境の入手とインストール

アカウントを作成してログインし、インストーラーを入手。

create.roblox.com

 

 

チュートリアルがとても分かりやすい

一通り基礎的な操作を学べたらテンプレート選択へ

いろんなテンプレートがある。

Robloxから開くで、新規のテンプレートを選ぶことができる。

開発したり、テストプレイしたりできる。

チームで開発も容易にできる。

右上の「共同作業」を押すと、ユーザー追加してプロジェクトをチーム開発できる。

できたら、公開してみる。

公開もボタン一つで出来る。

ゲームクライアントを起動。

すぐ遊べた。

まとめ：

・開発環境はUnityに似てる。

・プログラミングもスクリプトをオブジェクトにつける感じ

・フリーのアセットをD&Dで配置できる。

・アセットはユーザーがアップロードしてるのか、版権ものもチラホラあり割と無法地帯。

・公開から実行までが超簡単。

とにかくゲームを作りやすいことがよくわかる。

OpenEarthをUE5で動かしてみる

 UE5向けにOpenEarthという衛星映像からCGを起こした地球の3Dデータが使えるとのことで、早速試してみる。

佐藤航陽さんの元投稿

メールアドレスを登録すると、GoogleMapみたいな地図が開く。

操作がわからないが、範囲選択されてるところをクリックしたらダウンロードできた。

おそらくこの範囲のデータなのだろう。

ちなみに他の区画を選ぼうとすると、まだ駄目とのこと。

ドキュメントのデータインポート手順で、手順のページは3部構成

順に「メッシュデータインポート」から試すことにする。

さらっと書いてある、下記の１区画５時間が気になる。

UE5を起動する

手順に従いFBXファイルをインポートしようとするも、

ダウンロードしたZipを開くとUEのプロジェクトがある。

手順とかみ合わないが、仕方ないのでUE5プロジェクトとして、DLしたプロジェクトを開く。

シェーダーが無効という警告がでるので、警告に従い設定からSM6を有効にする。

MAPの下にShinjukuというレベルがあったので開く。

しばらく待ったら開けた。都庁が見えた。

水たまりが美しい

コクーンタワーもあった

動画はこちら

貰い物のJUST SYSTEMスマイルゼミタブレットを使う

 以前ROM焼きを試したスマイルゼミのタブレットだが、知り合いから新しいやつをもらったので、Androidタブレット化を試す。

ググると、どうやら公式でAndroidタブレット化を手順化してるとのこと。

ROM焼き替え不要で、初期化するだけで使えるようだ。

このあたり参考にさせて頂く。

Android5.1（Lolipop）でワコムのデジタイザ搭載機とのこと。

SDカードスロットあるので、メディア観賞用にはよさそう。

とりあえず初期化してみる。

Amzon PrimeVideoやNetflixが使えれば上等だとうと考え、

Google Play(PLAYストア)を立ち上げるが「サーバーエラー」となり使えない。

Youtubeを起動すると、WebViewのインストールが始まった。

Chromeは開いたので、GooglePlay検索を試して入れようとすると、ダメなStoreアプリに飛んでサーバーエラーから進まない。

設定からOSアップデート試すも、既に最新とのこと。

Storeアプリのデータ削除してみる。

再度起動するとまたWebViewのインストールが始まる。

フォトもYoutubeもMapも、全部バージョンが古くて起動してもダメ。

Storeに飛ばされるがStoreがサーバーエラーなので進まない。

詰んでる？？

端末からだと出来そうにないので、PCでGooglePlayとってくることにする。

ビルド番号連打して開発モード有効にする

USBデバッグ許可する

Adbで接続する

GooglePlayをとってきてAdbで入れる

adb install -r -d xxx.apkで強制インストールする

google-play-services-23-24-14-020700-544099984.apk

　→開発者サービスがエラーを繰り返す

google-play-services-22-50-14-020400-499278674.apk

　→OK

google-play-39-1-26-21-0-pr-596040089.apk

　→Ok

この組み合わせでOK。無事Google Playが起動した。

が、勝手に消えた？再びGoogle Playアプリを入れる。

PrimeVideoやNetflixはOK。

YoutubeアプリはAndroid8以降でないとダメらしい。残念。

Chrome更新すると、ChromeブラウザからYoutubeを見ることはできた。

ここまで。