間取り図から3DCGを作ってみる

 生成AIが進化しまくってるので、間取り図から部屋の3DCGモデルが作れていい気がしたので、試した記録。

結果：

・間取り図から直接3DCGデータはできないが、一度画像生成を経由すると精度高めで成功する

試したこと：

１．TripoAIで間取り図から3Dモデル生成

　上のルートで、間取り図のまま立体になってるだけで、間取り図として解釈できてない。プロンプト入力できたから行けるのかと思ったらそうでもなかった。

２．Geminiで一度3D画像にする

　ほかの間取り図ではましだったが、この間取り図では全然解釈できてない

３．ChatGPTで一度3D画像にする

　いい感じの3DCG画像になるし、プロンプトで部屋の雰囲気も作れる。

　できた3D画像をTripoAIにいれると、シンプルな方は床が抜けてたが、小物が増えた方は概ね成功していた。雰囲気入れたとこでトイレはなくなってるが、ここの画像づくりを丁寧にやって、マルチビューの画像を入れるとさらに精度があがると思われる。

まだ3Dモデルとしては一つだが、今後家具や小物ごとに分割された3Dモデルができる時代がすぐに来そうな予感がした。

Clineで生成AIをつかって一行もコード書かずにアプリをつくる

ClineというVSCode拡張のAI対話型のプラグインを教えてもらったので、早速試す。

Cline自体はChatGPTなどのAIエンジンとの中継を担ってくれるやつで、設定したAIエンジンを使って、対話型でどんどんアプリを実装してくれる。ファイルアクセスやコマンド実行などの権限も有効にすると、環境構築やファイル生成も自動でやってくれる凄いやつ。

環境構築：

　こちらのサイトを参考にさせて頂きました

　


試したこと：

①AIと対話するチャットアプリ作ってって言う

　→index.html,script.js,style.cssを勝手に作ってくれて、AI部分がダミー(言葉反転だけ)のローカルWebアプリができる

②AIのバックエンドはChatGpt4oにしてって言う

　→API_KEYの指定がダミー状態で、OpenAIのAPIを叩く実装してくれる。モデルはgpt-3.5-turboを指定してた。

③AIは優しいお姉さんと面白い犬にしてって言う

　→チャット用のAPIリクエストのプロンプトにお姉さんと犬の人格設定してくれる

④お姉さんと犬の画像もつけて欲しいって言う

　→画像を格納するように言われるので適当に画像とってきて格納する

途中で何回かエラーになったけど、エラー画面のキャプチャを送り付けたら、画像解析して勝手にバグ内容認識して、勝手にバグ修正してくれた。

アプリ作成に使用した課金額も表示してくれてる。

一行もソース書かずに、優しいお姉さんと面白い犬とチャットできるWebアプリができた。これは物凄いツールだ。

今回のClineはChatGPTを使ったけど、ローカルLLMも指定できるらしく、PCが強かったらDeepSeekとlLamaとかで無料で使えそう。マジ凄い。

生成AI環境を手軽につくる

これまでStable Diffusion, Stable Video Diffusion,MagicAnimate,ollamaなどなど、ローカル環境用の様々なLLM構築してきたが、いつも苦労したのはTouchやPythonのバージョン合わせ。

とここで、オープンソースの簡単な環境構築方法があることを知る。

それがこちらのpinokio

https://pinokio.computer/

ワンクリックで、これまで入れた生成AI含み有名どころの環境がそろってる。

非常に簡単なのと、一括管理できるので、これから始める人はぜひ活用するとよいです。

そのうえで試したのが、CogStudio。

CogVideoを使うと、Luma AIや、klingやrunwayみたいなプロンプトありの動画生成AI環境をローカルにサクッと作れる。生成スピードは有料Webサービスにはかなわないけど、ローカルなので変な規制がないのが良い。

2D画像をaiで深度推定して3Dにする技術

 

Xでみかけた、

2D画像をaiで深度推定して3Dにする技術を試した記録。

利用したフレームワーク：

https://github.com/GeorgeAdamon/monocular-depth-unity?tab=readme-ov-file

こちらを取得して、記載の手順通り、manifest.jsonを編集してUnityで開くだけでOK。

任意の動画を取り込んで添付すれば、その動画の映像を推定して3Dにしてくれる。

そして、Looking GlassのSDKを当ててやれば、そのまま立体で出力できる。

3D生成AIの環境構築

流行りの生成AIの3D生成でローカル環境構築可能なものを試す

 

Unique3D

ご参考：

https://note.com/ngc_shj/n/nd500fdadcb78

環境できた

GPUメモリ足りないエラー

結果：
RTX2070(8G)では失敗

TripoSR

Stable Diffusionの会社なので本命

ご参考：

https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1585536.html

https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1576519.html

GPUなしでいけるとの記事をみたが、GPUメモリ足りないエラー。

サンプル画像は

PCを変える

結果：
RTX2070(8G)では失敗

RTX3080（10G）では成功した

Shape-E

OpenAIが開発

ご参考：

https://www.kkaneko.jp/ai/win/shape.html

未着手

ローカルLLM入れてみる（Ollama)

 生成AIがローカル環境で出来るとのことで、試してみる。

修正がかかっていないモデルがあとのことで、それも試してみる。

https://gigazine.net/news/20230807-llama2-uncensored/

１．Ollamaをダウンロード

　https://ollama.com/download

２．SetUpでインストール

Cドライブにインストールされる

３．コマンドラインから叩けるようになる

４．実行する

　$ ollama run phi3

　日本語も使える

５．ほかのモデルをいれる

　$ ollama run llama3

　複数の言語が扱えるとのこと

６．プログラムもかけそうだ

７．GUIをつける

　Chromeのエクステンションが簡単とのこと

　https://chromewebstore.google.com/detail/ollama-ui/cmgdpmlhgjhoadnonobjeekmfcehffco?pli=1

　Chromeの拡張機能を開くと、すぐに使えた

８．倫理に反する質問をしてみる

　回答できない旨を回答される。

９．チューニングされているモデルをいれる

　https://ollama.com/library/llama2-uncensored

　

　$ ollama run llama2-uncensored

　そして倫理に反する質問をしてみる

　llama2ベースだからか的を得てない感じはするが、拒否回答ではなくなった。
　

以上で、チューニングされた軽量モデルをローカルPCで動かすことができることが分かった。

Robloxのゲーム開発してみる

  

Roblox開発環境の入手とインストール

アカウントを作成してログインし、インストーラーを入手。

create.roblox.com

 

 

チュートリアルがとても分かりやすい

一通り基礎的な操作を学べたらテンプレート選択へ

いろんなテンプレートがある。

Robloxから開くで、新規のテンプレートを選ぶことができる。

開発したり、テストプレイしたりできる。

チームで開発も容易にできる。

右上の「共同作業」を押すと、ユーザー追加してプロジェクトをチーム開発できる。

できたら、公開してみる。

公開もボタン一つで出来る。

ゲームクライアントを起動。

すぐ遊べた。

まとめ：

・開発環境はUnityに似てる。

・プログラミングもスクリプトをオブジェクトにつける感じ

・フリーのアセットをD&Dで配置できる。

・アセットはユーザーがアップロードしてるのか、版権ものもチラホラあり割と無法地帯。

・公開から実行までが超簡単。

とにかくゲームを作りやすいことがよくわかる。