生成AIが進化しまくってるので、間取り図から部屋の3DCGモデルが作れていい気がしたので、試した記録。
・間取り図から直接3DCGデータはできないが、一度画像生成を経由すると精度高めで成功する
上のルートで、間取り図のまま立体になってるだけで、間取り図として解釈できてない。プロンプト入力できたから行けるのかと思ったらそうでもなかった。
ほかの間取り図ではましだったが、この間取り図では全然解釈できてない
いい感じの3DCG画像になるし、プロンプトで部屋の雰囲気も作れる。
できた3D画像をTripoAIにいれると、シンプルな方は床が抜けてたが、小物が増えた方は概ね成功していた。雰囲気入れたとこでトイレはなくなってるが、ここの画像づくりを丁寧にやって、マルチビューの画像を入れるとさらに精度があがると思われる。
まだ3Dモデルとしては一つだが、今後家具や小物ごとに分割された3Dモデルができる時代がすぐに来そうな予感がした。
ClineというVSCode拡張のAI対話型のプラグインを教えてもらったので、早速試す。
Cline自体はChatGPTなどのAIエンジンとの中継を担ってくれるやつで、設定したAIエンジンを使って、対話型でどんどんアプリを実装してくれる。ファイルアクセスやコマンド実行などの権限も有効にすると、環境構築やファイル生成も自動でやってくれる凄いやつ。
環境構築：
こちらのサイトを参考にさせて頂きました
試したこと：
①AIと対話するチャットアプリ作ってって言う
→index.html,script.js,style.cssを勝手に作ってくれて、AI部分がダミー(言葉反転だけ)のローカルWebアプリができる
②AIのバックエンドはChatGpt4oにしてって言う
→API_KEYの指定がダミー状態で、OpenAIのAPIを叩く実装してくれる。モデルはgpt-3.5-turboを指定してた。
③AIは優しいお姉さんと面白い犬にしてって言う
→チャット用のAPIリクエストのプロンプトにお姉さんと犬の人格設定してくれる
④お姉さんと犬の画像もつけて欲しいって言う
→画像を格納するように言われるので適当に画像とってきて格納する
途中で何回かエラーになったけど、エラー画面のキャプチャを送り付けたら、画像解析して勝手にバグ内容認識して、勝手にバグ修正してくれた。
アプリ作成に使用した課金額も表示してくれてる。
一行もソース書かずに、優しいお姉さんと面白い犬とチャットできるWebアプリができた。これは物凄いツールだ。
今回のClineはChatGPTを使ったけど、ローカルLLMも指定できるらしく、PCが強かったらDeepSeekとlLamaとかで無料で使えそう。マジ凄い。
生成AIがローカル環境で出来るとのことで、試してみる。
修正がかかっていないモデルがあとのことで、それも試してみる。
https://gigazine.net/news/20230807-llama2-uncensored/
１．Ollamaをダウンロード
https://ollama.com/download
２．SetUpでインストール
$ ollama run phi3
$ ollama run llama3
