Clineで生成AIをつかって一行もコード書かずにアプリをつくる

ClineというVSCode拡張のAI対話型のプラグインを教えてもらったので、早速試す。

Cline自体はChatGPTなどのAIエンジンとの中継を担ってくれるやつで、設定したAIエンジンを使って、対話型でどんどんアプリを実装してくれる。ファイルアクセスやコマンド実行などの権限も有効にすると、環境構築やファイル生成も自動でやってくれる凄いやつ。

環境構築：

　こちらのサイトを参考にさせて頂きました

　


試したこと：

①AIと対話するチャットアプリ作ってって言う

　→index.html,script.js,style.cssを勝手に作ってくれて、AI部分がダミー(言葉反転だけ)のローカルWebアプリができる

②AIのバックエンドはChatGpt4oにしてって言う

　→API_KEYの指定がダミー状態で、OpenAIのAPIを叩く実装してくれる。モデルはgpt-3.5-turboを指定してた。

③AIは優しいお姉さんと面白い犬にしてって言う

　→チャット用のAPIリクエストのプロンプトにお姉さんと犬の人格設定してくれる

④お姉さんと犬の画像もつけて欲しいって言う

　→画像を格納するように言われるので適当に画像とってきて格納する

途中で何回かエラーになったけど、エラー画面のキャプチャを送り付けたら、画像解析して勝手にバグ内容認識して、勝手にバグ修正してくれた。

アプリ作成に使用した課金額も表示してくれてる。

一行もソース書かずに、優しいお姉さんと面白い犬とチャットできるWebアプリができた。これは物凄いツールだ。

今回のClineはChatGPTを使ったけど、ローカルLLMも指定できるらしく、PCが強かったらDeepSeekとlLamaとかで無料で使えそう。マジ凄い。

2D画像をaiで深度推定して3Dにする技術

 

Xでみかけた、

2D画像をaiで深度推定して3Dにする技術を試した記録。

利用したフレームワーク：

https://github.com/GeorgeAdamon/monocular-depth-unity?tab=readme-ov-file

こちらを取得して、記載の手順通り、manifest.jsonを編集してUnityで開くだけでOK。

任意の動画を取り込んで添付すれば、その動画の映像を推定して3Dにしてくれる。

そして、Looking GlassのSDKを当ててやれば、そのまま立体で出力できる。

3D生成AIの環境構築

流行りの生成AIの3D生成でローカル環境構築可能なものを試す

 

Unique3D

ご参考：

https://note.com/ngc_shj/n/nd500fdadcb78

環境できた

GPUメモリ足りないエラー

結果：
RTX2070(8G)では失敗

TripoSR

Stable Diffusionの会社なので本命

ご参考：

https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1585536.html

https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1576519.html

GPUなしでいけるとの記事をみたが、GPUメモリ足りないエラー。

サンプル画像は

PCを変える

結果：
RTX2070(8G)では失敗

RTX3080（10G）では成功した

Shape-E

OpenAIが開発

ご参考：

https://www.kkaneko.jp/ai/win/shape.html

未着手

Avatarifyを動かしてみた

1枚の画像を元にWebカメラの映像にフェイルトラッキングできるすごいやつ、Avatarifyを動かしてみた記録。


ソースは下記で入手できる
https://github.com/alievk/avatarify

環境構築手順も上記githubにかかれている通り。
Minicondaが公式手順だが、Anacondaでもいけた。

実行環境は結構スペックが必要のようだが、GTX1060でも動いた。

公式の手順で行けたが、下記を参考にさせて頂いた。
https://note.com/dobamine/n/n71951956feda



ざっくり手順：
・Windows用のgitインストール
・git cloneでavatarifyを入手
・anacondaの（Anaconda3）プロンプトでinstall_windows.batをたたくとgitが無いと言われる
　→anaconda navigatorでプロンプトの対象環境でgitを選択して入れる
　→再度install_windows.batをたたくとOK

・vox-adv-cpk.pth.tarをダウンロードして置く
・run_windows.batするがエラーがでた
　File "cam_fomm.py", line 15, in <module>
    from modules.generator import OcclusionAwareGenerator
　ModuleNotFoundError: No module named 'modules'

　→pythonでimportしたいが入ってない場合に出るらしい
　→pip install modulesすると、下記エラーにかわるが駄目。
　ModuleNotFoundError: No module named 'modules.generator'; 'modules' is not a package

 　どうやら、環境構築中にscriptフォルダ下に入ってinstall_windows.batを叩いたのがまずかった模様
　→再度git clone取得からやりなおし、avatarify下にてscripts\install_windows.batを実行
　→anacondaにavatarifyという環境がもう一つできる
　→古い方のavatarifyを消す
　→新しいavatarifyでコンソール起動して「run_windows.bat」する
　→動いた