Clineで生成AIをつかって一行もコード書かずにアプリをつくる

ClineというVSCode拡張のAI対話型のプラグインを教えてもらったので、早速試す。

Cline自体はChatGPTなどのAIエンジンとの中継を担ってくれるやつで、設定したAIエンジンを使って、対話型でどんどんアプリを実装してくれる。ファイルアクセスやコマンド実行などの権限も有効にすると、環境構築やファイル生成も自動でやってくれる凄いやつ。

環境構築：

　こちらのサイトを参考にさせて頂きました

　


試したこと：

①AIと対話するチャットアプリ作ってって言う

　→index.html,script.js,style.cssを勝手に作ってくれて、AI部分がダミー(言葉反転だけ)のローカルWebアプリができる

②AIのバックエンドはChatGpt4oにしてって言う

　→API_KEYの指定がダミー状態で、OpenAIのAPIを叩く実装してくれる。モデルはgpt-3.5-turboを指定してた。

③AIは優しいお姉さんと面白い犬にしてって言う

　→チャット用のAPIリクエストのプロンプトにお姉さんと犬の人格設定してくれる

④お姉さんと犬の画像もつけて欲しいって言う

　→画像を格納するように言われるので適当に画像とってきて格納する

途中で何回かエラーになったけど、エラー画面のキャプチャを送り付けたら、画像解析して勝手にバグ内容認識して、勝手にバグ修正してくれた。

アプリ作成に使用した課金額も表示してくれてる。

一行もソース書かずに、優しいお姉さんと面白い犬とチャットできるWebアプリができた。これは物凄いツールだ。

今回のClineはChatGPTを使ったけど、ローカルLLMも指定できるらしく、PCが強かったらDeepSeekとlLamaとかで無料で使えそう。マジ凄い。

生成AI環境を手軽につくる

これまでStable Diffusion, Stable Video Diffusion,MagicAnimate,ollamaなどなど、ローカル環境用の様々なLLM構築してきたが、いつも苦労したのはTouchやPythonのバージョン合わせ。

とここで、オープンソースの簡単な環境構築方法があることを知る。

それがこちらのpinokio

https://pinokio.computer/

ワンクリックで、これまで入れた生成AI含み有名どころの環境がそろってる。

非常に簡単なのと、一括管理できるので、これから始める人はぜひ活用するとよいです。

そのうえで試したのが、CogStudio。

CogVideoを使うと、Luma AIや、klingやrunwayみたいなプロンプトありの動画生成AI環境をローカルにサクッと作れる。生成スピードは有料Webサービスにはかなわないけど、ローカルなので変な規制がないのが良い。

2D画像をaiで深度推定して3Dにする技術

 

Xでみかけた、

2D画像をaiで深度推定して3Dにする技術を試した記録。

利用したフレームワーク：

https://github.com/GeorgeAdamon/monocular-depth-unity?tab=readme-ov-file

こちらを取得して、記載の手順通り、manifest.jsonを編集してUnityで開くだけでOK。

任意の動画を取り込んで添付すれば、その動画の映像を推定して3Dにしてくれる。

そして、Looking GlassのSDKを当ててやれば、そのまま立体で出力できる。

3D生成AIの環境構築

流行りの生成AIの3D生成でローカル環境構築可能なものを試す

 

Unique3D

ご参考：

https://note.com/ngc_shj/n/nd500fdadcb78

環境できた

GPUメモリ足りないエラー

結果：
RTX2070(8G)では失敗

TripoSR

Stable Diffusionの会社なので本命

ご参考：

https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1585536.html

https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1576519.html

GPUなしでいけるとの記事をみたが、GPUメモリ足りないエラー。

サンプル画像は

PCを変える

結果：
RTX2070(8G)では失敗

RTX3080（10G）では成功した

Shape-E

OpenAIが開発

ご参考：

https://www.kkaneko.jp/ai/win/shape.html

未着手

ローカルLLM入れてみる（Ollama)

 生成AIがローカル環境で出来るとのことで、試してみる。

修正がかかっていないモデルがあとのことで、それも試してみる。

https://gigazine.net/news/20230807-llama2-uncensored/

１．Ollamaをダウンロード

　https://ollama.com/download

２．SetUpでインストール

Cドライブにインストールされる

３．コマンドラインから叩けるようになる

４．実行する

　$ ollama run phi3

　日本語も使える

５．ほかのモデルをいれる

　$ ollama run llama3

　複数の言語が扱えるとのこと

６．プログラムもかけそうだ

７．GUIをつける

　Chromeのエクステンションが簡単とのこと

　https://chromewebstore.google.com/detail/ollama-ui/cmgdpmlhgjhoadnonobjeekmfcehffco?pli=1

　Chromeの拡張機能を開くと、すぐに使えた

８．倫理に反する質問をしてみる

　回答できない旨を回答される。

９．チューニングされているモデルをいれる

　https://ollama.com/library/llama2-uncensored

　

　$ ollama run llama2-uncensored

　そして倫理に反する質問をしてみる

　llama2ベースだからか的を得てない感じはするが、拒否回答ではなくなった。
　

以上で、チューニングされた軽量モデルをローカルPCで動かすことができることが分かった。

Robloxのゲーム開発してみる

  

Roblox開発環境の入手とインストール

アカウントを作成してログインし、インストーラーを入手。

create.roblox.com

 

 

チュートリアルがとても分かりやすい

一通り基礎的な操作を学べたらテンプレート選択へ

いろんなテンプレートがある。

Robloxから開くで、新規のテンプレートを選ぶことができる。

開発したり、テストプレイしたりできる。

チームで開発も容易にできる。

右上の「共同作業」を押すと、ユーザー追加してプロジェクトをチーム開発できる。

できたら、公開してみる。

公開もボタン一つで出来る。

ゲームクライアントを起動。

すぐ遊べた。

まとめ：

・開発環境はUnityに似てる。

・プログラミングもスクリプトをオブジェクトにつける感じ

・フリーのアセットをD&Dで配置できる。

・アセットはユーザーがアップロードしてるのか、版権ものもチラホラあり割と無法地帯。

・公開から実行までが超簡単。

とにかくゲームを作りやすいことがよくわかる。

OpenEarthをUE5で動かしてみる

 UE5向けにOpenEarthという衛星映像からCGを起こした地球の3Dデータが使えるとのことで、早速試してみる。

佐藤航陽さんの元投稿

メールアドレスを登録すると、GoogleMapみたいな地図が開く。

操作がわからないが、範囲選択されてるところをクリックしたらダウンロードできた。

おそらくこの範囲のデータなのだろう。

ちなみに他の区画を選ぼうとすると、まだ駄目とのこと。

ドキュメントのデータインポート手順で、手順のページは3部構成

順に「メッシュデータインポート」から試すことにする。

さらっと書いてある、下記の１区画５時間が気になる。

UE5を起動する

手順に従いFBXファイルをインポートしようとするも、

ダウンロードしたZipを開くとUEのプロジェクトがある。

手順とかみ合わないが、仕方ないのでUE5プロジェクトとして、DLしたプロジェクトを開く。

シェーダーが無効という警告がでるので、警告に従い設定からSM6を有効にする。

MAPの下にShinjukuというレベルがあったので開く。

しばらく待ったら開けた。都庁が見えた。

水たまりが美しい

コクーンタワーもあった

動画はこちら