スマートグラスEven Reality G2のアプリを作る試み③

まだまだプロトタイプだがEvern G2の世界のささやきアプリが動いた。移動の検出精度とかは、最近の小旅行で地道にとり溜めた。

LLM用のAPI KEYは開発者サイトでも外部クラウドサービスに保存すべきとのことでcloudflareを利用、LLMは当初OpenAIを考えてたが、無料でgroqが使えるとのことでそちらを採用。cloudflareも無料枠なので、外部LLMサービスを無料で安全に使うアプリができたことになる。ささやきの精度はまだまだなのでこれから使い倒して改善していく。

で、アプリ開発とはいえ、claudflareもcodexが勝手にアクセスして使ってたので、私自身はcodexにチャットしたのと、ブラウザでcloudflareのアクセス権限を承認しただけ。つまり、開発者はバックエンドのシステム全く理解せずに、このようなシステムを構築できたということ。そもそもcloudflareが何なのか理解してなかったので、学びながら使って開発してもらう状況。これは凄いことですよ。

主には超上流のコンセプトづくりと、テスターの役割、設計と実装はディレクションくらい。LLＭ周りの完成評価A/Bテスト環境も自動的に用意してくれるので、人の仕事は言われるまま、主観評価するだけでした。

スマートグラスEven Reality G2のアプリを作る試み②

前回の続き
 ・スマホからブラウザ版codexで指示、プルリクエスト

・GitHubアプリでマージ、ビルドとデプロイなどのCI

・コンフリクトとかはgithub側のcopilotで解消

・GitHub Pagesにてアプリ表示

・このURLを実機で読み込んで起動

までできた。なので、パソコン使わずスマホと実機で完結できた。

なので、下記が出来たことになる。

これは、近い未来に、電脳コイルやユーレイデコでみた「十分に発達した科学技術は魔法と見分けがつかない」が来る予感がした。

スマートグラスEven Reality G2のアプリを作る試み①

 Even Reality G2の開発環境作るついでに、何かアプリを作ってみようと思う。まずはコンセプト議論から。

で、AIとの議論の結果、旅や散歩の観点と情報をさりげなく教えてくれる一人旅支援してくれるやつが欲しいので、それにすることにした。

Even G2はカメラなしで、マイクとモノクロディスプレイなので、そのハード特徴を生かせてると思う。

で、EvenG2のアプリはWebベースなので、構想的にメガネとのやりとりでPC使わずにアプリ開発と更新ができそう。これができるなら、実際に散歩しながら、UX検証しつつリアルタイムで宅外でアプリ更新できるはず。まだこの辺がよくわからないので、とりあえずcodex契約してみる。

EvenG2体験テスト　→　スマホからcodexでGithubのアプリ更新　→　Github Pagesで公開　→Even Hubで取り込む　→更新版を体験

が出来そうな気がする。

やったこと：

・Githubアカウント作成

・codex契約（Plusで一か月無料）

・codexで開発環境整備（アプリの構想をマークダウンで保存）

・codexでとりあえず起動するアプリつくる

・EvenHubで開発者登録

・実行してQRコード表示して、グラスで起動

今日はここまで。

詰まったのは、スマホのEvenアプリのEvenHubでQR読み取りのページまでいくとこ。

とても分かりにくい。

Evenアプリ起動→EvenHubのタブタッチ→アカウントクリック→開発者ハブ→プロトタイプモード

あと、EvenアプリにCodexと接続する機能があるようで、もう直接codex操作できるのかもしれない。これは後日試す。

間取り図から3DCGを作ってみる

 生成AIが進化しまくってるので、間取り図から部屋の3DCGモデルが作れていい気がしたので、試した記録。

結果：

・間取り図から直接3DCGデータはできないが、一度画像生成を経由すると精度高めで成功する

試したこと：

１．TripoAIで間取り図から3Dモデル生成

　上のルートで、間取り図のまま立体になってるだけで、間取り図として解釈できてない。プロンプト入力できたから行けるのかと思ったらそうでもなかった。

２．Geminiで一度3D画像にする

　ほかの間取り図ではましだったが、この間取り図では全然解釈できてない

３．ChatGPTで一度3D画像にする

　いい感じの3DCG画像になるし、プロンプトで部屋の雰囲気も作れる。

　できた3D画像をTripoAIにいれると、シンプルな方は床が抜けてたが、小物が増えた方は概ね成功していた。雰囲気入れたとこでトイレはなくなってるが、ここの画像づくりを丁寧にやって、マルチビューの画像を入れるとさらに精度があがると思われる。

まだ3Dモデルとしては一つだが、今後家具や小物ごとに分割された3Dモデルができる時代がすぐに来そうな予感がした。

Clineで生成AIをつかって一行もコード書かずにアプリをつくる

ClineというVSCode拡張のAI対話型のプラグインを教えてもらったので、早速試す。

Cline自体はChatGPTなどのAIエンジンとの中継を担ってくれるやつで、設定したAIエンジンを使って、対話型でどんどんアプリを実装してくれる。ファイルアクセスやコマンド実行などの権限も有効にすると、環境構築やファイル生成も自動でやってくれる凄いやつ。

環境構築：

　こちらのサイトを参考にさせて頂きました

　


試したこと：

①AIと対話するチャットアプリ作ってって言う

　→index.html,script.js,style.cssを勝手に作ってくれて、AI部分がダミー(言葉反転だけ)のローカルWebアプリができる

②AIのバックエンドはChatGpt4oにしてって言う

　→API_KEYの指定がダミー状態で、OpenAIのAPIを叩く実装してくれる。モデルはgpt-3.5-turboを指定してた。

③AIは優しいお姉さんと面白い犬にしてって言う

　→チャット用のAPIリクエストのプロンプトにお姉さんと犬の人格設定してくれる

④お姉さんと犬の画像もつけて欲しいって言う

　→画像を格納するように言われるので適当に画像とってきて格納する

途中で何回かエラーになったけど、エラー画面のキャプチャを送り付けたら、画像解析して勝手にバグ内容認識して、勝手にバグ修正してくれた。

アプリ作成に使用した課金額も表示してくれてる。

一行もソース書かずに、優しいお姉さんと面白い犬とチャットできるWebアプリができた。これは物凄いツールだ。

今回のClineはChatGPTを使ったけど、ローカルLLMも指定できるらしく、PCが強かったらDeepSeekとlLamaとかで無料で使えそう。マジ凄い。

生成AI環境を手軽につくる

これまでStable Diffusion, Stable Video Diffusion,MagicAnimate,ollamaなどなど、ローカル環境用の様々なLLM構築してきたが、いつも苦労したのはTouchやPythonのバージョン合わせ。

とここで、オープンソースの簡単な環境構築方法があることを知る。

それがこちらのpinokio

https://pinokio.computer/

ワンクリックで、これまで入れた生成AI含み有名どころの環境がそろってる。

非常に簡単なのと、一括管理できるので、これから始める人はぜひ活用するとよいです。

そのうえで試したのが、CogStudio。

CogVideoを使うと、Luma AIや、klingやrunwayみたいなプロンプトありの動画生成AI環境をローカルにサクッと作れる。生成スピードは有料Webサービスにはかなわないけど、ローカルなので変な規制がないのが良い。

2D画像をaiで深度推定して3Dにする技術

 

Xでみかけた、

2D画像をaiで深度推定して3Dにする技術を試した記録。

利用したフレームワーク：

https://github.com/GeorgeAdamon/monocular-depth-unity?tab=readme-ov-file

こちらを取得して、記載の手順通り、manifest.jsonを編集してUnityで開くだけでOK。

任意の動画を取り込んで添付すれば、その動画の映像を推定して3Dにしてくれる。

そして、Looking GlassのSDKを当ててやれば、そのまま立体で出力できる。