ローカルLLM入れてみる（Ollama)

 生成AIがローカル環境で出来るとのことで、試してみる。

修正がかかっていないモデルがあとのことで、それも試してみる。

https://gigazine.net/news/20230807-llama2-uncensored/

１．Ollamaをダウンロード

　https://ollama.com/download

２．SetUpでインストール

Cドライブにインストールされる

３．コマンドラインから叩けるようになる

４．実行する

　$ ollama run phi3

　日本語も使える

５．ほかのモデルをいれる

　$ ollama run llama3

　複数の言語が扱えるとのこと

６．プログラムもかけそうだ

７．GUIをつける

　Chromeのエクステンションが簡単とのこと

　https://chromewebstore.google.com/detail/ollama-ui/cmgdpmlhgjhoadnonobjeekmfcehffco?pli=1

　Chromeの拡張機能を開くと、すぐに使えた

８．倫理に反する質問をしてみる

　回答できない旨を回答される。

９．チューニングされているモデルをいれる

　https://ollama.com/library/llama2-uncensored

　

　$ ollama run llama2-uncensored

　そして倫理に反する質問をしてみる

　llama2ベースだからか的を得てない感じはするが、拒否回答ではなくなった。
　

以上で、チューニングされた軽量モデルをローカルPCで動かすことができることが分かった。