【番外編】Docker版OllamaでLlma3をつかってみる

音楽関係ないけどせっかくスペックあげたPCを用意したのだからAIもやってみたいよねということで試してみたよ

ちなみに音質考えたらなるべく余計な処理はさせないほうが良いのは鉄則

まぁ駄耳な僕にはわからないでしょ、きっと

インストール先となるPCのご紹介

ちなみに我が家のHQPlayer用PCのスペック↓

と、HQPlayerを動かすにはまぁまぁな性能（Roonの前処理ナシでSync-Long DSD1024でアップサンプリングOK）

ただこれがローカルLLM動かそうと思うとVRAMが辛い

てか24GBのGPUなんて4090とかじゃないですかー（RTX4070 Superは12GB）

まぁ動くかどうかわからないけどインストールしていきましょう

ArchlinuxならPacmanからインストールできる

sudo Pacman -S docker

AI動かすならGPUをDockerで使えるようにしなくちゃいけないのでnvidia-container-toolkitもインストール

sudo pacman -S nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker

Dockerをユーザー権限でつかえるようにするためにdockerというグループを作成して登録

sudo groupadd -f docker
sudo usermod -aG docker ${USER_NAME}
newgrp docker

Dockerが正しくインストールされているか確認

docker info

Dockerが使えているか以下のコンテナをインストールして確認

docker run hello-world

色々出てきたら成功

GPUがつかえるか以下のコンテナをインストールして確認

docker run --gpus all nvidia/cuda:12.1.1-runtime-ubuntu22.04 nvidia-smi

色々出てきたらだいたい成功

GPUを使う＆同一ネットワーク内PCからのアクセスを許可するオプションをつけてollamaをインストール

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Lama3 70Bをダウンロードして実行

docker exec -it ollama ollama run llama3:70b

※注意：このスペックのPCで70Bを動かそうというのはかなり無謀なので快適に遊びたいのならサイズの小さな8Bにしておきましょう、その場合は以下をLama3をダウンロードして実行

docker exec -it ollama ollama run llama3

システムブート時のDocker起動

sudo systemctl enable docker.service 
sudo systemctl enable containerd.service

ここまででコンソールからはOllama経由Lama3が使えている状態

で明日はこれをWebUIで使えるようにする「Open WebUI」をインストールしていきたいと思います