1.下载ollama

# 下载ollama
curl -fsSL https://ollama.com/install.sh | sh

# 运行ollama（重新打开一个终端去运行ollama run llama3:70b）
ollama serve

2.运行llama3:70b模型（最低要求64G运存+24G显存）

ollama run llama3:70b

3. 运行网页端（open-webui）

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main