安装Ollama

确保系统已安装Ubuntu 20.04或更高版本。打开终端执行以下命令下载并安装Ollama:

curl -fsSL https://ollama.com/install.sh | sh

安装完成后启动服务:

systemctl enable ollama
systemctl start ollama

配置环境变量

将Ollama添加到PATH环境变量:

echo 'export PATH=$PATH:/usr/local/bin/ollama' >> ~/.bashrc
source ~/.bashrc

验证安装是否成功:

ollama --version

下载大模型

使用Ollama pull命令获取模型:

ollama pull deepseek/deepseek-llm:7b
ollama pull qwen/qwen1.5:7b

查看已下载模型列表:

ollama list

运行模型服务

启动DeepSeek模型交互:

ollama run deepseek/deepseek-llm:7b

启动Qwen模型API服务:

ollama serve --model qwen/qwen1.5:7b --port 11434

性能优化

修改/etc/systemd/system/ollama.service文件添加GPU支持:

Environment="OLLAMA_NO_CUDA=0"
Environment="CUDA_VISIBLE_DEVICES=0"

重载服务配置:

systemctl daemon-reload
systemctl restart ollama

模型管理

删除不需要的模型:

ollama rm qwen/qwen1.5:7b

更新已安装模型:

ollama pull --latest deepseek/deepseek-llm:7b

常见问题处理

内存不足时添加交换空间:

sudo fallocate -l 8G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

端口冲突时修改服务端口:

OLLAMA_HOST=0.0.0.0:11435 ollama serve

https://github.com/alexbangag/0pe_4oj3
https://github.com/activaly/yfi_h0ct
https://github.com/tsiemar/4fx_x7hr
https://github.com/bogxmz/j6v_8xor
https://github.com/chefline9/lal_otv0

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐