1. 系统要求检查

# 检查系统版本
lsb_release -a

# 检查GPU（如果有）
nvidia-smi
# 或
lspci | grep -i nvidia

2. 安装依赖

# 更新系统
sudo apt update && sudo apt upgrade -y

# 安装基本工具
sudo apt install -y python3-pip python3-venv git wget curl

# 安装CUDA工具（如使用NVIDIA GPU）
# CUDA 12.1示例，根据实际情况选择版本
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update
sudo apt install -y cuda-toolkit-12-1

3. 创建Python虚拟环境

# 创建目录
mkdir -p ~/deepseek && cd ~/deepseek

# 创建虚拟环境
python3 -m venv venv
source venv/bin/activate

4. 安装PyTorch

# 根据CUDA版本选择合适的PyTorch
# CUDA 
pip install torch torchvision torchaudio

# 或CPU版本
# pip install torch torchvision torchaudio

5. 安装模型运行环境

# 安装Transformers和相关库
pip install transformers accelerate bitsandbytes
pip install sentencepiece protobuf

# 对于GGUF量化格式
pip install llama-cpp-python
# 或
pip install ctransformers[cuda]  # 如使用GPU

6. 下载DeepSeek 32B量化模型

# 安装Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 下载DeepSeek 32B量化版
ollama pull deepseek-r1:32b
# 或指定量化版本
ollama pull deepseek-r1:32b-q4_K_M

由于在线安装资源太慢这里选择下载好后直接上传解压

官网地址:Download Ollama on Linux
GitHub手动安装文档地址:ollama/docs/linux.md at main .ollama/ollama .GitHub

安装包下载地址:https://ollama.com/download/ollama-linux-amd64.tgz

上传后解压：

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

设置权限：

sudo chmod +x /usr/bin/ollama

创建系统用户：为Ollama服务创建一个专用的、无登录权限的系统用户，这有助于提高安全性

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

创建服务文件：创建一个systemd服务配置文件。使用文本编辑器创建并编辑文件：

sudo vim /etc/systemd/system/ollama.service

将以下配置内容粘贴到文件中。这个配置设置了服务的基本信息、启动方式以及运行用户

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
# 如需允许局域网内其他机器访问，取消下面一行的注释
# Environment="OLLAMA_HOST=0.0.0.0"
# 明确指定模型存储目录，防止权限问题
Environment="HOME=/usr/share/ollama"

[Install]
WantedBy=multi-user.target

设置目录权限：确保Ollama用户对其工作目录有读写权限

sudo chown -R ollama:ollama /usr/share/ollama

启用并启动服务：

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

检查服务状态：使用以下命令查看Ollama服务是否正常运行。

sudo systemctl status ollama

下载DeepSeek 32B量化版

ollama pull deepseek-r1:32b

使用Ollama运行：

ollama run deepseek-r1:32b