查看centos内核版本

uname -a
cat /etc/redhat-release

下载对应的程序（这个是linux64位版本通用的）
https://cn.download.nvidia.cn/tesla/550.144.03/NVIDIA-Linux-x86_64-550.144.03.run

cudnn想办法自己下一下，我这里是12.x和11.x通用的
https://developer.download.nvidia.cn/compute/cudnn/secure/8.9.6/local_installers/11.x/cudnn-local-repo-rhel7-8.9.6.50-1.0-1.x86_64.rpm?token=exp=1740548379~hmac=9e638911b1821f92d77e38d2d60a474b2a835cf5c7e111626eb0dcc54ab33343&t=eyJscyI6ImJzZW8iLCJsc2QiOiJodHRwczovL2NuLmJpbmcuY29tLyJ9

常见的命令

curl -fsSL https://ollama.com/install.sh | sh #安装ollama
systemctl restart ollama # 重启ollama
vim /etc/systemd/system/ollama.service #修改ollama参数配置
systemctl daemon-reload #修改配置后要执行这个
df #查看磁盘占用率
# 以下命令需要进入到conda环境中
nohup open-webui serve # 后台启动open-webui
pip index version open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple # 查看版本

Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=root #有的时候是写的ollama，会导致Error: could not connect to ollama app, is it running?的问题出现，要匹配用户名。
Group=root
Restart=always
RestartSec=3
Environment="PATH=/root/miniconda3/envs/openwebui/bin:/root/miniconda3/condabin:/home/cdpicc/iflytek/public/jdk1.8.0_45/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin" #这个用默认生成的，/root/或者/home/取决于你
Environment="OLLAMA_MODELS=/root/ollama/modelss"# 模型存放位置
Environment="OLLAMA_HOST=0.0.0.0:11434"# 端口
Environment="OLLAMA_KEEP_ALIVE=1h" # 存活时间
Environment="OLLAMA_MAX_LOADED_MODELS=3"#最大模型数量
Environment="OLLAMA_NUM_PARALLEL=4"# 并行请求的最大数量

[Install]
WantedBy=default.target

如果是离线环境，去gihub下载tgz安装包在下载安装文件：

wget https://ollama.com/install.sh 

修改

curl --fail --show-error --location --progress-bar \
    "https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" | \
    $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"

为

$SUDO tar -xzf ./ollama-linux-${ARCH}.tgz -C "$OLLAMA_INSTALL_DIR"

在执行

sh install.sh