ollama参数配置

ollama下载之后,默认的参数配置保守,导致偏大一点的AI大模型用不到GPU,无法发挥GPU性能,需要手动更改参数

1. 临时修改

该参数配置临时生效,重启电脑之后失效,以DDR5 6000HZ 32G +4070tisuper 16G为例

OLLAMA_GPU_LAYERS=34
OLLAMA_NUM_GPU=1
temperature=0.2
top_p=0.9
num_ctx=4096
repeat_penalty=1.1
num_predict=512

第一个参数就是修改加载GPU参数的配置

2. 永久生效

2.1 方法1

系统 → 高级系统设置 → 环境变量
变量名:OLLAMA_GPU_LAYERS
变量值:32 (不要写 30~34,只能写一个数)
变量名:OLLAMA_NUM_GPU
变量值:1
👉重启 Ollama 服务 或 重启电脑

2.2 方法2

在 PowerShell:

setx OLLAMA_GPU_LAYERS 32
setx OLLAMA_NUM_GPU 1

👉 重新打开终端 或 重启

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐