ollama GPU参数配置
·
ollama参数配置
ollama下载之后,默认的参数配置保守,导致偏大一点的AI大模型用不到GPU,无法发挥GPU性能,需要手动更改参数
1. 临时修改
该参数配置临时生效,重启电脑之后失效,以DDR5 6000HZ 32G +4070tisuper 16G为例
OLLAMA_GPU_LAYERS=34
OLLAMA_NUM_GPU=1
temperature=0.2
top_p=0.9
num_ctx=4096
repeat_penalty=1.1
num_predict=512
第一个参数就是修改加载GPU参数的配置
2. 永久生效
2.1 方法1
系统 → 高级系统设置 → 环境变量
变量名:OLLAMA_GPU_LAYERS
变量值:32 (不要写 30~34,只能写一个数)
变量名:OLLAMA_NUM_GPU
变量值:1
👉重启 Ollama 服务 或 重启电脑
2.2 方法2
在 PowerShell:
setx OLLAMA_GPU_LAYERS 32
setx OLLAMA_NUM_GPU 1
👉 重新打开终端 或 重启
更多推荐



所有评论(0)