搭建本地大模型运行环境
·
1.前往 NVIDIA 官方驱动下载页
2.CUDA Toolkit
安装 CUDA 12.1 版本，因为 PyTorch、Transformers 等主流框架对其全量适配，坑最少。
3.部署 cuDNN 神经网络加速库
cuDNN 是大模型推理速度的关键依赖，不装会导致速度大幅下降或降级到 CPU 运算。
必须与 CUDA 严格对应，CUDA 12.1 推荐搭配 cuDNN v8.9.7（不建议新手尝试 9.x 版本）。
nvidia-smi：查看驱动状态及支持的 CUDA 上限版本。nvcc -V：确认实际安装的 CUDA 运行时版本为 12.1。
Agent 垂直技术社区，欢迎活跃、内容共建。
更多推荐
6
0- 0
已为社区贡献2条内容
所有评论(0)