手把手教你用Anaconda在Windows上快速搭建TensorRT开发环境（Python 3.8版）

肥宅快乐水901

193人浏览 · 2026-03-02 16:04:30

肥宅快乐水901 · 2026-03-02 16:04:30 发布

手把手教你用Anaconda在Windows上快速搭建TensorRT开发环境（Python 3.8版）

如果你正在Windows上尝试部署深度学习模型，并且对推理速度有要求，那么NVIDIA的TensorRT绝对是你绕不开的工具。它能将你的模型优化到极致，在NVIDIA GPU上实现数倍甚至数十倍的推理加速。但说实话，在Windows上配置TensorRT环境，尤其是结合Anaconda虚拟环境，常常让人感到头疼——版本兼容性、路径配置、依赖冲突，每一步都可能是个坑。

这篇文章就是为你准备的。我将以一个实际项目经验者的身份，带你走一遍在Windows 10/11系统上，使用Anaconda为Python 3.8搭建TensorRT开发环境的完整流程。我们不仅会完成安装，更会深入理解每个步骤背后的逻辑，让你在遇到问题时能自己排查。整个过程会涉及Anaconda环境管理、CUDA/cuDNN的精准匹配、TensorRT的安装与验证，以及一个完整的端到端测试案例。无论你是刚接触TensorRT的新手，还是曾经在配置上栽过跟头的开发者，相信这篇指南都能帮你节省大量时间。

1. 环境准备与核心组件版本规划

在开始动手之前，我们必须先理清一个核心概念：版本兼容性。TensorRT、CUDA、cuDNN、Python，甚至你的NVIDIA显卡驱动，这些组件之间存在着严格的版本依赖链。盲目安装最新版往往是失败的开始。我们的目标是构建一个稳定、可复现的开发环境。

1.1 确定显卡驱动与CUDA支持版本

一切始于你的显卡。首先，打开命令提示符（CMD）或PowerShell，输入以下命令查看你的显卡驱动信息和支持的最高CUDA版本：

nvidia-smi

你会看到类似下面的输出：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 551.86    Driver Version: 551.86    CUDA Version: 12.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce RTX 4060  WDDM  | 00000000:01:00.0  On |                  N/A |
| N/A   45C    P8    10W /  115W |    0MiB /  8192MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

这里的关键信息是 CUDA Version: 12.4。这不代表你已安装CUDA 12.4，而是指你的显卡驱动最高支持CUDA 12.4的运行时。这意味着你安装的CUDA Toolkit版本不能高于这个数字（例如12.5），但可以安装等于或低于它的版本（如12.4、12.3、11.8等）。

注意：如果你的nvidia-smi没有输出或报错，说明NVIDIA显卡驱动未正确安装。请务必先去NVIDIA官网下载并安装适合你显卡的最新Game Ready或Studio驱动。

1.2 制定版本兼容性矩阵

基于当前（撰写本文时）的稳定性和社区支持度，我推荐一套经过验证的版本组合。这套组合在Python 3.8上拥有良好的兼容性，能避开许多已知的坑。

组件	推荐版本	说明与选择依据
Python	3.8.x	TensorRT对Python 3.8支持非常成熟，许多历史项目基于此版本。
CUDA Toolkit	11.8	这是一个长期支持版本，在稳定性和功能支持上取得了很好的平衡。它向下兼容性广，是TensorRT 8.x系列的黄金搭档。
cuDNN	8.9.7 (for CUDA 11.x)	必须与CUDA版本严格匹配。选择CUDA 11.8对应的最新cuDNN版本。
TensorRT	8.6.1.6	选择与CUDA 11.8兼容的TensorRT 8.6 GA版本。8.x系列是主流稳定版，生态完善。
NVIDIA 驱动	>= 545.xx	确保驱动版本足够新，以支持CUDA 11.8。通常安装最新驱动即可。

为什么是CUDA 11.8而不是更新的12.x？原因有几个：首先，CUDA 11.8的生态极其稳定，PyTorch、TensorFlow等主流框架对其支持度最高；其次，许多生产环境中的模型和代码库仍基于CUDA 11.x构建；最后，在Windows上，CUDA 11.8的安装和问题排查资料最丰富。当然，如果你确定你的项目需要CUDA 12.x的特性，也可以选择对应的TensorRT版本，但本文的步骤逻辑完全通用。

1.3 安装与配置Anaconda

如果你还没有Anaconda，去官网下载并安装最新版即可。安装时记得勾选“Add Anaconda to my PATH environment variable”，这样可以在任意终端使用conda命令。

安装完成后，我们首先创建一个专用于TensorRT的虚拟环境。打开 Anaconda Prompt (以管理员身份运行)，这很重要，因为后续某些操作可能需要管理员权限。

# 创建一个名为 tensorrt_env 的新环境，并指定Python版本为3.8
conda create -n tensorrt_env python=3.8

# 激活这个环境
conda activate tensorrt_env

创建环境后，建议先升级一下pip和setuptools，避免后续安装wheel包时出现版本问题。

python -m pip install --upgrade pip setuptools wheel

2. 安装CUDA Toolkit与cuDNN

这是整个流程中最需要细心的一环。我们将采用“系统级安装CUDA + 环境级配置cuDNN”的策略，既保证系统兼容性，又利用Anaconda环境管理cuDNN的灵活性。

2.1 下载与安装CUDA Toolkit 11.8

访问存档页面：打开 NVIDIA CUDA Toolkit Archive。
选择版本：找到并点击 CUDA Toolkit 11.8.0。
选择平台：在版本选择页面，按以下配置选择：
- Operating System: Windows
- Architecture: x86_64
- Version: Windows 10 (或 Windows 11，选择10通常兼容性更好)
- Installer Type: exe (local)
下载与安装：下载体积较大的“Base Installer”。运行下载的exe文件。
- 安装时，选择“自定义”安装。
- 在组件选择页面，务必取消勾选“Visual Studio Integration”（除非你确定需要且已安装对应版本的VS）。我们只需要核心的CUDA Toolkit。
- 其他组件保持默认即可。记住你的安装路径，默认是 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8。

安装完成后，验证CUDA是否安装成功。重新打开一个新的Anaconda Prompt（让环境变量生效），输入：

nvcc -V

你应该能看到类似 Cuda compilation tools, release 11.8, V11.8.89 的输出。同时，检查系统环境变量，应该自动添加了 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin 和 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\libnvvp。

2.2 下载与配置cuDNN 8.9.7

cuDNN不是安装程序，而是一个库文件包，需要手动放置到CUDA的目录中。

下载cuDNN：访问 NVIDIA cuDNN Archive。你需要注册一个免费的NVIDIA开发者账号。登录后，找到 Download cuDNN v8.9.7 (November 14th, 2023), for CUDA 11.x。
选择文件：下载 Local Installer for Windows (Zip)，即 cudnn-windows-x86_64-8.9.7.29_cuda11-archive.zip。
解压与复制：将zip文件解压，你会看到 bin, include, lib 三个文件夹。
合并到CUDA目录：打开CUDA的安装目录（例如 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8）。将解压出的三个文件夹内的所有内容，分别复制到CUDA目录下对应的 bin, include, lib\x64 文件夹中。如果提示文件已存在，选择替换即可。

关键提示：这里操作的是系统CUDA目录，而不是Anaconda环境。cuDNN是CUDA的深度神经网络加速库，必须放在CUDA能找到的位置。

2.3 在Conda环境中安装cudatoolkit（可选但推荐）

虽然我们在系统层面安装了完整的CUDA，但为了确保虚拟环境内的工具链一致性，最好也在conda环境中安装对应版本的cudatoolkit。这能保证nvcc等编译工具在环境内可用。

# 确保你已在 tensorrt_env 环境中
conda activate tensorrt_env

# 安装cuda 11.8对应的cudatoolkit
conda install cudatoolkit=11.8 -c nvidia

这个cudatoolkit包是NVIDIA官方维护的conda包，它包含了CUDA的核心运行时和开发工具，但不会与系统安装的CUDA冲突，而是提供了一个环境内自洽的工具链。

3. 安装与配置TensorRT

TensorRT的安装包是一个ZIP压缩包，包含了库文件、头文件、Python wheel包和示例。

3.1 下载TensorRT

访问 NVIDIA TensorRT下载页面。同样需要登录开发者账号。
在“Select Target Platform”中，勾选“Agree To the Terms of the License Agreement”。
选择与你的CUDA版本匹配的TensorRT版本。根据我们的规划，选择 TensorRT 8.6 GA for Windows 10 and CUDA 11.8, 11.9 ZIP Package。
下载ZIP文件，例如 TensorRT-8.6.1.6.Windows10.x86_64.cuda-11.8.zip。

3.2 解压与设置环境变量

解压：将下载的ZIP文件解压到一个你喜欢的路径，例如 D:\Development\TensorRT-8.6.1.6。我们称这个路径为 %TRT_HOME%。
添加系统环境变量（这是关键步骤）：
- 右键点击“此电脑” -> “属性” -> “高级系统设置” -> “环境变量”。
- 在“系统变量”部分，找到并选中 Path，点击“编辑”。
- 点击“新建”，添加TensorRT的 lib 目录路径：D:\Development\TensorRT-8.6.1.6\lib。
- （可选但推荐）再新建一个系统变量 TENSORRT_PATH，值为TensorRT的根目录：D:\Development\TensorRT-8.6.1.6。这有助于某些构建系统自动查找。

为什么必须添加lib到Path？ TensorRT的动态链接库（DLL文件）位于lib文件夹。当Python导入tensorrt模块时，需要从系统路径中找到这些DLL。将其加入Path是Windows系统下让程序找到依赖库的标准做法。

3.3 在Conda环境中安装TensorRT Python包

现在，我们进入虚拟环境，安装TensorRT的Python接口。

打开Anaconda Prompt，激活你的 tensorrt_env 环境。
导航到TensorRT解压目录下的 python 子目录。你会看到多个 .whl 文件，文件名中包含了Python版本和CUDA版本信息。

# 激活环境
conda activate tensorrt_env

# 切换到TensorRT的python目录（请替换为你的实际路径）
cd D:\Development\TensorRT-8.6.1.6\python

安装对应Python 3.8的wheel包。文件名通常类似 tensorrt-8.6.1.6-cp38-none-win_amd64.whl。

# 使用pip安装，注意文件名可能略有不同，请用Tab键自动补全
pip install tensorrt-8.6.1.6-cp38-none-win_amd64.whl

如果安装成功，你会看到 Successfully installed tensorrt-8.6.1.6 等信息。

（可选）安装辅助包：TensorRT目录下还有 graphsurgeon 和 onnx_graphsurgeon 等目录，里面也有对应的 .whl 文件。这些工具用于模型图操作和ONNX模型处理，如果你后续需要用到相关功能，可以一并安装。

# 安装 onnx_graphsurgeon
pip install .\onnx_graphsurgeon\onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl

# 安装 uff 和 graphsurgeon (如果你需要处理TensorFlow模型)
# pip install .\graphsurgeon\graphsurgeon-0.4.6-py2.py3-none-any.whl
# pip install .\uff\uff-0.6.9-py2.py3-none-any.whl

4. 环境验证与实战测试

安装完成不代表万事大吉，我们必须进行严格的验证，确保所有组件能协同工作。

4.1 基础验证：Python导入与版本检查

在Anaconda Prompt中，启动Python交互环境：

# 激活环境后，直接输入python进入交互模式
python

# 在Python交互环境中执行
>>> import tensorrt as trt
>>> print(trt.__version__)  # 应该输出 8.6.1.6
>>> print(trt.Builder(trt.Logger())) # 创建Builder对象，无报错即说明基础库加载成功
< tensorrt.tensorrt.Builder object at 0x... >

如果这一步出现 ImportError: DLL load failed 之类的错误，几乎可以肯定是环境变量 Path 中TensorRT的 lib 路径没有设置正确，或者没有重启终端。请务必在修改系统环境变量后，关闭所有Anaconda Prompt窗口再重新打开。

4.2 进阶验证：运行官方示例

TensorRT自带了许多优秀的示例程序，位于解压目录的 samples 文件夹中。运行一个示例是检验环境是否完全健康的终极手段。我们以经典的 sampleOnnxMNIST 为例。

这个示例需要先准备一个ONNX模型。TensorRT提供了脚本来生成它。

生成ONNX模型：

# 在Anaconda Prompt中，切换到TensorRT的samples/python目录
cd D:\Development\TensorRT-8.6.1.6\samples\python

# 运行生成MNIST ONNX模型的脚本
python download_pgms.py

这会在当前目录下载一些PGM格式的MNIST图片，并生成 mnist.onnx 模型文件。

运行示例：
```
# 运行ONNX MNIST示例
python sampleOnnxMNIST.py
```
如果一切正常，你会看到大量的日志输出，最后显示模型构建成功，并对测试图片进行了推理，输出预测的数字（0-9）。这个过程可能会花一点时间，因为TensorRT在构建优化引擎。

可能遇到的问题与解决思路：

ModuleNotFoundError: No module named 'onnx'：你需要安装 onnx 包。pip install onnx 即可。
找不到指定模块 或 CUDA initialization failure：这通常是CUDA或cuDNN的路径问题。请再次确认：
- 系统Path中包含了CUDA的bin目录和TensorRT的lib目录。
- cuDNN文件已正确复制到CUDA目录。
- 尝试重启电脑，让所有环境变量彻底生效。
示例运行缓慢或卡住：第一次运行需要构建优化引擎（Builder阶段），这是正常的。后续运行会直接加载序列化后的引擎文件，速度会快很多。

4.3 集成验证：与PyTorch协同工作

在实际项目中，TensorRT常用来加速PyTorch训练好的模型。我们可以在同一个conda环境中安装PyTorch，并测试简单的模型转换流程。

# 在 tensorrt_env 环境中，安装PyTorch（CUDA 11.8版本）
# 访问 https://pytorch.org/get-started/locally/ 获取最新命令，以下命令可能随时间变化
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

安装完成后，可以写一个简单的脚本，将PyTorch模型转为ONNX，再用TensorRT进行推理。这超出了基础环境搭建的范围，但却是验证环境“实战能力”的好方法。一个极简的验证脚本如下：

import torch
import torch.onnx
import tensorrt as trt
import numpy as np

# 1. 创建一个简单的PyTorch模型并导出ONNX
class SimpleModel(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.linear = torch.nn.Linear(10, 5)
    def forward(self, x):
        return self.linear(x)

model = SimpleModel().eval()
dummy_input = torch.randn(1, 10)
torch.onnx.export(model, dummy_input, "simple_model.onnx", input_names=["input"], output_names=["output"])

print("PyTorch模型已导出为ONNX。")

# 2. 使用TensorRT构建引擎（简化版，实际应用需处理更多细节）
TRT_LOGGER = trt.Logger(trt.Logger.WARNING)
with trt.Builder(TRT_LOGGER) as builder, builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) as network, trt.OnnxParser(network, TRT_LOGGER) as parser:
    builder.max_workspace_size = 1 << 30  # 1GB
    with open("simple_model.onnx", "rb") as f:
        if not parser.parse(f.read()):
            for error in range(parser.num_errors):
                print(parser.get_error(error))
        else:
            print("ONNX模型解析成功！")
            # 这里可以继续构建和序列化引擎
            # engine = builder.build_cuda_engine(network)
            print("TensorRT引擎构建流程验证通过。")

运行这个脚本，如果没有报错并看到成功提示，说明你的PyTorch + ONNX + TensorRT 链路基本打通了。

5. 环境管理、问题排查与最佳实践

恭喜你！至此，一个功能完整的TensorRT开发环境已经搭建成功。但在长期使用中，维护好这个环境同样重要。

5.1 环境隔离与复用

Anaconda环境的核心价值在于隔离。你的 tensorrt_env 现在是一个宝贵的资产。你可以通过以下命令将其导出为 environment.yml 文件，方便在其他机器上复现或分享。

conda activate tensorrt_env
conda env export > tensorrt_env.yml

这个YAML文件记录了所有通过conda安装的包及其精确版本。对于通过pip安装的TensorRT wheel包，需要在文件末尾手动添加 - pip: 部分，或者单独记录pip安装命令。

5.2 常见问题速查表

这里汇总了搭建过程中可能遇到的典型问题及其解决方案：

问题现象	可能原因	解决方案
`ImportError: DLL load failed`	1. TensorRT `lib` 目录未加入系统`Path`。 2. CUDA `bin` 目录未在`Path`中。 3. cuDNN文件未正确放置。	1. 检查并添加环境变量。 2. 重启所有终端。 3. 核对cuDNN文件是否在CUDA目录下。
`nvcc -V` 命令不识别	CUDA安装后环境变量未生效。	关闭并重新打开终端，或重启电脑。
TensorRT示例运行时找不到 `cudnn64_8.dll`	cuDNN的DLL文件没有被系统找到。	确保已将cuDNN的 `bin` 目录内容复制到CUDA的 `bin` 目录，并且该目录在`Path`中。
`pip install` wheel包时提示Python版本不匹配	下载的TensorRT wheel包与当前Python版本不符。	检查 `python` 目录下的 `.whl` 文件名，`cp38` 对应Python 3.8。确保安装了正确的包。
运行示例或自己代码时出现 `OutOfMemory`	GPU显存不足。	减小构建引擎时的 `max_workspace_size`，或使用更小的批次大小（batch size）。