工欲善其事,必先利其器
查看本机适配的CUDA 版本
要想安装TensorRT必须要先安装CUDA和cudnn,那么首先需要去查看自己电脑的英伟达驱动程序程序,位置如下:
NVIDIA控制面板->帮助->组件,如下图所示本机适配CUDA版本为11.6
下载CUDA安装包
进入CUDA 安装包的下载地址如下:
CUDA Toolkit 11.6 Downloads | NVIDIA Developer
按照机器适配版本,下载好安装包;如果没有帐户,需要先进行注册
下载cuDNN安装包
进入英伟达官方网站,选择和自己适配的cuDNN版本,地址如下:
cuDNN Download | NVIDIA Developer
如果没有帐户,需要先进行注册
下载TensorRT安装包
进入英伟达官网,选择和自己机器适配的TensorRT,地址如下:
NVIDIA TensorRT 8.x Download | NVIDIA Developer
流程化安装软件包
(1)安装CUDA
双击exe文件解压
NVIDIA安装->仅需一路点击确下一步然后结束
安装成功的标志:
(2)安装cuDNN
解压与拷贝
因cuDNN属于是CUDA的一个补丁包,因此不要安装,仅需要将上述三个bin\include\lib文件夹中的相关文件拷贝到CUDA安装位置的bin,include,lib\x64文件夹中。
本电脑默认CUDA路径为:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6
验证
分别运行如下两个命令,若均为pass验证通过,则表示安装成功。
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\extras\demo_suite>bandwidthTest.exe
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\extras\demo_suite>deviceQuery.exe
(3)安装TensorRT
解压安装包后得到如下所示图:
安装TensorRT文件夹中的.whl文件*
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\python\tensorrt-8.4.1.5-cp38-none-win_amd64.whl
其中cp38是依据环境使用的python版本获取的
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\graphsurgeon\graphsurgeon-0.4.6-py2.py3-none-any.whl
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\onnx_graphsurgeon\onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\uff\uff-0.6.9-py2.py3-none-any.whl
安装完成相应的库以后,需要注意将TensorRT-8.4.1.5文件夹下的lib\include中的文件进行如下拷贝工作,防止在运行tensorrt时候无法找到相对应的Nvinfer.dll
-
TensorRT-8.4.1.5中include文件夹下所有文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\include
-
TensorRT-8.4.1.5中lib文件夹下所有lib文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib\x64
-
TensorRT-8.4.1.5中lib文件夹下所有dll文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin
(4)验证TensorRT是否安装成功
查看trt的版本
运行TensortRT文件夹下的sample.py
如果遇到错误:
解决方法:
去英伟达官网找到对应的zlibwapi.dll(依据电脑版本下载X64、X86版本的)文件,地址如下:zlibwapi,并将该dll拷贝到C:\Windows\System32文件夹下
至此,windows安装TensorRT的过程就结束了。