当前位置: 代码迷 >> 综合 >> Jetson Nano开发深度学习实践(三):《基于NVIDIA jetson平台的人工智能实例开发入门》在jetson_nano开发中可能会遇到的问题3:使用TensorRT进行推理加速
  详细解决方案

Jetson Nano开发深度学习实践(三):《基于NVIDIA jetson平台的人工智能实例开发入门》在jetson_nano开发中可能会遇到的问题3:使用TensorRT进行推理加速

热度:58   发布时间:2023-11-21 09:34:00.0

写在前面

        老实说,这是我最喜欢的一部分了,最近沉迷于寻找各种用于不同阶段的加速工具,jetson平台的TensorRT属于“推理阶段加速”,也是比较实用的一种加速,之后找个时间我会专门写一节总结,介绍各种加速工具给你,这里就不多说了。

        这本书中关于使用TensorRT的部分比较坑,有很多东西我没有顺利安装。这里总结一下我最后成功方法。

 

安装pycuda

        这部分我完全没有按照书中的方法进行安装

1 安装 gcc4.3

sudo apt-get install build-essential gcc-4.3 g++-4.3
cd /usr/bin
sudo ln -sf gcc-4.3 gcc

2 安装libboost

sudo apt-get install libboost-all-dev

3 需要安装特定版本的numpy

pip install -U numpy==1.14.0 -i https://pypi.doubanio.com/simple --user

4 安装依赖库

sudo apt-get install build-essential python-dev python-setuptools libboost-python-dev libboost-thread-dev -y

5 下载pycuda安装包

http://pypi.python.org/pypi/pycuda

6 开始编译pycuda

tar xzvf pycuda-VERSION.tar.gz
cd pycuda-VERSION./configure.py --cuda-root=/usr/local/cuda --cudadrv-lib-dir=/usr/lib --boost-inc-dir=/usr/include --boost-lib-dir=/usr/lib --boost-python-libname=boost_python-py27 --boost-thread-libname=boost_threadmake -j6
sudo python setup.py install
sudo pip install .

这里强调一下,在第3步中需要安装特定版本的numpy,需要根据你安装的pycuda版本而定,它们之间有匹配关系。2020,03,02  我安装的pycuda版本为,相应匹配的numpy版本为1.14.0。版本不匹配的报错信息为:

RuntimeError: module compiled against API version 0xc but this version of numpy is 0xb
Traceback (most recent call last):
  File "TRTNet.py", line 3, in <module>
    import pycuda.driver as cuda
  File "/usr/local/lib/python2.7/dist-packages/pycuda-2019.1.2-py2.7-linux-aarch64.egg/pycuda/driver.py", line 62, in <module>
    from pycuda._driver import *  # noqa
ImportError: numpy.core.multiarray failed to import

其实很容易发现就是numpy版本的问题,至于如何知道numpy的哪个版本匹配,非常不好意思,我是试出来的,不过一般是降numpy的版本,试验也很快的。

还有一点需要强调,pycuda在编译的时候就已经使用了numpy,所以你的这次试验如果不成功,你需要删除所有pycuda解压后的文件夹重新解压缩编译。

  相关解决方案