Skip to content

環境設定

Torch2trt

torch2trtは、PyTorchからTensorRTに変換するコンバーターです。まず、Touch2rtrのインストールします。

1
2
3
git clone https://github.com/NVIDIA-AI-IOT/torch2trt
cd torch2trt
sudo python3 setup.py install

torch2trtに対応したPyTotchにUpdateします。

1
2
wget https://nvidia.box.com/shared/static/06vlvedmqpqstu1dym49fo7aapgfyyu9.whl -O torch-1.2.0a0+8554416-cp36-cp36m-linux_aarch64.whl
sudo pip3 install numpy torch-1.2.0a0+8554416-cp36-cp36m-linux_aarch64.whl

推論のスピードアップ

FPSの単位で、JetBotのサンプルも下記程度の速度アップが可能です。

Model Nano (PyTorch) Nano (TensorRT) Xavier (PyTorch) Xavier (TensorRT)
alexnet 46.4 69.9 250 580
resnet18 29.4 90.2 140 712