1.trtexec

trtexec是官方提供的命令行工具#xff0c;主要用于一下三个方面

本文介绍trtexec工具的使用trtexec可以实现onnx模型导出trt模型、耗时分析和模型优化分析等功能本节将对

1.trtexec

记录每个tensor的最小最大值、运行时间等,可以用来分析量化效果。

--dumpLayerInfo,

参考官方文档https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#trtexec

运行阶段常用参数

更多高级用法参考官方文档https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#trtexec

案例0固定batchsize

输出固定batchsize的engine文件这里需要注意batchsize的状态需要与ONNX匹配因此在生成onnx时需要设置好。

trtexec

--saveEngineresnet50_bs_1.engine

案例1:

--saveEngineresnet50_bs_dynamic_1-32-64.engine

--timingCacheFiledynamic-1-32-64.c

ache

通过下表可知fp32时大batchsize带来吞吐量增加不明显因此可考虑时延的平衡选择batchsize8。

案例2fp32、fp16、int8

运行配套代码中的run.bat/run.sh可以查看log观察吞吐量、时延的变化。

如下图所示吞吐量方面

fp16相较于fp32有约2~3倍提升int8相较于fp16约2倍提升

相同精度时吞吐量随batchsize增加但在32后增速不明显。

int8随着batchsize增速潜力更大。

时延方面

--exportLayerInfo可以输出各层详细信息以及融合情况还有输入输出张量的名字

Bindings

在exportLayerInfo.log文件中可以看到如下信息主要包括

CopyNode

Bindings包括输入输出张量的名称这个在onnx导出时设定的在下游python推理代码中也会用到。

{Layers:

打开verbose开关后trtexec将输出详细内容包括以下六大模块

导入模型情况模型格式、名称

网络层实现方式选择几千行打印每个网络层选择的kernel的过程挑选耗时最低的方法

trtexec

补充一个4060的显卡信息可以看到SMs是少于3060的这个与基本厂商的刀法有关。

虽然是4060的设备但是计算

性能比不上3060设备。

因为里边的核心——SMs是少于3060的30个SM的。

“SMs”

“Streaming

Laptop官方显示有3072个CUDA核心对应24个SM即一个SM有128个CUDA核心。

对于RTX

Laptop官方显示有3840个CUDA核心对应30个SM也是符合一个SM有128个CUDA核心的。

4060不仅流处理器少带宽也低128