文章目录1

致谢原文来自于地平线开发者社区未来会持续发布深度学习、板端部署的相关优质文章与视频如果文章对您有帮助麻烦给点个赞如果您有兴趣一起学习欢迎点个关注寻找永不遗憾(CSDN用户名)

背景介绍

使用深度学习开源框架Pytorch训练完网络模型后在部署之前通常需要进行格式转换地平线工具链模型转换目前支持Caffe1.0和ONNX(opset_version10/11

Neural

Exchange)格式是一种常用的开源神经网络格式被较多推理引擎支持例如Pytorch、PaddlePaddle、TensorFlow等。

本文将详细介绍如何将PaddlePaddle格式的模型导出到ONNX格式。

实验环境

Python库Versionpaddlepaddle2.4.1paddle2onnx1.0.5onnx1.13.0onnxruntime1.14.0

paddle.onnx.export函数可以将PaddlePaddle模型导出为ONNX模型函数介绍如下其中x_spec用于配置paddle.onnx.export的input_spec参数。

x_spec

paddle.static.InputSpec(shapeNone,

dtypefloat32,

网络输入节点名称paddle.onnx.export(layer,

path,

默认为9请手动配置10或11关于paddle.onnx.export的更多详细介绍可以查阅PaddlePaddle的API文档

https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/onnx/export_cn.html

代码实操

以下代码展示了搭建一个简单分类模型并以PaddlePaddle和ONNX格式保存的过程。

import

self).__init__()self.num_classes

nn.Sequential(nn.Conv2D(in_channels1,

stride1,

padding1),nn.ReLU())self.linear

num_classes))def

#将模型以PaddlePaddle的格式保存以验证和ONNX模型推理的一致性

path./pd_model/pdmodel,input_spec[x_spec])

#将模型导出为ONNX格式保存

path./model,input_spec[x_spec],

opset_version11)4.2

可以用以下代码验证ONNX模型的正确性会检查模型的版本图的结构节点及输入输出。

若输出为

Check:

onnx.checker.check_model(onnx_model)

print(Check:

可以使用以下代码检查导出的ONNX模型和原始的PaddlePaddle模型是否有相同的计算结果。

import

onnxruntime.InferenceSession(./model.onnx)

ort_inputs

{ort_sess.get_inputs()[0].name:

input1}

paddle.jit.load(./pd_model/pdmodel)

model.eval()

model(paddle_input)print(ort_outs[0])

np.testing.assert_allclose(tf_outs.numpy(),

ort_outs[0],

若您的模型存在多输入则可参考下方代码保存成PaddlePaddle和ONNX格式。

ONNX的正确性验证和PaddlePaddle与ONNX的一致性检查不再赘述仿照上述代码编写即可。

import

self).__init__()self.num_classes

nn.Sequential(nn.Conv2D(in_channels1,

stride1,

padding1),nn.ReLU())self.features_2

nn.Sequential(nn.Conv2D(in_channels1,

stride1,

padding1),nn.ReLU())self.linear

num_classes))def

path./pd_model/pdmodel,input_spec[x_spec,

y_spec])

导出成ONNX模型后可以使用开源可视化工具Netron来查看网络结构及相关配置信息。

Netron的使用方式主要分为两种一种是使用在线网页版

https://netron.app/

https://github.com/lutzroeder/netron

opset_version10/11

ir_version≤7当拿到的ONNX模型不满足这两个要求时可以修改代码重新导出或者尝试编写脚本直接修改ONNX模型的对应属性第二种方式的示例代码如下

import

./model_version.onnx)**注意**高版本向低版本切换时可能会出现问题这里只是一种可尝试的解决方案。

调整结束后使用Netron可视化model_version.onnx如下图所示

此时ONNX模型的ir_version6opset_version10满足地平线工具链的转换条件。

原文来自于地平线开发者社区未来会持续发布深度学习、板端部署的相关优质文章与视频如果文章对您有帮助麻烦给点个赞如果您有兴趣一起学习欢迎点个关注寻找永不遗憾(CSDN用户名)