前言

概述

本文档介绍如何在HiSpark系列MCU上,基于MindSpore Lite Enterprise Micro v106版本,实现第三方开源框架(如TFLite、ONNX等)网络模型的轻量化部署与推理任务。Converter_lite是MindSpore Lite Enterprise Micro的转换工具,基于一系列内存/算子优化技术,生成适配HiSpark MCU上可执行的Micro模块代码。基于Converter_lite,在服务器端能够将模型转换为可在x86 / RISCV/ARM平台(x86部署可以为板端调试提供精度标杆)上部署的Micro工程代码,从而脱离在线解析模型和图编译,具有运行时内存小、代码轻量化等特点。

通过本文档,您将能够实现以下目标:

  • 了解不同开源框架网络模型离线转换Micro工程代码的方法。

  • 能够基于本文档的参数配置,转成量化或非量化的Micro工程代码。

  • 能够基于Micro工程代码在x86/RISCV/ARM平台侧(x86部署可以为板端调试提供精度标杆)做部署推理。

掌握以下经验和技能可以更好理解本文档:

  • 熟悉Linux基本命令。

  • 对机器学习、人工智能有一定的了解。

  • 有一定的C++工程开发经验。

读者对象

本文档适用于使用MindSpore Lite Enterprise Micro v106工具进行AI模型端侧部署的人员,本文档适用于以下工程师:

  • 技术支持工程师

  • 软件工程师

  • 硬件工程师

符号约定

在本文中可能出现下列标志,它们所代表的含义如下。

符号

说明

表示如不避免则将会导致死亡或严重伤害的具有高等级风险的危害。

表示如不避免则可能导致死亡或严重伤害的具有中等级风险的危害。

表示如不避免则可能导致轻微或中度伤害的具有低等级风险的危害。

用于传递设备或环境安全警示信息。如不避免则可能会导致设备损坏、数据丢失、设备性能降低或其它不可预知的结果。

“须知”不涉及人身伤害。

对正文中重点信息的补充说明。

“说明”不是安全警示信息,不涉及人身、设备及环境伤害信息。

修改记录

文档版本

发布日期

修改说明

07

2026-08-30

新增Onnx/TFLite算子规格:
新增“ConvTranspose、TransposeConv”。
新增“BitShift、Tan、ReduceSumSquare、RNN”。
新增“Conv3D、Conv3D”。
新增“GatherND、GatherNd”。
新增“Scatter、ScatterElements、ScatterND、ScatterND”。
新增“QLinearMatMul、QLinearConv、Selu”。
新增“Constant、ConstantOfShape”。
新增“Max、Maximum、Min、Minimum、Sum、ReduceProd、ReduceProd”。
新增“OneHot、OneHot、Unique、Unique、Where、ConvInteger、GatherNd”。
新增“LogSoftmax、LogSoftmax、Hardmax、Softsign、Softplus、ThresholdedRelu”。

06

2026-07-30

新增Onnx/TFLite算子规格:
新增“Erf、HardSigmoid、Celu”。
新增"Shape、Shape"。
新增"MatMulInteger"。
新增"TopK、TopK"。
新增"Gelu、Gelu、Trilu、Pack、Unpack"。
新增"Fill、Neg、Pow、Neg、Pow"。
新增"Select、SelectV2、ReverseV2、Mod、ReduceL1、ReduceL2"。
新增训练特性:
在“开源框架的TFLite/ONNX模型转换为Micro工程”中更新QAS INT8量化训练配置、FP32训练配置。
在“参数说明”中更新训练参数,新增MSE loss和Adam优化器参数。
新增QAS INT8和FP32训练支持规格。

05

2026-07-03

更新“设置环境变量、限制与约束”。
在“开源框架的TFLite/ONNX模型转换为Micro工程”中更新5。
新增“ARM平台编译部署”小节。
在“输入选项”中更新表1。
更新“算子规格参考”。
新增“专题”章节。

04

2026-06-01

新增Onnx/TFLite算子规格:
更新“PRelu、PRelu、CumSum、ReverseSequence、CumSum、ReverseSequence、Einsum”。
更新“Relu6、LeakyRelu、HardSwish、LeakyRelu、HardSwish、Swish”。
更新“LogicalAnd、Equal、GreaterEqual、Greater、LessEqual、Less、NotEqual、LogicalNot、LogicalOr、And 、GreaterOrEqual、Greater、LessOrEqual、Less、Not、Or、Xor”。
更新“Dropout Identity GatherElements ReduceLogSum ReduceLogSumExp Expand Elu Elu”。
更新“DepthToSpace SpaceToDepth GRU DepthToSpace SpaceToDepth”。

03

2026-03-24

新增Onnx/TFLite算子规格:
更新“ArgMax、ArgMin、ArgMax、ArgMin”。
更新“Div、Clip、Cast、Div、Cast”。
更新“ReduceMax、ReduceMin、ReduceSum、ReduceMean、ReduceMax、Sum、Mean”。
更新“Quantize、Dequantize”。
更新“Conv优化”。

02

2025-12-18

新增Onnx/TFLite算子规格:
更新“Squeeze、Unsqueeze、Flatten、Squeeze、ExpandDims、Slice Slice”。
更新“Abs、Ceil、Cos、Exp、Floor、Log、Round、Sin、Sqrt、Abs、Ceil、Cos、Exp、Floor、Log、Round、Rsqrt、Sin、Sqrt、Square”。
更新“BatchNormalization、LayerNormalization、LpNormalization、L2Normalization”
更新“GlobalMaxPool、GlobalAveragePool”。
更新“DepthwiseConv2D、Transpose、Transpose”。

01

2025-10-30

第一次正式版本发布。

Converter_lite工具使用环境搭建

获取converter_lite转换工具

工具包获取:converter_lite工具位于发布包的“mindspore-enterprise-lite-{version}-linux-x64/tools/converter/converter/converter_lite”路径下,其中“version”为软件版本号。

本文档以converter_lite转换工具的使用为例进行说明。

设置环境变量

使用export方式设置环境变量后,环境变量仅在当前窗口有效。如果用户之前已在.bashrc文件中设置过环境变量,则需要在执行上述命令前,先手动删除原来设置的环境变量。

须知:

  • converter_lite工具包依赖GLIBCXX 3.4.29 / GLIBC 2.34及以上版本(GCC 11.1起,Ubuntu 22.04默认的libstdc++6 12.3.0与glibc 2.35已满足,无需额外安装)。

  • “必选环境变量”中步骤必须按顺序执行,否则可能导致converter_lite工具无法链接到动态库。

必选环境变量

  1. 设置converter_lite工具动态库链接。

    export LD_LIBRARY_PATH=mindspore-enterprise-lite-{version}-linux-x64安装目录/tools/converter/lib:$LD_LIBRARY_PATH
    

可选环境变量

若需要在RISCV平台进行部署推理,只需配置RISCV交叉编译链路径。

设置RISCV交叉编译工具链:

export HISPARK_RISCV_TOOLCHAIN_PATH=${sdk_install_path}/tools/bin/compiler/riscv/cc_riscv32_musl_105/

若需要在ARM平台进行部署推理,只需配置ARM交叉编译链路径。

设置ARM交叉编译工具链:

export HISPARK_ARM_TOOLCHAIN_PATH=${arm_compiler_path}/gcc-arm-v01c01-linux-musleabi/arm-v01c01-linux-musleabi-gcc/

限制与约束

关于工具链版本的约束要求,如表1所示。

表 1 工具链版本约束

工具链名称

工具链版本

libstdc++

GLIBCXX 3.4.29 及以上(GCC 11.1 起)

CMake

3.18 及以上

riscv32-linux-musl-gcc

(build ver100.090 2023-05-17) 7.3.0

riscv32-linux-musl-g++

(build ver100.090 2023-05-17) 7.3.0

arm-linux-musleabi-gcc

(musl-1.2.3 linux-5.10 V12CS61.003.020 2024-01-16 12:00:00) 10.3.0

arm-linux-musleabi-g++

(musl-1.2.3 linux-5.10 V12CS61.003.020 2024-01-16 12:00:00) 10.3.0

Ubuntu

22.04 及以上

快速入门

本章节以TFLite与ONNX框架的MNIST模型转换为例,演示如何快速转换生成Micro工程推理代码。

开源框架的TFLite/ONNX模型转换为Micro工程

  1. 获取开源框架MNIST网络模型。

    • TFLite模型:从链接中获取MNIST网络的模型文件:mnist网络模型,下载后解压得到mnist.tflite、mnist.tflite.ms.bin(MNIST输入数据)、mnist.tflite.ms.out(标杆输出数据,可用于精度对比)。该模型为已经训练完成的MNIST分类模型,为TFLite模型,将mnist.tflite模型拷贝到开发环境任意目录,例如上传到“$HOME/module/”目录下。

    • ONNX模型:从链接中获取mnist网络的模型文件:mnist网络模型,下载解压得到mnist-7.onnx,该模型为已经训练完成的MNIST分类模型,为ONNX模型,将mnist-7.onnx模型拷贝到开发环境任意目录,例如上传到“$HOME/module/”目录下。

  2. 获取converter_lite的压缩包,并进行解压。

    tar -xvf mindspore-enterprise-lite-{version}-linux-x64.tar.gz
    
  3. 将转换工具运行时所需的动态链接库添加到环境变量LD_LIBRARY_PATH中。

    export LD_LIBRARY_PATH=mindspore-enterprise-lite-{version}-linux-x64/tools/converter/lib:${LD_LIBRARY_PATH}
    
  4. 进入转换目录。

    cd mindspore-enterprise-lite-{version}-linux-x64安装目录/tools/converter/converter
    
  5. 设置Micro配置项。

    场景一:以RISCV平台部署为例,将原模型直接转换为Micro工程目录。

    #控制micro配置项
    [micro_param]
    # 支持code-gen生成Micro工程代码
    enable_micro=true
    # 支持x86,RISCV,ARM32平台
    target=RISCV
    # 配置是否并行推理,当前仅支持单线程推理
    support_parallel=false
    

    场景二:以RISCV平台部署为例,将FP32原模型转换为int8量化Micro工程目录,具体参数请参见“参数说明”章节。

    #控制micro配置项
    [micro_param]
    # 支持code-gen生成Micro工程代码
    enable_micro=true
    # 支持x86,RISCV平台
    target=RISCV
    # 配置是否并行推理,当前仅支持单线程推理
    support_parallel=false
    #控制通用量化参数配置项
    [common_quant_param]
    # 当前仅支持全量化方式
    quant_type=FULL_QUANT
    # 全量化仅支持8bit量化
    bit_num=8
    # 配置校准数据集参数
    [data_preprocess_param]
    #关于calibrate_path解释为前半部分是网络的输入名称,后半部分是输入存放路径,详细设置请参见“5-参数说明”章节
    calibrate_path=input:${HOME}/module/dataset/quant_data
    #数据集大小,这里必须与calibrate_path目录下的数据集大小对应,请参见“5-参数说明”章节
    calibrate_size=1
    #数据集格式,仅支持bin校准数据集格式,且该数据集下不允许存储非bin格式文件
    input_type=BIN
    #全量化参数配置项
    [full_quant_param]
    #激活值量化算法选择MAX_MIN,当前仅支持MAX_MIN量化算法
    activation_quant_method=MAX_MIN
    #是否开启数据集校准
    bias_correction=true
    #扩展量化算子,提升量化精度且牺牲性能可关闭
    enable_all_ops=true
    

    场景三:以RISCV平台部署为例,将原模型转换为int8量化训练Micro工程目录,具体参数请参见“参数说明”章节。

    #控制micro配置项
    [micro_param]
    # 支持code-gen生成Micro工程代码
    enable_micro=true
    # 支持x86,RISCV平台
    target=RISCV
    # 配置是否并行推理,当前仅支持单线程推理
    support_parallel=false
    #控制通用量化参数配置项
    [common_quant_param]
    # 当前仅支持全量化方式
    quant_type=FULL_QUANT
    # 全量化仅支持8bit量化
    bit_num=8
    # 配置校准数据集参数
    [data_preprocess_param]
    #关于calibrate_path解释为前半部分是网络的输入名称,后半部分是输入存放路径,详细设置请参见“5-参数说明”章节
    calibrate_path=input:${HOME}/module/dataset/quant_data
    #数据集大小,这里必须与calibrate_path目录下的数据集大小对应,请参见“5-参数说明”章节
    calibrate_size=1
    #数据集格式,仅支持bin校准数据集格式,且该数据集下不允许存储非bin格式文件
    input_type=BIN
    #全量化参数配置项
    [full_quant_param]
    #激活值量化算法选择MAX_MIN,当前仅支持MAX_MIN量化算法
    activation_quant_method=MAX_MIN
    #是否开启数据集校准
    bias_correction=true
    #扩展量化算子,提升量化精度且牺牲性能可关闭
    enable_all_ops=true
    #INT8量化训练参数配置项
    [train]
    #QAS INT8量化训练模式;配置后自动生成训练模式Micro工程
    train_mode=qas_int8
    #是否输出训练图和内存规划信息
    dump_training_graph=false
    #当前仅支持softmax_cross_entropy
    loss=softmax_cross_entropy
    #标签张量名称
    label_tensor_name=label
    #当前仅支持sgd_with_momentum
    optimizer=sgd_with_momentum
    #学习率,必须大于0
    learning_rate=0.005
    #动量,必须大于等于0
    momentum=0.9
    #当前仅支持批大小为1
    batch_size=1
    

    场景四:以RISCV平台部署为例,将FP32原模型转换为FP32训练Micro工程目录。FP32训练与量化训练使用不同的训练配置, 不需要配置量化参数和校准数据集。

    #控制micro配置项
    [micro_param]
    #支持code-gen生成Micro工程代码
    enable_micro=true
    #支持x86、RISCV平台
    target=RISCV
    #配置是否并行执行,当前仅支持单线程
    support_parallel=false
    
    #FP32端侧训练参数配置项
    [train]
    #FP32训练模式;配置后自动生成训练模式Micro工程
    train_mode=fp32
    #支持softmax_cross_entropy、mean_squared_error
    loss=softmax_cross_entropy
    #标签或目标张量名称
    label_tensor_name=label
    #支持sgd_with_momentum、adam
    optimizer=sgd_with_momentum
    #学习率,必须大于0
    learning_rate=0.005
    #仅sgd_with_momentum使用,必须大于等于0
    momentum=0.9
    #当前仅支持批大小为1
    batch_size=1
    

    使用Adam优化器时,将optimizer配置为adam,并删除momentum。Adam参数beta1、beta2和epsilon 可以省略,默认值依次为0.9、0.999和1e-8。

  6. 执行如下命令生成Micro工程代码(如下命令中使用的目录以及文件均为样例,请以实际为准)。

    1. TFLite模型converter_lite转换命令:

      #转换TFLite框架的MNIST模型生成Micro工程代码,converter_lite转换时参数请参见“5-参数说明”章节
      ./converter_lite --fmk=TFLITE --modelFile=mnist.tflite --outputFile=mnist --configFile=micro.cfg --inputDataFormat=NHWC --outputDataFormat=NHWC --inputDataType=FLOAT --outputDataType=FLOAT
      
    2. ONNX模型converter_lite转换命令:

      #转换ONNX框架的MNIST模型生成Micro工程代码,converter_lite转换时参数请参见“5-参数说明”章节
      ./converter_lite --fmk=ONNX --modelFile=mnist-7.onnx --outputFile=mnist --configFile=micro.cfg --inputDataFormat=NCHW --outputDataFormat=NCHW --inputDataType=FLOAT --outputDataType=FLOAT
      
    3. 运行成功后的结果显示为:

      CONVERT RESULT SUCCESS:0
      
  7. 若想快速体验转换后的Micro工程代码的编译与推理,请准备好环境、符合模型输入要求的*.bin输入数据以及Micro工程代码,具体操作请参见“初级功能”章节。

基础知识

工具功能架构

converter_lite工具功能架构设计如图1所示。

图 1 converter_lite工具功能架构

开源框架网络模型场景的详细流程如下:

  1. 开源框架网络模型经过Parser解析后,转换为中间态IR Graph。

  2. 中间态IR经过图拆分与图编译优化操作后,根据节点注册对应规格算子。

  3. 生成模型权重数据、头文件与C源码等Micro工程代码。

  4. 通过gcc或者RISCV交叉编译工具链生成静态库文件,并将其上传到指定平台执行推理。

工具运行流程

使用converter_lite工具将模型转成Micro工程代码的总体流程如图1所示。

图 1 converter_lite工具运行流程图

详细流程说明如下:

  1. 使用converter_lite工具之前,请先在开发环境中安装converter_lite工具包,并获取相关路径下的converter_lite工具。详细说明请参见“Converter_lite工具使用环境搭建”章节。

  2. 准备要进行转换的模型文件,并将其上传到开发环境。

  3. 设置Micro配置项,可根据需要进行量化与非量化的参数配置。

  4. 使用converter_lite工具进行模型转换,生成Micro工程代码。

  5. 编译Micro工程。

初级功能

本章节介绍如何在“基础知识”Micro工程代码的基础上进行编译部署推理。当前支持模型规格如下:

  • FP32 TFLite模型FP32 Micro推理。

  • FP32 TFLite模型INT8量化Micro推理。

  • INT8 TFLite模型INT8 Micro推理。

  • FP32 ONNX模型FP32 Micro推理。

  • FP32 ONNX模型INT8量化Micro推理。

支持推理平台为:x86_64平台(x86部署可以为板端调试提供精度标杆)与RISCV平台。

支持后端类型:CPU单核单线程。

RISCV平台编译部署

本节以FP32的mnist.onnx模型为例,介绍如何利用生成的Micro INT8量化推理代码,并在RISCV平台部署推理。

  1. converter_lite工具转换开源框架模型生成Micro工程,请参见“快速入门”章节。

    须知:

    • 在使用converter_lite转换命令时,--fmk选项必须与AI模型的开源框架对应,否则将导致转换失败。

    • micro.cfg的target必须选择RISCV,并且需要按照“开源框架的TFLite/ONNX模型转换为Micro工程”章节中的5场景二进行配置。

    • RISCV平台部署编译需要依赖海思提供的RISCV编译工具链,需下载相应的工具包。

  2. 切换到Micro工程目录。

    #切换到名为micro的Micro工程目录
    cd $HOME/micro/
    
  3. 下载并解压converter_lite工具包。

    #进入到算子库在开发环境的路径
    cd ${mindspore-enterprise-lite-{version}-linux-x64安装目录}
    #解压tar包
    tar -xvf mindspore-enterprise-lite-{version}-linux-x64.tar.gz
    
  4. 在Micro工程目录新建“build_riscv.sh”脚本,配置如下:

    #mindspore-enterprise-lite-{version}-linux-x64为converter_lite工具包在开发环境的路径,sdk_path为海思工具包在开发环境的路径
    rm -rf build
    cmake -S . -B build -D OP_LIB="${mindspore-enterprise-lite-{version}-linux-x64安装目录}/tools/codegen/lib/riscv/libnnacl.a" \
        -D WRAPPER_LIB="${mindspore-enterprise-lite-{version}-linux-x64安装目录}/tools/codegen/lib/riscv/libwrapper.a" -D RISCV_TOOLCHAIN_PATH="${sdk_path}/tools/bin/compiler/riscv/cc_riscv32_musl_105/cc_riscv32_musl/bin" \
        -D PKG_PATH="${mindspore-enterprise-lite-{version}-linux-x64安装目录}"
    cd build
    make -j4
    
  5. 在"Micro工程目录/build ”目录中生成算子执行文件,目录如下:

    Micro工程目录/build                                       # MCU推理代码目录
    ├── CMakeCache.txt
    ├── CMakeFiles
    ├── cmake_install.cmake
    ├── libmicro_runtime.a			          # 算子运行时静态库
    ├── Makefile
    └── src											
        ├── CMakeFiles
        ├── cmake_install.cmake
        ├── libnet.a				          # 算子定义与实现的静态库
        └── Makefile
    

    代码编译成功,屏幕显示结果如下:

    [ 50%] Built target net
    [100%] Built target micro_runtime
    
  6. 将编译产物libnet.a与libmicro_runtime.a上传至海思工具包再次编译得到编译产物*.fwpkg文件。然后,使用海思工具在Windows平台烧录推理,具体步骤请参考对应的application/samples/ai中的readme.md。

ARM平台编译部署

本节以FP32的mnist.onnx模型为例,介绍如何利用生成的Micro INT8量化推理代码,并在ARM平台部署推理。

  1. converter_lite工具转换开源框架模型生成Micro工程,请参见“快速入门”章节。

    须知:

    • 在使用converter_lite转换命令时,--fmk选项必须与AI模型的开源框架对应,否则将导致转换失败。

    • micro.cfg的target必须选择ARM32,并且需要按照“开源框架的TFLite/ONNX模型转换为Micro工程”章节中的5场景二进行配置。

    • ARM平台部署编译需要依赖海思提供的ARM编译工具链,需下载相应的工具包。

  2. 切换到Micro工程目录。

    #切换到名为micro的Micro工程目录
    cd $HOME/micro/
    
  3. 下载并解压converter_lite工具包。

    #进入到算子库在开发环境的路径
    cd ${mindspore-enterprise-lite-{version}-linux-x64安装目录}
    #解压tar包
    tar -xvf mindspore-enterprise-lite-{version}-linux-x64.tar.gz
    
  4. 在Micro工程目录新建“build_riscv.sh”脚本,配置如下:

    #mindspore-enterprise-lite-{version}-linux-x64为converter_lite工具包在开发环境的路径,sdk_path为海思工具包在开发环境的路径
    rm -rf build
    cmake -S . -B build -D OP_LIB="${mindspore-enterprise-lite-{version}-linux-x64安装目录}/tools/codegen/lib/riscv/libnnacl.a" \
        -D WRAPPER_LIB="${mindspore-enterprise-lite-{version}-linux-x64安装目录}/tools/codegen/lib/riscv/libwrapper.a" -D HISPARK_ARM_TOOLCHAIN_PATH="${arm_compiler_path}/gcc-arm-v01c01-linux-musleabi/arm-v01c01-linux-musleabi-gcc" \
        -D PKG_PATH="${mindspore-enterprise-lite-{version}-linux-x64安装目录}"
    cd build
    make -j4
    
  5. 在"Micro工程目录/build ”目录中生成算子执行文件,目录如下:

    Micro工程目录/build                                       # MCU推理代码目录
    ├── CMakeCache.txt
    ├── CMakeFiles
    ├── cmake_install.cmake
    ├── libmicro_runtime.a			          # 算子运行时静态库
    ├── Makefile
    └── src											
        ├── CMakeFiles
        ├── cmake_install.cmake
        ├── libnet.a				          # 算子定义与实现的静态库
        └── Makefile
    

    代码编译成功,屏幕显示结果如下:

    [ 50%] Built target net
    [100%] Built target micro_runtime
    
  6. 将编译产物libnet.a与libmicro_runtime.a上传至海思工具包再次编译得到编译产物*.fwpkg文件。然后,使用海思工具在Windows平台烧录推理,具体步骤请参考对应的application/samples/ai中的readme.md。

基于x86_64平台精度调试

本节以mnist.tflite模型为例,介绍在x86_64平台上的编译和部署过程(x86部署可以为板端调试提供精度标杆)。

  1. 使用converter_lite工具将开源框架模型转换为Micro工程,请参见“快速入门”章节

    须知:

    • 在使用converter_lite转换命令时,--fmk选项必须与AI模型的开源框架对应,否则将导致转换失败,且需要配置--encryption=false参数。

    • micro.cfg的target必须选择x86,且需要按照“开源框架的TFLite/ONNX模型转换为Micro工程”章节中的5场景一进行配置。

  2. 切换到Micro工程目录。

    #切换到Micro工程目录,假设工程目录叫micro
    cd $HOME/micro/
    
  3. Micro工程目录结构如下,其中benchmark目录为x86_64部署的样例工程,调用相关Micro API接口。

    micro                          # 指定的生成代码根目录名称
    ├── benchmark                  # 对模型推理代码进行集成调用的benchmark例程
    │   ├── benchmark.c
    │   ├── calib_output.c
    │   ├── calib_output.h
    │   ├── load_input.c
    │   └── load_input.h
    ├── CMakeLists.txt             # benchmark例程的cmake工程文件
    ├── include                    # 头文件
    │   ├── model_handle.h
    └── src                        # 模型推理代码目录
        ├── allocator.c
        ├── allocator.h    
        ├── CMakeLists.txt
        ├── context.c
        ├── context.h
        ├── model.c
        ├── model.h
        ├── net.cmake
        ├── tensor.c
        └── tensor.h
    
  4. gcc编译生成可执行文件。

    • 切换到converter_lite工具包算子库路径,然后将算子库拷贝到父级目录。

      cd "mindspore-enterprise-lite-{version}-linux-x64安装目录"/tools/codegen/lib/cpu
      将算子库拷贝到父级目录
      cp libnnacl.a libwrapper.a ../
      
    • 创建编译目录,gcc编译benchmark可执行环境。

      #创建并且切换到编译目录
      mkdir build && cd build
      #gcc编译生成可执行文件
      cmake -DPKG_PATH="mindspore-enterprise-lite-{version}-linux-x64安装目录" ..
      make
      
    • 若Micro工程代码编译成功,屏幕将显示如下结果,此时在“Micro工程目录/build/src/”目录下会生成libnet.a。

      [100%] Linking C executable benchmark
      [100%] Built target benchmark
      
  5. 运行benchmark推理流程,输入bin文件可以从mnist.tar.gz获取,也可以自行构造随机输入。

    • 构造随机输入数据,下面给出生成[0,1]范围内Fp32随机数据的Python参考脚本,输出结果为mnist.bin文件。

      须知:

      • 随机输入数据可以用于Micro工程推理,也可用于Micro INT8量化校准数据集。

      • 若用户有真实数据集,可转换为Bin格式,无需参考下面的随机数据构造脚本。

      #随机输入构造脚本,仅供参考
      import numpy as np
      import os
      
      def generate_random_data(output_file, shape=(1, 25, 24, 1), dtype=np.float32):
          # 生成[0, 1)范围内的随机数
          random_data = np.random.uniform(low=0.0, high=1.0, size=shape).astype(dtype)
      
          # 手动将部分点设为1.0,确保范围包含1
          total_elements = np.prod(shape)
          if total_elements > 0:
              # 将最后一个元素设为1.0
              random_data.flat[-1] = 1.0
              # 再随机选一个元素设为0.0,确保包含0
              random_data.flat[np.random.randint(0, total_elements)] = 0.0
      
          # 验证数据范围
          min_val = np.min(random_data)
          max_val = np.max(random_data)
          assert min_val >= 0.0, f"数据最小值{min_val}小于0"
          assert max_val <= 1.0, f"数据最大值{max_val}大于1"
      
          # 确保输出目录存在
          os.makedirs(os.path.dirname(output_file), exist_ok=True)
      
          # 保存为二进制文件
          with open(output_file, 'wb') as f:
              random_data.tofile(f)
      
          # 输出信息
          print(f"数据维度: {random_data.shape}")
          print(f"数据类型: {random_data.dtype}")
          print(f"数据范围: [{min_val:.6f}, {max_val:.6f}]")
          print("数据前5个元素预览:", random_data.flatten()[:5])
      
      if __name__ == "__main__":
          # 输出文件路径
          output_file = "mnist.bin"
      
          # 生成并保存数据
          generate_random_data(output_file)
      
    • 运行benchmark,在x86_64平台完成推理。

      #benchmark是精度评测的可执行文件,用法为./benchmark "mnist.tflite.ms.bin路径" "net0.bin路径",benchmark第一个参数是输入数据,第二个参数是模型权重文件(模型文件在benchmark目录同级的src/model0目录下)。假设mnist.tflite.ms.bin相对路径为"../../mnist/mnist.tflite.ms.bin",net0.bin相对路径为"net0.bin"。执行命令可参考如下:
      ./benchmark ../../mnist/mnist.tflite.ms.bin ../src/model0/net0.bin
      

      推理成功,屏幕显示结果应该如下:

      =======run benchmark======
      ThreadNum: 1.
      BindMode: 0.
      input 0: ../../mnist/mnist.tflite.ms.bin
      Running warm up loops...========run success=======
      
      outputs: 
      name: Identity, DataType: 43, Elements: 10, Shape: [1 10 ], Data: 
      0.000036, 0.000000, 0.009328, 0.000032, 0.000011, 0.000002, 0.000000, 0.000000, 0.990591, 0.000000, 
      ========run success=======
      

参数说明

总体约束

针对converter_lite转换工具总体约束如下:

  • 支持ONNX、TFLite开源框架的模型转换,当原始框架类型为ONNX、TFLite时,输入类型应为FP32、INT8、UINT8。

  • 开源框架模型类型应与--fmk配置参数名称必须保持一致(包括大小写)。

  • 在使用全量化转换时,必须构建校准输入数据集,且按照模型的输入名称设置Micro配置项。校准数据集和实际输入格式为BIN(即数据类型为.bin二进制文件),并且该路径下不允许存在其他格式文件。

参数概览

须知:

  • 如果通过./converter_lite --help命令查询出的参数未在表1中解释,则说明该参数预留或者适用于其他芯片版本,用户无需关注。

  • 使用converter_lite命令进行Micro工程代码生成时,支持模型量化与非量化,x86_64与RISCV编译,用户可根据实际情况进行选择。

converter_lite参数概览如表1所示,详细说明请参见“基础功能参数”章节。

表 1 converter_lite工具参数概览

convert lite参数名称

是否必选

参数说明

取值范围

默认值

--help

否

打印全部帮助信息。

-

-

--fmk

是

输入模型的原始格式。

TFLITE/ONNX

-

--modelFile

是

输入模型的路径。

-

-

--outputFile

是

转成Micro工程代码的路径。

-

-

--configFile

是

设置转换Micro工程的配置项。

-

-

--encryption

是

不支持设置,取值范围暂不支持true,使用时必须配置为false。

false

-

--inputDataFormat

是

设定导出模型的输入format,其中,源模型为ONNX框架应当设置为NCHW,为TFLITE框架应当设置为NHWC。

NCHW/NHWC

-

--outputDataFormat

是

设定导出模型的输出format,其中源模型为ONNX框架应当设置为NCHW,为TFLITE框架应当设置为NHWC。

NCHW/NHWC

-

--inputDataType

是

设定导出模型的输入数据类型,自研量化时类型与原始模型保持不变,TFLite第三方量化与量化后数据类型保持一致。

FLOAT/INT8/UINT8

-

--outputDataType

是

设定导出模型的输出数据类型,自研量化时类型与原始模型保持不变,TFLite第三方量化与量化后数据类型保持一致。

FLOAT/INT8/UINT8

-

--decryptKey

否

解密密钥,Micro不支持

-

-

--encryptKey

否

加密密钥,Micro不支持

-

-

--infer

否

预推理功能开关,Micro不支持

-

false

--fp16

否

开启fp16推理开关,Micro不支持

-

false

--optimize

否

Micro仅支持general,不支持额外配置

-

general

--optimizeTransformer

否

Micro开启Transformer融合,Micro不支持

-

false

--saveType

否

导出中间IR文件格式,Micro暂不支持其他配置

-

MINDIR_LITE

--trainModel

否

端侧训练开关,Micro暂不支持

-

false

--weightFile

否

caffe格式模型配套的weight文件导入,Micro暂不支持

-

-

--riscvOpt

否

开启RISC-V高性能优化,在优化列表内的算子规格能够有性能提升

-

false

基础功能参数

总体选项

--help

  • 功能说明

    打印全部帮助信息。

  • 关联参数

    无

  • 参数取值

    无

  • 推荐配置及收益

    无

  • 示例

    #切换到converter_lite工具安装目录,配置LD_LIBRARY_PATH环境变量
    ./converter_lite --help
    
  • 依赖约束

    无

输入选项

--fmk=<FMK>

  • 功能说明

    配置输入开源框架模型的原始格式。

  • 关联参数

    无

  • 参数取值

    • TFLite:转换TFLite开源框架模型为Micro工程代码。

    • ONNX:转换ONNX开源框架模型为Micro工程代码。

    • 参数默认值:无

  • 推荐配置及收益

    无

  • 示例

    #配置输入开源框架模型的原始格式,模型与fmk对应关系为*.tflite-TFLite;*.onnx->ONNX
    --fmk=TFLITE
    --fmk=ONNX 
    
  • 依赖约束

    无

--modelFile=<MODELFILE>

  • 功能说明

    输入模型的路径。

  • 关联参数

    无

  • 参数取值

    参数默认值:无

  • 推荐配置及收益

    无

  • 示例

    #配置开源框架的输入模型路径,例如
    --modelFile=$HOME/module/mnist.tflite
    
  • 依赖约束

    无

--configFile=<CONFIGFILE>

  • 功能说明

    设置转换Micro工程的配置项。

  • 关联参数

    无

  • 参数取值

    参数取值参考如表1所示。

    须知:

    • Micro配置项表1中未声明的参数不支持或者适用于其他芯片,用户无需关注。

    • 如果不使用全量化,仅配置[micro_param]、enable_micro、target、support_parallel,其中support_parallel将默认配置为false。

    • 如果需要使用全量化,需要配置表1中除debug_mode以外的参数。quant_type需要配置为FULL_QUANT,bit_num默认配置为8,bias_correction默认配置为true,enable_all_ops默认配置为false。

    • 全量化时配置calibrate_path必须符合“input_name_1:input_1_dir,input_name_2:input_2_dir.... ”输入格式,且input_name_1、input_name_2等的输入数量与名称必须与开源框架AI模型的输入数量和名称相符合。

    • 全量化时配置的calibrate_size必须与calibrate_path每个数据集目录元素数量相同。

    表 1 micro.cfg配置项参数概览

    参数名称

    是否必选

    参数说明

    取值范围

    默认值

    [micro_param]

    是

    当前正在设置Micro配置项,用于控制代码生成。

    -

    -

    enable_micro

    是

    使能convert lite生成Micro工程代码。

    true/false

    false

    target

    是

    Micro工程代码部署推理平台。

    x86/RISCV/ARM32

    x86

    support_parallel

    否

    是否生成多线程推理代码,当前尚未支持多线程即不支持置为true。

    true/false

    false

    debug_mode

    否

    是否打开调测接口,仅全量化时选择。

    true/false

    false

    [common_quant_param]

    否

    公共量化参数,仅全量化时选择。

    -

    -

    quant_type

    否

    设置量化类型,启用全量化时需要配置为FULL_QUANT,仅全量化时选择。

    FULL_QUANT/-

    -

    bit_num

    否

    设置量化的比特数,目前仅支持8bit量化,仅全量化时选择。

    8

    -

    [data_preprocess_param]

    否

    校准数据集参数,仅全量化时选择。

    -

    -

    calibrate_path

    否

    校准数据集路径,该路径下不能存放非bin格式文件,仅全量化时选择。

    -

    -

    calibrate_size

    否

    校准数据集大小,仅全量化时选择。

    必须与calibrate_path数据集数量一致

    -

    input_type

    否

    校准数据集格式,启用全量化时需要配置为BIN,仅全量化时选择。

    只支持BIN

    -

    [full_quant_param]

    否

    全量化参数,仅全量化时选择。

    -

    -

    activation_quant_method

    否

    激活值量化算法,仅全量化时选择。

    只支持MAX_MIN

    -

    bias_correction

    否

    是否对量化误差进行校正,仅全量化时选择。

    true/false

    -

    enable_all_ops

    否

    是否开启进阶量化算子。

    默认量化算子(无论是否配置均会开启):Conv Matmul/Gemm(FullyConneted) /Reshape ;

    进阶量化算子(需要配置此属性为true才会开启):Maxpool Relu Softmax Mul Add Sub Gather Concat Split AvgPool。

    true/false

    -

    [train]

    否

    训练参数,仅端侧训练时选择。

    -

    -

    train_mode

    否

    训练模式,仅端侧训练时选择。

    量化训练配置qas_int8;FP32训练配置fp32

    -

    loss

    否

    训练使用的loss函数,仅端侧训练时选择。

    量化训练支持softmax_cross_entropy;FP32训练还支持mean_squared_error

    -

    label_tensor_name

    否

    标签张量名称,仅端侧训练时选择。

    -

    -

    optimizer

    否

    权重更新使用的优化器,仅端侧训练时选择。

    量化训练支持sgd_with_momentum;FP32训练还支持adam

    -

    learning_rate

    否

    学习率,仅端侧训练时选择。

    -

    -

    momentum

    否

    动量大小,仅端侧训练时选择。

    -

    -

    batch_size

    否

    训练数据批次大小,仅端侧训练时选择。

    只支持1

    -

    dump_training_graph 否 是否输出训练图和内存规划信息,仅端侧训练时选择。 true/false false
    beta1 否 Adam一阶矩衰减率,仅FP32训练使用Adam优化器时选择。 [0, 1) 0.9
    beta2 否 Adam二阶矩衰减率,仅FP32训练使用Adam优化器时选择。 [0, 1) 0.999
    epsilon 否 Adam数值稳定参数,仅FP32训练使用Adam优化器时选择。 大于0 1e-8
  • 推荐配置及收益

    无

  • 示例

    #配置Micro工程配置项绝对路径,例如
    --configFile=$HOME/module/micro.cfg
    
  • 依赖约束

    无

输出选项

--outputFile=<OUTPUTFILE>

  • 功能说明

    转成Micro工程代码的路径

  • 关联参数

    无

  • 参数取值

    参数默认值:无

  • 推荐配置及收益

    无

  • 示例

     #Micro工程路径为当前目录的mnist文件夹
     --outputFile=mnist
     #Micro工程路径为当前目录的micro文件夹
     --outputFile=.
    

    命令执行完毕后,屏幕会打印类似如下信息:

    CONVERT RESULT SUCCESS:0
    
  • 依赖约束

    无