HiSpark.AI CPU算子规格清单#
前言#
本文档介绍HiSpark系列MCU上,基于MindSpore Lite Enterprise Micro v106版本所支持的算子规格,按TFLite、ONNX两个框架分别列出各算子的功能描述、参数说明(含数据类型、配置范围及规格约束)以及训练支持规格,便于用户在模型转换和训练前快速查询算子的支持情况。
本文档适用于使用MindSpore Lite Enterprise Micro v106工具进行AI模型端侧部署的人员,本文档适用于以下工程师:
技术支持工程师
软件工程师
硬件工程师
在本文中可能出现下列标志,它们所代表的含义如下。
文档版本 |
发布日期 |
修改说明 |
|---|---|---|
01 |
2026-09-03 |
第一次正式版本发布。 |
算子规格参考#
本章主要介绍(MindSpore Lite)所支持的算子规格限制,目前主要支持ONNX格式以及TFLite格式的模型,并且支持算子的数据类型主要为int8以及fp32。
说明:
当前端侧训练仅在ws63支持,3066H暂不支持端侧在线训练。
说明:
Gemm是ONNX框架的矩阵乘法算子,而FullyConnected则是TFLite框架的矩阵乘法算子。目前,int8仅支持量化模型,不支持onnxruntime量化场景。
TFLite算子规格参考#
Conv2D#
对4D输入进行卷积计算。
表 1 Conv2D参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持rank为4、batch为1、无bias、无融合激活、stride和dilation均为1的depthwise等价卷积;要求group=input_channel=output_channel,权重为OHWI格式且I=1 |
Conv3D#
对5D输入进行三维卷积计算。该算子为TFLite规格,支持RISCV Micro目标和x86目标,source entry为TFLite CONV_3D,输入布局为NDHWC,权重布局为[KD, KH, KW, IC, OC]。
float32模型可通过全量化生成int8数据通路,量化后权重为int8,偏置为int32。
表 1 Conv3D参数概览
参数名 |
参数/输入输出 |
数据类型 |
参数含义 |
配置范围及规格约束说明 |
|---|---|---|---|---|
input |
input |
tensor (float32/int8) |
输入张量,维度为5D,格式为NDHWC。 |
支持float32模型;float32模型可通过全量化生成int8数据通路。 |
filter |
input |
tensor (float32/int8) |
权重张量,维度为5D,格式为[KD, KH, KW, IC, OC]。 |
规格约束:权重为离线常量;全量化后权重为int8。 |
bias |
input |
tensor (float32/int32) |
偏置张量,维度为1D。 |
可选输入;无bias时按0处理;全量化后偏置为int32。 |
output |
output |
tensor (float32/int8) |
输出张量,维度为5D,格式为NDHWC。 |
数据类型与执行通路一致。 |
padding |
attribute |
string |
填充类型。 |
支持SAME、VALID。SAME按out=ceil(in/stride)计算输出尺寸并推导填充。 |
stride_d |
attribute |
int32 |
filter在D方向上的移动步长。 |
支持正整数。 |
stride_h |
attribute |
int32 |
filter在H方向上的移动步长。 |
支持正整数。 |
stride_w |
attribute |
int32 |
filter在W方向上的移动步长。 |
支持正整数。 |
dilation_d_factor |
attribute |
int32 |
filter在D方向上的扩张系数。 |
规格约束:仅支持1。 |
dilation_h_factor |
attribute |
int32 |
filter在H方向上的扩张系数。 |
规格约束:仅支持1。 |
dilation_w_factor |
attribute |
int32 |
filter在W方向上的扩张系数。 |
规格约束:仅支持1。 |
fused_activation_function |
attribute |
string |
融合的激活函数类型。 |
规格约束:仅支持NONE。 |
说明:
TFLite Conv3D不支持dilation factor不为1的场景,不支持fused_activation_function不为NONE的场景。原生int8/int32输入模型不作为该规格支持范围;int8通路来自float32模型的全量化转换。
关键场景分析
使用场景 |
什么时候会遇到 |
软件行为与限制 |
|---|---|---|
TFLite NDHWC卷积 |
TFLite/TF导出CONV_3D |
输入输出按NDHWC布局处理,SAME按out=ceil(in/stride)推导填充。 |
无bias两输入节点 |
CONV_3D节点仅input/filter输入 |
偏置按0处理。 |
全量化int8通路 |
float32模型 + FULL_QUANT |
转换后使用int8输入/权重/输出和int32偏置执行。 |
不支持规格命中 |
dilation factor不为1或fused_activation_function不为NONE |
转换期报错,不生成模型。 |
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
输入x为[N, D, H, W, C],权重w为[KD, KH, KW, IC, OC];padding支持SAME或VALID;stride_d、stride_h和stride_w均大于或等于1;dilation_d_factor、dilation_h_factor和dilation_w_factor仅支持1;bias可选;fused_activation_function仅支持NONE |
MaxPool2D#
对4D输入进行最大池化计算。
表 1 MaxPool2D参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
仅支持单输入、单输出的二维MaxPool,输入、输出及梯度均为FP32四维张量,且所有维度均为正数;池化仅改变空间维度,输出的batch和channel与输入保持一致;输入必须为非常量张量;非global模式下kernel和stride的H、W必须为正数;不支持动态Shape、MaxPool1D和MaxPool3D |
FullyConnected#
对2D、3D、4D输入的最后一个维度进行特征映射(类似Onnx规格中Gemm)。
表 1 FullyConnected参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持rank为2、2个或3个输入、A不转置、B可转置;融合激活仅支持无融合激活或ReLU,bias元素数量必须等于输出通道数 |
BatchMatmul#
对两个2D/3D/4D输入张量进行矩阵乘法运算。
说明:
BatchMatmul暂时不支持广播机制,x倒数两维为计算维度[M, K],y倒数两维为计算维度[K, N],K大小必须保持一致。计算维度前,维度必须保持一致。
表 1 BatchMatmul参数概览
Softmax#
计算最后一维的归一化Softmax概率分布。
说明:
受TFLite限制,Softmax仅支持在最后一维上进行计算。
表 1 Softmax参数概览
Relu#
对输入张量做Relu激活函数运算。
表 1 Relu参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
- |
Tanh#
对输入张量做Tanh激活函数运算。
表 1 Tanh参数概览
Logistic (Sigmoid)#
对输入张量做Sigmoid激活函数运算。
表 1 Logistic参数概览
Reshape#
改变Tensor的Shape,但不改变其排布。
表 1 Reshape参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
shape属性为int32离线常量;Squeeze、ExpandDims和Flatten统一降级为RESHAPE;输出最多为4维,且元素数与输入相等 |
Mul#
计算两个矩阵逐点相乘。
说明:
Mul支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 Mul参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
不支持广播,两个输入和输出的shape必须完全一致;融合激活仅支持无融合激活或ReLU |
Add#
计算两个矩阵逐点相加。
说明:
Add支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 Add参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
不支持广播,两个输入和输出的shape必须完全一致;融合激活仅支持无融合激活或ReLU |
Sub#
计算两个矩阵逐点相减。
说明:
Sub支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 Sub参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
不支持广播,两个输入和输出的shape必须完全一致;融合激活仅支持无融合激活或ReLU |
Gather#
根据指定索引,从输入张量的指定轴上提取元素,组合成新张量
表 1 Gather参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
axis支持负值;data为1~4维且各维为正数;indices支持int32离线常量,允许重复索引和负索引,索引越界在训练运行时报错,不支持int64;输出维数等于data维数减1再加indices维数 |
Split#
Split算子在TFLITE框架中包含tfl.Split、tfl.SplitV等api,其中tfl.Split表示均匀划分,tfl.SplitV自定义非均匀划分。
Split#
对张量分割按照某一轴平均切分成若干份。
表 1 Split参数概览
SplitV#
对张量分割按照某一轴非平均切分成若干份。
表 1 SplitV参数概览
Concatenation#
将多个张量拼接成某一个张量。
表 1 Concatenation参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
仅支持2个输入和1个输出,输入和输出数据类型均为FP32;输入和输出rank必须相同且为1~4,所有维度为正数;axis支持负值归一化,归一化后必须在有效范围内;非axis维度一致,输出axis维度等于两个输入axis维度之和;不支持动态Shape |
AveragePool2D#
对4D输入进行平均池化计算。
表 1 AveragePool2D参数概览
Tile#
对2D/3D/4D输入沿指定维度做复制扩展。
表 1 Tile参数概览
Pad#
Pad算子在TFLITE框架中包含tfl.Pad、tfl.PadV2、tfl.Mirror_Pad等api,其中tfl.Pad表示零填充,tfl.Padv2表示自定义常量填充,tfl.Mirror_Pad表示镜像反射填充。
Pad#
对输入张量边界做零填充。
表 1 Pad参数概览
PadV2#
对输入张量边界做自定义常量填充。
表 1 PadV2参数概览
Mirror_Pad#
对输入张量边界做镜像反射填充。
表 1 Mirror_Pad参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
不支持 |
- |
Resize#
Resize算子在TFLITE框架中包含tfl.Resize_Bilinear、tfl.Resize_Nearest_Neighbor等api,其中tfl.Pad表示零填充,tfl.Resize_Bilinear表示双线性插值缩放,tfl.Resize_Nearest_Neighbor表示最近邻插值缩放。
Resize_Bilinear#
对输入张量做双线性插值缩放。
表 1 Resize_Bilinear参数概览
配置范围:true、false;align_corners与half_pixel_centers不能同时为true,两者均为false时表示asymmetric坐标配置 |
||||
Resize_Nearest_Neighbor#
对输入张量做最近邻插值缩放。
表 1 Resize_Nearest_Neighbor参数概览
配置范围:true、false;align_corners与half_pixel_centers不能同时为true,两者均为false时表示asymmetric坐标配置 |
||||
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持静态rank-4 NHWC;TFLite asymmetric坐标配置由两个坐标属性均为false的组合表达 |
Squeeze#
对输入张量进行shape压缩操作。
表 1 Squeeze参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
仅支持1个数据输入和1个输出,输入和输出均为FP32静态非空张量,且元素总数相等;支持axis为空、正axis和负axis,指定axis对应的输入维度必须为1;不支持动态Shape |
ExpandDims#
对输入张量进行shape扩展操作。
表 1 ExpandDims参数概览
Abs#
对张量的每个元素做绝对值运算。
表 1 Abs参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
要求使用FP32静态非空张量 |
Ceil#
对张量中的每个元素做向上取整操作。
表 1 Ceil参数概览
Cos#
对张量中的每个元素做余弦操作。
表 1 Cos参数概览
Exp#
对张量中的每个元素做指数计算操作。
表 1 Exp参数概览
Floor#
对张量中的每个元素做向下取整操作。
表 1 Floor参数概览
Log#
对张量中的每个元素做对数计算操作(底数值为e)。
表 1 Log参数概览
Round#
对张量中的每个元素做四舍五入操作。
表 1 Round参数概览
Rsqrt#
对张量中的每个元素做平方根倒数计算操作。
表 1 Rsqrt参数概览
Sin#
对张量中的每个元素做正弦计算操作。
表 1 Sin参数概览
Sqrt#
对张量中的每个元素做平方根计算操作。
表 1 Sqrt参数概览
Square#
对张量中的每个元素做平方计算操作。
表 1 Square参数概览
L2Normalization#
沿指定轴,用L2范数对输入张量执行归一化计算。
表 1 L2Normalization参数概览
Slice#
Slice算子在TFLITE框架中包含tfl.slice、tfl.strided_slice等api,其中tfl.slice为连续提取子张量,tfl.strided_slice可以通过指定步长、掩码等方式更灵活地进行提取。
Slice#
从输入张量中沿指定轴连续提取子张量。
表 1 Slice参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
begin和size必须为int32或int64类型的离线常量,且每轴对应一个值;begin必须大于或等于0;size小于0时按“取到末尾”折叠;切片必须非空且不越界,size必须与输出Shape逐轴一致 |
StridedSlice#
从输入张量中沿指定轴提取子张量。
表 1 StridedSlice参数概览
第 i 维度对应位为 1 时,忽略该维度的 begin[i],改用维度起始边界(正向切片 = 0,反向切片 = 维度长度 - 1)。 |
||||
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持rank为1~8的FP32静态非空张量;要求full-rank归一化参数,不支持slice mask,step非零(正、负步长均支持),不支持空切片 |
DepthwiseConv2D#
对4D输入进行深度可分离卷积计算。
表 1 DepthwiseConv2D参数概览
Transpose#
对输入张量进行转置。
表 1 Transpose参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
输入和输出必须为FP32静态非空张量,元素数量及rank一致,rank为1~16;perm必须是长度等于rank的int32离线常量,且为[0, rank)的合法全排列。反向仅计算数据输入梯度,按perm的逆排列对输出梯度进行转置;perm不参与求导。 |
ArgMax#
在张量的指定维度上,计算并返回最大值对应的位置索引。
说明:
仅支持float类型,不支持int8类型。
表 1 ArgMax参数概览
ArgMin#
在张量的指定维度上,计算并返回最小值对应的位置索引。
说明:
仅支持float类型,不支持int8类型。
表 1 ArgMin参数概览
Div#
对两输入张量进行除法运算。
表 1 Div参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
前向输入为2个、输出为1个,输入和输出数据类型均为FP32;支持静态Shape和标准右对齐广播,输出rank不超过4,所有维度必须为正数;输入rank不得大于输出rank,且每一维满足输入维度为1或等于输出维度;反向需保留两个输入,支持同时生成两个输入梯度;仅支持无融合激活(NONE),不支持动态Shape |
ReduceMax#
对指定维度的张量进行最大值归约计算。
表 1 ReduceMax参数概览
ReduceMin#
对指定维度的张量进行最小值归约计算。
表 1 ReduceMin参数概览
Sum#
对指定维度的张量进行求和归约计算。
表 1 Sum参数概览
Mean#
对指定维度的张量进行均值归约计算。
表 1 Mean参数概览
Cast#
对输入张量进行数据类型的转换。
说明:
Cast算子不支持量化。
表 1 Cast参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
仅支持输入和输出均为FP32的恒等Cast;输入和输出必须为静态非空张量且形状一致。反向仅传递数据输入梯度,梯度张量按元素复制;不产生可训练参数梯度。 |
Quantize#
对输入张量进行量化操作。
说明:
Quantize算子不支持量化。
表 1 Quantize参数概览
Dequantize#
对输入张量进行反量化操作。
说明:
Dequantize算子不支持量化。
表 1 Dequantize参数概览
PRelu#
对输入张量进行参数化 ReLU 激活处理。其在输入为非负值时保持原值,在输入为负值时根据斜率参数进行线性缩放。
表 1 PRelu参数概览
说明:
在量化过程中,PReLU算子的第二输入保留FP32格式,以保证负半轴计算精度。
CumSum#
对输入张量沿指定维度进行累加求和处理,输出结果为该维度上的前缀和。
表 1 CumSum参数概览
数据类型仅支持 int32、int64;取值范围为 [ -rank(input), rank(input) - 1],当 axis 为负数时,表示从最后一个维度开始反向索引。 |
||||
ReverseSequence#
对输入张量指定轴前N个数据进行反转。
表 1 ReverseSequence参数概览
Relu6#
对输入张量做Relu6激活函数运算。在输入为非负值且不大于 6 时保持原值,在输入为负值时置为 0,在输入大于 6 时置为 6。
表 1 Relu6参数概览
LeakyRelu#
对输入张量做LeakyRelu激活函数运算。在输入为非负值时保持原值,在输入为负值时根据缩放系数进行线性缩放。
表 1 LeakyRelu参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
alpha为常量 |
HardSwish#
对输入张量做HardSwish激活函数运算。公式为:output = input * HardSigmoid(α=1/6, β=0.5, input)
表 1 HardSwish参数概览
LogicalAnd#
对两个输入张量执行逐元素“与”逻辑运算。
说明:
LogicalAnd支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。 LogicalAnd算子不支持量化。
表 1 LogicalAnd参数概览
Equal#
对两个输入张量执行逐元素“等于”逻辑运算。
说明:
Equal支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 Equal参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
不可微;梯度不经Equal回传,其上游仅当存在其他可微路径时才参与训练 |
GreaterEqual#
对两个输入张量执行逐元素“大于等于”逻辑运算。
说明:
GreaterEqual支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 GreaterEqual参数概览
Greater#
对两个输入张量执行逐元素“大于”逻辑运算。
说明:
Greater支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 Greater参数概览
LessEqual#
对两个输入张量执行逐元素“小于等于”逻辑运算。
说明:
LessEqual支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 LessEqual参数概览
Less#
对两个输入张量执行逐元素“小于”逻辑运算。
说明:
Less支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 Less参数概览
NotEqual#
对两个输入张量执行逐元素“不等于”逻辑运算。
说明:
NotEqual支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 NotEqual参数概览
LogicalNot#
逐元素返回输入张量的取反值。
说明:
LogicalNot算子不支持量化。
表 1 LogicalNot参数概览
LogicalOr#
对两个输入张量执行逐元素“或”逻辑运算。
说明:
LogicalOr支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。 LogicalOr算子不支持量化。
表 1 LogicalOr参数概览
Elu#
对输入张量做Elu激活函数运算。公式为:y = x if x >= 0 else (exp(x)-1)
表 1 Elu参数概览
DepthToSpace#
对输入张量维度的深度(通道)维度的数据重排到空间(高、宽)维度。
表 1 DepthToSpace参数概览
SpaceToDepth#
对输入张量空间(高、宽)维度的数据重排到深度(通道)维度。
表 1 SpaceToDepth参数概览
Fill#
创建形状为 dims 的张量,所有元素填充为给定的标量 value。该算子仅在 TFLITE 框架中定义(BuiltinOperator 编号:94),ONNX 框架无对应标准算子。不支持 ONNX 格式转换。
表 1 Fill参数概览
Shape#
获取输入张量的形状信息。
表 1 Shape参数概览
Neg#
对张量的每个元素做取负运算(符号取反),即 y = -x。
表 1 Neg参数概览
Pow#
计算两个张量的逐元素幂运算,base 为底数张量,exponent 为指数张量,输出 result = base^exponent。支持 NumPy 风格广播。
说明:
Pow 无内置属性,转换时自动填充。支持广播特性,双向广播需在转换命令中明确配置 inputDataFormat 和 outputDataFormat 参数。
推荐使用 X ≥ 0 的输入组合确保结果确定性;X < 0 且 Y 为非整数时实数域无定义,输出值取决于底层数学库。
INT8 量化仅支持 X ≥ 0 的输入,X < 0 时负数值在 int8 对称量化中将被映射为 0。
表 1 Pow参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持静态、非空张量,广播对齐后的rank不超过4,并按trailing broadcast对齐 |
TopK#
获取输入张量中沿指定维度前K个最大值。
表 1 TopK参数概览
Gelu#
对输入张量做Gelu激活函数运算。Gelu(Gaussian Error Linear Unit)基于正态分布累积概率,对输入乘以其概率分布的值实现连续非线性变换,相比传统激活函数在负值区域具有平滑的非零梯度。
表 1 Gelu参数概览
Pack#
Pack算子用于沿着指定的新轴(axis)将一组形状相同的输入张量堆叠(拼接)成一个新的高维张量。堆叠后输出张量的维度(Rank)相比单个输入张量增加1。
表 1 Pack参数概览
Unpack#
Unpack算子用于沿指定的轴(axis)将一个高维张量拆分(解包)成一组低维张量,是Pack算子的逆向操作。解包后每个输出张量的维度(Rank)相比输入张量减少1。
表 1 Unpack参数概览
输出张量列表,每个输出张量维度为输入维度-1(输出Rank=输入Rank-1),输出张量数量等于输入在axis轴上的Size。 |
||||
Select#
根据条件张量从两输入张量中选择元素,不支持广播。
表 1 Select参数概览
SelectV2#
根据条件张量从两输入张量中选择元素,支持广播。
表 1 SelectV2参数概览
ReverseV2#
沿指定轴对张量进行反转。
表 1 ReverseV2参数概览
Maximum#
对两个输入张量执行逐元素取最大值运算。
表 1 Maximum参数概览
Minimum#
对两个输入张量执行逐元素取最小值运算。
表 1 Minimum参数概览
ReduceProd#
沿指定轴计算输入张量所有元素的乘积。
表 1 ReduceProd参数概览
OneHot#
将整数类别索引张量展开为OneHot编码张量,在axis指定的位置插入深度维。该算子与布局无关,不进行NCHW/NHWC转换。
表 1 OneHot参数概览
Unique#
对一维输入张量进行去重。唯一值按照在输入中首次出现的顺序输出,同时输出每个输入元素在唯一值输出中的下标。
说明:
Unique算子支持float32/int8,不支持量化。
表 1 Unique参数概览
GatherNd#
根据 indices 中的多维坐标,从 params 中收集元素或切片。设索引深度为 D=indices.shape[-1] ,输出shape为 indices.shape[:-1]+params.shape[D:] ,输出数据类型与 params 一致。
该算子仅支持TFLite格式和RISCV Micro目标,source entry为TFLite GATHER_ND。支持FP32、INT32、BOOL数据通路;float32模型可通过全量化生成INT8数据通路。
说明:
GatherNd无属性。indices仅用于定位数据,不参与量化;INT8通路来自float32模型的全量化转换,不支持将indices量化。
表 1 GatherNd参数概览
必须为静态形状;rank(indices)必须大于等于1且不超过16;D必须大于0且小于等于rank(params);坐标值必须大于等于0且小于params对应维度大小。 |
||||
必须为静态形状;shape为indices.shape[:-1]+params.shape[D:];输出元素数、步长和偏移量必须在有符号32位整数范围内。 |
关键场景分析
使用场景 |
什么时候会遇到 |
软件行为与限制 |
|---|---|---|
TFLite基本GatherNd |
TFLite/TF导出GATHER_ND |
按indices最后一维表示的多维坐标从params收集元素或切片。 |
收集标量元素 |
D等于rank(params) |
输出shape为indices.shape[:-1]。 |
收集尾部切片 |
D小于rank(params) |
输出shape为indices.shape[:-1]+params.shape[D:]。 |
全量化int8通路 |
float32模型 + FULL_QUANT |
params/output使用INT8通路,indices保持INT32或INT64,不参与量化。 |
不支持规格命中 |
indices为负数、越界、D大于rank(params)、shape非静态或中间计算溢出INT32 |
转换期或运行期报错,不生成有效结果。 |
ScatterND#
根据indices中的多维坐标,将updates中的元素或切片写入由shape指定的全零输出张量。设索引深度为K=indices.shape[-1],则updates.shape必须等于indices.shape[:-1]+shape[K:]。多个相同索引对应的updates执行累加。
该算子仅支持TFLite格式和RISCV Micro目标,支持FP32和全量化INT8通路。
表 1 ScatterND参数概览
参数名 |
参数/输入输出 |
数据类型 |
参数含义 |
配置范围及规格约束说明 |
|---|---|---|---|---|
indices |
input |
tensor (int32) |
多维索引张量,最后一维保存索引元组。 |
必须为静态形状,rank为2~16;K必须大于0且不超过输出rank;仅支持非负索引。 |
updates |
input |
tensor (float32/int8) |
写入或累加到目标位置的元素或切片。 |
必须为静态形状,shape等于indices.shape[:-1]+shape[K:];支持FP32和全量化INT8。 |
shape |
input |
tensor (int32) |
指定输出张量形状。 |
必须是转换时可确定的常量1D张量,元素个数等于输出rank,且内容与推导出的输出形状一致。 |
output |
output |
tensor (float32/int8) |
以全零张量为初值,按indices累加updates得到的结果。 |
数据类型与updates一致,必须为静态形状,rank为1~16。 |
说明:
TFLite ScatterND没有data输入,输出以0初始化;重复索引按TFLite语义累加。索引小于0或超出对应输出维度范围时运行失败。INT8通路使用per-tensor量化参数。
LogSoftmax#
对输入张量最后一维的元素计算对数归一化概率。对于最后一维中的每个元素,计算公式为:Yi=Xi-log(Σjexp(Xj))。输出张量的形状和格式与输入相同。
说明:
受TFLite算子规格限制,LogSoftmax仅支持在最后一维上进行计算。
表 1 LogSoftmax参数概览
TransposeConv#
TFLite的转置卷积(反卷积)算子,用于上采样,数据布局为NHWC。输出空间维按TFLite规格计算:SAME模式下o=i×s,即输出尺寸等于输入尺寸乘以步长;VALID模式下o=(i-1)×s+k,即输出尺寸等于输入尺寸减1乘以步长再加核尺寸。其中o为该维度的输出尺寸,i为该维度的输入尺寸,s为步长(上采样因子),k为卷积核在该维度的大小。
说明:
支持SAME和VALID两种padding、大于等于1的任意步长、2D空间卷积核(KH×KW,各维尺寸大于等于1,支持非方形核)以及带偏置的四输入形态;支持FP32和全量化INT8转换,权重按输出通道逐通道量化,int8模式下batch固定为1。TFLite规格本身不提供dilation、group和output_padding属性,需要这些功能时应改用ONNX格式。紧随其后的Mul(常量)会在转换期被吸收并改写权重;Relu不做融合,作为独立节点保留。
表 1 TransposeConv参数概览
规格约束:形状为[N, oH, oW, OC],NHWC排布,oH/oW按功能描述中的公式计算;支持FP32和全量化INT8转换 |
||||
ONNX算子规格参考#
Conv#
基于一个filter模板对3D或4D输入进行卷积计算。
表 1 Conv参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持rank为4、batch为1、无bias、无融合激活、stride和dilation均为1的depthwise等价卷积;要求group=input_channel=output_channel,权重为OHWI格式且I=1 |
Conv3D#
基于5D权重对5D输入进行三维卷积计算。该算子为ONNX规格,支持RISCV Micro目标和x86目标,source entry为ONNX Conv;转换器按输入和权重rank自动识别为Conv3D。输入X布局为NCDHW,输出布局为NCDHW。
float32模型可通过全量化生成int8数据通路。原生int8/int32模型不作为该规格支持范围。
表 1 Conv3D参数概览
参数名 |
参数/输入输出 |
数据类型 |
参数含义 |
配置范围及规格约束说明 |
|---|---|---|---|---|
X |
input |
tensor (float32/int8) |
输入张量,维度为5D,格式为NCDHW。 |
支持float32模型;float32模型可通过全量化生成int8数据通路。 |
W |
input |
tensor (float32/int8) |
权重张量,维度为5D。 |
规格约束:权重必须为initializer离线常量。 |
B |
input |
tensor (float32/int32) |
偏置张量,维度为1D。 |
可选输入;偏置必须为initializer离线常量;无bias时按0处理。 |
Y |
output |
tensor (float32/int8) |
输出张量,维度为5D,格式为NCDHW。 |
数据类型与执行通路一致。 |
auto_pad |
attribute |
string |
指定padding的类型。 |
规格约束:仅支持NOTSET。 |
dilations |
attribute |
list(int) |
每个空间轴上的扩张系数。 |
规格约束:仅支持[1, 1, 1]。 |
group |
attribute |
int |
在输入输出channel上划分的分组个数。 |
规格约束:仅支持1。 |
kernel_shape |
attribute |
list(int) |
kernel沿D/H/W轴的大小。 |
缺省时按权重空间维推导。 |
pads |
attribute |
list(int) |
D/H/W三个空间轴前后填充零的个数。 |
支持对称与非对称pads;缺省为全0。 |
strides |
attribute |
list(int) |
D/H/W三个方向上kernel的移动步长。 |
支持1或2;缺省为[1, 1, 1]。 |
说明:
ONNX Conv3D通过ONNX Conv的5D输入和5D权重识别,不是独立的ONNX算子名。pads按ONNX格式[D_begin, H_begin, W_begin, D_end, H_end, W_end]解析,支持逐维前后填充不同。
不支持group大于1、dilations不等于[1, 1, 1]、auto_pad不等于NOTSET的场景,命中不支持规格时转换期报错,不生成模型。
关键场景分析
使用场景 |
什么时候会遇到 |
软件行为与限制 |
|---|---|---|
ONNX基本三维卷积 |
NCDHW模型常规导出 |
按strides/pads正向卷积,输出NCDHW。 |
ONNX缺省属性 |
节点未写kernel_shape、strides或pads |
分别按权重空间维、[1, 1, 1]、全0推导。 |
ONNX非对称pads |
前后填充不同,如[2, 1, 0, 0, 1, 2] |
解析期重排为逐维前后填充,独立填充。 |
无bias两输入节点 |
Conv节点仅X/W输入 |
偏置按0处理。 |
全量化int8通路 |
float32模型 + FULL_QUANT |
转换后使用int8数据通路执行,requant按乘法量化因子q=round(acc * mult) + zp计算。 |
不支持规格命中 |
group大于1、dilations不等于[1, 1, 1]、auto_pad不等于NOTSET |
转换期报错,不生成模型。 |
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
输入x为[N, C, D, H, W],权重w为[OC, C, KD, KH, KW];D、H、W方向的stride均大于或等于1;pads按[d1, h1, w1, d2, h2, w2]配置且均大于或等于0;auto_pad仅支持NOTSET,group仅支持1,dilation仅支持1;bias可选;不支持融合激活 |
MaxPool#
对3D或4D输入进行最大池化计算。
说明:
Maxpool双输出规格暂不支持。
表 1 MaxPool参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
仅支持单输入、单输出的二维MaxPool,输入、输出及梯度均为FP32四维张量,且所有维度均为正数;池化仅改变空间维度,输出的batch和channel与输入保持一致;输入必须为非常量张量;非global模式下kernel和stride的H、W必须为正数;不支持动态Shape、MaxPool1D和MaxPool3D |
Gemm#
对两个2D张量进行矩阵乘积运算。
表 1 Gemm参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持rank为2、2个或3个输入、A不转置、B可转置;融合激活仅支持无融合激活或ReLU,bias元素数量必须等于输出通道数 |
Matmul#
对两个2D/3D/4D张量进行矩阵乘积运算。
说明:
Matmul不支持广播场景。
表 1 Matmul参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持rank为2、2个或3个输入、A不转置、B可转置;融合激活仅支持无融合激活或ReLU,bias元素数量必须等于输出通道数 |
Softmax#
计算指定维度的归一化Softmax概率分布。
说明:
当Softmax维度较大时,int8量化损失较大,推荐使用fp32模式的算子,关闭cfg中的enable_all_ops选项(仅保留矩阵运算类算子的量化)。
表 1 Softmax参数概览
Relu#
对输入张量做Relu激活函数运算。
表 1 Relu参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
- |
Tan#
对输入张量中的每个元素计算正切函数。输入数据按弧度解释,输出张量的Shape与输入张量相同。
正切函数公式为:tan(x) = sin(x) / cos(x),其中 cos(x) 不等于 0。
正切函数的极点位于 x = π/2 + kπ(k 为整数)。在极点处正切函数没有有限值,接近极点时输出变化剧烈,数值误差会被显著放大。
表 1 Tan参数概览
参数名 |
参数/输入输出 |
数据类型 |
参数含义 |
配置范围及规格约束说明 |
|---|---|---|---|---|
x |
input |
tensor |
输入张量,维度不限制,输入值按弧度解释。 |
FP32;全量化推理时为INT8,并且必须携带量化参数。 |
y |
output |
tensor |
输出张量,Shape与输入相同,逐元素保存正切计算结果。 |
FP32输出为FP32;全量化推理时为INT8,重新量化后可能饱和到[-128, 127]。 |
推理支持规格
推理模式 |
支持情况 |
规格约束 |
|---|---|---|
FP32 |
支持 |
单输入、单输出,逐元素计算,输入和输出Shape一致;输入按弧度解释。 |
全量化 INT8 |
支持 |
输入范围应受控并远离所有极点,极点附近不保证高精度。 |
限制说明
Tan不包含可配置属性,仅支持单输入和单输出。
当前实现不支持FP16、FP64和BF16数据类型。
极点位置为 π/2 + kπ 。由于 tan'(x) = 1 / cos²(x) ,输入越接近极点,微小的输入误差越可能造成很大的输出误差。
在全量化INT8路径中,输入量化误差可能将值推向或跨过极点,输出重新量化还可能发生饱和。因此,要求极点附近精度或输入范围未知时,建议使用FP32;INT8仅适合明确远离极点的受控输入范围。
Tanh#
对输入张量做Tanh激活函数运算。
表 1 Tanh参数概览
Sigmoid#
对输入张量做Sigmoid激活函数运算。
表 1 Sigmoid参数概览
Reshape#
改变Tensor的Shape,但不改变其排布。
表 1 Reshape参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
shape属性为int64离线常量;输出最多为4维,且元素数与输入相等 |
Mul#
计算两个矩阵逐点相乘。
说明:
Mul支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 Mul参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
不支持广播,两个输入和输出的shape必须完全一致;融合激活仅支持无融合激活或ReLU |
Add#
计算两个矩阵逐点相加。
说明:
Add支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 Add参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
不支持广播,两个输入和输出的shape必须完全一致;融合激活仅支持无融合激活或ReLU |
Sub#
计算两个矩阵逐点相减。
说明:
Sub支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 Sub参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
不支持广播,两个输入和输出的shape必须完全一致;融合激活仅支持无融合激活或ReLU |
Gather#
根据指定索引,从输入张量的指定轴上提取元素,组合成新张量。
表 1 Gather参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
data各维必须为正数;indices为int32离线常量,int64类型由parser自动转换为int32,允许重复索引和负索引,索引越界在训练运行时报错;axis取值范围为[-rank, rank-1],负值在转换时归一化;输出维数等于data维数减1再加indices维数,gather轴使用indices的Shape |
Split#
对张量分割按照某一轴平均或非平均切分成若干份。
表 1 Split参数概览
Concat#
将多个张量拼接成某一个张量。
表 1 Concat参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
仅支持2个输入和1个输出,输入和输出数据类型均为FP32;输入和输出rank必须相同且为1~4,所有维度为正数;axis支持负值归一化,归一化后必须在有效范围内;非axis维度一致,输出axis维度等于两个输入axis维度之和;不支持动态Shape |
AveragePool#
对3D或4D输入进行平均池化计算。
表 1 AveragePool参数概览
InstanceNormalization#
对3D输入张量做归一化计算。
说明:
暂时只支持1D,仅支持float类型,暂不支持int8类型。
表 1 InstanceNormalization参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
input、scale、B和output均为FP32;input和output必须为静态正维的3D或4D张量且形状一致,scale和B的元素数必须等于通道数;epsilon必须大于0。反向必须计算输入梯度;scale和B为可训练参数时分别计算其梯度。 |
LSTM#
一种循环神经网络,用于捕捉输入的时序数据长期依赖关系。
说明:
仅支持float类型,暂不支持int8类型。
表 1 LSTM参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
仅支持FP32静态、非空张量,以及单层、单向forward LSTM;输入X为三维张量[T, B, I],T、B、I均大于0;权重采用IOFG门顺序,W为[1, 4H, I]、R为[1, 4H, H]、B为[1, 8H],initial_h和initial_c的元素数均为B×H;Y、Y_h、Y_c的输出梯度可任意组合,但至少存在一个;不支持双向、reverse、projection、非零zoneout和动态Shape |
Tile#
对2D/3D/4D输入沿指定维度做复制扩展。
表 1 Tile参数概览
Pad#
对输入张量边界做填充。
表 1 Pad参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
仅支持CONSTANT模式;rank为1~6,要求normalized paddings、非负padding和正静态shape,输出shape必须等于输入shape加padding |
Resize#
对输入张量按照指定填充模式做缩放。
表 1 Resize参数概览
规格约束:离线常量,NC轴保持1.0。fp32仅支持out_dim为整数,int8不支持配置,scales为离线常量,与sizes必须配置且仅配置一个 |
||||
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持本实现锁定的linear或nearest分支 |
Squeeze#
对输入张量进行shape压缩操作,被压缩维度的dim值必须为1。
表 1 Squeeze参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
仅支持1个数据输入和1个输出,输入和输出均为FP32静态非空张量,且元素总数相等;支持axis为空、正axis和负axis,指定axis对应的输入维度必须为1;不支持动态Shape |
Unsqueeze#
对多维Tensor进行shape扩展。
表 1 Unsqueeze参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
仅支持1个数据输入和1个输出,输入和输出均为FP32静态非空张量,且元素总数相等;支持单个或多个axis及负axis,axis归一化后按升序插入维度;axis数量不超过4,输出rank不超过16;不支持动态Shape |
Flatten#
对多维Tensor进行维度展平。
表 1 Flatten参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
输入和输出元素数量必须一致,且为FP32静态非空张量 |
Abs#
对张量的每个元素做绝对值运算。
表 1 Abs参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
要求使用FP32静态非空张量 |
Ceil#
对张量中的每个元素做向上取整操作。
表 1 Ceil参数概览
Cos#
对张量中的每个元素做余弦操作。
表 1 Cos参数概览
Exp#
对张量中的每个元素做指数计算操作。
表 1 Exp参数概览
Floor#
对张量中的每个元素做向下取整操作。
表 1 Floor参数概览
Log#
对张量中的每个元素做对数计算操作(底数值为e)。
表 1 Log参数概览
Round#
对张量中的每个元素做四舍五入操作。
表 1 Round参数概览
Sin#
对张量中的每个元素做正弦计算操作。
表 1 Sin参数概览
Sqrt#
对张量中的每个元素做平方根计算操作。
表 1 Sqrt参数概览
BatchNormalization#
对输入张量做批归一化计算。
表 1 BatchNormalization参数概览
LayerNormalization#
对输入张量做层归一化计算。
表 1 LayerNormalization参数概览
LpNormalization#
沿指定轴,用 1 或 2 阶 Lp 范数对输入张量执行归一化计算。
表 1 LpNormalization参数概览
Slice#
从输入张量中沿指定轴提取子张量。
表 1 Slice参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持rank为1~8的FP32静态非空张量;要求full-rank归一化参数,不支持slice mask,step非零(正、负步长均支持),不支持空切片 |
GlobalMaxPool#
对输入张量除通道轴以外进行最大池化操作。
表 1 GlobalMaxpool参数概览
GlobalAveragePool#
对输入张量除通道轴以外进行平均池化操作。
表 1 GlobalAveragePool参数概览
Transpose#
对输入张量进行转置。
表 1 Transpose参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
输入和输出必须为FP32静态非空张量,元素数量及rank一致,rank为1~16;perm必须是长度等于rank的int32离线常量,且为[0, rank)的合法全排列。反向仅计算数据输入梯度,按perm的逆排列对输出梯度进行转置;perm不参与求导。 |
ArgMax#
在张量的指定维度上,计算并返回最大值对应的位置索引。
说明:
仅支持float类型,不支持int8类型。
表 1 ArgMax参数概览
ArgMin#
在张量的指定维度上,计算并返回最小值对应的位置索引。
说明:
仅支持float类型,不支持int8类型。
表 1 ArgMin参数概览
Div#
对两输入张量进行除法运算。
表 1 Div参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
前向输入为2个、输出为1个,输入和输出数据类型均为FP32;支持静态Shape和标准右对齐广播,输出rank不超过4,所有维度必须为正数;输入rank不得大于输出rank,且每一维满足输入维度为1或等于输出维度;反向需保留两个输入,支持同时生成两个输入梯度;仅支持无融合激活(NONE),不支持动态Shape |
Mod#
对两输入张量进行取模运算。
说明:
Mod算子不支持量化。
表 1 Mod参数概览
BitShift#
BitShift以X作为被移位数据、Y作为移位位数,逐元素执行无符号整数左移或右移运算,位移方向由direction属性指定。支持转换ONNX Opset 18及以上版本中的BitShift算子。
说明:
BitShift算子不支持量化,按uint8、uint16、uint32或uint64数据类型执行位移运算。
表 1 BitShift参数概览
必须为静态shape,rank小于16,数据类型必须与X一致。shape必须与X满足多方向广播规则。移位位数大于或等于数据类型位宽时,对应输出为0。 |
||||
Clip#
对张量进行最大最小值截断操作。
表 1 Clip参数概览
ReduceMax#
对指定维度的张量进行最大值归约计算。
表 1 ReduceMax参数概览
ReduceMin#
对指定维度的张量进行最小值归约计算。
表 1 ReduceMin参数概览
ReduceSum#
对指定维度的张量进行求和归约计算。
表 1 ReduceSum参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持rank为1~8的FP32静态非空张量;axes必须为int32常量,允许为空表示全维归约,axes必须合法且唯一,输出shape必须匹配keep_dims |
ReduceSumSquare#
ReduceSumSquare先对data中的元素逐元素平方,再沿axes指定的维度执行求和归约。支持转换ONNX Opset 18及以上版本中的ReduceSumSquare算子。
说明:
ReduceSumSquare算子支持非量化FP32推理和全量化INT8推理。
表 1 ReduceSumSquare参数概览
可选的第二个输入,必须为一维离线常量,各轴不能重复。支持单轴、多轴和负轴,每个元素的取值范围为[-rank(data), rank(data))。负轴表示从末维开始计数;缺省或为空时的行为由noop_with_empty_axes确定。 |
||||
ReduceMean#
对指定维度的张量进行均值归约计算。
表 1 ReduceMean参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持rank为1~8的FP32静态非空张量;axes必须为int32常量,允许为空表示全维归约,axes必须合法且唯一,输出shape必须匹配keep_dims |
ReduceL1#
对指定维度的张量进行L1范数归约计算。
表 1 ReduceL1参数概览
ReduceL2#
对指定维度的张量进行L2范数归约计算。
表 1 ReduceL2参数概览
Cast#
对输入张量进行数据类型的转换。
说明:
Cast算子不支持量化。
表 1 Cast参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
仅支持输入和输出均为FP32的恒等Cast;输入和输出必须为静态非空张量且形状一致。反向仅传递数据输入梯度,梯度张量按元素复制;不产生可训练参数梯度。 |
PRelu#
对输入张量进行参数化 PRelu 激活处理。其在输入为非负值时保持原值,在输入为负值时根据斜率参数进行线性缩放。
表 1 PRelu参数概览
说明:
在量化过程中,PReLU 算子的第二输入保留 FP32 格式,以保证负半轴计算精度。
CumSum#
对输入张量沿指定维度进行累加求和处理,输出结果为该维度上的前缀和。
表 1 CumSum参数概览
数据类型仅支持 int32、int64;取值范围为 [-rank(input), rank(input)),当 axis 为负数时,表示从最后一个维度开始反向索引。 |
||||
ReverseSequence#
对输入张量指定轴前N个数据进行反转。
表 1 ReverseSequence参数概览
Einsum#
对输入张量进行简约求和,支持多输入的矩阵乘,对角,旋转,规约等操作。
说明:
详细规则请参考Einsum,不支持...操作。
表 1 Einsum参数概览
LeakyRelu#
对输入张量做LeakyRelu激活函数运算。在输入为非负值时保持原值,在输入为负值时根据缩放系数进行线性缩放。
表 1 LeakyRelu参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
alpha为常量 |
HardSwish#
对输入张量做HardSwish激活函数运算。公式为:Y = X * HardSigmoid(α=1/6, β=0.5, X)
表 1 HardSwish参数概览
Swish#
对输入张量做Swish激活函数运算。公式为:Y = X * sigmoid(alpha * X)
表 1 Swish参数概览
说明:
在ONNX Opset24以上才支持构造Swish算子,对应ONNX版本为1.19.0以上。
And#
对两个输入张量执行逐元素“与”逻辑运算。
说明:
And支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。 And算子不支持量化。
表 1 And参数概览
Equal#
对两个输入张量执行逐元素“等于”逻辑运算。
说明:
Equal支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 Equal参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
不可微;梯度不经Equal回传,其上游仅当存在其他可微路径时才参与训练 |
GreaterOrEqual#
对两个输入张量执行逐元素“大于等于”逻辑运算。
说明:
GreaterOrEqual支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 GreaterOrEqual参数概览
Greater#
对两个输入张量执行逐元素“大于”逻辑运算。
说明:
Greater支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 Greater参数概览
LessOrEqual#
对两个输入张量执行逐元素“小于等于”逻辑运算。
说明:
LessOrEqual支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 LessOrEqual参数概览
Less#
对两个输入张量执行逐元素“小于”逻辑运算。
说明:
Less支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。
表 1 Less参数概览
Not#
逐元素返回输入张量的取反值。
说明:
Not算子不支持量化。
表 1 Not参数概览
Or#
对两个输入张量执行逐元素“或”逻辑运算。
说明:
Or支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。 Or算子不支持量化。
表 1 Or参数概览
Xor#
对两个输入张量执行逐元素“异或”逻辑运算。
说明:
Xor支持广播特性。双向广播需要在转换命令中明确配置inputDataFormat和outputDataFormat参数。 Xor算子不支持量化。
表 1 Xor参数概览
Dropout#
对输入张量进行 Dropout 处理。推理场景下,Dropout 等价于 Identity,输出张量与输入张量保持一致,不进行随机屏蔽和缩放处理。
表 1 Dropout参数概览
可选输入;数据类型通常为 bool。为 false 或未配置时表示推理模式,Dropout 等价于 Identity。当前端侧推理场景通常按 false 处理。 |
||||
可选输出;数据类型通常为 bool;维度与 X 一致。推理场景下通常不使用该输出,若框架保留该输出,其值不参与后续推理计算。 |
说明:
暂不支持training_mode为true,暂不支持ratio或training_mode为运行时输入。
Identity#
对输入张量进行恒等映射处理。该算子不改变输入数据的数值、数据类型和维度信息,输出张量与输入张量保持一致。
表 1 Identity参数概览
GatherElements#
对目标张量的某个轴进行重新取索引,索引为一个与目标张量相同大小的整型张量。
表 1 GatherElements参数概览
ReduceLogSum#
对目标张量进行Reduce操作,Reduce操作为LogSum。
表 1 ReduceLogSum参数概览
ReduceLogSumExp#
对目标张量进行Reduce操作,Reduce操作为LogSumExp。
表 1 GatherElements参数概览
Expand#
对输入张量按目标形状进行扩展运算,扩展规则遵循广播机制。
表 1 Expand参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
Expand在训练图中转换为BroadcastTo;输入和输出必须为FP32静态非空张量,输入rank为0~16、输出rank为1~16,输出rank不小于输入rank,且形状满足右对齐广播规则。shape必须为int64一维编译期离线常量,来源为initializer或Constant节点,各目标维度大于0;不支持运行时shape。反向仅计算数据输入梯度,将输出梯度沿广播轴累加;shape不参与求导。 |
Elu#
对输入张量做Elu激活函数运算。公式为:Y= X if X >= 0 else alpha * (exp(X)-1)
表 1 Elu参数概览
DepthToSpace#
对输入张量维度的深度(通道)维度的数据重排到空间(高、宽)维度。
表 1 DepthToSpace参数概览
SpaceToDepth#
对输入张量空间(高、宽)维度的数据重排到深度(通道)维度。
表 1 SpaceToDepth参数概览
GRU#
一种循环神经网络,用于捕捉输入的时序数据长期依赖关系。
说明:
仅支持float类型,暂不支持int8类型。
表 1 GRU参数概览
Gelu#
对输入张量做Gelu激活函数运算。Gelu(Gaussian Error Linear Unit)基于正态分布累积概率,对输入乘以其概率分布的值实现连续非线性变换,相比传统激活函数在负值区域具有平滑的非零梯度。
表 1 Gelu参数概览
配置范围:只能配置为"none"或"tanh","none"使用erf精确形式计算,"tanh"使用tanh近似算法计算 |
Trilu#
Trilu(Triangular Upper / Lower)算子用于提取输入张量的三角矩阵部分,将保留区域之外的元素全部置为零。根据配置可提取上三角矩阵或下三角矩阵;对高维张量作用在最后两个维度组成的每一个二维矩阵上,批次维度保持不变。
表 1 Trilu参数概览
Shape#
获取输入张量的形状信息。
表 1 Shape参数概览
MatMulInteger#
对两个量化后的整数矩阵进行乘积运算,计算 Y = (A - a_zero_point) * (B - b_zero_point)。
表 1 MatMulInteger参数概览
QLinearMatMul#
对两个INT8量化张量执行矩阵乘法,并使用输出量化参数将INT32累加结果重新量化为INT8输出。计算过程如下:
acc = Σ((a - a_zero_point) × (b - b_zero_point))
y = saturate(round_to_nearest_even(acc × a_scale × b_scale / y_scale) + y_zero_point)
该算子仅支持ONNX格式和RISCV Micro目标,支持ONNX Opset 10及以上版本。转换时复用MatMulFusion算子及其INT8 Micro实现。
表 1 QLinearMatMul参数概览
参数名 |
参数/输入输出 |
数据类型 |
参数含义 |
配置范围及规格约束说明 |
|---|---|---|---|---|
a |
input |
tensor (int8) |
左输入量化张量。 |
仅支持INT8和2D/3D/4D静态形状。 |
a_scale |
input |
tensor (float32) |
输入a的量化缩放因子。 |
必须是有限正数和常量标量,仅支持per-tensor量化。 |
a_zero_point |
input |
tensor (int8) |
输入a的量化零点。 |
必须是常量标量。 |
b |
input |
tensor (int8) |
右输入量化张量。 |
仅支持INT8和2D/3D/4D静态形状;倒数第二维必须与a的最后一维匹配,不支持批次维广播。 |
b_scale |
input |
tensor (float32) |
输入b的量化缩放因子。 |
必须是有限正数常量;支持标量per-tensor量化,或长度等于b最后一维的1D per-column量化。 |
b_zero_point |
input |
tensor (int8) |
输入b的量化零点。 |
必须为常量,形状与b_scale一致。 |
y_scale |
input |
tensor (float32) |
输出y的量化缩放因子。 |
必须是有限正数和常量标量,仅支持per-tensor量化。 |
y_zero_point |
input |
tensor (int8) |
输出y的量化零点。 |
必须是常量标量。 |
y |
output |
tensor (int8) |
重新量化后的矩阵乘法结果。 |
仅支持INT8和2D/3D/4D静态形状。 |
说明:
a、b和y仅支持INT8,不支持UINT8。所有scale和zero point必须在模型转换时可确定,且每组scale和zero point的元素个数必须一致。输入a和输出y仅支持per-tensor量化;输入b支持per-tensor或按输出列per-column量化。
当模型使用QuantizeLinear和DequantizeLinear作为浮点网络与QLinearMatMul之间的边界时,边界算子仅支持常量标量float32 scale和常量标量int8 zero point,转换后分别作为FP32到INT8、INT8到FP32的QuantDTypeCast执行。
QLinearMatMul源图已经包含量化参数,转换时不能再次启用全量化,否则转换器会按重复量化处理并终止转换。
GatherND#
根据indices中的多维坐标,从data中收集元素或切片。设索引深度为D=indices.shape[-1],输出shape为indices.shape[:-1]+data.shape[D:],输出数据类型与data一致。
该算子仅支持ONNX格式和RISCV Micro目标,source entry为ONNX GatherND,转换后映射为GatherNd。支持FP32、INT32、BOOL数据通路;float32模型可通过全量化生成INT8数据通路。
表 1 GatherND参数概览
参数名 |
参数/输入输出 |
数据类型 |
参数含义 |
配置范围及规格约束说明 |
|---|---|---|---|---|
data |
input |
tensor (float32/int32/bool/int8) |
被收集元素或切片的数据张量。 |
必须为静态形状,rank不超过16;float32模型支持非量化和全量化INT8通路。 |
indices |
input |
tensor (int32/int64) |
多维索引张量,最后一维保存索引元组。 |
必须为静态形状;rank(indices)必须大于等于1且不超过16;D必须大于0且小于等于rank(data);坐标值必须大于等于0且小于data对应维度大小。 |
output |
output |
tensor |
按索引元组收集得到的元素或切片,数据类型与data一致。 |
必须为静态形状;shape为indices.shape[:-1]+data.shape[D:];输出元素数、步长和偏移量必须在有符号32位整数范围内。 |
说明:
GatherND无属性。indices仅用于定位数据,不参与量化;INT8通路来自float32模型的全量化转换,不支持将indices量化。
关键场景分析
使用场景 |
什么时候会遇到 |
软件行为与限制 |
|---|---|---|
ONNX基本GatherND |
ONNX模型导出GatherND |
按indices最后一维表示的多维坐标从data收集元素或切片。 |
收集标量元素 |
D等于rank(data) |
输出shape为indices.shape[:-1]。 |
收集尾部切片 |
D小于rank(data) |
输出shape为indices.shape[:-1]+data.shape[D:]。 |
全量化int8通路 |
float32模型 + FULL_QUANT |
data/output使用INT8通路,indices保持INT32或INT64,不参与量化。 |
不支持规格命中 |
indices为负数、越界、D大于rank(data)、shape非静态或中间计算溢出INT32 |
转换期或运行期报错,不生成有效结果。 |
Scatter#
先复制data得到输出,再沿axis使用indices指定的位置,以updates中的对应值进行覆盖。该算子转换后复用ScatterElements及其Micro实现。
该算子仅支持ONNX格式和RISCV Micro目标,适用于ONNX Opset 9和10;ONNX从Opset 11起已废弃Scatter,建议新模型使用ScatterElements。支持FP32和全量化INT8通路。
表 1 Scatter参数概览
参数名 |
参数/输入输出 |
数据类型 |
参数含义 |
配置范围及规格约束说明 |
|---|---|---|---|---|
data |
input |
tensor (float32/int8) |
提供输出初值的数据张量。 |
必须为静态形状,rank为1~16;支持FP32和全量化INT8。 |
indices |
input |
tensor (int32/int64) |
指定axis维上的目标位置。 |
必须与data具有相同rank,并与updates形状完全一致;索引范围为[-data.shape[axis], data.shape[axis]-1]。 |
updates |
input |
tensor (float32/int8) |
覆盖目标位置的新值。 |
数据类型通路与data一致,形状必须与indices一致;除axis外,各维大小不能超过data对应维度。 |
axis |
attribute |
int |
指定执行离散更新的维度。 |
默认0,范围为[-rank(data), rank(data)-1]。 |
output |
output |
tensor (float32/int8) |
完成覆盖更新后的结果。 |
形状与data一致。 |
说明:
Scatter仅支持覆盖语义。负索引按对应维度从尾部计数;索引越界时运行失败。相同输出位置不应出现重复索引,否则最终覆盖值依赖更新顺序。
ScatterElements#
先复制data得到输出,再逐元素读取indices,在axis维替换当前坐标,并使用updates中的对应元素覆盖该输出位置。
该算子仅支持ONNX格式和RISCV Micro目标,支持ONNX Opset 11及以上版本,支持FP32和全量化INT8通路。
表 1 ScatterElements参数概览
参数名 |
参数/输入输出 |
数据类型 |
参数含义 |
配置范围及规格约束说明 |
|---|---|---|---|---|
data |
input |
tensor (float32/int8) |
提供输出初值的数据张量。 |
必须为静态形状,rank为1~16;支持FP32和全量化INT8。 |
indices |
input |
tensor (int32/int64) |
逐元素指定axis维上的目标位置。 |
必须与data具有相同rank,并与updates形状完全一致;索引范围为[-data.shape[axis], data.shape[axis]-1]。 |
updates |
input |
tensor (float32/int8) |
覆盖目标位置的新值。 |
数据类型通路与data一致,形状必须与indices一致;除axis外,各维大小不能超过data对应维度。 |
axis |
attribute |
int |
指定执行离散更新的维度。 |
默认0,范围为[-rank(data), rank(data)-1]。 |
reduction |
attribute |
string |
指定重复位置的归约方式。 |
仅支持none;不支持add、mul、max和min。 |
output |
output |
tensor (float32/int8) |
完成覆盖更新后的结果。 |
形状与data一致。 |
说明:
ScatterElements仅支持reduction=none。负索引按对应维度从尾部计数;索引越界时运行失败。reduction=none时相同输出位置不应出现重复索引。
ScatterND#
先复制data得到输出,再将indices最后一维表示的K维坐标作为目标位置,使用updates覆盖对应元素或完整尾部切片。updates.shape必须等于indices.shape[:-1]+data.shape[K:]。
该算子仅支持ONNX格式和RISCV Micro目标,支持ONNX Opset 11及以上版本,支持FP32和全量化INT8通路。转换时映射为ScatterNdUpdate及其Micro实现。
表 1 ScatterND参数概览
参数名 |
参数/输入输出 |
数据类型 |
参数含义 |
配置范围及规格约束说明 |
|---|---|---|---|---|
data |
input |
tensor (float32/int8) |
提供输出初值的数据张量。 |
必须为静态形状,rank为1~16;支持FP32和全量化INT8。 |
indices |
input |
tensor (int32/int64) |
多维索引张量,最后一维保存K维坐标元组。 |
必须为静态形状,rank为1~16;K必须大于0且不超过data的rank;每维索引范围为[-data.shape[i], data.shape[i]-1]。 |
updates |
input |
tensor (float32/int8) |
覆盖目标元素或尾部切片的新值。 |
数据类型通路与data一致,必须为静态形状,shape等于indices.shape[:-1]+data.shape[K:]。 |
reduction |
attribute |
string |
指定重复位置的归约方式。 |
仅支持none;不支持add、mul、max和min。 |
output |
output |
tensor (float32/int8) |
完成覆盖更新后的结果。 |
形状与data一致。 |
说明:
ONNX ScatterND包含data、indices和updates三个输入,与TFLite ScatterND的indices、updates、shape输入形式不同。负索引按对应维度从尾部计数;索引越界时运行失败。reduction=none时不应使用重复索引。INT8通路仅支持per-tensor量化。
TopK#
获取输入张量中沿指定维度前K个最大值,并返回其值及对应的索引。
表 1 TopK参数概览
Erf#
对输入张量逐元素计算高斯误差函数值。
表 1 Erf参数概览
HardSigmoid#
对输入张量做HardSigmoid激活函数运算。公式为:Y=max(0, min(1, α·X+β))
表 1 HardSigmoid参数概览
Celu#
对输入张量做Celu激活函数运算。公式为:Y=max(0, x)+min(0, α·(exp(x/α)-1))
表 1 Celu参数概览
Selu#
对输入张量逐元素执行缩放指数线性激活。计算公式如下:
y = gamma × x, x > 0
y = gamma × alpha × (exp(x) - 1), x <= 0
该算子仅支持ONNX格式,转换时复用Activation算子。支持FP32和全量化INT8通路;INT8通路使用256项查找表执行。
表 1 Selu参数概览
参数名 |
参数/输入输出 |
数据类型 |
参数含义 |
配置范围及规格约束说明 |
|---|---|---|---|---|
X |
input |
tensor (float32/int8) |
待执行Selu激活的输入张量。 |
逐元素计算;支持FP32和全量化INT8通路。 |
alpha |
attribute |
float |
控制负值区间的指数缩放。 |
可选,默认值为1.6732631921768188。 |
gamma |
attribute |
float |
控制整体输出缩放。 |
可选,默认值为1.0507009873554805。 |
Y |
output |
tensor (float32/int8) |
Selu激活结果。 |
数据类型和形状与对应执行通路的输入一致。 |
说明:
全量化INT8通路使用per-tensor输入和输出量化参数,在模型转换阶段生成覆盖全部INT8输入值的查找表。
Max#
对输入的多个张量在对应位置取最大值。
表 1 Max参数概览
Min#
对输入的多个张量在对应位置取最小值。
表 1 Min参数概览
Sum#
对输入的多个张量在对应位置逐元素求和。
表 1 Sum参数概览
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持1个或多个FP32静态非空输入,按trailing broadcast规则对齐,广播后的输出rank不超过4;反向分别计算各输入梯度,并沿对应广播轴累加 |
Constant#
静态常量生成算子,输出一个由属性指定的常量张量,其值和形状在模型定义时确定,推理时不发生变化。该算子无输入,仅有一个输出,通过属性指定常量值。仅有ONNX规格。
表 1 Constant参数概览
说明:
必须且只能指定以上属性(value/value_float/value_floats/value_int/value_ints)中的一个来定义常量值。
ConstantOfShape#
常量填充算子,根据输入张量指定的目标形状,生成一个所有元素值均相同的常量张量。仅有ONNX规格。
表 1 ConstantOfShape参数概览
ReduceProd#
沿指定轴计算输入张量所有元素的乘积。
表 1 ReduceProd参数概览
Hardmax#
沿指定维度选取第一个最大值所在位置,输出与输入同形状的one-hot张量:第一个最大值位置为1,其余位置为0。
说明:
Hardmax算子不支持量化。
表 1 Hardmax参数概览
Where#
根据条件张量从两个输入张量中逐元素选择输出:条件为true时取X中对应元素,否则取Y中对应元素;condition、X、Y支持广播。
表 1 Where参数概览
ConvInteger#
对量化后的整数输入张量和卷积核执行卷积运算,计算 Y = (X - x_zero_point) * (W - w_zero_point),输出int32类型的整数累加结果。
表 1 ConvInteger参数概览
配置范围:NOTSET、VALID、SAME_UPPER、SAME_LOWER;默认NOTSET;非NOTSET时不支持同时配置pads |
||||
规格约束:包含4个非负元素[top, left, bottom, right],仅在auto_pad为NOTSET时生效;默认[0, 0, 0, 0] |
||||
QLinearConv#
对INT8量化输入和INT8量化权重执行二维卷积,并使用输出量化参数将INT32累加结果重新量化为INT8输出。计算过程如下:
acc = Σ((x - x_zero_point) × (w - w_zero_point)) + B
y = saturate(round_to_nearest_even(acc × x_scale × w_scale / y_scale) + y_zero_point)
该算子仅支持ONNX格式和RISCV Micro目标,支持ONNX Opset 10及以上版本。转换时复用Conv2DFusion算子及其INT8 Micro实现。
表 1 QLinearConv参数概览
参数名 |
参数/输入输出 |
数据类型 |
参数含义 |
配置范围及规格约束说明 |
|---|---|---|---|---|
x |
input |
tensor (int8) |
量化输入张量,格式为NCHW。 |
仅支持INT8和4D二维卷积输入。 |
x_scale |
input |
tensor (float32) |
输入x的量化缩放因子。 |
必须是有限正数和常量标量,仅支持per-tensor量化。 |
x_zero_point |
input |
tensor (int8) |
输入x的量化零点。 |
必须是常量标量。 |
w |
input |
tensor (int8) |
量化卷积权重。 |
必须是常量4D张量,形状为[M, C, kH, kW];M为输出通道数。 |
w_scale |
input |
tensor (float32) |
权重w的量化缩放因子。 |
必须是有限正数常量;支持标量per-tensor量化,或长度等于M的1D per-output-channel量化。 |
w_zero_point |
input |
tensor (int8) |
权重w的量化零点。 |
必须为常量,形状与w_scale一致。 |
y_scale |
input |
tensor (float32) |
输出y的量化缩放因子。 |
必须是有限正数和常量标量,仅支持per-tensor量化。 |
y_zero_point |
input |
tensor (int8) |
输出y的量化零点。 |
必须是常量标量。 |
B |
input |
tensor (int32) |
可选偏置。 |
必须是常量1D张量,元素个数等于M;省略时按全0偏置处理。偏置scale为x_scale与对应w_scale的乘积,zero point为0。 |
y |
output |
tensor (int8) |
重新量化后的卷积结果,格式为NCHW。 |
仅支持INT8和4D输出。 |
auto_pad |
attribute |
string |
指定padding类型。 |
仅支持NOTSET。 |
dilations |
attribute |
list(int) |
卷积核在两个空间轴上的扩张系数。 |
包含2个元素,每个元素大于等于1;默认[1, 1]。 |
group |
attribute |
int |
输入和输出通道的分组数。 |
仅支持1。 |
kernel_shape |
attribute |
list(int) |
卷积核的空间尺寸。 |
包含2个元素,配置时必须与w的[kH, kW]一致;默认从w推导。 |
pads |
attribute |
list(int) |
输入空间维度各轴前后的填充量。 |
包含4个非负元素[top, left, bottom, right];仅在auto_pad为NOTSET时生效,默认[0, 0, 0, 0]。 |
strides |
attribute |
list(int) |
卷积核在两个空间轴上的移动步长。 |
包含2个元素,每个元素大于等于1;默认[1, 1]。 |
说明:
x、w和y仅支持INT8,不支持UINT8。所有scale和zero point必须在模型转换时可确定,且每组scale和zero point的元素个数必须一致。输入x和输出y仅支持per-tensor量化;权重w支持per-tensor或按输出通道per-output-channel量化。
当模型使用QuantizeLinear和DequantizeLinear作为浮点网络与QLinearConv之间的边界时,边界算子仅支持常量标量float32 scale和常量标量int8 zero point,转换后分别作为FP32到INT8、INT8到FP32的QuantDTypeCast执行。
QLinearConv源图已经包含量化参数,转换时不能再次启用全量化,否则转换器会按重复量化处理并终止转换。
OneHot#
将整数类别索引张量展开为OneHot编码张量,在axis指定的位置插入深度维。该算子与布局无关,不进行NCHW/NHWC转换。
表 1 OneHot参数概览
ThresholdedRelu#
对输入张量逐元素执行阈值过滤。当输入值严格大于alpha时保留原值,否则输出0;输入值等于alpha时输出0。该算子与布局无关,输出形状和格式与输入一致。
表 1 ThresholdedRelu参数概览
规格约束:维度为1D/2D/3D/4D;源模型仅支持float32,全量化通路为int8;不支持float16、float64、bfloat16 |
||||
Unique#
对输入张量进行去重。省略axis时按行主序展平输入并比较标量元素;配置axis时沿指定轴比较完整子张量。
说明:
Unique算子支持float32/int8,不支持量化。
表 1 Unique参数概览
规格约束:维度为1D/2D/3D/4D且形状必须静态,不支持动态秩、动态轴和逐通道量化;float64、int64源模型分别归一化为float32、int32运行 |
||||
展平模式输出为1D;axis模式保持输入秩及非轴维度,所选轴收缩为唯一个数;变长输出,必须作为图的终端输出;全量化时继承X的量化参数 |
||||
Softsign#
对输入张量逐元素执行Softsign激活函数运算。公式为:Y=X/(1+|X|)。输出与输入形状相同,输出值范围为(-1, 1)。
表 1 Softsign参数概览
Softplus#
对输入张量逐元素执行Softplus激活函数运算。公式为:Y=ln(exp(X)+1)。输出与输入形状相同。
表 1 Softplus参数概览
LogSoftmax#
沿axis指定的维度计算输入张量的对数归一化概率。对于该维度中的每个元素,计算公式为:Yi=Xi-log(Σjexp(Xj))。输出张量的形状和格式与输入相同。
表 1 LogSoftmax参数概览
ConvTranspose#
转置卷积(反卷积)算子,用于上采样。输出空间维按ONNX规格公式计算:output_shape[i]=stride[i]×(input_size[i]-1)+output_padding[i]+((kernel_shape[i]-1)×dilations[i]+1)-pads[start_i]-pads[end_i]。
说明:
支持group=1的标准反卷积,包括任意对称或非对称pads、步长 ≥ 1、膨胀 ≥ 1、auto_pad、output_padding以及可选偏置;支持FP32和全量化INT8转换,权重按输出通道逐通道量化。不支持output_shape属性、group大于1、int8模式下batch大于1以及非4D输入。
表 1 ConvTranspose参数概览
规格约束:形状为[N, C_out, oH, oW],oH/oW按功能描述中的公式计算;支持FP32和全量化INT8转换 |
||||
配置范围:NOTSET、VALID、SAME_UPPER、SAME_LOWER;默认NOTSET;非NOTSET时不支持同时配置pads |
||||
规格约束:包含4个非负元素[top, left, bottom, right],支持任意对称或非对称补边;默认[0, 0, 0, 0] |
||||
RNN#
循环神经网络算子,计算一层简单循环网络,对时间步t逐拍更新隐状态并输出:Ht=activation(Xt·WT+Ht-1·RT+Wb+Rb)。其中Xt为当前时间步输入,W为输入权重,R为循环权重,Wb/Rb为对应偏置(可省略,缺省为零);clip属性存在时在激活之前把括号内求和值裁剪到[-clip, +clip]。每个方向维护独立的权重与隐状态。
说明:
模型数据类型仅支持float32,RISCV平台支持FP32与全量化INT8,x86平台仅支持FP32,不支持INT8量化。必须同时输出Y与Y_h。仅支持layout=0(时间步在前的布局),layout=1(批在前的布局)不支持。TFLite无对应builtin算子,不支持转换。
表 1 RNN参数概览
Neg#
对张量的每个元素做取负运算(符号取反),即 y = -x。
表 1 Neg参数概览
Pow#
计算两个张量的逐元素幂运算,X 为底数张量,Y 为指数张量,输出 Z = X^Y。支持 NumPy 风格广播。
说明:
Pow 无原生属性,转换时 MSLite 内部 scale=1.0, shift=0.0 等价于标准幂运算。支持广播特性,双向广播需在转换命令中明确配置 inputDataFormat 和 outputDataFormat 参数。
推荐使用 X ≥ 0 的输入组合确保结果确定性;X < 0 且 Y 为非整数时实数域无定义,输出值取决于底层数学库。
INT8 量化仅支持 X ≥ 0 的输入,X < 0 时负数值在 int8 对称量化中将被映射为 0。
表 1 Pow参数概览
规格约束:最大维度 4D;支持 NumPy 广播;不支持fp16/fp64/int32/int64类型;INT8 不支持 X<0 的输入 |
||||
训练支持规格
训练模式 |
支持情况 |
规格约束 |
|---|---|---|
QAS INT8 |
不支持 |
- |
FP32 |
支持 |
支持静态、非空张量,广播对齐后的rank不超过4,并按trailing broadcast对齐 |
专题#
高效算子支持#
HiSpark.AI工具链对部分常用嵌入式AI的算子规格进行了RISC-V专题的性能优化。在converter_lite命令行中开启riscvOpt选项,即可启用高性能模式。对性能要求较高的嵌入式AI场景中,在AI模型设计时可以优先采用以下规格。
Conv优化#
以下规格的Onnx算子在riscvOpt高性能模式下推理时间上有较大优化,算法工程师在AI模型设计时可以优先采用以下规格。
表 1 Conv Onnx高效算子支持规格列表
以下规格的TFLite算子在riscvOpt高性能模式下推理时间上有较大优化,算法工程师在AI模型设计时可以优先采用以下规格。
表 2 Conv TFLite高效算子支持规格列表
Matmul优化#
以下规格的Onnx算子在riscvOpt高性能模式下推理时间上有较大优化,算法工程师在AI模型设计时可以优先采用以下规格。
表 1 Matmul Onnx高效算子支持规格列表
以下规格的TFLite算子在riscvOpt高性能模式下推理时间上有较大优化,算法工程师在AI模型设计时可以优先采用以下规格。
表 2 Matmul TFLite高效算子支持规格列表
MaxPool/AveragePool优化#
以下规格的Onnx算子在riscvOpt高性能模式下推理时间上有较大优化,算法工程师在AI模型设计时可以优先采用以下规格。
表 1 MaxPool / AveragePool Onnx高效算子支持规格列表
以下规格的TFLite算子在riscvOpt高性能模式下推理时间上有较大优化,算法工程师在AI模型设计时可以优先采用以下规格。
表 2 MaxPool2D / AveragePool2D TFLite高效算子支持规格列表
