esp32s3 上部署量化模型，使用 m_model->test() 测试不通过 (AIS-2159)

[hushi55]

Checklist

• Checked the issue tracker for similar issues to ensure this is not a duplicate
• Read the documentation to confirm the issue is not addressed there and your configuration is set correctly
• Tested with the latest version to ensure the issue hasn't been fixed

How often does this bug occurs?

always

Expected behavior

1. 使用 esp-ppq 量化训练的模型使用 export_test_values=True 参数导出 espdl 文件部署，m_model->test() 应该要通过
2. 模型量化后于 PC 端的识别效果相差太大. 性别识别完全不可用(但是我在 PC 端测试，准确率 95% +)

Actual behavior (suspected bug)

1. m_model->test() 测试不通过

Error logs or terminal output

Steps to reproduce the behavior

1. 我自己训练一个通过人脸识别 age、gender 特性的模型
2. 我通过 esp-ppq 量化一个版本使用的量化参数如下
   quant_setting = QuantizationSettingFactory.espdl_setting()

quant_setting.dispatcher = 'conservative'

禁用可能导致问题的优化选项

quant_setting.fusion = False # 禁用算子融合
quant_setting.equalization = False # 禁用均衡化
quant_setting.layerwise_equalization = False # 禁用层间均衡

# 调整量化设置

quant_setting.lsq_optimization = False # 关闭LSQ优化
quant_setting.bias_correct = False # 关闭偏置校正

激进的量化校准和后处理

quant_setting.equalization = True # 激活均衡

quant_setting.layerwise_equalization = True # 层级均衡化

quant_setting.bias_correct = True # 偏置校正

quant_setting.channel_wise = True # 按通道量化
quant_setting.statistical_err_minimize = True # 统计误差最小化
quant_setting.tensorrt_scaling = True # TensorRT缩放策略
quant_setting.sensitivity_analysis = True # 敏感度分析

quant_setting.calib_algorithm = 'kl_divergence'

3.我的 onnx 文件和量化的 output 如下

199.zip

Project release version

latest

System architecture

ARM 64-bit (Apple M1/M2, Raspberry Pi 4/5)

Operating system

MacOS

Operating system version

macbook M4 15.6.1

Shell

Bash

Additional context

由于 m_model->test() 测试不通过，不知道现在模型效果不好的问题边界在哪里

1. 到底是模型的量化后有问题
   2.还是我对 image 图片处理的输入有问题，由于 esp32s3 对 sub, mul 算子支持的不好，所以我将图片的数据的归一化放到了模型外，对图片的归一化处理算法如下

读取已经裁剪好的人脸图像

img = cv2.imread(self.image_paths[idx])
if img is not None:
# 调整大小（虽然已经是112x112，但为了保险起见）
img = cv2.resize(img, (112, 112))

# 后续处理保持不变
img = img[:, :, ::-1]  # BGR to RGB
img = img.transpose((2, 0, 1))  # HWC to CHW
img = img.astype(np.float32)

## esp-ppq 量化如果存在这个归一化，量化不了
img = (img - 127.5) * 0.0078125

我希望

1. 先解决 m_model->test() 测试问题，确保和 量化 时加入的测试数据输入输出一致

[sun-xiangyu]

建议先使用 quant_setting = QuantizationSettingFactory.espdl_setting() 默认的设置看看能不能对齐，因为现在esp-dl 还不支持channel_wise quantization。

[hushi55]

我用默认配置 quant_setting = QuantizationSettingFactory.espdl_setting() 对齐，量化出来出来的模型现在能够在 esp32s3 上部署，并且可以通过测试了。这个问题解决了。
我在量化脚本评估模型的时候，性别的准确率能在 94.5%, 但是我自己测试时候发现识别自己的效果特别差，我现在怀疑的我的输入处理有问题，有为什么方法校验我数据输入处理是否和量化的时候是对齐的呢？或者说 export_test_values=True 导出参数有什么信息能找到这个量化的信息和公式呢？

[sun-xiangyu]

我用默认配置 quant_setting = QuantizationSettingFactory.espdl_setting() 对齐，量化出来出来的模型现在能够在 esp32s3 上部署，并且可以通过测试了。这个问题解决了。 我在量化脚本评估模型的时候，性别的准确率能在 94.5%, 但是我自己测试时候发现识别自己的效果特别差，我现在怀疑的我的输入处理有问题，有为什么方法校验我数据输入处理是否和量化的时候是对齐的呢？或者说 export_test_values=True 导出参数有什么信息能找到这个量化的信息和公式呢？

在你导出的时候有一个 .info 文件，那个文件和 .espdl 文件的内容是一致的，但是.info 是一个可以用编辑器打开的文件，包含了导出的 test inputs 和 test outputs，你可以测试自己写的前段处理是否可以对齐test inputs

我们最近实现了一些算子的浮点版本，最近两天可以合到master，到时你可以将前段处理合到模型中

[hushi55]

这个截图里 input 的 exponents 是 15 我使用了 api

input[chw_r_index] = dl::quantize<int16_t>(norm_r, DL_RESCALE(exponent));
input[chw_g_index] = dl::quantize<int16_t>(norm_g, DL_RESCALE(exponent));
input[chw_b_index] = dl::quantize<int16_t>(norm_b, DL_RESCALE(exponent));

量化输出，由于这个 info 文件里没有原始的 float 值，所以没有参照，不知道是不是对，建议 int8, int16 版本 info 文件加上原始的 float 值，这样方便对比输入输出的校验
只能等你们的 float 版本了

[BlueSkyB]

这个截图里 input 的 exponents 是 15 我使用了 api

input[chw_r_index] = dl::quantize<int16_t>(norm_r, DL_RESCALE(exponent));
input[chw_g_index] = dl::quantize<int16_t>(norm_g, DL_RESCALE(exponent));
input[chw_b_index] = dl::quantize<int16_t>(norm_b, DL_RESCALE(exponent));

量化输出，由于这个 info 文件里没有原始的 float 值，所以没有参照，不知道是不是对，建议 int8, int16 版本 info 文件加上原始的 float 值，这样方便对比输入输出的校验 只能等你们的 float 版本了

.info文件中的"test inputs value"是随机生成的，没有使用量化时真实的输入，因为是用来测试板端和esp-ppq对齐，所以也没有必要使用真实的输入。
test()测试ok，说明了板端.espdl文件的运行，如果和esp-ppq喂入一样的数据，运行结果是可以与esp-ppq量化模型的运行结果一致的。

您需要debug自己的前处理，可以采用如下方式：
1.同样的输入，在PC上用python编写相同的前处理逻辑，并采用与espdl一样的量化策略，量化策略见：https://docs.espressif.com/projects/esp-dl/zh_CN/latest/tutorials/how_to_run_model.html。
2.PC前处理结果，与您的板端前处理之后的数据进行逐元素比对。需要注意的是，如果模型第一层算子是 Conv, GlobalAveragePool, AveragePool, MaxPool, Resize，则需要注意，喂给这些算子的数据排布要求是 NHWC 或者 NWC。

[sun-xiangyu]

量化输出，由于这个 info 文件里没有原始的 float 值，所以没有参照，不知道是不是对，建议 int8, int16 版本 info 文件加上原始的 float 值，这样方便对比输入输出的校验 只能等你们的 float 版本了

浮点版本已经release了，需要更新esp-dl 和 使用最新的esp-ppq(v1.0.5)

[hushi55]

这个文档 404, 去掉后面的 `。` 号也是 404

我模型的第一个算子确实 Conv
我 check 下了，我训练时采用了

# 调整大小（虽然已经是112x112，但为了保险起见）
img = cv2.resize(img, (112, 112))

# 后续处理保持不变
img = img[:, :, ::-1]  # BGR to RGB
img = img.transpose((2, 0, 1))  # HWC to CHW
img = img.astype(np.float32)

## esp-ppq 量化如果存在这个归一化，量化不了
img = (img - 127.5) * 0.0078125

所以我在 esp32s3 上也采用这个算法
将 HWC 转换为了 CHW 排列

float 类型的 input 是不是也需要遵循

第一层算子是 Conv, GlobalAveragePool, AveragePool, MaxPool, Resize，则需要注意，喂给这些算子的数据排布要求是 NHWC 或者 NWC。

如果网络模型第一个算子如上，数据的排列必须得是 NHWC，是不是说，我得修改我训练时对数据处理(重新训练) ？

@BlueSkyB

另外这个 float 类型的 input 是需要通过什么参数开启吗？
我 esp-ppq upgrade 到了 1.0.5

但是量化后的测试数据，还是 int8 类型的，不知道是不是我训练时加入 x = self.quant(x) 导致的

def forward(self, x):
      # 输入归一化
      # x = (x - 127.5) * 0.0078125

      # 量化输入
      x = self.quant(x)

      # 共享特征提取
      features = self.shared_backbone(x)

      # 任务特定预测
      gender_out = self.gender_body(features)
      age_out = self.age_body(features)

      # 反量化输出
      gender_out = self.dequant_gender(gender_out)
      age_out = self.dequant_age(age_out)

      return gender_out, age_out

[sun-xiangyu]

1. 不需要重新训练，esp-ppq 会自动修正参数布局，你只需要在部署的时候保证input 是NHWC就行
2. 可以参考 混合精度量化 ， 将一些层指定为 float

quant_setting.dispatching_table.append(
                "/features/features.1/conv/conv.0/conv.0.0/Conv",   # the layer name in onnx
                get_target_platform(TARGET, 32, float=True),
            )

[BlueSkyB]

刚才网页404的问题，试试这个链接呢？

[hushi55]

我按上述方法，已经修改了 input 为 float 和 NHWC 布局
部署后，出现如上错误，看起来是 esp-dl 不匹配？

我看 idf 的 esp-dl
已经最新版本了，3 个月前的 3.1.5

是不是 esp-dl 的 components 包还没有推最新的版本？

[sun-xiangyu]

是的，float支持需要用github 最新的master 分支

[hushi55]

好，我试试