RGB/INT8 输入注意事项

01 技术背景

在大多数情况下，我们都推荐用户在编译处理图像任务的模型时，将 input_type_rt 参数配置 nv12，这是考虑到视频通路传来的数据通常都是 nv12 类型，这样配置可以最大化地节约耗时，提高全流程的处理效率。

但在前期的算法验证阶段，往往用户更希望模型能直接读取 rgb/bgr 数据，以更加直观地检查量化效果。在这种使用场景下，往往需要对图像数据做一些专门的处理，否则会产生错误的输出结果。

本教程会详细介绍如何在 input_type_rt 配置 rgb/bgr 时，正确地处理输入数据。

02 工具链环境

hbdk                      3.49.15
horizon-nn                1.1.0
horizon_tc_ui             1.24.3

03 模型说明

这次作为范例使用的模型是 mixvpr，这是一个视觉场景识别算法，输入为 1x3x320x320 的图像，输出是 1x512 的全局描述子。

onnx 模型的输入输出的具体信息如下图所示：

yaml 配置情况如下，浮点模型由 rgb 训练，且希望验证 rgb 输入的效果，因此 input_type_rt 和 input_type_train 都配置为 rgb，同时 input_layout_rt 和 input_layout_train 都配置为 NCHW，也配置了 mean 和 scale 参数。

model_parameters:onnx_model: "mix.onnx"march: "bayes-e"working_dir: 'model_output'output_model_file_prefix: 'mix'
input_parameters:input_type_rt: 'rgb'input_layout_rt: 'NCHW'input_type_train: 'rgb'input_layout_train: 'NCHW'norm_type: 'data_mean_and_scale'mean_value: 123.675 116.280 103.530scale_value: 0.01712475 0.01750700 0.01742919
calibration_parameters:cal_data_dir: './calibration_data_rgb_f32'cal_data_type: 'float32'
compiler_parameters:optimize_level: 'O3'

模型的原始输入为一张 320x320 的彩色 png 图像，pytorch 浮点模型的推理结果如下，可作为量化效果的参考：

模型编译完成后，可以运行 hb_perf mix.bin，查看生成的 png 图，了解 bin 模型的子图结构：

04 推理 quantized.onnx

首先我们需要确认 quantized.onnx 的输入情况，该模型的输入 shape 为 1x3x320x320，数据类型为 int8，并且色彩空间应当是 rgb 类型（对应 input_type_rt）。

但我们知道，opencv 读图后，得到的数据是 bgr，hwc，uint8，且 3 维的，因此需要做一些预处理，才可以得到正确的输入数据。

从读图到预处理到推理 quantized.onnx 的完整代码，及详细注释如下：

from horizon_tc_ui import HB_ONNXRuntime
import numpy as np
import cv2

def read_img(input_name):# opencv读图，此时数据是bgr，hwc，uint8，且3维的data = cv2.imread("image.png")# 将bgr转换为rgbdata = cv2.cvtColor(data, cv2.COLOR_BGR2RGB)# 将hwc转换为chwdata = np.transpose(data,(2,0,1))# 将3x320x320转换为1x3x320x320，也就是将chw转换为nchwdata = data[np.newaxis,:,:,:]print(data)# 将uint8的数据，在数值上-128并且转换为int8data = (data - 128).astype(np.int8)# 保存此时的数据，可以作为bin模型的输入data.tofile("rgb_128_int8.bin") print(data)return data

def main(): sess = HB_ONNXRuntime(model_file="./mix_quantized_model.onnx")input_names = [input.name for input in sess.get_inputs()]output_names = [output.name for output in sess.get_outputs()]feed_dict = dict()for input_name in input_names:feed_dict[input_name] = read_img(input_name)outputs = sess.run(output_names, feed_dict)  # 保存推理结果，用于对比正确性   print(outputs[0][0])np.savetxt('output_onnx.txt', outputs[0][0])if __name__ == '__main__':main()

推理完成后查看输出结果，发现和浮点输出较为接近，说明该推理结果可靠。

[-0.05279211  0.01489008 -0.02978017 -0.03113381 -0.07580406  0.02707288-0.05143847 -0.06091398 -0.01489008 -0.0216583   0.06226762 -0.115065540.01759737  0.         -0.01082915 -0.00406093  0.00406093  0.04331661-0.00270729  0.05820669 -0.0121828  -0.01489008  0.11777283 -0.12454105......-0.00270729 -0.01489008  0.05414576 -0.01895102 -0.01353644 -0.06362127-0.02842652  0.02030466  0.08121864 -0.01759737 -0.08121864  0.00541458-0.05279211  0.00541458  0.0676822  -0.04196296  0.04737754 -0.05956033-0.05956033  0.0893405 ]

需要特别强调的是 uint8 转换 int8 的方法，代码中写的是 data=（data-128）。astype（np.int8），如果用户不写，那么 HB_ONNXRuntime 会自动做这一操作（相关处理如下图），得到的推理结果是完全一样的。

但如果用户误写成了 data=data-128，或者 data=data.astype（np.int8），那么将得到完全错误的推理结果，这是因为 uint8 转 int8 有两种方法。

方法 1（正确）：在数值上，所有数据全部 -128，对应上文代码中的 data=（data-128）。astype(np.int8)

方法 2（错误）：在数值上，0 到 127 的值不变，128 到 255 的值 -256，对应 data=data.astype（np.int8）

如果用户只写了 data=data-128，那么此时的数据类型还是 uint8，HB_ONNXRuntime 会继续做 data=（data-128）。astype（np.int8）操作，这两个操作就等效成了 data=data.astype（np.int8）

方法 2 处理后，得到的推理结果也是完全错误的，和浮点输出对不上

[-0.03068066  0.01534323 -0.01227575 -0.03222021 -0.07364288  0.0.02301195 -0.05062512  0.00766871 -0.04755764 -0.01534323 -0.07364288-0.01534323 -0.01994446  0.04602389  0.00306749 -0.02301195  0.02147820.          0.06290087  0.02761317 -0.02914692  0.10585728 -0.0675021......0.01534323 -0.01841072 -0.02761317  0.02301195  0.02454569 -0.02147820.02761317 -0.02914692  0.01380949 -0.02301195  0.01687698 -0.04755764-0.04755764  0.03835518  0.07671037 -0.03988893  0.01227575 -0.019944460.0352877   0.01841072  0.03988893 -0.05983339  0.         -0.01534323-0.01534323  0.06290087]

因此请务必确保，在 uint8 转 int8 这一步，使用 data=（data-128）。astype（np.int8），或者不转，让 HB_ONNXRuntime 自动执行这一操作。

05 推理 bin

可以借助 hrt_model_exec 的 infer 功能推理模型，hrt_model_exec 的源码已经开放，用户可以直接参考/package/board/hrt_tools/src/hrt_model_exec 目录。

hrt_model_exec infer --model-file mix.bin --input-file rgb_128_int8.bin --enable_dump true --dump_format txt

其中--input-file 的 rgb_128_int8.bin，就是刚才推理 quantized.onnx 时，保存的预处理后的输入文件。对于 hrt_model_exec 工具来说，推理 RGB 输入且为 int8 的模型，不能直接给 png 图像作为输入数据，而需要提前做好预处理，保存成二进制文件再提供给模型。

对于 rgb_128_int8.bin 输入，模型的推理结果如下，和 quantized.onnx 的输出结果完全一致。

-0.052792113 
0.014890083 
-0.029780166 
-0.031133810 
-0.075804062 
0.027072879 
-0.051438469 
-0.060913976 
-0.014890083 
-0.021658303 
......
-0.081218638 
0.005414576 
-0.052792113 
0.005414576 
0.067682199 
-0.041962963 
0.047377538 
-0.059560332 
-0.059560332 
0.089340501