【Atlas200】华为AIPP配置文件使用

news/2024/11/26 23:30:02/

目录

  • AIPP介绍
  • 图像处理顺序
  • 例子：YUV420SP_U8转BGR格式
  • 归一化配置对应公式
  • crop及padding功能
  • 配置生效
  • AIPP转换模板

AIPP介绍

华为的AIPP（AI Preprocessing）是一种面向AI应用的图像预处理技术，旨在提高AI应用的效率和精度。AIPP支持多种图像格式，包括RGB、YUV、BGR等，并提供了丰富的预处理选项，如色彩空间转换、缩放、裁剪、旋转、镜像、去噪、锐化等。AIPP还支持多张图片的批处理，可同时处理多张图片，提高处理效率。AIPP的工作流程主要包括三个阶段：预处理配置、数据传输和AIPP处理。预处理配置阶段用于设置AIPP的参数和配置选项，数据传输阶段将原始图像数据传输到AIPP模块，AIPP处理阶段对图像数据进行预处理操作。AIPP技术可以帮助开发者快速高效地完成图像预处理工作，减少代码量，提高代码的可读性和可维护性，同时也能提高AI应用的效率和精度。
与DVPP不同的是，AIPP主要用于在AI Core上完成数据预处理，DVPP是昇腾AI处理器内置的图像处理单元，通过AscendCL媒体数据处理接口提供强大的媒体处理硬加速能力。

图像处理顺序

配置文件中的参数有如下处理顺序要求：通道交换（rbuv_swap_switch）>图像裁剪（crop ）> 色域转换（通道交换） > 数据减均值/归一化 > 图像边缘填充（padding）。

例子：YUV420SP_U8转BGR格式

该场景以AIPP输入YUV420SP_U8（NV12）图像格式，输出BGR格式为例进行说明，输入图像尺寸为256*256；原始网络模型Caffe/TF的C=3，H和W与AIPP输入图像尺寸相同，该场景下无需配置抠图功能参数crop，但需要配置色域转换开关csc_switch和相应的CSC矩阵参数。

aipp_op {aipp_mode: static   #AIPP配置模式input_format: YUV420SP_U8  #输入给AIPP的原始图片格式csc_switch: true #色域转换开关，true表示开启色域转换# 如果输入的是YVU420SP_U8（NV21）图像，则需要将rbuv_swap_switch参数设置为truerbuv_swap_switch: false ##通道交换开关（R通道与B通道交换开关/U通道与V通道交换），本例中不涉及两个通道的交换，故设置为false，默认为falserelated_input_rank: 0src_image_size_w: 256 #输入给AIPP的原始图片宽高src_image_size_h: 256crop: false #抠图功能关matrix_r0c0: 298 #色域转换系数，用户无需修改matrix_r0c1: 516matrix_r0c2: 0matrix_r1c0: 298matrix_r1c1: -100matrix_r1c2: -208matrix_r2c0: 298matrix_r2c1: 0matrix_r2c2: 409input_bias_0: 16input_bias_1: 128input_bias_2: 128# 归一化系数需要根据用户模型实际需求配置，如下所取常见值仅作为示例# 归一化系数应用于色域转换和通道交换之后的通道mean_chn_0: 104mean_chn_1: 117mean_chn_2: 123min_chn_0: 0.0min_chn_1: 0.0min_chn_2: 0.0var_reci_chn_0: 1.0var_reci_chn_1: 1.0var_reci_chn_2: 1.0
}

归一化配置对应公式

pixel_out_chx(i)=[pixel_in_chx(i)-mean_chn_i-min_chn_i]*var_reci_chn

crop及padding功能

经过图像尺寸改变之后最终图片大小，需要跟模型文件输入的图像大小即–input_shape中的宽和高相等。
对于YUV420SP_U8图片类型，load_start_pos_w、load_start_pos_h参数必须配置为偶数。配置样例如下：
在这里插入图片描述
相关代码：

aipp_op {aipp_mode: staticinput_format: YUV420SP_U8src_image_size_w: 320  src_image_size_h: 240crop: trueload_start_pos_w: 10load_start_pos_h: 20crop_size_w: 50crop_size_h: 60padding: trueleft_padding_size: 20right_padding_size: 15top_padding_size: 20bottom_padding_size: 15padding_value: 0}

配置生效

在转换模型时使用：–insert_op_conf=$HOME/module/insert_op.cfg 使得AIPP最终生效。

atc --model=$HOME/module/resnet50.prototxt --weight=$HOME/module/resnet50.caffemodel --framework=0 --insert_op_conf=$HOME/module/insert_op.cfg  --output=$HOME/module/out/caffe_resnet50 --soc_version=<soc_version>

Crop/Padding配置说明

AIPP转换模板

AIPP的配置以aipp_op开始，标识这是一个AIPP算子的配置，aipp_op支持配置多个

aipp_op {
#========================= 全局设置（start） ====================================
# aipp_mode指定了AIPP的模式，必须配置
# 类型：enum
# 取值范围：dynamic/static，dynamic 表示动态AIPP，static 表示静态AIPP
aipp_mode:  # related_input_rank参数为可选，标识对模型的第几个输入做AIPP处理，从0开始，默认为0。例如模型有两个输入，需要对第2个输入做AIPP，则配置related_input_rank为1。
# 类型: 整型
# 配置范围 >= 0
related_input_rank: 0# related_input_name参数为可选，标识对模型的第几个输入做AIPP处理，此处需要填写为模型输入的name（input对应的值）或者模型首层节点的输出（top参数对应的取值）。该参数只适用于Caffe网络模型，且不能与related_input_rank参数同时使用。
# 例如模型有两个输入，且输入name分别为data、im_info，需要对第二个输入做AIPP，则配置related_input_name为im_info。
# 类型：string
# 配置范围：无
related_input_name: ""#========================= 全局设置（end） =======================================================================================================================
#========================= 动态AIPP需设置，静态AIPP无需设置（start） ======================================================================================================================
# 输入图像最大的size，动态AIPP必须配置（如果为动态batch场景，N为最大档位数的取值）
# 类型：int
max_src_image_size: 0
# 若输入图像格式为YUV400_U8，则max_src_image_size>=N * src_image_size_w * src_image_size_h * 1。
# 若输入图像格式为YUV420SP_U8，则max_src_image_size>=N * src_image_size_w * src_image_size_h * 1.5。
# 若输入图像格式为XRGB8888_U8，则max_src_image_size>=N * src_image_size_w * src_image_size_h * 4。
# 若输入图像格式为RGB888_U8，则max_src_image_size>=N * src_image_size_w * src_image_size_h * 3。# 是否支持旋转，保留字段，暂不支持该功能
# 类型：bool
# 取值范围：true/false，true表示支持旋转，false表示不支持旋转
support_rotation: false
#========================= 动态AIPP需设置，静态AIPP无需设置（end） =======================================================================================================================================#========================= 静态AIPP需设置，动态AIPP无需设置 （start）======================================================================================================================================
# 输入图像格式，必选
# 类型: enum
# 取值范围：YUV420SP_U8、XRGB8888_U8、RGB888_U8、YUV400_U8
input_format: 
# 说明：模型转换完毕后，在对应的*.om模型文件中，上述参数分别以1、2、3、4枚举值呈现。# 原始图像的宽度、高度
# 类型：int32
# 取值范围 & 约束：宽度取值范围为[2,4096]或0；高度取值范围为[1,4096]或0，对于YUV420SP_U8类型的图像，要求原始图像的宽和高取值是偶数
src_image_size_w: 0
src_image_size_h: 0
# 说明：请根据实际图片的宽、高配置src_image_size_w和src_image_size_h；只有crop，padding功能都没有开启的场景，src_image_size_w和src_image_size_h才能取值为0或不配置，该场景下会取网络模型输入定义的w和h，并且网络模型输入定义的w取值范围为[2,4096]，h取值范围为[1,4096]。
# C方向的填充值，保留字段，暂不支持该功能
# 类型： float16
# 取值范围：[-65504, 65504]
cpadding_value: 0.0#========= crop参数设置（配置样例请参见AIPP配置 > Crop/Padding配置说明） =========
# AIPP处理图片时是否支持抠图
# 类型：bool
# 取值范围：true/false，true表示支持，false表示不支持
crop: false# 抠图起始位置水平、垂直方向坐标，抠图大小为网络输入定义的w和h
# 类型：int32
# 取值范围 & 约束： [0,4095]、对于YUV420SP_U8类型的图像，要求取值是偶数
# 说明：load_start_pos_w<src_image_size_w，load_start_pos_h<src_image_size_h
load_start_pos_w: 0
load_start_pos_h: 0# 抠图后的图像size
# 类型：int32
# 取值范围 & 约束： [0,4096]、load_start_pos_w + crop_size_w <= src_image_size_w、load_start_pos_h + crop_size_h <= src_image_size_h
crop_size_w: 0
crop_size_h: 0
说明：若开启抠图功能，并且没有配置padding，该场景下crop_size_w和crop_size_h才能取值为0或不配置，此时抠图大小（crop_size[W|H]）的宽和高取值来自模型文件--input_shape中的宽和高，并且--input_shape中的宽和高取值范围为[1,4096]。# 抠图约束如下：
# 若input_format取值为YUV420SP_U8，则load_start_pos_w、load_start_pos_h必须为偶数。
# 若input_format取值为其他值，对load_start_pos_w、load_start_pos_h无约束。
# 若开启抠图功能，则src_image_size[W|H] >= crop_size[W|H]+load_start_pos[W|H]。#================================== resize参数设置 ================================
# AIPP处理图片时是否支持缩放，保留字段，暂不支持该功能
# 类型：bool
# 取值范围：true/false，true表示支持，false表示不支持
resize: false# 缩放后图像的宽度和高度，保留字段，暂不支持该功能
# 类型：int32
# 取值范围 & 约束：resize_output_h：[16,4096]或0；resize_output_w：[16,1920]或0；resize_output_w/resize_input_w∈[1/16,16]、resize_output_h/resize_input_h∈[1/16,16]
resize_output_w: 0
resize_output_h: 0
# 说明：若开启了缩放功能，并且没有配置padding，该场景下resize_output_w和resize_output_h才能取值为0或不配置，此时缩放后图像的宽和高取值来自模型文件--input_shape中的宽和高，并且--input_shape中的高取值范围为[16,4096]，宽取值范围为[16,1920]。#======== padding参数设置（配置样例请参见AIPP配置 > Crop/Padding配置说明） =========
# AIPP处理图片时padding使能开关
# 类型：bool
# 取值范围：true/false，true表示支持，false表示不支持
padding: false# H和W的填充值，静态AIPP配置
# 类型： int32
# 取值范围：[0,32]
left_padding_size: 0
right_padding_size: 0
top_padding_size: 0
bottom_padding_size: 0
# 说明：AIPP经过padding后，输出的H和W要与模型需要的H和W保持一致，其中W取值要<=1080。# 上下左右方向上padding的像素取值，静态AIPP配置
# 类型：uint8/int8/float16
# 取值范围分别为：[0,255]、[-128, 127]、[-65504, 65504]
padding_value: 0
# 说明：该参数取值需要与最终AIPP输出图片的数据类型保持一致。#================================ rotation参数设置 ==================================
# AIPP处理图片时的旋转角度，保留字段，暂不支持该功能
# 类型：uint8
# 范围：{0, 1, 2, 3} 0不旋转，1顺时针90°，2顺时针180°，3顺时针270°
rotation_angle: 0#========= 色域转换参数设置（配置样例请参见AIPP配置 > 色域转换配置说明） =============
# 色域转换开关，静态AIPP配置
# 类型：bool
# 取值范围：true/false，true表示开启色域转换，false表示关闭
csc_switch: false# R通道与B通道交换开关/U通道与V通道交换开关
# 类型：bool
# 取值范围：true/false，true表示开启通道交换，false表示关闭
rbuv_swap_switch :false# RGBA->ARGB, YUVA->AYUV交换开关
# 类型：bool
# 取值范围：true/false，true表示开启，false表示关闭
ax_swap_switch: false# 单行处理模式（只处理抠图后的第一行）开关，保留字段，暂不支持该功能
# 类型：bool
# 取值范围：true/false，true表示开启单行处理模式，false表示关闭
single_line_mode: false# 若色域转换开关为false，则本功能不起作用。
# 若输入图片通道数为4，则忽略A通道或X通道。
# YUV转BGR：
# | B |   | matrix_r0c0 matrix_r0c1 matrix_r0c2 | | Y - input_bias_0 |
# | G | = | matrix_r1c0 matrix_r1c1 matrix_r1c2 | | U - input_bias_1 | >> 8
# | R |   | matrix_r2c0 matrix_r2c1 matrix_r2c2 | | V - input_bias_2 |
# BGR转YUV：
# | Y |   | matrix_r0c0 matrix_r0c1 matrix_r0c2 | | B |        | output_bias_0 |
# | U | = | matrix_r1c0 matrix_r1c1 matrix_r1c2 | | G | >> 8 + | output_bias_1 |
# | V |   | matrix_r2c0 matrix_r2c1 matrix_r2c2 | | R |        | output_bias_2 |# 3*3 CSC矩阵元素
# 类型：int16
# 取值范围：[-32677 ,32676] 
matrix_r0c0: 298
matrix_r0c1: 516
matrix_r0c2: 0
matrix_r1c0: 298
matrix_r1c1: -100
matrix_r1c2: -208
matrix_r2c0: 298
matrix_r2c1: 0
matrix_r2c2: 409# RGB转YUV时的输出偏移
# 类型：uint8
# 取值范围：[0, 255]
output_bias_0: 16
output_bias_1: 128
output_bias_2: 128# YUV转RGB时的输入偏移
# 类型：uint8
# 取值范围：[0, 255]
input_bias_0: 16
input_bias_1: 128
input_bias_2: 128#============================== 减均值、乘系数设置 =================================
# 计算规则如下：
# 当uint8->uint8时，本功能不起作用
# 当uint8->fp16时，pixel_out_chx(i) = [pixel_in_chx(i) – mean_chn_i – min_chn_i] * var_reci_chn# 每个通道的均值
# 类型：uint8
# 取值范围：[0, 255]
mean_chn_0: 0
mean_chn_1: 0
mean_chn_2: 0
mean_chn_3: 0# 每个通道的最小值
# 类型：float16
# 取值范围：[0, 255]
min_chn_0: 0.0
min_chn_1: 0.0
min_chn_2: 0.0
min_chn_3: 0.0# 每个通道方差的倒数
# 类型：float16
# 取值范围：[-65504, 65504]
var_reci_chn_0: 1.0
var_reci_chn_1: 1.0
var_reci_chn_2: 1.0
var_reci_chn_3: 1.0
}#========================= 静态AIPP需设置，动态AIPP无需设置 （end）=====================================================================================================================================

http://www.ppmy.cn/news/74475.html

相关文章

【C++学习第十一讲】C++数据类型

【C++学习第十一讲】C++数据类型

文章目录 一、编程语言中的数据类型1.1 整型&#xff08;Integer&#xff09;1.2 浮点型&#xff08;Floating-Point&#xff09;1.3 字符型&#xff08;Character&#xff09;1.4 布尔型&#xff08;Boolean&#xff09;1.5 数组&#xff08;Array&#xff09;1.6 字符串&…
阅读更多...
LeetCode 1373. Maximum Sum BST in Binary Tree【DFS,二叉搜索树】困难

LeetCode 1373. Maximum Sum BST in Binary Tree【DFS,二叉搜索树】困难

本文属于「征服LeetCode」系列文章之一&#xff0c;这一系列正式开始于2021/08/12。由于LeetCode上部分题目有锁&#xff0c;本系列将至少持续到刷完所有无锁题之日为止&#xff1b;由于LeetCode还在不断地创建新题&#xff0c;本系列的终止日期可能是永远。在这一系列刷题文章…
阅读更多...
Qt学习-QMap、QString

Qt学习-QMap、QString

1、容器的概念 用于存储给定的数据类型的值&#xff0c;它是模板类&#xff0c;更具提供T的不同存储不同数据。 连续容器&#xff1a;QVector<T>,QLinkedList<T>,QList<T> 关联容器&#xff1a;QMap<K,T>,QHash<K,T> 2、Qt提供两个关联容器类…
阅读更多...
(转载)MATLAB智能算法30个案例分析(2)——基于遗传算法和非线性规划的函数寻优算法

(转载)MATLAB智能算法30个案例分析(2)——基于遗传算法和非线性规划的函数寻优算法

以下内容大部分来源于《MATLAB智能算法30个案例分析》&#xff0c;仅为学习交流所用。 1 理论基础 1.1 非线性规划 非线性规划是20世纪50年代形成的一门新兴学科。1951年库恩和塔克发表的关于最优性条件(后来称为库恩塔克条件)的论文是非线性规划诞生的标志。非线性规划研究…
阅读更多...
Mybatis是什么？Mybatis中动态sql常用标签有哪些？

Mybatis是什么？Mybatis中动态sql常用标签有哪些？

Mybatis是什么&#xff1f; Mybatis是一种开源的Java持久层框架&#xff0c;它可以将SQL语句和Java代码进行分离&#xff0c;使得开发人员可以更加专注于业务逻辑的实现。与Hibernate等ORM框架不同的是&#xff0c;Mybatis使用XML或注解的方式来描述SQL语句&#xff0c;这种方式…
阅读更多...
服务（第二十六篇）redis的主从复制、哨兵、集群

服务（第二十六篇）redis的主从复制、哨兵、集群

主从复制&#xff1a; 主从复制&#xff0c;是指将一台Redis服务器的数据&#xff0c;复制到其他的Redis服务器。前者称为主节点(Master)&#xff0c;后者称为从节点(Slave)&#xff1b;数据的复制是单向的&#xff0c;只能由主节点到从节点。 原理&#xff1a; 主从关系确定…
阅读更多...
【Linux之进程间通信】01.fork函数

【Linux之进程间通信】01.fork函数

【Linux之进程间通信】 项目代码获取&#xff1a;https://gitee.com/chenshao777/linux-processes.git &#xff08;麻烦点个免费的Star哦&#xff0c;您的Star就是我的写作动力&#xff01;&#xff09; 01.fork函数 pid_t fork(void);fork()函数的作用&#xff1a;产生一个…
阅读更多...
OpenHarmony支持HDMI接口声卡适配说明

OpenHarmony支持HDMI接口声卡适配说明

高清多媒体接口&#xff08;High Definition Multimedia Interface&#xff0c;HDMI &#xff09;是一种全数字化视频和声音发送接口&#xff0c;可以发送未压缩的音频及视频信号。HDMI可用于机顶盒、DVD播放机、个人计算机、电视、游戏主机、综合扩大机、数字音响与电视机等设…
阅读更多...
最新文章

Copyright @ 2022~2023