YOLO-V5 系列算法和代码解析(八)—— 模型移植

news/2024/10/31 5:27:17/

文章目录

    • 工程目标
    • 芯片参数
    • 查阅官方文档
    • 基本流程
      • Python 版工具链安装
      • RKNPU2的编译以及使用方法
    • 移植自己训练的模型

工程目标

将自己训练的目标检测模型【YOLO-V5s】移植到瑞芯微【3566】芯片平台,使用NPU推理,最终得到正确的结果。整个过程涉及模型量化、转换,C++部署。

芯片参数

芯片参数介绍:https://www.rock-chips.com/a/cn/product/RK35xilie/2021/0113/1273.html
CPU:四核,1.8GHZ.
NPU:1TOPs@Int8,每秒一万亿次运算。
在这里插入图片描述
在这里插入图片描述

查阅官方文档

通常每一款芯片都有其对应的使用文档和工具链,以此作为开发的参考。通过官方文档,可以确认开发环境(Ubuntu, python版本等),工具链版本,不同深度学习框架的Demo,以及一些特别的注意事项等。

  1. python 版本工具链
    rknn-toolkit2:https://github.com/rockchip-linux/rknn-toolkit2.
    在这里插入图片描述
  2. C 版本工具链
    rknpu2:https://github.com/rockchip-linux/rknpu2,用于编译在RK板子上推理的工具链。
    在这里插入图片描述

基本流程

部署流程:

  1. 安装 Python 版本的工具链(RKNN-ToolKit2),可以在PC端将(.onnx,.pt,.ckpt)导出为(.rknn)模型。该步骤可以验证自己训练的模型是否可以成功导出,卷积算子是否支持,预测效果是否可用,量化效果等功能。
  2. PC 端配置 C 版本工具链(RKNPU2),编译自己的 C++ 推理工程,编译得到的可执行文件可以在RK芯片运行。
  3. 将得到RKNN模型和可执行文件,以及RK一些必要的依赖库(.so)放入芯片上,可以直接运行。

Python 版工具链安装

下图是Python版本工具链目录结构,在【DOC】目录中提供了英文版和中文版的使用文档。
在这里插入图片描述
初次使用该工具链的时候,仔细阅读如下文档:

  1. “Rockchip_Quick_Start_RKNN_SDK_V1.4.0_CN.pdf”,该文档主要介绍了安装教程,运行demo以及一些基本的硬件参数,内容相对较少,(配置环境,运行demo建议阅读此文档)。
  2. “Rockchip_User_Guide_RKNN_Toolkit2_CN-1.4.0.pdf”,详细介绍了API接口得使用规则,以及其它相关内容,(具体API的使用,可以参考此文档)。

本教程使用【pip】的方式安装,docker也是官方建议的安装方式,看自己对哪种方式更为熟悉。结合文档的流程,具体操作过程如下:

  1. 创建虚拟环境
    conda create -n rknn2 python==3.6
    conda activate rknn2
  2. 安装依赖库
    在这里插入图片描述
  3. 进入工程的根目录
    在这里插入图片描述
  4. 安装必要相应版本的依赖包
    pip install -r doc/requirements_cp36-1.4.0.txt (下图是官方给的问题解决办法)
    在这里插入图片描述
    值得注意:在配置软件包的过程中,遇到“匹配不到XX版本”的问题,按照上述方式,并不能解决。
    解决办法:首先安装Numpy(pip install numpy==1.19.5),然后执行上述命令,pip install -r doc/requirements_cp36-1.x.x.txt. 可能还有其它的错误,要根据错误提示,具体问题,具体分析。
  5. 安装RKNN软件包
    python pip install packages/rknn_toolkit2-1.4.0_22dcfef4-cp36-cp36m-linux_x86_64.whl
  6. 检查RKNN-Toolkit2是否安装成功
    如下图所示,没有出错,则表示安装成功
    在这里插入图片描述
  7. 测试官方 YOLO-V5 Demo
    在这里插入图片描述
  8. 运行目录下的【test.py】
    python test.py
    如下图所示,运行平台是PC(linux)模拟器,转换得到【yolov5s.rknn】模型。
    在这里插入图片描述

RKNPU2的编译以及使用方法

主要介绍板子上为Linux系统64位的编译以及使用,具体流程如下:

  1. 下载编译工具链(Arm版)
    由于板子上是Linux系统,所以下载gcc编译器,下图是【官方推荐】的gcc版本以及下载链接,
    在这里插入图片描述
    遇到问题:上述GCC的下载链接不存在,也没有找到gcc-9.3版本的下载链接。后来又找到gcc-9.3(没有测试是否可用),https://gitlab.com/firefly-linux/prebuilts/gcc/linux-x86/aarch64/gcc-buildroot-9.3.0-2020.03-x86_64_aarch64-rockchip-linux-gnu.
    解决办法:下载其它版本的交叉编译器,【gcc-6.3】,下载链接如下,
    http://releases.linaro.org/components/toolchain/binaries/6.3-2017.05/aarch64-linux-gnu/(参考博客为:https://blog.csdn.net/song_lee/article/details/105487177)。
  2. 下载部署源码
    下载地址:https://github.com/rockchip-linux/rknpu2.
  3. 编译官方 YOLOV5 Demo
    Git官方上的方法如下:https://github.com/rockchip-linux/rknpu2/tree/master/examples/rknn_yolov5_demo
    在这里插入图片描述
    仿照上述方式,针对自己下载的版本,终端命令如下:
      export TOOL_CHAIN=/opt/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu/
      ./build-linux_RK356X.sh
    按照上述方法,仍并无法编译成功,报错如下图所示,找不到如下可执行文件 “aarch64-linux-gnu-gcc”
    在这里插入图片描述
    为此,修改【build-linux_RK356X.sh】脚本,将编译器所在目录写完整,具体修改如下图所示:
    在这里插入图片描述
    至此,可以成功编译YOLO-V5的例子,会在当前路径下生成【install】目录,目录中包含了扫地机上运行所需要的库,模型(可以通过rknn-toolkit2转换得到),测试图片,可执行程序,目录展开如下:
    在这里插入图片描述
    板子上运行(使用adb)
    下图是Git上给的方式,将adb线插到扫地机,进行扫地机和PC端进行数据传输
    在这里插入图片描述
    Xshell 连接板子,运行程序即可。

移植自己训练的模型

移植自己训练的YOLOV5s,由于应用任务场景的不同,输出与官方YOLOV5的输出略有差异。与官方的Demo相比,需要修改一些输出的尺寸。具体流程如下:

  1. 导出RKNN模型
    注意修改网络的输出大小:官方的模型yolov5s 输出的形状如下
      output[0].shape=(1, 255, 80, 80), 自训练的模型输出为(1, 3, 80, 80,21)
      output[0].shape=(1, 255, 40, 40), 自训练的模型输出为(1, 3, 40, 40,21)
      output[0].shape=(1, 255, 20, 20), 自训练的模型输出为(1, 3, 20, 20,21)
    为了适配官方提供的后处理,可以导出中间层的模型。用软件【Netron】打开自训练的模型,获得指定输出层的编号,如下图所示,得到输出为 (1, 63, 40, 40),
    在这里插入图片描述
    根据上述的网络节点的编号,代码需要修改的位置如下图所示,这样导出的模型可以完全与官方的后处理代码兼容。
    在这里插入图片描述
  2. 编译RK板子的运行程序
    参考上面的流程,修改相应的输出,直接编译即可。
  3. 板子上运行
    参考上面的流程,运行即可。

http://www.ppmy.cn/news/29821.html

相关文章

为啥预编译SQL能够防止SQL注入

前言之前我一个搞网络安全的朋友问了我一个的问题,为啥用 PreparedStatement 预编译的 SQL 就不会有被 SQL 注入的风险?第一时间我联想到的是八股文中关于 Mybatis 的脚本 ${} 和 #{} 的问题,不过再想想,为啥 ${} 会有 SQL 注入的…

如何使用Spring Cloud搭建高可用的Elasticsearch集群?详解Elasticsearch的安装与配置及Spring Boot集成的实现

Spring Cloud 是一个基于 Spring Boot 的微服务框架,它提供了一系列组件和工具,方便开发人员快速搭建和管理分布式系统。Elasticsearch 是一个开源的全文搜索引擎,也是一个分布式、高可用的 NoSQL 数据库。本篇博客将详细讲解如何使用 Spring…

I.MX6ULL_Linux_系统篇(21) kernel启动流程

链接脚本 vmlinux.lds 要分析 Linux 启动流程,同样需要先编译一下 Linux 源码,因为有很多文件是需要编译才会生成的。首先分析 Linux 内核的连接脚本文件 arch/arm/kernel/vmlinux.lds,通过链接脚本可以 找到 Linux 内核的第一行程序是从哪里…

HTML、CSS学习笔记5(移动端基础知识、Flex布局)

一、移动端基础知识 1.PC端和移动端区别 移动端:手机版网页,手机屏幕小,网页宽度多数为100%,没有版心 PC端:电脑版网页,屏幕大,网页固定版心 PC端和移动端不是同一个网页 2.如何在电脑里面…

Python写一个自动发送直播弹幕的工具,非常简单

哈喽大家好,今天给大家用Python整一个可以在直播间自动发弹幕的工具,来为喜欢的主播疯狂扣6 ! 事情原由昨晚回家,表弟在看LOL直播,看得我气不打一处来,差点就想锤他。 身为程序员的表弟,看直…

自学大数据第三天~终于轮到hadoop了

前面那几天是在找大数据的门,其实也是在搞一些linux的基本命令,现在终于轮到hadoop了 Hadoop hadoop的安装方式 单机模式: 就如字面意思,在一台机器上运行,存储是采用本地文件系统,没有采用分布式文件系统~就如我们一开始入门的时候都是从本地开始的; 伪分布式模式 存储采用…

『Javascript基础重点』1.提前声明问题,你苦恼写了js函数代码但是不会生效的问题吗?

目录1. var与声明提前不可不说的故事2. 变量的声明提前例程2.1 对于函数内外值的改变(关键区别,第二点和第三点目前没有遇到)2.2 delete删除2.3 提升变量声明3. 函数的声明提前例程总结欢迎关注 『Javascript基础重点』 专栏,持续…

linux离线状态下将视频mp4格式转换m3u8

因为业务需求,python文件生成的视频为MP4格式,无法在前端浏览器正常播放,需切换m3u8格式,但因为服务器是没有网络的,因袭需要在离线状态下进行完成。 1.离线安装ffmpeg 看网上许多教程,ffmpeg可完成视频格…