nanodet训练自己的数据集、NCNN部署到Android

news/2024/10/23 9:24:12/

nanodet训练自己的数据集、NCNN部署到Android

    • 一、介绍
    • 二、训练自己的数据集
      • 1. 运行环境
      • 2. 数据集
      • 3. 配置文件
      • 4. 训练
      • 5. 训练可视化
      • 6. 测试
    • 三、部署到android
      • 1. 使用官方权重文件部署
        • 1.1 下载权重文件
        • 1.2 使用Android Studio部署apk
      • 2. 部署自己的模型【暂时存在问题】
        • 2.1 生成ncnn模型
        • 2.2 部署到android

一、介绍

看看作者自己的介绍吧

NanoDet-Plus 知乎中文介绍

NanoDet 知乎中文介绍

在这里插入图片描述

二、训练自己的数据集

1. 运行环境

conda create -n nanodet python=3.8 -y
conda activate nanodetconda install pytorch torchvision cudatoolkit=11.1 -c pytorch -c conda-forgegit clone https://github.com/RangiLyu/nanodet.git
cd nanodetpip install -r requirements.txtpython setup.py develop

2. 数据集

该示例最后使用的是coco格式的标注文件，下方提供了一个voc转coco的脚本。

import os
from tqdm import tqdm
import xml.etree.ElementTree as ET
import jsonclass_names = ["cat", "bird", "dog"]def voc2coco(data_dir, train_path, val_path):xml_dir = os.path.join(data_dir, 'Annotations')img_dir = os.path.join(data_dir, 'JPEGImages')train_xmls = []for f in os.listdir(train_path):train_xmls.append(os.path.join(train_path, f))val_xmls = []for f in os.listdir(val_path):val_xmls.append(os.path.join(val_path, f))print('got xmls')train_coco = xml2coco(train_xmls)val_coco = xml2coco(val_xmls)with open(os.path.join(data_dir, 'coco_train.json'), 'w') as f:json.dump(train_coco, f, ensure_ascii=False, indent=2)json.dump(val_coco, f, ensure_ascii=False, indent=2)print('done')def xml2coco(xmls):coco_anno = {'info': {}, 'images': [], 'licenses': [], 'annotations': [], 'categories': []}coco_anno['categories'] = [{'supercategory': j, 'id': i + 1, 'name': j} for i, j in enumerate(class_names)]img_id = 0anno_id = 0for fxml in tqdm(xmls):try:tree = ET.parse(fxml)objects = tree.findall('object')except:print('err xml file: ', fxml)continueif len(objects) < 1:print('no object in ', fxml)continueimg_id += 1size = tree.find('size')ih = float(size.find('height').text)iw = float(size.find('width').text)img_name = fxml.strip().split('/')[-1].replace('xml', 'jpg')img_name = img_name.split('\\')img_name = img_name[-1]img_info = {}img_info['id'] = img_idimg_info['file_name'] = img_nameimg_info['height'] = ihimg_info['width'] = iwcoco_anno['images'].append(img_info)for obj in objects:cls_name = obj.find('name').textif cls_name == "water":continuebbox = obj.find('bndbox')x1 = float(bbox.find('xmin').text)y1 = float(bbox.find('ymin').text)x2 = float(bbox.find('xmax').text)y2 = float(bbox.find('ymax').text)if x2 < x1 or y2 < y1:print('bbox not valid: ', fxml)continueanno_id += 1bb = [x1, y1, x2 - x1, y2 - y1]categery_id = class_names.index(cls_name) + 1area = (x2 - x1) * (y2 - y1)anno_info = {}anno_info['segmentation'] = []anno_info['area'] = areaanno_info['image_id'] = img_idanno_info['bbox'] = bbanno_info['iscrowd'] = 0anno_info['category_id'] = categery_idanno_info['id'] = anno_idcoco_anno['annotations'].append(anno_info)return coco_annoif __name__ == '__main__':save_dir = './datasets/annotations' # 保存json文件的路径train_dir = './datasets/annotations/train/' # 训练集xml文件的存放路径val_dir = './datasets/annotations/val/' # 验证集xml文件的存放路径voc2coco(save_dir, train_dir, val_dir)

最后数据集的路径如下：

-datasets
|--images
|	|--train
|	|	|--00001.jpg
|	|	|--00004.jpg
|	|	|--...
|	|--val
|	|	|--00002.jpg
|	|	|--00003.jpg
|	|	|--...
|--annatotions
|	|--coco_train.json
|	|--coco_val.json

3. 配置文件

以nanodet-m-416.yml为例，对照自己的数据集主要修改以下部分

model:head:num_classes: 3 # 数据集类别数data:train:img_path: F:/datasets/images/train # 训练集图片路径ann_path: F:/datasets/annotations/coco_train.json # 训练集json文件路径val:img_path: F:/datasets/images/val # 验证集图片路径ann_path: F:/datasets/annotations/coco_val.json # 验证集json文件路径device:gpu_ids: [0] # GPUworkers_per_gpu: 8 # 线程数batchsize_per_gpu: 60 # batch sizeschedule:total_epochs: 280 # 总epoch数val_intervals: 10 # 每10个epoch进行输出一次对验证集的识别结果class_names: ["cat", "bird", "dog"] # 数据集类别

4. 训练

python tools/train.py config/legacy_v0.x_configs/nanodet-m-416.yml

如果训练中途断了，需要接着训练。首先修改nanodet-m-416.yml中resume和load_model这两行注释去掉，并将model_last.ckpt的路径补上（注意去掉注释后检查下这两行缩进是否正确），然后再python tools/train.py config/legacy_v0.x_configs/nanodet-m-416.yml。

schedule:resume:load_model: F:/nanodet/workspace/nanodet_m_416/model_last.ckptoptimizer:name: SGDlr: 0.14momentum: 0.9weight_decay: 0.0001

报错：

OSError: [WinError 1455] 页面文件太小，无法完成操作。 Error loading "F:\Anaconda3\envs\
nanodet\lib\site-packages\torch\lib\shm.dll" or one of its dependencies.

方案：减小配置文件中线程数workers_per_gpu，或者直接设为0不使用并行。

5. 训练可视化

TensorBoard日志保存在./nanodet/workspace/nanodet_m_416路径下，可视化命令如下：

tensorboard --logdir=./nanodet/workspace/nanodet_m_416

在这里插入图片描述

6. 测试

方法一：

python demo/demo.py image --config config/legacy_v0.x_configs/nanodet-m-416.yml --model nanodet_m_416.ckpt --path test.jpg

方法二：

运行demo\demo-inference-with-pytorch.ipynb脚本（修改代码中from demo.demo import Predictor为from demo import Predictor）

在这里插入图片描述

三、部署到android

1. 使用官方权重文件部署

1.1 下载权重文件

1）在F:\nanodet\demo_android_ncnn\app\src\main路径下新建一个文件夹assets；

2）将F:\nanodet\demo_android_ncnn\app\src\main\cpp\ncnn-20211208-android-vulkan路径下的nanodet-plus-m_416.bin和nanodet-plus-m_416.param复制到F:\nanodet\demo_android_ncnn\app\src\main\assets下，并重命名为nanodet.bin和nanodet.param；

3）（可选）下载Yolov4和v5的ncnn模型到F:\nanodet\demo_android_ncnn\app\src\main\assets路径下；

在这里插入图片描述

1.2 使用Android Studio部署apk

使用Android Studio打开F:\nanodet\demo_android_ncnn文件夹，按照自己的安卓版本选择相应的Platforms，值得注意的是，NDK需要安装21.0.6113669版本的，否则会报错类似“No version of NDK matched the requested version 21.0.6113669. Versions available locally: 21.3.6528147”。【详细操作可以查看我之前的文章中的1.2节：【终端目标检测01】基于NCNN将YOLOX部署到Android】

在这里插入图片描述

部署结果：
在这里插入图片描述

2. 部署自己的模型【暂时存在问题】

2.1 生成ncnn模型
  • 先转换为onnx文件：
python tools/export_onnx.py --cfg_path config\legacy_v0.x_configs\nanodet-m-416.yml --model_path nanodet_m_416.ckpt
  • 再转换为ncnn模型：

使用在线转换https://convertmodel.com/

在这里插入图片描述

将转换后的bin和param文件放置到assets文件夹下，可以重命名为nanodet.bin和nanodet.param，也可以修改jni_interface.cpp文件中NanoDet::detector = new NanoDet(mgr, "nanodet_self-sim-opt.param", "nanodet_self-sim-opt.bin", useGPU);

2.2 部署到android

我使用的是nanodet-m-416.yml训练了自己的模型，按照官方的文档修改nanodet.h中超参数，make project和run app都没有报错，但是手机运行程序时识别有问题（类别并不是我自己数据集的类别），暂时还没发现问题所在。

在这里插入图片描述


http://www.ppmy.cn/news/1204088.html

相关文章

【机器学习】梯度下降预测波士顿房价

【机器学习】梯度下降预测波士顿房价

文章目录 前言一、数据集介绍二、预测房价代码1.引入库2.数据3.梯度下降 总结 前言 梯度下降算法学习。 一、数据集介绍 波士顿房价数据集&#xff1a;波士顿房价数据集&#xff0c;用于线性回归预测 二、预测房价代码 1.引入库 from sklearn.linear_model import Linear…
阅读更多...
Spring Cloud - 手写 Gateway 源码，实现自定义局部 FilterFactory

Spring Cloud - 手写 Gateway 源码，实现自定义局部 FilterFactory

目录 一、FilterFactory 分析 1.1、前置知识 1.2、分析源码 1.2.1、整体分析 1.2.2、源码分析 1.3、手写源码 1.3.1、基础框架 1.3.2、实现自定义局部过滤器 1.3.3、加参数的自定义局部过滤器器 一、FilterFactory 分析 1.1、前置知识 前面的学习我们知道&#xff0c…
阅读更多...
两数之和（哈希解法）

两数之和（哈希解法）

题目描述 给定一个整数数组 nums 和一个整数目标值 target&#xff0c;请你在该数组中找出 和为目标值 target 的那 两个 整数&#xff0c;并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是&#xff0c;数组中同一个元素在答案里不能重复出现。 你可以按任…
阅读更多...
面包屑实现

面包屑实现

背景&#xff1a;面包屑根据菜单内容显示不同内容。首页永远存在&#xff0c;后面的活动管理及多级菜单的面包屑展示。 实现原理&#xff1a; 通过this.$route.matched获取所有匹配路由&#xff0c;将处理首页外的其他路由设置到一个数组中&#xff0c;再通过数组循环方式显示…
阅读更多...
界面组件Telerik UI for WinForms中文教程 - 如何自定义应用程序文件窗口？

界面组件Telerik UI for WinForms中文教程 - 如何自定义应用程序文件窗口？

Telerik UI for WinForms包含了一个高度可定制的组件&#xff0c;它取代了.NET中默认的OpenFileDialog。在下一个更新版本中&#xff0c;会发布一个向对话框浏览器提那家自定义位置的请求功能&#xff0c;本文演示了这个和另一个自定义功能&#xff0c;它可以帮助用户在浏览文件…
阅读更多...
美容美发行业小程序源码系统+在线预约+会员卡 带完整的搭建教程

美容美发行业小程序源码系统+在线预约+会员卡 带完整的搭建教程

大家好啊&#xff0c;今天源码小编又来给大家分享了&#xff0c;今天要分享的是一款美容美发行业小程序源码系统。系统采用的是PHPMySQL组合开发。现如今&#xff0c;美容美发行业的发展迅速&#xff0c;市场竞争也日趋激烈。为了满足市场需求&#xff0c;提高自身竞争力&#…
阅读更多...
第八章《搞懂算法:逻辑回归是怎么回事》笔记

第八章《搞懂算法:逻辑回归是怎么回事》笔记

8.1 如何理解逻辑回归 逻辑回归根据给定的自变量数据集来估计事件的发生概率&#xff0c;由于结果是一个概率&#xff0c;因此因变量的范围在 0 和 1 之间。 逻辑回归的与线性回归一样&#xff0c;也是以线性函数为基础的&#xff1b;而与线性回归不同的是&#xff0c;逻辑回…
阅读更多...
算法训练 第六周

算法训练 第六周

一、用栈实现队列 本题要求我们使用栈这个数据结构来模拟实现队列的各种操作&#xff0c;我们的具体思路是使用两个栈&#xff0c;将一个栈当作输入栈&#xff0c;用于压入 push传入的数据&#xff1b;另一个栈当作输出栈&#xff0c;用于 pop和 peek 操作。每次 pop 或 peek 时…
阅读更多...
最新文章

Copyright @ 2022~2023