《------往期经典推荐------》
一、AI应用软件开发实战专栏【链接】
项目名称 | 项目名称 |
---|---|
1.【人脸识别与管理系统开发】 | 2.【车牌识别与自动收费管理系统开发】 |
3.【手势识别系统开发】 | 4.【人脸面部活体检测系统开发】 |
5.【图片风格快速迁移软件开发】 | 6.【人脸表表情识别系统】 |
7.【YOLOv8多目标识别与自动标注软件开发】 | 8.【基于深度学习的行人跌倒检测系统】 |
9.【基于深度学习的PCB板缺陷检测系统】 | 10.【基于深度学习的生活垃圾分类目标检测系统】 |
11.【基于深度学习的安全帽目标检测系统】 | 12.【基于深度学习的120种犬类检测与识别系统】 |
13.【基于深度学习的路面坑洞检测系统】 | 14.【基于深度学习的火焰烟雾检测系统】 |
15.【基于深度学习的钢材表面缺陷检测系统】 | 16.【基于深度学习的舰船目标分类检测系统】 |
17.【基于深度学习的西红柿成熟度检测系统】 | 18.【基于深度学习的血细胞检测与计数系统】 |
19.【基于深度学习的吸烟/抽烟行为检测系统】 | 20.【基于深度学习的水稻害虫检测与识别系统】 |
21.【基于深度学习的高精度车辆行人检测与计数系统】 | 22.【基于深度学习的路面标志线检测与识别系统】 |
23.【基于深度学习的智能小麦害虫检测识别系统】 | 24.【基于深度学习的智能玉米害虫检测识别系统】 |
25.【基于深度学习的200种鸟类智能检测与识别系统】 | 26.【基于深度学习的45种交通标志智能检测与识别系统】 |
27.【基于深度学习的人脸面部表情识别系统】 | 28.【基于深度学习的苹果叶片病害智能诊断系统】 |
29.【基于深度学习的智能肺炎诊断系统】 | 30.【基于深度学习的葡萄簇目标检测系统】 |
31.【基于深度学习的100种中草药智能识别系统】 | 32.【基于深度学习的102种花卉智能识别系统】 |
33.【基于深度学习的100种蝴蝶智能识别系统】 | 34.【基于深度学习的水稻叶片病害智能诊断系统】 |
35.【基于与ByteTrack的车辆行人多目标检测与追踪系统】 | 36.【基于深度学习的智能草莓病害检测与分割系统】 |
37.【基于深度学习的复杂场景下船舶目标检测系统】 | 38.【基于深度学习的农作物幼苗与杂草检测系统】 |
39.【基于深度学习的智能道路裂缝检测与分析系统】 | 40.【基于深度学习的葡萄病害智能诊断与防治系统】 |
41.【基于深度学习的遥感地理空间物体检测系统】 | 42.【基于深度学习的无人机视角地面物体检测系统】 |
43.【基于深度学习的木薯病害智能诊断与防治系统】 | 44.【基于深度学习的野外火焰烟雾检测系统】 |
45.【基于深度学习的脑肿瘤智能检测系统】 | 46.【基于深度学习的玉米叶片病害智能诊断与防治系统】 |
47.【基于深度学习的橙子病害智能诊断与防治系统】 | 48.【基于深度学习的车辆检测追踪与流量计数系统】 |
49.【基于深度学习的行人检测追踪与双向流量计数系统】 | 50.【基于深度学习的反光衣检测与预警系统】 |
51.【基于深度学习的危险区域人员闯入检测与报警系统】 | 52.【基于深度学习的高密度人脸智能检测与统计系统】 |
53.【基于深度学习的CT扫描图像肾结石智能检测系统】 | 54.【基于深度学习的水果智能检测系统】 |
55.【基于深度学习的水果质量好坏智能检测系统】 | 56.【基于深度学习的蔬菜目标检测与识别系统】 |
57.【基于深度学习的非机动车驾驶员头盔检测系统】 | 58.【太基于深度学习的阳能电池板检测与分析系统】 |
59.【基于深度学习的工业螺栓螺母检测】 | 60.【基于深度学习的金属焊缝缺陷检测系统】 |
61.【基于深度学习的链条缺陷检测与识别系统】 | 62.【基于深度学习的交通信号灯检测识别】 |
63.【基于深度学习的草莓成熟度检测与识别系统】 | 64.【基于深度学习的水下海生物检测识别系统】 |
65.【基于深度学习的道路交通事故检测识别系统】 | 66.【基于深度学习的安检X光危险品检测与识别系统】 |
67.【基于深度学习的农作物类别检测与识别系统】 | 68.【基于深度学习的危险驾驶行为检测识别系统】 |
69.【基于深度学习的维修工具检测识别系统】 | 70.【基于深度学习的维修工具检测识别系统】 |
71.【基于深度学习的建筑墙面损伤检测系统】 | 72.【基于深度学习的煤矿传送带异物检测系统】 |
73.【基于深度学习的老鼠智能检测系统】 | 74.【基于深度学习的水面垃圾智能检测识别系统】 |
75.【基于深度学习的遥感视角船只智能检测系统】 | 76.【基于深度学习的胃肠道息肉智能检测分割与诊断系统】 |
77.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】 | 78.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】 |
79.【基于深度学习的果园苹果检测与计数系统】 | 80.【基于深度学习的半导体芯片缺陷检测系统】 |
81.【基于深度学习的糖尿病视网膜病变检测与诊断系统】 | 82.【基于深度学习的运动鞋品牌检测与识别系统】 |
83.【基于深度学习的苹果叶片病害检测识别系统】 | 84.【基于深度学习的医学X光骨折检测与语音提示系统】 |
85.【基于深度学习的遥感视角农田检测与分割系统】 | 86.【基于深度学习的运动品牌LOGO检测与识别系统】 |
87.【基于深度学习的电瓶车进电梯检测与语音提示系统】 |
二、机器学习实战专栏【链接】,已更新31期,欢迎关注,持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】,持续更新中~~
六、YOLO性能对比专栏【链接】,持续更新中~
《------正文------》
目录
- 基本功能演示
- 前言
- 应用场景
- 一、软件核心功能介绍及效果演示
- 软件主要功能
- 界面参数设置说明
- (1)图片检测演示
- (2)视频检测演示
- (3)摄像头检测演示
- (4)检测结果保存
- 二、目标分割模型的训练、评估与推理
- 1.YOLO11简介
- 2. 数据集准备与训练
- 3. 训练结果评估
- 4. 模型推理
- 四、可视化系统制作
- Pyqt5详细介绍
- 系统制作
- 【获取方式】
基本功能演示
摘要:随着城市化进程的加速,对地面房屋建筑进行高效准确的监测和分析变得尤为重要,但传统方法依赖人工或低分辨率图像,效率低且准确性有限。本文基于
YOLO11深度学习框架
,通过9665张遥感视角地面房屋建筑相关图片
,训练了一个进行地面房屋建筑
的目标分割模型
,可以检测分割出地面房屋建筑的具体位置及大小
,并分析分割区域尺寸、面积等信息
。最终基于此模型开发了一款带UI界面的遥感视角地面房屋建筑检测分割与分析系统
,该系统是基于python
与PyQT5
开发的,支持图片、批量图片、视频以及摄像头
进行目标检测分割,并保存检测结果
。本文提供了完整的Python代码和使用教程,给感兴趣的小伙伴参考学习,完整的代码资源文件获取方式见文末。
文章目录
- 基本功能演示
- 前言
- 应用场景
- 一、软件核心功能介绍及效果演示
- 软件主要功能
- 界面参数设置说明
- (1)图片检测演示
- (2)视频检测演示
- (3)摄像头检测演示
- (4)检测结果保存
- 二、目标分割模型的训练、评估与推理
- 1.YOLO11简介
- 2. 数据集准备与训练
- 3. 训练结果评估
- 4. 模型推理
- 四、可视化系统制作
- Pyqt5详细介绍
- 系统制作
- 【获取方式】
点击跳转至文末《完整相关文件及源码》获取
前言
随着城市化进程的加速,对地面房屋建筑进行高效准确的监测和分析变得尤为重要。传统的房屋建筑检测方法主要依赖于人工测量或低分辨率卫星图像,这些方法在处理大规模区域时效率低下且准确性有限。基于YOLO深度学习框架开发的遥感视角地面房屋建筑检测分割与分析系统,能够实时自动识别并分割高分辨率遥感影像中的房屋建筑,同时计算其像素级的长宽尺寸。该系统的应用不仅提高了房屋建筑信息获取的速度和精度,还为城市规划、土地管理、灾害响应等领域提供了强有力的数据支持,对于推动智慧城市建设和保障公共安全具有重要意义。
应用场景
城市规划与管理
:帮助城市规划部门快速获取建筑物分布及其变化趋势,优化城市布局,制定合理的规划方案。
不动产评估
:提供精确的建筑物尺寸数据,支持房地产市场中不动产的价值评估,确保交易公平透明。
灾害响应与恢复
:在自然灾害(如地震、洪水)发生后,迅速评估受损房屋的数量和规模,指导救援工作和灾后重建计划。
基础设施建设
:为电力、通信等基础设施建设提供基础数据支持,确保新建项目与现有建筑协调一致。
政府决策支持
:为政府部门提供详实的城市发展数据,制定科学的土地使用政策和住房保障措施,促进社会经济的可持续发展。
博主通过搜集遥感视角地面房屋建筑
的相关图片,根据前沿的YOLO11目标分割技术,基于python与Pyqt5
开发了一款界面简洁的遥感视角地面房屋建筑检测分割与分析系统
,能够检测分割出遥感视角中房屋建筑的具体区域大小、面积占比、长宽等信息
,可支持图片、视频以及摄像头检测
,同时可以将图片、视频以及摄像头的检测结果进行保存
。本文详细的介绍了此系统的核心功能以及所使用到的技术原理与制作流程。
软件初始界面如下图所示:
检测结果界面如下:
一、软件核心功能介绍及效果演示
软件主要功能
1. 可进行遥感视角地面房屋建筑检测分割
,分割一个类别:建筑
;
2. 支持图片、图片批量、视频及摄像头
进行检测分割;
3. 可显示总分割面积占比
以及单个目标的分割面积占比
;
4. 界面可实时显示目标位置
、分割结果
、分割面积占比
、置信度
、用时
、长宽
等信息;
5. 结果保存:支持图片
、视频
及摄像头
的分割结果保存
;
界面参数设置说明
-
置信度阈值
:也就是目标检测时的conf参数
,只有检测出的目标置信度大于该值,结果才会显示; -
交并比阈值
:也就是目标检测时的iou参数
,只有目标检测框的交并比大于该值,结果才会显示;
-
窗口1:显示分割结果
:表示是否在检测图片中显示分割结果,默认勾选; -
窗口1:显示检测框与标签
:表示是否在检测图片中显示检测框与标签,默认勾选;
窗口2:显示Mask或者显示原始分割图片
:表示在窗口2中显示分割的Mask
或者原始图片分割内容
;
显示Mask
或者显示原始分割图片
选项的功能效果如下:
显示Mask选项效果:
显示原始分割图片效果:
其他参数说明
分割面积占比
:表示所选择分割目标的面积占整张图片的百分比;
置信度
:表示所选择分割目标的结果置信度大小;
分割宽度px
:表示所选择分割目标的最小外接矩形框的宽度大小,单位为像素px;
分割长度px
:表示所选择分割目标的最小外接矩形框的长度大小,单位为像素px;
分割中心点坐标
:表示所选择分割目标的最小外接矩形框的中心点坐标信息;
检测框位置
:表示所选择分割目标的yolov8检测框坐标信息,框左上角坐标(xmin,ymin),框右下角坐标(xmax,ymax);
表格信息包括
:文件路径、目标编号、类别、置信度、检测框位置、分割占比、分割宽度、分割长度、分割中心点坐标。
(1)图片检测演示
1.点击打开图片
按钮,选择需要检测的图片,或者点击打开文件夹
按钮,选择需要批量检测图片所在的文件夹,操作演示如下:
2.点击目标下拉框后,可以选定指定目标的结果信息进行显示。
3. 点击保存
按钮,会对图片检测结果进行保存,存储路径为:save_data
目录下。
4.点击表格中的指定行,界面会显示该行表格所写的信息内容。
注:右侧目标位置默认显示置信度最大一个目标位置,可用下拉框进行信息切换。所有检测结果均在表格中显示。
点击保存
按钮,会对图片的检测结果进行保存,共会保存3种类型结果,分别是:检测分割结果标识图片、分割的Mask图片以及原图分割后的图片
。存储在save_data
目录下,保存结果如下:
(2)视频检测演示
1.点击打开视频
图标,打开选择需要检测的视频,就会自动显示检测结果。再次点击该按钮,会关闭视频
。
2.点击保存
按钮,会对视频检测结果进行保存,同样会保存3种类型结果,分别是:检测分割结果标识视频、分割Mask视频以及原视频分割后的视频
,存储路径为:save_data
目录下。
视频检测保存结果如下:
(3)摄像头检测演示
1.点击打开摄像头
按钮,可以打开摄像头,可以实时进行检测,再次点击该按钮,可关闭摄像头
;
2.点击保存
按钮,可以进行摄像头实时图像的检测结果保存
。
(4)检测结果保存
点击保存
按钮后,会将当前选择的图片【含批量图片】、视频或者摄像头
的分割结果进行保存。结果会存储在save_data
目录下,保存内容如下:
图片检测保存的csv文件信息内容如下:
包括:'文件名', '目标编号', '类别', '置信度', '检测框位置','分割占比', '分割宽度','分割长度','分割中心坐标'
信息。
二、目标分割模型的训练、评估与推理
1.YOLO11简介
YOLO11源码地址:https://github.com/ultralytics/ultralytics
Ultralytics YOLO11是一款尖端的、最先进的模型,它在之前YOLO版本成功的基础上进行了构建,并引入了新功能和改进,以进一步提升性能和灵活性。YOLO11设计快速、准确且易于使用,使其成为各种物体检测和跟踪、实例分割、图像分类以及姿态估计任务的绝佳选择。
YOLO11模型结构如下:
YOLO11创新点如下:
YOLO 11主要改进包括:
增强的特征提取
:YOLO 11采用了改进的骨干和颈部架构,增强了特征提取功能,以实现更精确的目标检测。
优化的效率和速度
:优化的架构设计和优化的训练管道提供更快的处理速度,同时保持准确性和性能之间的平衡。
更高的精度,更少的参数
:YOLO11m在COCO数据集上实现了更高的平均精度(mAP),参数比YOLOv8m少22%,使其在不影响精度的情况下提高了计算效率。
跨环境的适应性
:YOLO 11可以部署在各种环境中,包括边缘设备、云平台和支持NVIDIA GPU的系统。
广泛的支持任务
:YOLO 11支持各种计算机视觉任务,如对象检测、实例分割、图像分类、姿态估计和面向对象检测(OBB)。
2. 数据集准备与训练
通过网络上搜集关于遥感视角地面房屋建筑相关图片
,并使用Labelme标注工具对每张图片中的分割结果及类别进行标注。一共包含9665张图片
,其中训练集包含6764张图片
,验证集包含1934张图片
,测试集包含967张图片
,部分图像及标注如下图所示。
数据集的各类别具体分布如下所示:
图片数据的存放格式如下,在项目目录中新建datasets
目录,同时将检测的图片分为训练集、验证集放入Data
目录下。
同时我们需要新建一个data.yaml
文件,用于存储训练数据的路径及模型需要进行检测的类别。YOLOv8在进行模型训练时,会读取该文件的信息,用于进行模型的训练与验证。data.yaml
的具体内容如下:
python">train: D:\2MyCVProgram\3.SegmentProgram\RemoteBuildingsSeg_v11\datasets\Data/train/images
val: D:\2MyCVProgram\3.SegmentProgram\RemoteBuildingsSeg_v11\datasets\Data/valid/images
test: D:\2MyCVProgram\3.SegmentProgram\RemoteBuildingsSeg_v11\datasets\Data/test/imagesnc: 1
names: ['Building']
注:train与val后面表示需要训练图片的路径,建议直接写自己文件的绝对路径。
数据准备完成后,通过调用train.py
文件进行模型训练,epochs
参数用于调整训练的轮数,batch
参数用于调整训练的批次大小【根据内存大小调整,最小为1】,代码如下:
python">#coding:utf-8
from ultralytics import YOLO
import matplotlib
matplotlib.use('TkAgg')if __name__ == '__main__':# 训练模型配置文件路径yolo_yaml_path = 'ultralytics/cfg/models/11/yolo11-seg.yaml'# 数据集配置文件路径data_yaml_path = 'datasets/Data/data.yaml'# 官方预训练模型路径pre_model_path = "yolo11n-seg.pt"# 加载配置文件和预训练模型model = YOLO(yolo_yaml_path).load(pre_model_path)# 模型训练model.train(data=data_yaml_path,epochs=150,batch=4)
模型常用训练超参数参数说明:
YOLO11 模型的训练设置包括训练过程中使用的各种超参数和配置
。这些设置会影响模型的性能、速度和准确性。关键的训练设置包括批量大小、学习率、动量和权重衰减。此外,优化器、损失函数和训练数据集组成的选择也会影响训练过程。对这些设置进行仔细的调整和实验对于优化性能至关重要。
以下是一些常用的模型训练参数和说明:
参数名 | 默认值 | 说明 |
---|---|---|
model | None | 指定用于训练的模型文件。接受指向 .pt 预训练模型或 .yaml 配置文件。对于定义模型结构或初始化权重至关重要。 |
data | None | 数据集配置文件的路径(例如 coco8.yaml ).该文件包含特定于数据集的参数,包括训练数据和验证数据的路径、类名和类数。 |
epochs | 100 | 训练总轮数。每个epoch代表对整个数据集进行一次完整的训练。调整该值会影响训练时间和模型性能。 |
patience | 100 | 在验证指标没有改善的情况下,提前停止训练所需的epoch数。当性能趋于平稳时停止训练,有助于防止过度拟合。 |
batch | 16 | 批量大小,有三种模式:设置为整数(例如,’ Batch =16 ‘), 60% GPU内存利用率的自动模式(’ Batch =-1 ‘),或指定利用率分数的自动模式(’ Batch =0.70 ')。 |
imgsz | 640 | 用于训练的目标图像尺寸。所有图像在输入模型前都会被调整到这一尺寸。影响模型精度和计算复杂度。 |
device | None | 指定用于训练的计算设备:单个 GPU (device=0 )、多个 GPU (device=0,1 )、CPU (device=cpu ),或苹果芯片的 MPS (device=mps ). |
workers | 8 | 加载数据的工作线程数(每 RANK 多 GPU 训练)。影响数据预处理和输入模型的速度,尤其适用于多 GPU 设置。 |
name | None | 训练运行的名称。用于在项目文件夹内创建一个子目录,用于存储训练日志和输出结果。 |
pretrained | True | 决定是否从预处理模型开始训练。可以是布尔值,也可以是加载权重的特定模型的字符串路径。提高训练效率和模型性能。 |
optimizer | 'auto' | 为训练模型选择优化器。选项包括 SGD , Adam , AdamW , NAdam , RAdam , RMSProp 等,或 auto 用于根据模型配置进行自动选择。影响收敛速度和稳定性 |
lr0 | 0.01 | 初始学习率(即 SGD=1E-2 , Adam=1E-3 ) .调整这个值对优化过程至关重要,会影响模型权重的更新速度。 |
lrf | 0.01 | 最终学习率占初始学习率的百分比 = (lr0 * lrf ),与调度程序结合使用,随着时间的推移调整学习率。 |
3. 训练结果评估
在深度学习中,我们通常用损失函数下降的曲线来观察模型训练的情况。YOLOv8在训练时主要包含三个方面的损失:定位损失(box_loss)、分类损失(cls_loss)、动态特征损失(dfl_loss)以及分割损失(seg_loss),在训练结束后,可以在runs/
目录下找到训练过程及结果文件,如下所示:
各损失函数作用说明:
定位损失box_loss
:预测框与标定框之间的误差(GIoU),越小定位得越准;
分类损失cls_loss
:计算锚框与对应的标定分类是否正确,越小分类得越准;
动态特征损失(dfl_loss)
:DFLLoss是一种用于回归预测框与目标框之间距离的损失函数。在计算损失时,目标框需要缩放到特征图尺度,即除以相应的stride,并与预测的边界框计算Ciou Loss,同时与预测的anchors中心点到各边的距离计算回归DFLLoss。这个过程是YOLO11训练流程中的一部分,通过计算DFLLoss可以更准确地调整预测框的位置,提高目标检测的准确性。
分割损失(seg_loss)
:预测的分割结果与标定分割之前的误差,越小分割的越准确;
本文训练结果如下:
我们通常用PR曲线
来体现精确率和召回率的关系,本文训练结果的PR曲线如下。mAP
表示Precision和Recall作为两轴作图后围成的面积,m表示平均,@后面的数表示判定iou为正负样本的阈值。mAP@.5:表示阈值大于0.5的平均mAP。
定位结果的PR曲线如下:
分割结果的PR曲线如下:
从上面图片曲线结果可以看到:定位的平均精度为0.754
,分割的平均精度为0.743
,结果还是非常可以的。
4. 模型推理
模型训练完成后,我们可以得到一个最佳的训练结果模型best.pt
文件,在runs/trian/weights
目录下。我们可以使用该文件进行后续的推理检测。
图片检测代码如下:
python">#coding:utf-8
from ultralytics import YOLO
import cv2# 所需加载的模型目录
path = 'models/best.pt'
# 需要检测的图片地址
img_path = "TestFiles/austin20-37-_png_jpg.rf.672dcad46059e8eb3e0adc21b6f2acd3.jpg"# 加载预训练模型
# conf 0.25 object confidence threshold for detection
# iou 0.7 intersection over union (IoU) threshold for NMS
model = YOLO(path, task='segment')
# model = YOLO(path, task='segment',conf=0.5)# 检测图片
results = model(img_path)
res = results[0].plot()# res = cv2.resize(res,dsize=None,fx=0.5,fy=0.5,interpolation=cv2.INTER_LINEAR)
cv2.imshow("Res", res)
cv2.imwrite("res.jpg", res)
cv2.waitKey(0)
执行上述代码后,会将执行的结果直接标注在图片上,结果如下:
更多检测结果展示如下:
四、可视化系统制作
基于上述训练出的模型,为了给此检测系统提供一个用户友好的操作平台,使用户能够便捷、高效地进行检测任务。博主基于Pyqt5开发了一个可视化的系统界面,通过图形用户界面(GUI),用户可以轻松地在图片、视频和摄像头实时检测之间切换,无需掌握复杂的编程技能即可操作系统。【系统详细展示见第一部分内容】
Pyqt5详细介绍
关于Pyqt5的详细介绍可以参考之前的博客文章:《Python中的Pyqt5详细介绍:基本机构、部件、布局管理、信号与槽、跨平台》
,地址:
https://a-xu-ai.blog.csdn.net/article/details/143273797
系统制作
博主基于Pyqt5框架开发了此款遥感视角地面房屋建筑检测分割与分析系统
,即文中第一部分的演示内容,能够很好的支持图片、视频及摄像头进行检测,同时支持检测结果的保存
。
通过图形用户界面(GUI),用户可以轻松地在图片、视频和摄像头实时检测之间切换,无需掌握复杂的编程技能即可操作系统。这不仅提升了系统的可用性和用户体验,还使得检测过程更加直观透明,便于结果的实时观察和分析。此外,GUI还可以集成其他功能,如检测结果的保存与导出、检测参数的调整,从而为用户提供一个全面、综合的检测工作环境,促进智能检测技术的广泛应用。
关于该系统涉及到的完整源码、UI界面代码、数据集、训练代码、测试图片视频等相关文件,均已打包上传,感兴趣的小伙伴可以通过下载链接自行获取。
【获取方式】
关注末尾名片G-Z-H:【阿旭算法与机器学习】,发送【源码】即可获取下载方式
本文涉及到的完整全部程序文件:包括环境配置文档说明、python源码、数据集、训练代码、UI文件、测试图片视频等(见下图),获取方式见文末:
注意:该代码基于Python3.9开发,运行界面的主程序为
MainProgram.py
,其他测试脚本说明见上图。为确保程序顺利运行,请按照程序运行说明文档txt
配置软件运行所需环境。