模型案例:| 手机识别模型!

ops/2024/12/27 4:16:31/

导读

2023年以ChatGPT为代表的大语言模型横空出世,它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力,为人工智能技术的发展开辟了新的可能性。同时,人工智能技术正在进入各种应用领域,在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。

柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件,与全球创客爱好者共建“模型仓”,通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术!

本期介绍:模型案例:| 手机识别模型

RT-DETR

RT-DETR是基于DETR架构的端到端对象检测器,完全消除了对NMS的需求。通过这样做,RT-DETR显着减少了之前基于卷积神经网络(CNN)的对象检测器(如YOLO系列)的延迟。它结合了强大的主干、混合编码器和独特的查询选择器,可以快速准确地处理特征。

RT-DETR架构的关键组件

Backbone网络:通常采用高效的卷积神经网络(CNN)作为特征提取的基础,例如ResNet或EfficientNet,以获取图像的多尺度特征。从主干,RT-DETR提取三个级别的特征- S3,S4和S5,这些多尺度特征有助于模型理解图像的高级和细粒度细节。

Transformer编码器-解码器:RT-DETR中使用了Transformer的编码器-解码器结构,该混合编码器包括两个主要部分:基于注意力的尺度内特征交互(AIFI)和跨尺度特征融合(CCFF)。

基于注意力的尺度内特征交互(AIFI)

这个组件的核心思想是利用自注意力机制在同一尺度内进行特征交互。AIFI能够让模型有效地捕捉同一尺度特征图中各个位置之间的关系。

具体而言,AIFI通过计算特征的注意力权重,使得模型能够关注到重要的区域,并抑制冗余信息,从而增强对目标的定位和表征能力。

这种尺度内的交互有助于在相似尺寸的物体之间建立联系,提高对密集目标的检测能力。

跨尺度特征融合(CCFF)

CCFF负责整合来自不同尺度的特征,以便于模型能够从多层次的信息中获得更全面的上下文。这一过程通常涉及将来自不同尺度的特征图进行融合,通过卷积操作、上采样或下采样等方式,将这些特征进行对齐并结合在一起。

CCFF不仅允许模型综合不同尺度特征的优势,还能提高对各种大小目标的检测能力。

多尺度特征金字塔:RT-DETR通常会借助特征金字塔网络(FPN)来融合来自不同层次的特征,以加强对不同大小目标的检测能力。

目标查询(Object Queries):解码器使用的目标查询是关键组件,它们用于引导模型对目标的检测,允许模型在生成检测结果时关注不同的潜在目标。

类别和边界框回归:在解码器中,RT-DETR通过类别预测和边界框回归来输出目标的类别和位置。

高效的训练策略:RT-DETR往往结合了一些改进的训练策略,如动态图损失(Dynamic Loss)和图像增强技术,以提高模型的收敛速度和检测精度。

后处理:如NMS(非极大值抑制)处理步骤,以去除冗余的检测框和优化最终的检测结果。

手机识别模型

该 AI 模型由 Swift yolo 算法生成,专为 Seeed Studio Grove Vision AI (V2) 设备设计,能够高效识别和检测到手机。

应用场景

该模型适用于多种应用场景,包括零售、安全、公共空间监控和个人监督。

在零售业,该模型可以实时监控手机库存,帮助员工及时补货;

在安全方面,它可以帮助识别和跟踪丢失或被盗的手机;

在个人监督,很多大学学生上课玩手机,可以通过此模型进行监控。

在Grove - Vision AI V2模块上部署此模型

  1. 打开SenseCraft AI平台,如果第一次使用请先注册一个会员账号,还可以设置语言为中文。

平台地址:https://sensecraft.seeed.cc/ai/#/model

2、在顶部单击【预训练模型】菜单,在公共AI模型列表中找到【手机检测】模型,单击此模型图片,如下图所示。

3、进入【手机检测】模型介绍页面,单击右侧的“部署模型”按钮,如下图所示。

  1. 进入部署手机检测模型页面,按提示步骤先连接摄像头,再连接设备到电脑USB接口上,最后单击【连接设备】按钮,如下图所示。

5、弹出部署模型窗口,单击“确定”按钮,如下图所示。

6、弹出连接到串行端口窗口,选择端口号后单击“连接”按钮,如下图所示。

7、开始进行模型部署、固件下载、设备重启等过程,完成后在预览中即可看到当前摄像头视频内容,将摄像头对准手机图片查看预测效果,如下图所示。

原型设计

利用此手机识别模型,设计一个桌面手机监控装置,此装置在检测到有人用手机时会点亮led模块,也可改为蜂鸣器模块进行报警,这样就有了一个防沉迷手机检测装置。

下面是视频演示

手机识别模型

Grove Al视觉模块 V2套装介绍

Grove Al视觉模块 V2

OV5647-62摄像头

Grove - Vision Al Module V2是一款拇指大小的人工智能视觉模块, 配备Himax WiseEye2 HX6538处理器, 该处理器采用 ArmCortex-M55双核架构。

它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。它非常适用于各种嵌入式视觉项目。

有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。

主要硬件配置

- 板卡基于WiseEye2 HX6538处理器, 采用双核ARM Cortex-M55架构

- 配备集成Arm Ethos-U55微神经网络加速单元, 兼容的树莓派相机

- 板载PDM麦克风, SD卡插槽, Type-C, Grove接口, 丰富的外设支持样机开发

- Seeed Studio XIAO的可扩展性, SenseCraft Al的现成AI模型用于无代码部署。

- 支持各种有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.

写在最后

SenseCraft-AI平台的模型仓数量还很少,但是好消息是它支持自定义模型上传并输出推理结果,平台会逐渐增加模型仓的数量,敬请关注!


http://www.ppmy.cn/ops/139619.html

相关文章

【Rust在WASM中实现pdf文件的生成】

Rust在WASM中实现pdf文件的生成 前言概念和依赖问题描述分步实现pdf转Blob生成URL两种方式利用localstorage传递参数处理图片Vec<u8>到pdf格式的Vec<u8>使用rust创建iframe显示pdf的Blob最后 前言 实现了一个通用的前端jpg转pdf的wasm,因为动态响应框架无法直接打…

网络安全内容整理二

网络嗅探技术 网络监听 网络监听&#xff0c;也称网络嗅探(Network Sniffing)&#xff1a;在他方未察觉的情况下捕获其通信报文、通信内容的技术 网卡的工作模式&#xff1a; 1.广播模式(Broadcast Mode)&#xff1a;网卡能够接收网络中的广播信息 2.组播模式(Multicast Mo…

Harmony OS(鸿蒙系统)基本概念与应用场景

一、HarmonyO 核心技术理念 <一>、 应用开发的机遇、挑战和趋势 连接步骤复杂数据难以互通生态无法共享能力难以协同 <二>、 移动应用开发中遇到的主要挑战 针对不同设备上的不同操作系统&#xff0c;重复开发&#xff0c;维护多套版本多种语言技术栈&#xff…

鸿蒙next版开发:拍照实现方案(ArkTS)

文章目录 拍照功能开发步骤1. 导入相关接口2. 创建会话3. 配置会话4. 触发拍照5. 监听拍照输出流状态 结语 在HarmonyOS 5.0中&#xff0c;ArkTS提供了一套完整的API来管理相机功能&#xff0c;特别是拍照功能。本文将详细介绍如何在ArkTS中实现拍照功能&#xff0c;并提供代码…

Flink维表join

所谓的维表Join: 进入Flink的数据&#xff0c;需要关联另外一些存储设备的数据&#xff0c;才能计算出来结果&#xff0c;那么存储在外部设备上的表称之为维表&#xff0c;可能存储在mysql也可能存储在hbase 等。维表一般的特点是变化比较慢。 需求&#xff1a;kafka输入的数据…

Python+OpenCV系列:GRAY BGR HSV

以下是 GRAY、BGR 和 HSV 三种色彩空间的对比&#xff0c;涵盖了它们的定义、特点、应用场景和优缺点&#xff1a; 1. 定义 GRAY&#xff1a; 灰度图像仅包含亮度信息&#xff0c;每个像素用一个值&#xff08;通常在0到255之间&#xff09;表示亮度&#xff08;黑到白&#x…

【JAVA】Java高级:JDBC与微服务架构的集成:在微服务架构中使用JDBC与连接池的设计模式

微服务架构已经成为一种流行的设计模式。微服务架构将应用程序分解为多个小的、独立的服务&#xff0c;每个服务负责特定的功能。这种架构带来了灵活性、可扩展性和易于维护的优势。然而&#xff0c;在微服务架构中&#xff0c;如何有效地管理数据库连接是一个关键问题&#xf…

初级数据结构——哈希表

目录 前言一、哈希表的基本概念二、哈希表的构成三、哈希表的工作原理四、哈希表的冲突解决五、哈希表的优缺点六、哈希表的应用场景七、代码模版八、总结九、结语 前言 这一期我们一起学习初级数据结构最后一篇内容&#xff0c;初级数据结构——哈希表。数据结构中的哈希表&a…