基于开源模型搭建实时人脸识别系统(五):人脸跟踪

news/2025/1/12 22:48:13/

继续填坑,之前已经讲了人脸检测,人脸识别实战之基于开源模型搭建实时人脸识别系统(二):人脸检测概览与模型选型_开源人脸识别模型_CodingInCV的博客-CSDN博客,人脸检测是定位出画面中人脸的位置,理论上把检测到的人脸进行提特征就能做人脸识别了,不过直接这样做是有缺陷,一是存在很大的资源浪费,毕竟同一个人出现在画面,我们实际上应该只需要做一次识别就知道他的身份(理想情况下),而不需要每一帧都去做;二是如果对每一帧都进行独立的检测->识别,就会出现频繁的事件,不利于业务的开发。当然,还有一些其他需要使得我们需要一种方式在不做识别的情况下,就知道当前帧的目标和前面帧的目标是同一个目标,比如我们要对一个门口进行进出的计数,这个领域就是目标跟踪。
多目标跟踪是对于给定的视频序列,找到每一帧图像中的运动 目标,在连续视频帧中对同一个目标分配相同的身份标识号(ID), 从而形成不同物体各自的运动轨迹。这些物体可以是任意的,如行 人、车辆、运动员、动物以及足球等无生命物体,人脸跟踪属于目标跟踪。

基于机器学习的目标跟踪

与其他领域类似,在深度学习爆发前,也有很多基于机器学习的目标跟踪方法,一般是依据目标的颜色分布信息,如Meanshift,或相邻帧的像素匹配,如光流法。感兴趣可以自行搜索。

基于目标检测的跟踪(tracking by detection)

这类方法对每一帧的检测结果与历史跟踪结果进行匹配(对于第一次出现的目标分配新的ID),最简单的一种方式是用目标检测框与历史跟踪框的IOU来评价目标的匹配度,使用贪心算法进行两两匹配,将IOU超过阈值的且最匹配的检测框作为最新的跟踪框,若有检测框未匹配上,则新建ID, 若有跟踪框未匹配上,则删除ID。匹配方法还有匈牙利匹配等。
除了直接使用检测框更新跟踪框外,还有与卡尔曼滤波相结合更新跟踪框的方式,代表性的方式是SORT(Simple Object Realtime Tracking)。

基于目标回归的跟踪

基于目标检测的跟踪比较依赖目标检测框的精度和速度,且实际上没有利用上历史信息来帮助检测。基于目标回归的方法则利用历史跟踪框,回归该目标在当前帧预测目标的位置。比如人脸中,有些方法利用MTCNN的Onet去回归人脸位置,这种方法一般要比每帧检测要快(单目标下)。

基于深度特征的目标跟踪

在发生目标遮挡时,完全基于框匹配或传统机器学习的方法容易出现目标丢失,从而目标ID发生变化。基于深度特征的目标跟踪通过提取目标的特征然后匹配的方式将目标重新关联上,代表方法是DeepSort, 这种方式需要提取目标特征,计算量较高。

基于端到端的目标跟踪

上面的方法基本都是分步骤的实现目标跟踪:目标检测/回归->框匹配,还有一种方式是端到端的方式,不分多个步骤,对硬件要求高,笔者也没有了解过。

本系统的选择

考虑到CPU实时需要,选择基于目标检测的跟踪, 具体而言选择sort方法。

项目源码

https://mbd.pub/o/bread/mbd-ZJyTmZty


http://www.ppmy.cn/news/1107805.html

相关文章

2022年全国研究生数学建模竞赛华为杯C题汽车制造涂装-总装缓存调序区调度优化问题求解全过程文档及程序

2022年全国研究生数学建模竞赛华为杯 C题 汽车制造涂装-总装缓存调序区调度优化问题 原题再现: 背景介绍   汽车制造厂主要由焊装车间、涂装车间、总装车间构成,每个车间有不同的生产偏好,如:焊装车间由于车身夹具的限制偏向最…

国内外大语言模型调研(更新到2023.09.12)

目录 国外 OpenAI-ChatGPT Anthropic-Claude Google-Bard 国内 百度-文心一言 清华大学&智谱AI-ChatGLM 百川智能-百川大模型 科大讯飞-星火 阿里-通义千问 360-360智脑 腾讯-混元大模型 华为-盘古大模型 字节跳动-云雀大模型 好未来-MathGPT 商汤科技-商量…

如何对安卓设备执行免Root设置?免Root后如何远程控制?

使用AirDroid个人版的远程控制功能时,对被控的安卓设备执行免Root设置是比较常用的一种方式(安卓7.0及以上系统的设备可以选择通过辅助权限(无障碍)控制安卓设备) 如何执行免Root设置? 前提条件 1&#…

房地产小程序 | 小程序赋能,房地产业务数字化升级

随着科技的不断发展,房地产行业正逐渐向数字化转型。在这个过程中,房地产小程序成为了一种重要的工具,可以帮助房地产企业提供更好的购房体验、增加销售额,并实现管理的便捷化。 优点 便捷购房体验:房地产小程序为用户…

神经网络:基本概念、模型与技术

神经网络:基本概念、模型与技术 引言 在近年来,人工智能领域取得了显著的进步,其中最引人注目的成就之一就是神经网络。神经网络是一种模拟人脑工作机制的算法,以其出色的学习和识别能力,对各个领域的实际问题产生了…

动漫推荐《星际牛仔》

《星际牛仔》(カウボーイビバップ,Cowboy Bebop,又译《赏金猎人》)是由日升动画和万代影视制作的原创电视动画。它最初于东京电视台从1998年4月到6月首播,但因电检尺度问题并未完整播毕,后由WOWOW在同年10月…

上海亚商投顾:沪指放量反弹 医药、AI概念股集体走强

上海亚商投顾前言:无惧大盘涨跌,解密龙虎榜资金,跟踪一线游资和机构资金动向,识别短期热点和强势个股。 一.市场情绪 三大指数早间震荡反弹,午后集体拉升涨超1%,深成指一度涨超1.5%,随后涨幅略…

2023-09-12力扣每日一题

链接&#xff1a; 1462. 课程表 IV 题意 一个pair<int,int>表示a是b的前置 进行n次查询&#xff0c;查询q是否是p的前置&#xff08;可以不是直接前置&#xff09; 解&#xff1a; 就是要把01、12、13这种能转换出02、03&#xff0c;弗洛伊德即可 无环无负权 实际…