基于Python的mediapipe和opencv的人体骨骼、人体姿态关键点的实时跟踪项目

devtools/2024/9/26 1:24:25/

随着计算机视觉技术的发展,人体姿态估计在虚拟现实、运动分析、人机交互等领域得到了广泛应用。传统的姿态估计方法通常依赖于深度学习模型,需要大量的计算资源。而 Google 开发的 MediaPipe 框架则提供了高效且易于使用的解决方案,它可以在各种设备上运行实时的多模态应用。

项目目标

本项目旨在利用 MediaPipeOpenCV 实现对人体姿态关键点的实时检测和跟踪,并通过可视化这些关键点来帮助用户更好地理解人体姿态的变化。

技术栈
  • Python:主流编程语言,适合快速开发。
  • MediaPipe:Google 提供的跨平台、可扩展的框架,用于构建多模态应用。
  • OpenCV:强大的计算机视觉库,用于图像处理和视频流管理。
预期成果
  • 实时视频流处理:从摄像头或文件读取视频流,并对其进行实时处理。
  • 人体姿态检测:准确地识别并追踪人体的关键部位。
  • 关键点可视化:在视频帧中标记出人体各部位的位置。
  • 姿态分析:根据关键点位置进行初步的姿态分析(例如站立、行走等)。

示例代码

以下是一个简单的代码示例,演示如何使用 MediaPipeOpenCV 实现上述功能:

 
import cv2
2import mediapipe as mp
3import numpy as np
4
5# 初始化 MediaPipe 的 Pose 模块
6mp_drawing = mp.solutions.drawing_utils
7mp_pose = mp.solutions.pose
8
9# 初始化摄像头
10cap = cv2.VideoCapture(0)  # 0 表示默认摄像头
11
12# 定义姿态分类器
13class PoseClassifier:
14    def __init__(self):
15        self.threshold = 0.9
16
17    def classify(self, landmarks):
18        # 检查是否所有关键点都被检测到
19        if not all([landmark.visibility > self.threshold for landmark in landmarks]):
20            return 'Unknown'
21
22        # 计算肩膀和臀部之间的向量
23        shoulder_left = landmarks[mp_pose.PoseLandmark.LEFT_SHOULDER]
24        shoulder_right = landmarks[mp_pose.PoseLandmark.RIGHT_SHOULDER]
25        hip_left = landmarks[mp_pose.PoseLandmark.LEFT_HIP]
26        hip_right = landmarks[mp_pose.PoseLandmark.RIGHT_HIP]
27
28        # 肩膀的平均位置
29        shoulder_pos = (shoulder_left.position + shoulder_right.position) / 2
30        # 臀部的平均位置
31        hip_pos = (hip_left.position + hip_right.position) / 2
32
33        # 计算肩膀到臀部的向量
34        vector_shoulder_to_hip = np.array([hip_pos.x - shoulder_pos.x, hip_pos.y - shoulder_pos.y])
35
36        # 姿态分类逻辑
37        if abs(vector_shoulder_to_hip[1]) < 0.05:
38            return 'Standing'
39        elif vector_shoulder_to_hip[1] > 0.1:
40            return 'Sitting'
41        else:
42            return 'Unknown'
43
44# 创建姿态分类器实例
45classifier = PoseClassifier()
46
47with mp_pose.Pose(min_detection_confidence=0.5, min_tracking_confidence=0.5) as pose:
48    while cap.isOpened():
49        success, image = cap.read()
50        if not success:
51            print("无法获取视频帧")
52            continue
53
54        # 将 BGR 图像转换为 RGB
55        image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
56
57        # 进行姿态检测
58        results = pose.process(image_rgb)
59
60        # 绘制姿态关键点
61        if results.pose_landmarks:
62            mp_drawing.draw_landmarks(
63                image, results.pose_landmarks, mp_pose.POSE_CONNECTIONS,
64                mp_drawing.DrawingSpec(color=(255, 0, 0), thickness=2, circle_radius=2),
65                mp_drawing.DrawingSpec(color=(0, 255, 0), thickness=2))
66
67            # 获取姿态关键点
68            landmarks = results.pose_landmarks.landmark
69
70            # 获取姿态分类
71            pose_class = classifier.classify(landmarks)
72            cv2.putText(image, f'Pose: {pose_class}', (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2, cv2.LINE_AA)
73
74        # 显示结果
75        cv2.imshow('MediaPipe Pose', image)
76
77        if cv2.waitKey(5) & 0xFF == 27:  # 按下 Esc 键退出
78            break
79
80# 释放资源
81cap.release()
82cv2.destroyAllWindows()

代码解释

  1. PoseClassifier 类:定义了一个简单的姿态分类器,用于判断用户是在站立还是坐着。这只是一个非常基础的分类逻辑,可以根据需要进一步扩展和优化。
  2. 姿态检测:使用 results.pose_landmarks 来获取姿态关键点。
  3. 关键点绘制:使用 mp_drawing.draw_landmarks 来绘制关键点及其连接。
  4. 姿态分类:根据关键点的位置来判断用户的姿态。
  5. 结果显示:在视频帧上显示姿态分类的结果。

内含完整代码与超级详细注解和报告:


http://www.ppmy.cn/devtools/98642.html

相关文章

C++系列-继承方式

继承方式 继承的语法继承方式&#xff1a;继承方式的特点继承方式的举例 继承可以减少重复的代码。继承允许我们依据另一个类来定义一个类&#xff0c;这使得创建和维护一个应用程序变得更容易。基类父类&#xff0c;派生类子类&#xff0c;派生类是在继承了基类的部分成员基础…

结构型模式之适配器模式

一、概述 1、适配器模式&#xff1a;将一个类的接口转换成客户希望的另一个接口。适配器模式让那些接口不兼容的类可以一起工作。 2、别名为包装器模式 3、适配器分为类适配器和对象适配器 二、适配器模式的结构 适配器模式包含以下三个角色&#xff1a; 1、Target&#…

力扣(K件物品的最大和)

数据量小不需要考虑时间复杂度 数学思维理清楚步骤---然后代码翻译实现 Ⅰ、 K件物品的最大和 袋子中装有一些物品&#xff0c;每个物品上都标记着数字 1 、0 或 -1 。 给你四个非负整数 numOnes 、numZeros 、numNegOnes 和 k 。 袋子最初包含&#xff1a; numOnes 件标…

【握奇数据招聘(北森)-注册/登录安全分析报告】

前言 由于网站注册入口容易被黑客攻击&#xff0c;存在如下安全问题&#xff1a; 1. 暴力破解密码&#xff0c;造成用户信息泄露 2. 短信盗刷的安全问题&#xff0c;影响业务及导致用户投诉 3. 带来经济损失&#xff0c;尤其是后付费客户&#xff0c;风险巨大&#xff0c;造…

【国赛】【美赛】【五一杯】【电工杯】【华数杯】【亚太杯】······各赛事历年优秀论文+真题分享

今天继续给大家分享十分重磅的资料哦&#xff0c;数学建模各大竞赛的资料汇总&#xff0c;可能很多小伙伴平时进行某个比赛的资料搜索的时候会发现&#xff0c;我们想要的这个比赛的资料有时候非常难搜索到&#xff0c;搜索23年&#xff0c;显示21年的&#xff0c;搜索小美赛&a…

软件开发者的首选:最佳Bug测试工具Top 10

本篇文章介绍了以下软件bug测试管理工具&#xff1a;PingCode、Worktile、Test360、禅道、码云Gitee、优云测试、Jira、GitHub、Axosoft、Bugzilla。 在开发过程中&#xff0c;Bug的管理往往是最让人头疼的问题之一。小问题积累起来不仅会拖延项目进度&#xff0c;还可能影响到…

[单master节点k8s部署]21.EFK日志收集平台介绍

大型系统是一个分布式部署的架构&#xff0c;不同的服务模块部署在不同的服务器上&#xff0c;问题出现时&#xff0c;大部分情 况需要根据问题暴露的关键信息&#xff0c;定位到具体的服务器和服务模块&#xff0c;构建一套集中式日志系统&#xff0c;可以提高 定位问题的效率…

Jupyter Notebook本地化安装配置结合内网穿透实现跨网络使用

文章目录 1.前言2.Jupyter Notebook的安装2.1 Jupyter Notebook下载安装2.2 Jupyter Notebook的配置2.3 Cpolar下载安装 3.Cpolar端口设置3.1 Cpolar云端设置3.2.Cpolar本地设置 4.公网访问测试5.结语 1.前言 本文主要介绍如何在Windows系统电脑本地部署Jupyter Notebook交互笔…