【计算机视觉】手势识别

news/2025/3/6 17:03:54/

手势识别是计算机视觉领域中的重要方向，通过对摄像机采集的手部相关的图像序列进行分析处理，进而识别其中的手势，手势被识别后用户就可以通过手势来控制设备或者与设备交互。完整的手势识别一般有手的检测和姿态估计、手部跟踪和手势识别等。

一、手掌检测

import cv2
import mediapipe as mp# 初始化 MediaPipe 手部模型
mp_hands = mp.solutions.hands
hands = mp_hands.Hands()# 初始化视频流
cap = cv2.VideoCapture(0)while True:ret, frame = cap.read()if not ret:break# 转换为 RGBrgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)# 获取手部关键点results = hands.process(rgb_frame)# 如果检测到手部if results.multi_hand_landmarks:for landmarks in results.multi_hand_landmarks:# 绘制手部关键点mp.solutions.drawing_utils.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS)# 显示图像cv2.imshow('Hand Detection', frame)# 按 'q' 键退出if cv2.waitKey(1) & 0xFF == ord('q'):break# 释放资源
cap.release()
cv2.destroyAllWindows()

这段代码是一个简单的手部检测应用程序，使用了 OpenCV 和 MediaPipe 库来实时检测和绘制手部关键点。下面是对代码的详细解释：

1. 导入必要的库
import cv2
import mediapipe as mp
  • cv2 是 OpenCV 的 Python 接口库，用于图像处理和计算机视觉任务。
  • mediapipe 是 Google 提供的一个跨平台框架，用于实现高效的计算机视觉任务，这里用它来做手部关键点检测。
2. 初始化 MediaPipe 手部模型
mp_hands = mp.solutions.hands
hands = mp_hands.Hands()
  • mp_hands 是 MediaPipe 提供的手部检测模块。通过 mp.solutions.hands 访问。
  • hands = mp_hands.Hands() 创建了一个 Hands 对象，用于进行手部检测。它会自动处理图像中的手部检测、手部关键点识别和跟踪。
3. 初始化视频流
cap = cv2.VideoCapture(0)
  • cv2.VideoCapture(0) 打开了计算机的默认摄像头（0表示第一个摄像头）。返回的 cap 对象用于读取视频流。
4. 开始处理视频流
while True:ret, frame = cap.read()if not ret:break
  • cap.read() 从摄像头读取一帧图像并返回两个值：ret 和 frame。ret 是布尔值，表示图像是否成功读取，frame 是当前帧的图像。
  • 如果 ret 为 False，则说明读取图像失败，程序退出循环。
5. 转换图像为 RGB
rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
  • OpenCV 使用 BGR（蓝绿红）色彩空间，而 MediaPipe 要求输入图像为 RGB（红绿蓝）色彩空间。因此，我们用 cv2.cvtColor 将图像从 BGR 转换为 RGB。
6. 处理图像以检测手部关键点
results = hands.process(rgb_frame)
  • hands.process(rgb_frame) 将 RGB 图像传递给 MediaPipe 的 Hands 模型进行处理。
  • results 包含了检测到的手部信息，包括手部关键点的位置。如果图像中没有手部，results.multi_hand_landmarks 会是空的。
7. 绘制手部关键点
if results.multi_hand_landmarks:for landmarks in results.multi_hand_landmarks:mp.solutions.drawing_utils.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS)
  • results.multi_hand_landmarks 是一个包含所有检测到的手的关键点位置的列表。如果检测到手部，它会返回一个非空列表。
  • landmarks 是每个手部的关键点集合，每个关键点是一个 (x, y, z) 坐标。
  • mp.solutions.drawing_utils.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS) 将每个手的关键点绘制到 frame 图像上，并且连接关键点，形成手的骨架结构。mp_hands.HAND_CONNECTIONS 用于连接不同的关键点。
8. 显示处理后的图像
cv2.imshow('Hand Detection', frame)
  • cv2.imshow 显示处理后的图像（frame）。窗口的标题是 ‘Hand Detection’。
9. 按键退出
if cv2.waitKey(1) & 0xFF == ord('q'):break
  • cv2.waitKey(1) 等待键盘输入，1 表示等待 1 毫秒。返回值是按下键的 ASCII 码。
  • 如果按下 q 键，ord('q') 的值与 cv2.waitKey(1) 返回值相等，程序就会退出循环，停止视频流。
10. 释放资源并关闭窗口
cap.release()
cv2.destroyAllWindows()
  • cap.release() 释放摄像头资源。
  • cv2.destroyAllWindows() 关闭所有 OpenCV 显示的窗口。

二、手关键点估计

要进行手关键点估计，可以使用 MediaPipe 库来进行高效的手部检测，结合 OpenCV 来进行图像处理和显示。这里将展示一个基于 MediaPipe 手部模型的手关键点估计的完整代码。

MediaPipe 提供了一个预训练的模型来检测手部的 21 个关键点，包括手指关节和手掌部位。我们将使用 MediaPipe 提供的 Hands 模块来检测手部关键点。

import cv2
import mediapipe as mp# 初始化 MediaPipe 手部检测模型
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(min_detection_confidence=0.7, min_tracking_confidence=0.5)
mp_drawing = mp.solutions.drawing_utils# 打开摄像头
cap = cv2.VideoCapture(0)while True:# 读取每一帧图像ret, frame = cap.read()if not ret:print("无法获取视频帧")break# 将图像转换为 RGB 格式，MediaPipe 需要 RGB 输入rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)# 获取手部关键点检测结果results = hands.process(rgb_frame)# 如果检测到手部if results.multi_hand_landmarks:for landmarks in results.multi_hand_landmarks:# 绘制手部关键点和连接线mp_drawing.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS)# 获取并显示每个关键点的坐标for idx, landmark in enumerate(landmarks.landmark):h, w, c = frame.shapecx, cy = int(landmark.x * w), int(landmark.y * h)cv2.putText(frame, str(idx), (cx, cy), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1, cv2.LINE_AA)cv2.circle(frame, (cx, cy), 5, (0, 0, 255), -1)  # 绘制红色的关键点# 显示图像cv2.imshow('Hand Keypoint Estimation', frame)# 按 'q' 键退出if cv2.waitKey(1) & 0xFF == ord('q'):break# 释放摄像头资源并关闭窗口
cap.release()
cv2.destroyAllWindows()
1.代码解释

  1. 初始化 MediaPipe 手部模型：

    • 使用 mp.solutions.hands.Hands() 创建手部检测模型，min_detection_confidence=0.7 和 min_tracking_confidence=0.5 表示最低的检测和追踪置信度阈值，适用于动态环境中。

  2. 打开摄像头：

    • 使用 cv2.VideoCapture(0) 打开计算机的默认摄像头，并获取实时视频流。

  3. 图像转换：

    • OpenCV 默认使用 BGR 色彩空间，但 MediaPipe 需要 RGB 色彩空间，因此使用 cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) 将图像转换为 RGB 格式。

  4. 处理图像并获取手部关键点：

    • hands.process(rgb_frame) 用于处理图像并检测手部关键点。results 对象包含手部信息，如果检测到手部，results.multi_hand_landmarks 将返回手部的 21 个关键点的位置。

  5. 绘制关键点和连接线：

    • mp_drawing.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS) 绘制手的 21 个关键点以及它们之间的连接线（即手指的骨架）。
    • landmarks.landmark 包含了每个关键点的 (x, y, z) 坐标，其中 x 和 y 是图像中的像素坐标，z 是深度信息（在 3D 空间中的位置，但对于 2D 图像可忽略）。

  6. 显示关键点坐标：

    • 对于每个关键点，通过 cv2.putText 在图像上显示关键点的索引。cv2.circle 用来在图像上绘制关键点位置。

  7. 显示视频流：

    • 使用 cv2.imshow() 来显示处理过的每一帧图像，展示检测到的手部关键点。

  8. 退出条件：

    • 按下 q 键退出程序并释放摄像头资源。
2.手部关键点索引

MediaPipe 的 Hands 模型检测手部的 21 个关键点，索引如下（从 0 到 20）：

  • 0: 手腕
  • 1: 大拇指根部
  • 2: 大拇指第一关节
  • 3: 大拇指第二关节
  • 4: 大拇指尖端
  • 5: 食指根部
  • 6: 食指第一关节
  • 7: 食指第二关节
  • 8: 食指尖端
  • 9: 中指根部
  • 10: 中指第一关节
  • 11: 中指第二关节
  • 12: 中指尖端
  • 13: 无名指根部
  • 14: 无名指第一关节
  • 15: 无名指第二关节
  • 16: 无名指尖端
  • 17: 小指根部
  • 18: 小指第一关节
  • 19: 小指第二关节
  • 20: 小指尖端

三、实例

YOLO（You Only Look Once）是一个非常强大的目标检测算法，特别适用于实时应用。它将目标检测任务转化为一个回归问题，能够快速且准确地检测图像中的目标物体。虽然 YOLO 本身并没有直接针对手部关键点估计的功能，但可以用它来检测手部区域，然后结合其他模型（比如 MediaPipe 或深度学习的关键点检测模型）来进行手关键点估计。

  1. YOLO 检测手部：首先用 YOLO 模型检测图像中的手部位置，YOLO 会输出手部的边界框。
  2. 手部关键点估计：然后，我们可以通过一个手部关键点估计模型（如 MediaPipe 或自定义深度学习模型）来进一步估计手部的 21 个关键点。
import cv2
import torch
import mediapipe as mp# 初始化 MediaPipe 手部检测模型
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(min_detection_confidence=0.7, min_tracking_confidence=0.5)
mp_drawing = mp.solutions.drawing_utils# 加载 YOLOv5 模型（选择合适的模型大小）
model = torch.hub.load('ultralytics/yolov5', 'yolov5s')  # 'yolov5s' 是一个小型的 YOLOv5 模型# 打开摄像头
cap = cv2.VideoCapture(0)while True:# 读取每一帧图像ret, frame = cap.read()if not ret:print("无法获取视频帧")break# 使用 YOLOv5 检测图像中的物体（包括手部）results = model(frame)  # 检测结果，包括边界框、标签、置信度等# 提取 YOLOv5 检测到的手部（通常手部被标记为 0 或其他标签，依赖于训练数据）# 获取所有检测到的物体的边界框hands_detections = results.xyxy[0]  # 获取检测结果，xyxy 形式 [x_min, y_min, x_max, y_max, confidence, class]for detection in hands_detections:if detection[5] == 0:  # 类别 0 代表手部（具体根据训练数据集而定）x_min, y_min, x_max, y_max = map(int, detection[:4])# 在图像上绘制手部边界框cv2.rectangle(frame, (x_min, y_min), (x_max, y_max), (255, 0, 0), 2)# 提取手部区域并进行手部关键点估计hand_region = frame[y_min:y_max, x_min:x_max]rgb_hand_region = cv2.cvtColor(hand_region, cv2.COLOR_BGR2RGB)# 使用 MediaPipe 估计手部关键点hand_results = hands.process(rgb_hand_region)# 如果检测到手部关键点if hand_results.multi_hand_landmarks:for landmarks in hand_results.multi_hand_landmarks:# 绘制手部关键点和连接线mp_drawing.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS)for idx, landmark in enumerate(landmarks.landmark):h, w, c = frame.shapecx, cy = int(landmark.x * w), int(landmark.y * h)cv2.putText(frame, str(idx), (cx, cy), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1, cv2.LINE_AA)cv2.circle(frame, (cx, cy), 5, (0, 0, 255), -1)  # 绘制红色的关键点# 显示图像cv2.imshow('Hand Detection and Keypoint Estimation', frame)# 按 'q' 键退出if cv2.waitKey(1) & 0xFF == ord('q'):break# 释放摄像头资源并关闭窗口
cap.release()
cv2.destroyAllWindows()
1.代码解析
  1. 加载 YOLOv5 模型：
    • torch.hub.load('ultralytics/yolov5', 'yolov5s') 载入 YOLOv5 模型，yolov5s 是一个小型的 YOLOv5 模型，适合实时应用。可以根据需求选择 yolov5m 或 yolov5l（更大的模型，精度更高但速度较慢）。
  2. 读取摄像头视频流：
    • 使用 cv2.VideoCapture(0) 打开摄像头并读取每一帧图像。
  3. YOLOv5 物体检测：
    • 使用 model(frame) 进行图像检测，返回一个 results 对象，其中包含检测到的边界框、类别标签、置信度等信息。
  4. 提取手部区域：
    • 如果 YOLO 检测到手部（通过检测类别标号），提取手部的区域并将其转化为 RGB 格式（因为 MediaPipe 需要 RGB 输入）。
  5. MediaPipe 手部关键点估计：
    • 使用 hands.process(rgb_hand_region) 进行手部关键点估计，返回手部的关键点信息。
    • 使用 mp_drawing.draw_landmarks() 绘制手部的 21 个关键点和连接线。
  6. 结果显示：
    • 将检测到的手部边界框、关键点及连接线显示在视频流上。
  7. 退出条件：
    • 按下 q 键退出程序。

http://www.ppmy.cn/news/1577117.html

相关文章

HTTP四次挥手是什么？

HTTP四次挥手是什么？

四次挥手，这是TCP协议用来关闭连接的过程。四次挥手是确保两个主机之间能够安全、可靠地关闭连接的重要机制。我会用简单易懂的方式来讲解，帮助你理解它的原理和过程。 1. 什么是四次挥手？ 定义 四次挥手是TCP协议用来关闭连接的过程。它通…
阅读更多...
泵吸式激光可燃气体监测仪：快速精准守护燃气管网安全

泵吸式激光可燃气体监测仪：快速精准守护燃气管网安全

在城市化进程加速的今天，燃气泄漏、地下管网老化等问题时刻威胁着城市安全。如何实现精准、高效的可燃气体监测，守护“城市生命线”，成为新型基础设施建设的核心课题。泵吸式激光可燃气体监测仪，以创新科技赋能安全监测&#xff0…
阅读更多...
C# Unity 面向对象补全计划 之 索引器与迭代器

C# Unity 面向对象补全计划 之 索引器与迭代器

本文仅作学习笔记与交流，不作任何商业用途，作者能力有限，如有不足还请斧正 本篇有部分内容出自唐老狮,唐老师网站指路:全部 - 游习堂 - 唐老狮创立的游戏开发在线学习平台 - Powered By EduSoho 目录 1.索引器 2.迭代器 1.索引器 我的理解 索…
阅读更多...
ElasticSearch 在半导体工厂中的智能应用与 AI 联动

ElasticSearch 在半导体工厂中的智能应用与 AI 联动

您是否曾想过如何将 ElasticSearch 这一强大的搜索和分析引擎应用于半导体工厂的智能生产中？本文将为您揭示 ElasticSearch 在半导体行业的应用场景、与 AI 和向量数据库的结合方式，以及与开源 AI（如 DeepSeek）的联动方法&#xf…
阅读更多...
突破传统：用Polars解锁ICU医疗数据分析新范式

突破传统：用Polars解锁ICU医疗数据分析新范式

一、ICU数据革命的临界点 在重症监护室（ICU），每秒都在产生关乎生死的关键数据：从持续监测的生命体征到高频更新的实验室指标，从呼吸机参数到血管活性药物剂量，现代ICU每天产生的数据量级已突破TB级别。传统…
阅读更多...
《基于 LIME 的低照度图像处理》开题报告

《基于 LIME 的低照度图像处理》开题报告

目录 一、研究目的和意义 1.研究目的 2.研究意义 二、国内外研究现状和发展趋势 三、研究内容、研究方法及可行性分析 1、研究内容 2、研究方法 3、可行性分析 四、项目特色与创新点 1、面向特定应用场景的针对性研究 1.多算法比较与选择的严谨性 2.基于硬件平台的深…
阅读更多...
C++编程指南22 - 在线程之间传递少量数据时，使用值传递，而不是引用或指针传递

C++编程指南22 - 在线程之间传递少量数据时，使用值传递，而不是引用或指针传递

一：概述 传递少量数据时，复制比通过某些锁机制共享数据更便宜。复制数据自然会导致唯一所有权（简化代码），并消除了数据竞争的可能性。注意：“少量数据”的定义是无法精确界定的。 二：示例 st…
阅读更多...
Leetcode 57-插入区间

Leetcode 57-插入区间

给你一个 无重叠的 ，按照区间起始端点排序的区间列表 intervals，其中 intervals[i] [starti, endi] 表示第 i 个区间的开始和结束，并且 intervals 按照 starti 升序排列。同样给定一个区间 newInterval [start, end] 表示另一个区间的开始和…
阅读更多...
最新文章

Copyright @ 2022~2023