【计算机视觉】手势识别

ops/2025/3/5 5:46:40/

手势识别是计算机视觉领域中的重要方向，通过对摄像机采集的手部相关的图像序列进行分析处理，进而识别其中的手势，手势被识别后用户就可以通过手势来控制设备或者与设备交互。完整的手势识别一般有手的检测和姿态估计、手部跟踪和手势识别等。

一、手掌检测

import cv2
import mediapipe as mp# 初始化 MediaPipe 手部模型
mp_hands = mp.solutions.hands
hands = mp_hands.Hands()# 初始化视频流
cap = cv2.VideoCapture(0)while True:ret, frame = cap.read()if not ret:break# 转换为 RGBrgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)# 获取手部关键点results = hands.process(rgb_frame)# 如果检测到手部if results.multi_hand_landmarks:for landmarks in results.multi_hand_landmarks:# 绘制手部关键点mp.solutions.drawing_utils.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS)# 显示图像cv2.imshow('Hand Detection', frame)# 按 'q' 键退出if cv2.waitKey(1) & 0xFF == ord('q'):break# 释放资源
cap.release()
cv2.destroyAllWindows()

这段代码是一个简单的手部检测应用程序，使用了 OpenCV 和 MediaPipe 库来实时检测和绘制手部关键点。下面是对代码的详细解释：

1. 导入必要的库
import cv2
import mediapipe as mp
  • cv2 是 OpenCV 的 Python 接口库，用于图像处理和计算机视觉任务。
  • mediapipe 是 Google 提供的一个跨平台框架，用于实现高效的计算机视觉任务，这里用它来做手部关键点检测。
2. 初始化 MediaPipe 手部模型
mp_hands = mp.solutions.hands
hands = mp_hands.Hands()
  • mp_hands 是 MediaPipe 提供的手部检测模块。通过 mp.solutions.hands 访问。
  • hands = mp_hands.Hands() 创建了一个 Hands 对象，用于进行手部检测。它会自动处理图像中的手部检测、手部关键点识别和跟踪。
3. 初始化视频流
cap = cv2.VideoCapture(0)
  • cv2.VideoCapture(0) 打开了计算机的默认摄像头（0表示第一个摄像头）。返回的 cap 对象用于读取视频流。
4. 开始处理视频流
while True:ret, frame = cap.read()if not ret:break
  • cap.read() 从摄像头读取一帧图像并返回两个值：ret 和 frame。ret 是布尔值，表示图像是否成功读取，frame 是当前帧的图像。
  • 如果 ret 为 False，则说明读取图像失败，程序退出循环。
5. 转换图像为 RGB
rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
  • OpenCV 使用 BGR（蓝绿红）色彩空间，而 MediaPipe 要求输入图像为 RGB（红绿蓝）色彩空间。因此，我们用 cv2.cvtColor 将图像从 BGR 转换为 RGB。
6. 处理图像以检测手部关键点
results = hands.process(rgb_frame)
  • hands.process(rgb_frame) 将 RGB 图像传递给 MediaPipe 的 Hands 模型进行处理。
  • results 包含了检测到的手部信息，包括手部关键点的位置。如果图像中没有手部，results.multi_hand_landmarks 会是空的。
7. 绘制手部关键点
if results.multi_hand_landmarks:for landmarks in results.multi_hand_landmarks:mp.solutions.drawing_utils.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS)
  • results.multi_hand_landmarks 是一个包含所有检测到的手的关键点位置的列表。如果检测到手部，它会返回一个非空列表。
  • landmarks 是每个手部的关键点集合，每个关键点是一个 (x, y, z) 坐标。
  • mp.solutions.drawing_utils.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS) 将每个手的关键点绘制到 frame 图像上，并且连接关键点，形成手的骨架结构。mp_hands.HAND_CONNECTIONS 用于连接不同的关键点。
8. 显示处理后的图像
cv2.imshow('Hand Detection', frame)
  • cv2.imshow 显示处理后的图像（frame）。窗口的标题是 ‘Hand Detection’。
9. 按键退出
if cv2.waitKey(1) & 0xFF == ord('q'):break
  • cv2.waitKey(1) 等待键盘输入，1 表示等待 1 毫秒。返回值是按下键的 ASCII 码。
  • 如果按下 q 键，ord('q') 的值与 cv2.waitKey(1) 返回值相等，程序就会退出循环，停止视频流。
10. 释放资源并关闭窗口
cap.release()
cv2.destroyAllWindows()
  • cap.release() 释放摄像头资源。
  • cv2.destroyAllWindows() 关闭所有 OpenCV 显示的窗口。

二、手关键点估计

要进行手关键点估计，可以使用 MediaPipe 库来进行高效的手部检测，结合 OpenCV 来进行图像处理和显示。这里将展示一个基于 MediaPipe 手部模型的手关键点估计的完整代码。

MediaPipe 提供了一个预训练的模型来检测手部的 21 个关键点，包括手指关节和手掌部位。我们将使用 MediaPipe 提供的 Hands 模块来检测手部关键点。

import cv2
import mediapipe as mp# 初始化 MediaPipe 手部检测模型
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(min_detection_confidence=0.7, min_tracking_confidence=0.5)
mp_drawing = mp.solutions.drawing_utils# 打开摄像头
cap = cv2.VideoCapture(0)while True:# 读取每一帧图像ret, frame = cap.read()if not ret:print("无法获取视频帧")break# 将图像转换为 RGB 格式，MediaPipe 需要 RGB 输入rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)# 获取手部关键点检测结果results = hands.process(rgb_frame)# 如果检测到手部if results.multi_hand_landmarks:for landmarks in results.multi_hand_landmarks:# 绘制手部关键点和连接线mp_drawing.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS)# 获取并显示每个关键点的坐标for idx, landmark in enumerate(landmarks.landmark):h, w, c = frame.shapecx, cy = int(landmark.x * w), int(landmark.y * h)cv2.putText(frame, str(idx), (cx, cy), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1, cv2.LINE_AA)cv2.circle(frame, (cx, cy), 5, (0, 0, 255), -1)  # 绘制红色的关键点# 显示图像cv2.imshow('Hand Keypoint Estimation', frame)# 按 'q' 键退出if cv2.waitKey(1) & 0xFF == ord('q'):break# 释放摄像头资源并关闭窗口
cap.release()
cv2.destroyAllWindows()
1.代码解释

  1. 初始化 MediaPipe 手部模型：

    • 使用 mp.solutions.hands.Hands() 创建手部检测模型，min_detection_confidence=0.7 和 min_tracking_confidence=0.5 表示最低的检测和追踪置信度阈值，适用于动态环境中。

  2. 打开摄像头：

    • 使用 cv2.VideoCapture(0) 打开计算机的默认摄像头，并获取实时视频流。

  3. 图像转换：

    • OpenCV 默认使用 BGR 色彩空间，但 MediaPipe 需要 RGB 色彩空间，因此使用 cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) 将图像转换为 RGB 格式。

  4. 处理图像并获取手部关键点：

    • hands.process(rgb_frame) 用于处理图像并检测手部关键点。results 对象包含手部信息，如果检测到手部，results.multi_hand_landmarks 将返回手部的 21 个关键点的位置。

  5. 绘制关键点和连接线：

    • mp_drawing.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS) 绘制手的 21 个关键点以及它们之间的连接线（即手指的骨架）。
    • landmarks.landmark 包含了每个关键点的 (x, y, z) 坐标，其中 x 和 y 是图像中的像素坐标，z 是深度信息（在 3D 空间中的位置，但对于 2D 图像可忽略）。

  6. 显示关键点坐标：

    • 对于每个关键点，通过 cv2.putText 在图像上显示关键点的索引。cv2.circle 用来在图像上绘制关键点位置。

  7. 显示视频流：

    • 使用 cv2.imshow() 来显示处理过的每一帧图像，展示检测到的手部关键点。

  8. 退出条件：

    • 按下 q 键退出程序并释放摄像头资源。
2.手部关键点索引

MediaPipe 的 Hands 模型检测手部的 21 个关键点，索引如下（从 0 到 20）：

  • 0: 手腕
  • 1: 大拇指根部
  • 2: 大拇指第一关节
  • 3: 大拇指第二关节
  • 4: 大拇指尖端
  • 5: 食指根部
  • 6: 食指第一关节
  • 7: 食指第二关节
  • 8: 食指尖端
  • 9: 中指根部
  • 10: 中指第一关节
  • 11: 中指第二关节
  • 12: 中指尖端
  • 13: 无名指根部
  • 14: 无名指第一关节
  • 15: 无名指第二关节
  • 16: 无名指尖端
  • 17: 小指根部
  • 18: 小指第一关节
  • 19: 小指第二关节
  • 20: 小指尖端

三、实例

YOLO（You Only Look Once）是一个非常强大的目标检测算法，特别适用于实时应用。它将目标检测任务转化为一个回归问题，能够快速且准确地检测图像中的目标物体。虽然 YOLO 本身并没有直接针对手部关键点估计的功能，但可以用它来检测手部区域，然后结合其他模型（比如 MediaPipe 或深度学习的关键点检测模型）来进行手关键点估计。

  1. YOLO 检测手部：首先用 YOLO 模型检测图像中的手部位置，YOLO 会输出手部的边界框。
  2. 手部关键点估计：然后，我们可以通过一个手部关键点估计模型（如 MediaPipe 或自定义深度学习模型）来进一步估计手部的 21 个关键点。
import cv2
import torch
import mediapipe as mp# 初始化 MediaPipe 手部检测模型
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(min_detection_confidence=0.7, min_tracking_confidence=0.5)
mp_drawing = mp.solutions.drawing_utils# 加载 YOLOv5 模型（选择合适的模型大小）
model = torch.hub.load('ultralytics/yolov5', 'yolov5s')  # 'yolov5s' 是一个小型的 YOLOv5 模型# 打开摄像头
cap = cv2.VideoCapture(0)while True:# 读取每一帧图像ret, frame = cap.read()if not ret:print("无法获取视频帧")break# 使用 YOLOv5 检测图像中的物体（包括手部）results = model(frame)  # 检测结果，包括边界框、标签、置信度等# 提取 YOLOv5 检测到的手部（通常手部被标记为 0 或其他标签，依赖于训练数据）# 获取所有检测到的物体的边界框hands_detections = results.xyxy[0]  # 获取检测结果，xyxy 形式 [x_min, y_min, x_max, y_max, confidence, class]for detection in hands_detections:if detection[5] == 0:  # 类别 0 代表手部（具体根据训练数据集而定）x_min, y_min, x_max, y_max = map(int, detection[:4])# 在图像上绘制手部边界框cv2.rectangle(frame, (x_min, y_min), (x_max, y_max), (255, 0, 0), 2)# 提取手部区域并进行手部关键点估计hand_region = frame[y_min:y_max, x_min:x_max]rgb_hand_region = cv2.cvtColor(hand_region, cv2.COLOR_BGR2RGB)# 使用 MediaPipe 估计手部关键点hand_results = hands.process(rgb_hand_region)# 如果检测到手部关键点if hand_results.multi_hand_landmarks:for landmarks in hand_results.multi_hand_landmarks:# 绘制手部关键点和连接线mp_drawing.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS)for idx, landmark in enumerate(landmarks.landmark):h, w, c = frame.shapecx, cy = int(landmark.x * w), int(landmark.y * h)cv2.putText(frame, str(idx), (cx, cy), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1, cv2.LINE_AA)cv2.circle(frame, (cx, cy), 5, (0, 0, 255), -1)  # 绘制红色的关键点# 显示图像cv2.imshow('Hand Detection and Keypoint Estimation', frame)# 按 'q' 键退出if cv2.waitKey(1) & 0xFF == ord('q'):break# 释放摄像头资源并关闭窗口
cap.release()
cv2.destroyAllWindows()
1.代码解析
  1. 加载 YOLOv5 模型：
    • torch.hub.load('ultralytics/yolov5', 'yolov5s') 载入 YOLOv5 模型，yolov5s 是一个小型的 YOLOv5 模型，适合实时应用。可以根据需求选择 yolov5m 或 yolov5l（更大的模型，精度更高但速度较慢）。
  2. 读取摄像头视频流：
    • 使用 cv2.VideoCapture(0) 打开摄像头并读取每一帧图像。
  3. YOLOv5 物体检测：
    • 使用 model(frame) 进行图像检测，返回一个 results 对象，其中包含检测到的边界框、类别标签、置信度等信息。
  4. 提取手部区域：
    • 如果 YOLO 检测到手部（通过检测类别标号），提取手部的区域并将其转化为 RGB 格式（因为 MediaPipe 需要 RGB 输入）。
  5. MediaPipe 手部关键点估计：
    • 使用 hands.process(rgb_hand_region) 进行手部关键点估计，返回手部的关键点信息。
    • 使用 mp_drawing.draw_landmarks() 绘制手部的 21 个关键点和连接线。
  6. 结果显示：
    • 将检测到的手部边界框、关键点及连接线显示在视频流上。
  7. 退出条件：
    • 按下 q 键退出程序。

http://www.ppmy.cn/ops/163228.html

相关文章

e2studio开发RA4M2(15)----配置RTC时钟及显示时间

e2studio开发RA4M2(15)----配置RTC时钟及显示时间

e2studio开发RA4M2.15--配置RTC时钟及显示时间 概述视频教学样品申请硬件准备参考程序源码下载新建工程工程模板保存工程路径芯片配置工程模板选择时钟设置SWD调试口设置UART配置UART属性配置设置e2studio堆栈e2studio的重定向printf设置R_SCI_UART_Open()函数原型回调函数user…
阅读更多...
黄色调旅拍视频颜色分级调色lut预设素材 FCPX Full Access – Yellow Tint LUT – Single LUT

黄色调旅拍视频颜色分级调色lut预设素材 FCPX Full Access – Yellow Tint LUT – Single LUT

黄色调旅拍视频颜色分级调色lut预设素材 FCPX Full Access – Yellow Tint LUT – Single LUT “Yellow Tint” 是一个强大的实用 LUT，用于在场景中创建压倒性的黄色调，将所有颜色值推向黄色光谱。 包括 LUT 配置文件 ✅ .cube .3dl 格式 ✅ 安装说…
阅读更多...
leetcode383 赎金信

leetcode383 赎金信

和242题一样的思路 一些同学可能想，用数组干啥，都用map完事了，其实在本题的情况下，使用map的空间消耗要比数组大一些的，因为map要维护红黑树或者哈希表，而且还要做哈希函数，是费时的&#xff01…
阅读更多...
算法练习——优先级队列

算法练习——优先级队列

一：最后一块石头的重量 题目要求： 解题思路： 思路： 创建一个优先级队列，其底层为堆结构，将数组中所有数据入堆，默认情况下为大堆。大堆创建完毕后，循环取两次堆顶元素做判断是否再…
阅读更多...
探秘基带算法：从原理到5G时代的通信变革【四】Polar 编解码（一）

探秘基带算法：从原理到5G时代的通信变革【四】Polar 编解码（一）

文章目录 2.3 Polar 编解码2.3.1 Polar 码简介与发展背景2.3.2 信道极化理论基础对称容量与巴氏参数对称容量 I ( W ) I(W) I(W)巴氏参数 Z ( W ) Z(W) Z(W)常见信道信道联合信道分裂信道极化 本博客为系列博客，主要讲解各基带算法的原理与应用，包括&…
阅读更多...
MR30系列分布式I/O：高稳定与高精准赋能锂电池覆膜工艺革新

MR30系列分布式I/O：高稳定与高精准赋能锂电池覆膜工艺革新

在新能源行业高速发展的背景下，锂电池生产工艺对自动化控制的精准性和可靠性提出了更高要求。作为锂电池生产中的关键环节，覆膜工艺直接关系到电池的绝缘性能、安全性及使用寿命。面对复杂的工艺控制需求，明达技术MR30系列分布式I/O模块凭借其…
阅读更多...
STM32之影子寄存器

STM32之影子寄存器

预分频寄存器计数到一半的时候，改变预分频值，此时不会立即生效，会等到计数完成，再从影子寄存器即预分频缓冲器里装载修改的预分频值。 如上图，第一行是内部时钟72M，第二行是时钟使能，高电平启动…
阅读更多...
Ubuntu 20.04下配置VSCode以支持OpenCV库开发

Ubuntu 20.04下配置VSCode以支持OpenCV库开发

Ubuntu 20.04下配置VSCode以支持OpenCV库开发 1. 安装OpenCV库安装OpenCV（推荐使用APT安装）或者从源码安装OpenCV（可选） 2. 安装VSCode的C扩展3. 配置c_cpp_properties.json4. 编写代码并测试5. 配置tasks.json（编译Op…
阅读更多...
最新文章

Copyright @ 2022~2023