目录

一、了解项目

1、脸部关键点

2、实现方法

3、流程

初始化阶段：

视频处理循环：

显示与交互：

二、案例实现

1、完整代码

2、运行结果

---

一、了解项目

1、脸部关键点

2、实现方法

        通过眼睛的纵横比来判断眼睛是否闭合。从而判断人是否处于疲劳状态。

3、流程

1. 初始化阶段：

   • 导入必要的库：numpy、dlib、cv2（OpenCV）、sklearn.metrics.pairwise（用于计算欧氏距离）、PIL（用于添加中文文本）。
   • 定义辅助函数：
     • eye_aspect_ratio：计算眼睛的纵横比（EAR），用于判断眼睛是否闭合。
     • cv2AddChineseText：在图像上添加中文文本。
     • drawEye：绘制眼睛的凸包轮廓。
   • 初始化变量：COUNTER用于统计闭眼持续的帧数，detector和predictor分别为dlib的人脸检测器和关键点定位器。
   • 加载视频文件。

2. 视频处理循环：

   • 从视频文件中逐帧读取图像。
   • 使用dlib的人脸检测器检测图像中的人脸。
   • 对每个人脸，使用关键点定位器获取68个面部特征点的坐标。
   • 根据特征点坐标，提取左右眼睛的坐标区域。
   • 计算左右眼睛的EAR值，并取平均值作为最终的EAR值。
   • 根据EAR值判断眼睛是否闭合（EAR值小于0.3认为眼睛闭合）：
     • 如果眼睛闭合持续时间超过50帧，则在图像上添加“危险”提示。
     • 否则，将闭眼计数器清零。
   • 绘制左右眼睛的凸包轮廓。
   • 在图像上显示当前的EAR值。

3. 显示与交互：

   • 使用OpenCV的imshow函数显示处理后的视频帧。
   • 检测按键事件，如果按下ESC键（ASCII码为27），则退出循环。

二、案例实现

1、完整代码

import numpy as np
import dlib
import cv2
from sklearn.metrics.pairwise import euclidean_distances
from PIL import Image, ImageDraw, ImageFontdef eye_aspect_ratio(eye):   # 计算眼睛纵横比，传入的eye格式为数组类型，需要使用reshape重塑其形状，将其改变为1行2两列格式A = euclidean_distances(eye[1].reshape(1, 2), eye[5].reshape(1, 2))   # 计算关键点1到5的欧几里得距离B = euclidean_distances(eye[2].reshape(1, 2), eye[4].reshape(1, 2))C = euclidean_distances(eye[0].reshape(1, 2), eye[3].reshape(1, 2))ear = ((A + B) / 2.0) / C  # 计算纵横比return eardef cv2AddChineseText(img,text,position,textColor=(0,255,0),textSize=30):"""向图片中添加中文"""if (isinstance(img,np.ndarray)):  # 判断是否0penCV图片类型img = Image.fromarray(cv2.cvtColor(img,cv2.COLOR_BGR2RGB))  # 实现array到image的转换draw = ImageDraw.Draw(img)  # 在img图片上创建一个绘图的对象# 字体的格式fontStyle = ImageFont.truetype("STXINGKA.TTF",textSize,encoding = "utf-8")draw.text(position,text,textColor,font=fontStyle)return cv2.cvtColor(np.asarray(img),cv2.COLOR_BGR2RGB)       # 转换回0penCV格式def drawEye(eye):   # 绘制眼框凸包eyeHull = cv2.convexHull(eye)cv2.drawContours(frame,[eyeHull],-1,(0,255,0),-1)  # 最后的-1表示画笔宽度为-1，即填充轮廓COUNTER = 0  # 闭眼持续次数统计，初始化为0
detector = dlib.get_frontal_face_detector()  # 构造脸部位置检测器
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")  # 读取人脸关键点定位模型
cap = cv2.VideoCapture('笑容.mp4')  # 读取视频while True:ret, frame = cap.read()   # 读取视频帧faces = detector(frame, 0)  # 获取人脸for face in faces:  # 循环遍历每一个人脸shape = predictor(frame,face)   # 获取关键点# 将关键点转换为坐标(x,y)的形式shape = np.array([[p.x, p.y] for p in shape.parts()])  # 获取关键点迭代器，再遍历出来每个关键点的坐标点rightEye = shape[36:42]  # 右眼坐标，关键点索引从36到41(不包含42)leftEye = shape[42:48]   # 左眼坐标，关键点索引从42到47(不包含48)rightEAR = eye_aspect_ratio(rightEye)  # 计算右眼纵横比leftEAR = eye_aspect_ratio(leftEye)  # 计算左眼纵横比ear =(leftEAR + rightEAR)/2.0   # 均值处理if ear < 0.3:  COUNTER += 1  # 每检测到一次，将+1if COUNTER >= 50:  # 如果持续50帧画面，警报frame = cv2AddChineseText(frame, "!!!!危险!!!!",(250,250))  # 绘制中文文本# 宽高比>0.3，则计数器清零、解除疲劳标志else:COUNTER = 0   # 闭眼次数清0drawEye(leftEye)  # 绘制左眼凸包drawEye(rightEye)  # 绘制右眼凸包info = "EAR:{:.2f}".format(ear[0][0])  # 显示比例的值frame = cv2AddChineseText(frame, info,(0, 30))  # 显示眼睛闭合程度值cv2.imshow("Frame", frame) if cv2.waitKey(1) == 27:break
# 释放资源
cv2.destroyAllWindows()
cap.release()

2、运行结果