使用 OpenCV 和 Hugging Face 的transformers库中的预视视觉模型来分析视频内容

依赖库

python">pip install opencv-python transformers torch

代码

python">import cv2
import torch
from transformers import pipeline# 加载预训练的目标检测模型
detector = pipeline("object-detection", model="facebook/detr-resnet-50")def analyze_video(video_path):# 打开视频文件cap = cv2.VideoCapture(video_path)frame_count = 0while cap.isOpened():ret, frame = cap.read()if not ret:break  # 视频读取完成# 每隔一定帧数分析一次if frame_count % 30 == 0:  # 每 30 帧分析一次，可以根据需要调整# 将帧转换为RGB格式rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)# 使用模型进行目标检测results = detector(rgb_frame)# 输出检测结果print(f"Frame {frame_count}:")for obj in results:label = obj['label']score = obj['score']box = obj['box']print(f"Detected: {label}, Confidence: {score:.2f}")# 在帧上绘制检测结果x1, y1, x2, y2 = int(box['xmin']), int(box['ymin']), int(box['xmax']), int(box['ymax'])cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)cv2.putText(frame, f"{label} ({score:.2f})", (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)# 显示带有检测结果的帧cv2.imshow("Video Analysis", frame)if cv2.waitKey(1) & 0xFF == ord('q'):breakframe_count += 1# 释放视频捕获对象并关闭窗口cap.release()cv2.destroyAllWindows()# 示例用法
video_path = 'path_to_your_video.mp4'  # 替换为实际视频路径
analyze_video(video_path)

• 使用OpenCV逐帧读取视频，把每第30帧作为分析帧。
• 通过拥抱人脸的detr-resnet-50模型检测视频帧中的物体，模型会输出每个物体的类别、置信度和位置。
• 将检测结果以校正框和标签形态差在视频帧上，然后查看识别效果。
• 每个分析帧的检测结果都会在控制台输出，同时在窗口中显示。