【多模态大模型】AI对视频内容解析问答

ops/2024/10/18 16:41:40/
aidu_pl">

文章目录

  • 1. 项目背景
  • 2. 直接对视频进行解析进行AI问答：MiniGPT4-Video
    • 2.1 MiniGPT4-Video效果
  • 3. 对视频抽帧为图片再进行AI问答
    • 3.1 视频抽帧
    • 3.2 图片AI问答
      • 3.2.1 阿里通义千问大模型 Qwen-vl-plus
      • 3.2.2 Moonshot

1. 项目背景

最近在做一个项目,需要使用AI技术对视频内容进行解析。实现这个功能,我们有两种可行的思路:

  1. 直接对视频进行解析进行AI问答:
  • 这种方法可以充分利用视频中包含的动态信息,如物体运动、声音等,从而得到更丰富的理解结果。
  • 需要使用专门的视频处理和理解模型,例如视频分类、目标检测、字幕生成等深度学习技术。
  • 这种方式计算量较大,对硬件性能要求较高,适合部署在服务器端环境中。
  1. 对视频抽帧为图片再进行AI问答:
  • 这种方法相对更加简单和高效,可以直接利用成熟的图像理解模型。
  • 可以根据需求灵活选择合适的帧率,提取关键帧进行分析。
  • 这种方法计算量较小,更适合部署在移动设备或边缘计算环境中。

2. 直接对视频进行解析进行AI问答：MiniGPT4-Video

MiniGPT4-video是一个视频理解的多模态大模型，可以直接对视频内容向AI进行提问。

官网：https://vision-cair.github.io/MiniGPT4-video/
论文链接：https://arxiv.org/abs/2404.03413

2.1 MiniGPT4-Video效果

官网中可以传本地视频和链接视频测试效果。我们只要在 Your Question 输入对AI提出的问题，AI就会在 MiniGPT4-video Answer 中给出这个问题的答案。

笔者做了多次尝试，能够直接对视频内容进行解析，快速得到想要的答案，效果还不错。

3. 对视频抽帧为图片再进行AI问答

3.1 视频抽帧

笔者测试了两款常用的视频抽帧工具：opencv 和 ffmpeg。这两款工具实现的效果都相同，笔者更倾向于使用 opencv，因为它是python的第三方库，可以直接调用python代码，使用起来更方便。详细的介绍，可以查看笔者的另一篇文章：

视频抽帧转图片，opencv和ffmpeg效果测评

在这里补充一下视频处理的几个重要概念：

  • 帧(Frame)：在视频或动画中，帧指的是单个静态图像。视频或动画由大量连续的帧组成。
  • 帧数(Frame Count)：视频或动画中总共包含的帧的数量。帧数决定了视频或动画的长度。
  • 帧率(Frame Rate)：每秒显示的帧数,也称为FPS(Frames Per Second)。帧率决定了视频或动画的流畅度和质量。常见的帧率有24FPS、30FPS、60FPS等。
  • FPS(Frames Per Second)：每秒显示的帧数,即帧率。这是视频或动画的一个重要参数,决定了画面的流畅性。较高的帧率(如60FPS)可以提供更流畅的视觉体验,而较低的帧率(如24FPS)可能会出现卡顿或闪烁的问题。

举例来说假如我有一个视频，他的视频长度是42s，fps是25，每隔15秒抽取一张图，那么抽取的图片数是： 25*42/15 = 70张。

如果使用的是 opencv，可以使用以下代码，通过调整 timef，可以得到截取到不同数目的视频图片数。

python">import cv2
from PIL import Image
import numpy as npcap = cv2.VideoCapture("D:/Download/ANMR0005.mp4")  # 获取视频对象
isOpened = cap.isOpened  # 判断是否打开
# 视频信息获取
fps = cap.get(cv2.CAP_PROP_FPS)imageNum = 0
sum=0
timef=15  #隔15帧保存一张图片while (isOpened):sum+=1(frameState, frame) = cap.read()  # 记录每帧及获取状态if frameState == True and (sum % timef==0):# 格式转变，BGRtoRGBframe = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)# 转变成Imageframe = Image.fromarray(np.uint8(frame))frame = np.array(frame)# RGBtoBGR满足opencv显示格式frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)imageNum = imageNum + 1fileName = 'D:/Download/video_image/image' + str(imageNum) + '.jpg'  # 存储路径cv2.imwrite(fileName, frame, [cv2.IMWRITE_JPEG_QUALITY, 100])print(fileName + " successfully write in")  # 输出存储状态elif frameState == False:breakprint('finish!')
cap.release()

3.2 图片AI问答

接下来，让我们来测试阿里通义千问大模型 Qwen-vl-plus 和 Moonshot。

我们准备了一张从海飞丝洗发水的广告视频中抽帧出来的图片，要让AI回答：请你判断图中是否包含洗发水？，请你回答“是”或“否”，并解释原因。
在这里插入图片描述

3.2.1 阿里通义千问大模型 Qwen-vl-plus

在使用 Qwen-vl-plus 大模型需要在官网创建一个API-KEY，才能调用接口。API官方文档用详细介绍这个模型要怎么调用，参数如何设置等详细说明。

  • API官方说明文档：

https://help.aliyun.com/zh/dashscope/developer-reference/qwen-vl-plus/?spm=a2c4g.11186623.0.0.1e9d7794QqfJS4

  • API-KEY的创建：

https://help.aliyun.com/zh/dashscope/developer-reference/activate-dashscope-and-create-an-api-key?spm=a2c4g.11186623.0.0.21477794cgawYi

调用 Qwen-vl-plus 大模型，与AI问答的代码，如下：

python">from dashscope import MultiModalConversation
import dashscope
import json
import timedef invokeQween_vl_plus(api_key, prompt, file_path):'''API官方说明文档：https://help.aliyun.com/zh/dashscope/developer-reference/qwen-vl-plus/?spm=a2c4g.11186623.0.0.1e9d7794QqfJS4@paramapi_key (str): 阿里云 用户中心-API Key管理获取：https://help.aliyun.com/zh/dashscope/developer-reference/activate-dashscope-and-create-an-api-key?spm=a2c4g.11186623.0.0.36347794rx7gaKprompt (str): 对文件分析的指令file_path (str)：需要解析的文件路径。示例："./A.png"@returntext (str)：模型输出input_tokens（int）：输入Tokenoutput_tokens（int）：输出Tokenimage_tokens （int）：输入图片Tokentime_consuming（int）：耗时'''messages = [{'role': 'user','content': [{'image': file_path},{'text': prompt},]}]start_time = time.time()response = MultiModalConversation.call(model='qwen-vl-plus', messages=messages)time_consuming = time.time() - start_timetext = response.output.choices[0].message.content[0]["text"]input_tokens = response.usage["input_tokens"]output_tokens = response.usage["output_tokens"]image_tokens = response.usage["image_tokens"]print(f"input_tokens:{input_tokens}")print(f"output_tokens:{output_tokens}")print(f"image_tokens:{image_tokens}")print(f"运行时间:{time_consuming}")return text, input_tokens, output_tokens, image_tokens, time_consuming#=========================================== 调用示例 ============================================
# 调用示例
dashscope.api_key = "Your-KEY"
prompt = '请你判断图中是否包含洗发水的实物图？请你回答“是”或“否”，并解释原因'
file_path = "C:\\Users\video\\open_cv_images\\test3\\image42.jpg"text, input_tokens, output_tokens, image_tokens, time_consuming = invokeQween_vl_plus(dashscope.api_key, prompt, file_path)
print(text)

输出的结果是：

input_tokens:1248
output_tokens:46
image_tokens:1196
运行时间:8.08695936203003
是。图片中的女子手中拿着一瓶带有蓝色泵头和白色瓶身，上面印有品牌名称"海飞丝"以及产品信息的洗发水瓶子，这是一张该产品的实物展示照片。

3.2.2 Moonshot

Moonshot 也需要申请 API-KEY

API官方说明文档：

https://platform.moonshot.cn/docs/api-reference#%E5%9F%BA%E6%9C%AC%E4%BF%A1%E6%81%AF

用户中心-API Key管理获取：

https://platform.moonshot.cn/console/api-keys

对应的代码如下;

python">import requests
from pathlib import Path
from openai import OpenAIdef invokeMoonshot_FileAnalysis(api_key, prompt, file_path):'''Moonshot 文件解析：上传文件 → OCR提取文件信息 → Moonshot 大模型分析 → 结论API官方说明文档：https://platform.moonshot.cn/docs/api-reference#%E5%9F%BA%E6%9C%AC%E4%BF%A1%E6%81%AF@paramapi_key (str): Moonshot 用户中心-API Key管理获取：https://platform.moonshot.cn/console/api-keysprompt (str): 对文件分析的指令file_path (str)：需要解析的文件路径。示例："./A.png"@returnoutput (str)：模型输出input_tokens (int): 输入Tokenoutput_tokens (int): 输出Tokentime_consuming (int): 耗时'''client = OpenAI(api_key=api_key, base_url="https://api.moonshot.cn/v1")                  # 账号信息 & 文件上传 URLfile_object = client.files.create(file=Path(file_path), purpose="file-extract")          # 上传需要解析的文件，得到文件idfile_content = client.files.content(file_id=file_object.id).text                         # 获取上传文件被OCR提取的文本信息token_count_url = 'https://api.moonshot.cn/v1/tokenizers/estimate-token-count'           # 计算Token的请求地址 # 拼装模型输入messages=[ {"role": "system", "content": "你是 Kimi，由 Moonshot AI 提供的人工智能助手，你更擅长中文和英文的对话。你会为用户提供安全，有帮助，准确的回答。同时，你会拒绝一切涉及恐怖主义，种族歧视，黄色暴力等问题的回答。Moonshot AI 为专有名词，不可翻译成其他语言。",},{"role":"system","content":file_content},{"role": "user", "content":prompt}]      # 调用大模型APIstart_time = time.time()completion = client.chat.completions.create(model="moonshot-v1-8k",   # moonshot-v1-8k, moonshot-v1-32k, moonshot-v1-128kmessages=messages,temperature=0.01,top_p=0.01,max_tokens=4096,n=1,presence_penalty=0,frequency_penalty=0,)output = completion.choices[0].message.content#print(completion.choices)time_consuming = time.time() - start_time# 计算输入tokenheaders = {"Content-Type": "application/json","Authorization": f"Bearer {api_key}"}data_input = {"model": "moonshot-v1-8k","messages":  messages}response_input = requests.post(token_count_url, json=data_input, headers=headers)# 解析JSON响应并获取total_tokens的值input_tokens = response_input.json()['data']['total_tokens']print(f"input_tokens:{input_tokens}")# 计算输出tokendata_output = {"model": "moonshot-v1-8k","messages": [{"role": "system","content": "你是 Kimi，由 Moonshot AI 提供的人工智能助手，你更擅长中文和英文的对话。你会为用户提供安全，有帮助，准确的回答。同时，你会拒绝一切涉及恐怖主义，种族歧视，黄色暴力等问题的回答。Moonshot AI 为专有名词，不可翻译成其他语言。"},{ "role": "assistant", "content": output}]}response_output = requests.post(token_count_url, json=data_output, headers=headers)# 解析JSON响应并获取total_tokens的值output_tokens = response_output.json()['data']['total_tokens']print(f"output_tokens:{output_tokens}")return output,input_tokens,output_tokens,time_consuming#=========================================== 调用示例 ============================================
api_key = 'Your-KEY'
file_name = 'image42.jpg'
prompt =  '请你判断{}的信息中是否包含洗发水？，请你回答“是”或“否”，并解释原因'.format(file_name)
file_path = "C:\\Users\\video\\open_cv_images\\test3\\image42.jpg"
start_time = time.time()
output,input_tokens,output_tokens,time_consuming = invokeMoonshot_FileAnalysis(api_key, prompt, file_path)
print(output,input_tokens,output_tokens,time_consuming)

输出结果：

是。
原因：在提供的信息中，“海飞丝”是一个知名的洗发水品牌，因此可以判断信息中包含了洗发水的提及。 155 103 0.939953088760376

从两个模型的结果来看，Qwen-vl-plus 直接根据图片做AI问答，而 Moonshot 是将图片信息转为文本信息，然后再做AI问答，上述代码中 Qwen-vl-plus 的参数会比 Moonshot 多一个 image_tokens。

总的来说，对于我们的测试数据，两个模型都能给出比较准确的答案。


http://www.ppmy.cn/ops/26919.html

相关文章

Spring Boot集成Spring Session快速入门Demo

Spring Boot集成Spring Session快速入门Demo

1.什么事Spring Session？ HTTP协议本身是无状态的，为了保存会话信息，浏览器Cookie通过SessionID标识会话请求，服务器以SessionID为key来存储会话信息。在单实例应用中，可以考虑应用进程自身存储，随着应用体…
阅读更多...
设计模式之建造者模式BuilderPattern（七）

设计模式之建造者模式BuilderPattern（七）

一、建造者模式 建造者模式（Builder Pattern）使用多个简单的对象一步一步构建成一个复杂的对象。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。 二、代码实例 1、OrderItem类 Data：这是Lombok中提供的Ge…
阅读更多...
可见性检测-unity掌握常见的可见性检测算法实现原理

可见性检测-unity掌握常见的可见性检测算法实现原理

Unity中的可见性检测算法是用来确定物体是否在相机的视野范围内，以便进行相应的渲染和优化。其中，最常用的可见性检测算法有两种：Frustum Culling（视锥体剔除）和Occlusion Culling（遮挡剔除）。 …
阅读更多...
CocoaPods：iOS项目依赖管理的利器

CocoaPods：iOS项目依赖管理的利器

CocoaPods：iOS项目依赖管理的利器 一、引言 在iOS项目的开发过程中，我们经常需要集成各种第三方库来快速实现某些功能，如网络请求、UI组件、数据处理等。然而，手动管理这些第三方库的版本、依赖和更新是一个繁琐且容易出错的过程…
阅读更多...
HTTP 与 HTTPS 的区别

HTTP 与 HTTPS 的区别

HTTP 与 HTTPS 的区别？ HTTPHTTPS端口80443安全性无加密，安全性较差有加密机制，安全性较高资源消耗较少由于加密处理，资源消耗更多是否需要证书不需要需要协议运行在TCP协议之上运行在SSL协议之上，SSL运行在TCP协议之…
阅读更多...
数据链路层（计算机网络）

数据链路层（计算机网络）

0、前言 本文大多数图片都来自于 B站UP主：湖科大教书匠 的教学视频，对高军老师及其团队制作出这么优质的课程表示感谢。本文的撰写目的不是为了应试，且受限于个人水平，可能和标准答案有所出入，请自行甄别，…
阅读更多...
Linux基础part-3

Linux基础part-3

1、Linux一般系统查看类命令 【stat】命令 格式：stat [option] file显示文件的元数据信息，包括文件的权限、拥有者、大小、修改时间等。eg：stat myfile.txt 【file】命令 用于确定文件类型格式：file [option] filefile myfile.t…
阅读更多...
Scala 多版本下载指南

Scala 多版本下载指南

Scala，这一功能丰富的编程语言，结合了面向对象和函数式编程的精华，为开发者提供了强大的工具来构建高效、可扩展的应用程序。随着Scala社区的不断壮大和技术的演进，多个版本的Scala被广泛应用于不同的项目与场景中。本文旨在为您提…
阅读更多...
最新文章

Copyright @ 2022~2023