树莓派4B Qt+FFMPEG 多线程录制USB相机mjpeg数据流“h264_omx“硬件编码的MP4文件

news/2024/11/14 9:20:17/

文章目录

  • 1 前言
  • 2 一些问题说明
    • 2.0 树莓派4b系统版本
    • 2.1 Qt
    • 2.2 FFMPEG
    • 2.3 图像格式
  • 3 核心代码
    • 3.0 代码逻辑
    • 3.1 pro文件
    • 3.2 avframequeue.cpp
    • 3.3 decodethread.cpp
  • 4 资源下载

1 前言

  本项目为在树莓派4B开发板上，通过Qt+FFMPEG以多线程分别解码、编码USB摄像头视频数据。其中USB摄像头视频输入格式为MJPEG。通过树莓派的硬件编码器“h264_omx”进行硬件编码封装成mp4文件。

2 一些问题说明

2.0 树莓派4b系统版本

  本项目中系统用的是树莓派的raspbain 10 代号 buster。
  本人尝试过用raspbain 11 代号bullseye的系统，在结合ffmpeg编译h264_omx硬件编码器接口的时候报错，无法正常生成h264_omx编码器。网上一些帖子说需要基于openMax的库，在/opt/vc这个目录下，但是我发现bullseye没有这个目录，暂时放弃，具体原因后续再排查。

2.1 Qt

  通过sudo apt-get install 安装。

2.2 FFMPEG

  需要下载x264、FFMPEG源码，按照下述步骤编译。

    // 更新源sudo apt-get updatesudo apt-get upgrade// 安装gitsudo apt-get install git// 安装依赖sudo apt-get -y install autoconf automake build-essential cmake git-core libass-dev libfreetype6-dev libgnutls28-dev libsdl2-dev libtool libva-dev libvorbis-dev meson ninja-build pkg-config texinfo wget yasm zlib1g-dev nasm libaom-dev libmp3lame-dev libopus-dev libx264-dev libvpx-dev libavfilter-dev// 安装omx依赖sudo apt-get install libomxil-bellagio-dev/* 编译fdk-aac编码器（可不执行） */sudo apt-get install libtoolgit clone --depth 1 https://github.com/mstorsjo/fdk-aaccd fdk-aacautoreconf -fiv./configure --prefix=/usr --disable-sharedmake -j4make install/* 编译x264（若git不下来,可联系笔者获取已下好的x264源码包） */git clone https://git.videolan.org/git/x264.gitcd x264./configure --enable-shared --enable-static --enable-strip --disable-climake -j4sudo make install// 下载ffmpeg源码wget https://ffmpeg.org/releases/ffmpeg-snapshot.tar.bz2tar -jxvf ffmpeg-xxx.tar.bz2cd ffmpeg-xxx.tar.bz2// 配置mkdir build./configure --prefix=$PWD/build --enable-gpl --enable-version3 --enable-nonfree --enable-static --enable-shared --disable-opencl --disable-thumb --disable-pic --disable-stripping --enable-small --enable-ffmpeg --enable-ffplay --disable-doc --disable-htmlpages --disable-podpages --disable-txtpages --disable-manpages --disable-everything --enable-libx264 --enable-encoder=libx264 --enable-decoder=h264 --enable-encoder=aac --enable-decoder=aac --enable-encoder=ac3 --enable-decoder=ac3 --enable-encoder=rawvideo --enable-decoder=rawvideo --enable-encoder=mjpeg --enable-decoder=mjpeg --enable-demuxer=concat --enable-muxer=flv --enable-demuxer=flv --enable-demuxer=live_flv --enable-muxer=hls --enable-muxer=segment --enable-muxer=stream_segment --enable-muxer=mov --enable-demuxer=mov --enable-muxer=mp4 --enable-muxer=mpegts --enable-demuxer=mpegts --enable-demuxer=mpegvideo --enable-muxer=matroska --enable-demuxer=matroska --enable-muxer=wav --enable-demuxer=wav --enable-muxer=pcm* --enable-demuxer=pcm* --enable-muxer=rawvideo --enable-demuxer=rawvideo --enable-muxer=rtsp --enable-demuxer=rtsp --enable-muxer=rtsp --enable-demuxer=sdp --enable-muxer=fifo --enable-muxer=tee --enable-parser=h264 --enable-parser=aac --enable-protocol=file --enable-protocol=tcp --enable-protocol=rtmp --enable-protocol=cache --enable-protocol=pipe --enable-filter=aresample --enable-filter=allyuv --enable-filter=scale --enable-libfreetype --enable-indev=v4l2 --enable-indev=alsa --enable-omx --enable-omx-rpi --enable-encoder=h264_omx --enable-mmal --enable-hwaccel=h264_mmal --enable-decoder=h264_mmal// 编译（慎用4线程,若树莓派内存小请慎用）make -j4sudo make install// 生成的结果均在当前目录下build文件件内ls ./build

2.3 图像格式

  编码器对输入图片格式有要求，本项目中的h264_omx硬件编码器输入图像格式必须为yuv420p。而摄像头视频数据解封装、解码之后是MJPEG格式，即yuvj422p。需要完成编码，需要将yuvj422p转换成yuv420p。这里需要通过SwsContext上下文，进行sws_scale操作。
  在int DecodeThread::Init(AVCodecParameters *par)函数中需要添加下述内容：

    // 初始化 SwsContext，将 MJPEG 格式转换为 YUV420Psws_ctx_ = sws_getContext(codec_ctx_->width, codec_ctx_->height, codec_ctx_->pix_fmt, // 源格式codec_ctx_->width, codec_ctx_->height, AV_PIX_FMT_YUV420P, // 目标格式SWS_BILINEAR, NULL, NULL, NULL);

  在void DecodeThread::Run()函数中需要添加下述内容：

ret = sws_scale(sws_ctx_,frame->data, frame->linesize, 0, codec_ctx_->height,yuv_frame->data, yuv_frame->linesize);
yuv_frame->pts = frame->pts;

  并且，需要同步AVFrame的pts。因为sws_scale仅仅操作了AVFrame.data字段的内容。

3 核心代码

3.0 代码逻辑

  本项目下的文件层级如下图所示.
项目文件结构
  本项目采用多线程的方式对视频数据流解封装、解码、编码保存。通过demuxthread、decodethread、encodethread，三个子线程实现上述不同操作。三个线程继承于thread.h。
  此外，通过AVFrameQueue以及AVPacketQueue两个Queue来实现线程之间的数据共享

3.1 pro文件

TEMPLATE = app
CONFIG += console c++11
CONFIG -= app_bundleHEADERS += \avframequeue.h \avpacketqueue.h \decodethread.h \demuxthread.h \encodethread.h \queue.h \thread.hSOURCES += \avframequeue.cpp \avpacketqueue.cpp \decodethread.cpp \demuxthread.cpp \encodethread.cpp \main.cpp# 检查平台
win32: CONFIG += windows
unix: CONFIG += linux# Windows 平台设置
win32 {FFMPEG_PATH = E:/FFMPEG/ffmpeg-master-latest-win64-gpl-shared/ffmpeg-master-latest-win64-gpl-sharedINCLUDEPATH += $$FFMPEG_PATH/includeLIBS += -L$$FFMPEG_PATH/lib \-lavcodec -lavdevice -lavfilter -lavformat -lavutil -lpostproc -lswresample -lswscale
}# Linux 平台设置
unix {INCLUDEPATH += /home/pi/Desktop/FFmpeg-master/build/includeLIBS += /home/pi/Desktop/FFmpeg-master/build/lib/libavcodec.so  \/home/pi/Desktop/FFmpeg-master/build/lib/libavdevice.so   \/home/pi/Desktop/FFmpeg-master/build/lib/libavfilter.so   \/home/pi/Desktop/FFmpeg-master/build/lib/libavformat.so  \/home/pi/Desktop/FFmpeg-master/build/lib/libavutil.so   \/home/pi/Desktop/FFmpeg-master/build/lib/libpostproc.so  \/home/pi/Desktop/FFmpeg-master/build/lib/libswresample.so   \/home/pi/Desktop/FFmpeg-master/build/lib/libswscale.so}

3.2 avframequeue.cpp

#include "avframequeue.h"
#include <QDebug>AVFrameQueue::AVFrameQueue()
{}AVFrameQueue::~AVFrameQueue()
{}void AVFrameQueue::Abort()
{release();queue_.Abort();
}int AVFrameQueue::Push(AVFrame *val)
{AVFrame *tmp_frame = av_frame_alloc();av_frame_move_ref(tmp_frame, val);return queue_.Push(tmp_frame);
}AVFrame *AVFrameQueue::Pop(const int timeout)
{AVFrame *tmp_frame = NULL;int ret = queue_.Pop(tmp_frame, timeout);if(ret<0){if(ret == -1)qDebug("AVFrameQueue::Pop failed");}return tmp_frame;
}AVFrame *AVFrameQueue::Front()
{AVFrame *tmp_frame = NULL;int ret = queue_.Front(tmp_frame);if(ret<0){if(ret == -1)qDebug("AVFrameQueue::Front failed");}return tmp_frame;
}int AVFrameQueue::Size()
{return queue_.Size();
}void AVFrameQueue::release()
{while(true){AVFrame *frame = NULL;int  ret = queue_.Pop(frame, 1);if(ret<0){break;}else{av_frame_free(&frame);continue;}}
}

3.3 decodethread.cpp

#include "decodethread.h"
#include <QDebug>DecodeThread::DecodeThread(AVPacketQueue *packet_queue, AVFrameQueue *frame_queue): packet_queue_(packet_queue), frame_queue_(frame_queue)
{
}DecodeThread::~DecodeThread()
{if (thread_){Stop();}if (codec_ctx_){avcodec_close(codec_ctx_);}if (sws_ctx_){sws_freeContext(sws_ctx_);}
}int DecodeThread::Init(AVCodecParameters *par)
{if (!par){qDebug("Init par is null!");return -1;}codec_ctx_ = avcodec_alloc_context3(NULL);int ret = avcodec_parameters_to_context(codec_ctx_, par);if (ret < 0){av_strerror(ret, err2str, sizeof(err2str));qDebug("avcodec_parameters_to_context failed, ret:%d, err2str:%s", ret, err2str);return -1;}const AVCodec *codec = avcodec_find_decoder(codec_ctx_->codec_id);if (!codec){qDebug("avcodec_find_decoder failed");return -1;}ret = avcodec_open2(codec_ctx_, codec, NULL);if (ret < 0){av_strerror(ret, err2str, sizeof(err2str));qDebug("avcodec_open2 failed, ret:%d, err2str:%s", ret, err2str);return -1;}// 初始化 SwsContext，将 MJPEG 格式转换为 YUV420Psws_ctx_ = sws_getContext(codec_ctx_->width, codec_ctx_->height, codec_ctx_->pix_fmt, // 源格式codec_ctx_->width, codec_ctx_->height, AV_PIX_FMT_YUV420P, // 目标格式SWS_BILINEAR, NULL, NULL, NULL);if (!sws_ctx_){qDebug("sws_getContext failed");return -1;}qDebug("Init finish!");return 0;
}int DecodeThread::Start()
{thread_ = new std::thread(&DecodeThread::Run, this);if (!thread_){qDebug("new std::thread(&DecodeThread::Run, this) failed");return -1;}return 0;
}int DecodeThread::Stop()
{Thread::Stop();
}void DecodeThread::Run()
{AVFrame *frame = av_frame_alloc();qDebug("DecodeThread::Run into DecodeThread::run");while (abort_ != 1){AVFrame *yuv_frame = av_frame_alloc();// 分配YUV420P格式的AVFrameyuv_frame->format = AV_PIX_FMT_YUV420P;yuv_frame->width = codec_ctx_->width;yuv_frame->height = codec_ctx_->height;if (av_frame_get_buffer(yuv_frame, 32) < 0){qDebug() << "Could not allocate buffer for yuv_frame";return;}if (!yuv_frame->data[0]){qDebug() << "yuv_frame->data[0] is nullptr after av_frame_get_buffer";return;}if (frame_queue_->Size() > 10){std::this_thread::sleep_for(std::chrono::milliseconds(10));continue;}AVPacket *pkt = packet_queue_->Pop(10);if (pkt){int ret = avcodec_send_packet(codec_ctx_, pkt);av_packet_free(&pkt);//            qDebug("ret=%d", ret);if (ret < 0){av_strerror(ret, err2str, sizeof(err2str));qDebug("avcodec_send_packet failed, ret:%d, err2str:%s", ret, err2str);break;}while (true){ret = avcodec_receive_frame(codec_ctx_, frame);if (ret == 0){//                    qDebug()<<"Decoded frame info:";
//                    qDebug()<<"Width: "<<frame->width<<"Height: "<<frame->height;
//                    qDebug()<<"Pixel Format: "<<av_get_pix_fmt_name((AVPixelFormat)frame->format);
//                    qDebug()<<"Data[0]"<<frame->data[0];
//                    qDebug()<<"Linesize[0]: "<<frame->linesize[0];
//                    qDebug()<<"yuv_frame->data[0]: "<<yuv_frame->data[0];// 检查数据有效性if (!frame->data[0] || !yuv_frame->data[0]){qDebug("Invalid frame data, skipping frame");continue;}// 打印数据和行大小
//                    qDebug() << "Source frame linesize:" << frame->linesize[0];
//                    qDebug() << "Destination YUV frame linesize:" << yuv_frame->linesize[0];// 使用sws_scale将frame从MJPEG转换为YUV420P格式ret = sws_scale(sws_ctx_,frame->data, frame->linesize, 0, codec_ctx_->height,yuv_frame->data, yuv_frame->linesize);yuv_frame->pts = frame->pts;if (ret < 0){char errbuf[AV_ERROR_MAX_STRING_SIZE];av_strerror(ret, errbuf, sizeof(errbuf));qDebug("sws_scale failed, ret: %d, error: %s", ret, errbuf);continue;}// 将转换后的YUV420P格式的帧推入frame_queue_frame_queue_->Push(yuv_frame);
//                    qDebug("%s frame queue size %d", codec_ctx_->codec->name, frame_queue_->Size());continue;}else if (AVERROR(EAGAIN) == ret){break;}else{abort_ = 1;av_strerror(ret, err2str, sizeof(err2str));qDebug("avcodec_receive_frame failed, ret:%d, err2str:%s", ret, err2str);break;}}}else{
//            qDebug("Not got packet");}}av_frame_free(&frame);qDebug("DecodeThread::Run finish");
}

4 资源下载

本案例中涉及到的工程文件到此处下载https://download.csdn.net/download/wang_chao118/89990656


http://www.ppmy.cn/news/1546889.html

相关文章

Android 10.0 app发送广播sendBroadcast的流程分析二

Android 10.0 app发送广播sendBroadcast的流程分析二

1.概述 在10.0的app开发过程中，在发送广播的功能也是非常常用的功能，而在系统中广播是AMS负责处理的， ActivityManagerService负责广播分发过来。ActivityManagerService是如何得到广播并把它分发出去的呢？ 这就是本文要介绍的广播发送过程了 2.app发送广播sendBroadcast…
阅读更多...
Spring Boot 携手 Deeplearning4j：构建高效的企业知识图谱系统

Spring Boot 携手 Deeplearning4j：构建高效的企业知识图谱系统

Springboot 整合 Java DL4J 打造企业知识图谱构建系统 文章目录 Springboot 整合 Java DL4J 打造企业知识图谱构建系统DL4J 如何打造企业知识图谱构建系统!一、给您的引言二、技术概述1. Spring Boot2. Deeplearning4j3. 知识图谱构建技术 三、神经网络选择及理由四、数据集格式…
阅读更多...
服务器集群不做负载均衡可以吗?

服务器集群不做负载均衡可以吗?

在服务器集群中&#xff0c;负载均衡通常是为了确保集群中各个服务器之间的负载分配均衡&#xff0c;以提高性能、可用性和容错性。虽然技术上可以不使用负载均衡&#xff0c;但这样做会有一定的局限性和风险&#xff0c;具体情况取决于你的应用场景和需求。 在某些情况下&…
阅读更多...
2024-11-13 Unity Addressables2——寻址资源设置

2024-11-13 Unity Addressables2——寻址资源设置

文章目录 1 设置可寻址资源2 资源组窗口2.1 资源信息2.2 右键资源选项2.3 右键分组选项2.4 创建分组2.5 配置文件2.6 Tools 工具2.7 Play Mode Script2.7 构建打包 3 补充 1 设置可寻址资源 方法一&#xff1a;勾选 Inspector 窗口中的 “Addressable”。方法二&#xff1a;选…
阅读更多...
flinkOnYarn并配置prometheus+grafana监控告警

flinkOnYarn并配置prometheus+grafana监控告警

flinkOnYarn并配置prometheusgrafana监控告警 一、相关服务版本&#xff1a; flink版本&#xff1a;1.17.2 pushgateway版本&#xff1a;1.10.0 prometheus版本&#xff1a;3.0.0 grafana-v11.3.0参考了网上的多个文档以及学习某硅谷的视频&#xff0c;总结了一下文档&#x…
阅读更多...
c++基础28函数的类型

c++基础28函数的类型

函数的类型 基本用法例子usingfucntion 基本用法 在C中&#xff0c;函数类型是指函数的签名&#xff0c;包括返回类型、参数类型以及参数的数量。函数类型可以用来声明函数指针、函数引用或者作为模板参数。 函数也可当成一种数据类型 函数指针&#xff1a; 函数指针可以指向…
阅读更多...
Spring Boot编程训练系统：构建与优化

Spring Boot编程训练系统：构建与优化

4系统概要设计 4.1概述 本系统采用B/S结构(Browser/Server,浏览器/服务器结构)和基于Web服务两种模式&#xff0c;是一个适用于Internet环境下的模型结构。只要用户能连上Internet,便可以在任何时间、任何地点使用。系统工作原理图如图4-1所示&#xff1a; 图4-1系统工作原理…
阅读更多...
足球社区管理系统 基于Spring Boot框架实现的足球社区管理系统（程序+数据库+报告）

足球社区管理系统 基于Spring Boot框架实现的足球社区管理系统（程序+数据库+报告）

基于Spring Boot框架实现的足球社区管理系统&#xff0c;系统包含两种角色&#xff1a;管理员、教练用户,系统分为前台和后台两大模块&#xff0c;主要功能如下。 【前台】&#xff1a; - 首页&#xff1a;展示系统的概览信息和热门内容。 - 足球资讯&#xff1a;提供最新的足…
阅读更多...
最新文章

Copyright @ 2022~2023