rk3399视频显示

本篇主要讲解怎么处理ffmpeg读取视频的packet包

视频显示的步骤，读流-解码-显示三部分。AVPacket我们并不能直接使用，需要进行解码后才可以。解码分为软解和硬解，前者兼容性强，但是耗cpu，后者性能高，有单独的硬件支持，不耗cpu性能，但专用性强。ffmpeg已经支持了市面上大多数的硬件解码，一般来说，我们直接调用ffmpeg自带的解码函数，如avcodec_decode_video2。在3399平台上亦是如此，ffmpeg也已经支持mpp的硬解，但是因为存在内部接口的封装等因素，效率并不是很高。所以，我们使用mpp原生的接口进行操作，解码速度相当快。

一、mpp解码

mpp模块封装了内部操作vpu的接口，简化了使用。mpp的使用方法与ffmpeg比较接近，学习起来也不会很复杂。mpp解码流程如下：

1、创建MppCtx以及MppApi

    ret = mpp_create(&m_ctx, &m_mpi);if (ret != MPP_OK){errorf("mpp_create failed\n");destoryMpp();return false;}

mpp是可以多线程使用的，每个线程拥有自己独立的ctx及api

2、设置mpp解码模式

    MpiCmd mpi_cmd      = MPP_CMD_BASE;RK_U32 need_split   = 1;mpi_cmd = MPP_DEC_SET_PARSER_SPLIT_MODE;param = &need_split;ret = m_mpi->control(m_ctx, mpi_cmd, param);if (MPP_OK != ret){errorf("m_mpi MPP_DEC_SET_PARSER_SPLIT_MODE  err\n");destoryMpp();return false;}

MPP_DEC_SET_PARSER_SPLIT_MODE，自动拼包模式，官方建议模式，该模式下会自动把读取的包拼接完整的帧进行解码。

3、初始化mpp

    ret = mpp_init(m_ctx, MPP_CTX_DEC, MPP_VIDEO_CodingAVC);if (MPP_OK != ret){errorf("mpp_init MPP_CTX_DEC  err\n");destoryMpp();return false;}

MPP_CTX_DEC 解码模式

MPP_CTX_ENC 编码模式

MPP_VIDEO_CodingAVC H264流类型

MPP_VIDEO_CodingHEVC H265/HEVC

更多类型见相关宏定义

至此mpp的初始化工作以及完成，接下来就可以进行解码操作了

在解码之前，先了解一下mpp包的基本概念

MppPacket 存储解码前的数据，与AVPacket意思一样，存储H264或者265的视频数据

MppFrame 存储解码后的数据，如YUV

解码的过程实际上，可以把mpp当成一个管道，一端输入packet，一端取frame。

mpp提供了塞数据取数据的接口，有同步异步之分，也有简易高阶接口之分，以适应不同用户群体。

我们选择简单的异步接口decode_put_packet/decode_get_frame

流程如下：

1、AVPacket转MppPacket

转换需要AVPacket中的data，size，pts，dts字段

    MPP_RET ret = MPP_OK;MppPacket packet;ret = mpp_packet_init(&packet, buffer, size);if (ret != MPP_OK){mpp_packet_deinit(&packet);return false;}mpp_packet_set_pts(packet, pts);mpp_packet_set_dts(packet, dts);mpp_packet_set_length(packet, size + 5);if (NULL == buffer){mpp_packet_set_eos(packet);}

2、喂packet

m_mpi->decode_put_packet(m_ctx, packet);

3、另一个线程获取frame

m_mpi->decode_get_frame(m_ctx, &frame);

以上为mpp解码全流程，各位可以根据实际情况组织代码，多路视频的情况下，要做好多线程并发处理。

二、rga处理

rga是专门用于图形转换的硬件，用于对图片的格式转换，裁剪，缩小，旋转等操作。且速度极快，不占用cpu资源。

下一部分会说到，因为我们适用的是qt播放视频，所以我们需要把mpp解码得到的yuv转成rgb再通过qt播放，同时如果配合npu计算棒计算AI的话，也需要将图像大小转成模型大小送入。rga适用起来也很简单，也是创建相应ctx，初始化，然后进行转换操作。实例流程代码如下：

1、初始化

    m_rga = RgaCreate();if(!m_rga){errorf("rga create failed\n");return false;}m_rga->ops->initCtx(m_rga);

二、转换

    m_rga->ops->setSrcFormat(m_rga, m_mapType[rgaDataIn.type], rgaDataIn.width, rgaDataIn.height);m_rga->ops->setDstFormat(m_rga, m_mapType[rgaData.type], rgaData.width, rgaData.height);m_rga->ops->setSrcBufferPtr(m_rga, (unsigned char*)rgaDataIn.data);m_rga->ops->setDstBufferPtr(m_rga, (unsigned char*)m_mapData[url][i]);m_rga->ops->go(m_rga);

三、展示视频

rga处理后，再将视频数据转成qt的pixmap即可展示，适用代码如下：

1、将裸数据封装成QPixmap

  int width = rgaData.width;int height = rgaData.height;/// 先转成img，RGB888的格式QImage img((uchar*)rgaData.data, width, height, QImage::Format_RGB888);/// 再转成pixmapQPixmap tmpMap = QPixmap::fromImage(img);/// 调用元对象函数，将显示丢给qt线程QMetaObject::invokeMethod(this, "slot_dispatchRealtimeVideo", Qt::QueuedConnection,Q_ARG(std::string, input), Q_ARG(QPixmap, tmpMap));

2、label刷新pixmap即可显示视频