使用FFmpeg的AVFilter转换YUV到RGB

ops/2024/9/19 11:53:21/ 标签: ffmpeg

AVFilter 是 FFmpeg 库 libavfilter 的核心组件，提供了一套强大的音视频处理框架，用于对音视频流进行复杂的过滤、转换和效果处理。通过 AVFilter，开发者可以构建自定义的滤镜图（filter graph），实现各种音视频处理任务，如颜色空间转换、缩放、裁剪、特效添加等。

以下是对 AVFilter 的详细介绍，包括其架构、关键概念、使用方法以及示例代码。

1. AVFilter 概述

AVFilter 是 FFmpeg 提供的一个模块化框架，允许用户将多个滤镜（filters）串联起来，形成一个滤镜图（filter graph），以对音视频数据进行逐步处理。滤镜图定义了数据流的处理路径，每个滤镜节点负责特定的处理任务。

主要功能

视频滤镜：调整分辨率（scale）、裁剪（crop）、旋转（transpose）、颜色调整（hue）、添加文本（drawtext）等。
音频滤镜：调整音量（volume）、回声效果（aecho）、重采样（aresample）、声道平移（pan）等。
混合滤镜：将多个视频流混合（blend）、拼接（concat）等。

2. AVFilter 架构

AVFilter 框架由几个关键组件组成：

2.1 AVFilterGraph

AVFilterGraph 是整个滤镜图的容器，负责管理滤镜节点及其连接关系。一个滤镜图可以包含多个滤镜节点，每个节点通过输入和输出端口连接起来。

2.2 AVFilter

AVFilter 代表一个具体的滤镜类型，例如 scale、crop、buffersrc、buffersink 等。每个滤镜都有特定的功能和参数。

2.3 AVFilterContext

AVFilterContext 是某个滤镜在滤镜图中的具体实例，持有滤镜的状态和配置参数，并管理滤镜之间的数据流。

2.4 AVFilterInOut

AVFilterInOut 用于表示滤镜图中的输入和输出连接点，特别是在动态构建滤镜图时，用于连接不同滤镜的输入输出。

3. AVFilter 使用流程

使用 AVFilter 进行音视频处理通常包括以下步骤：

初始化 FFmpeg 库：确保所有必要的库和组件已初始化。
创建滤镜图：分配和初始化一个 AVFilterGraph 实例。
创建滤镜节点：根据需要添加输入、输出和处理滤镜，如 buffersrc、scale、buffersink 等。
连接滤镜：将滤镜节点按照处理顺序连接起来，形成滤镜链。
配置滤镜图：完成滤镜图的配置，并进行优化和验证。
处理帧：将音视频帧输入滤镜图，通过滤镜链处理并获取输出帧。
释放资源：处理完成后，释放所有分配的资源。

4. 示例：使用 AVFilter 进行 YUV 到 RGB 转换

下面是一个使用 AVFilter 将 YUV 格式转换为 RGB 格式的示例代码。

4.1 初始化 FFmpeg

在开始任何操作之前，确保初始化 FFmpeg 库和注册所有滤镜。

#include <libavfilter/avfilter.h>
#include <libavfilter/buffersink.h>
#include <libavfilter/buffersrc.h>
#include <libavutil/opt.h>
#include <libavutil/imgutils.h>// 初始化 FFmpeg 库
av_register_all();
avfilter_register_all();

4.2 创建 AVFilterGraph

创建一个 AVFilterGraph，它将存储和管理所有滤镜节点及其连接。

AVFilterGraph *filter_graph = avfilter_graph_alloc();
if (!filter_graph) {fprintf(stderr, "Unable to create filter graph.\n");exit(1);
}

4.3 创建输入滤镜（buffersrc）和输出滤镜（buffersink）

AVFilterContext *buffersrc_ctx = NULL;
AVFilterContext *buffersink_ctx = NULL;const AVFilter *buffersrc = avfilter_get_by_name("buffer");
const AVFilter *buffersink = avfilter_get_by_name("buffersink");// 设置输入滤镜参数
char args[512];
snprintf(args, sizeof(args),"video_size=%dx%d:pix_fmt=%d:time_base=%d/%d:pixel_aspect=%d/%d",width, height, AV_PIX_FMT_YUV420P,time_base.num, time_base.den,sample_aspect_ratio.num, sample_aspect_ratio.den);// 创建 buffersrc
int ret = avfilter_graph_create_filter(&buffersrc_ctx, buffersrc, "in",args, NULL, filter_graph);
if (ret < 0) {fprintf(stderr, "Cannot create buffer source\n");exit(1);
}// 设置 buffersink 的输出像素格式
enum AVPixelFormat pix_fmts[] = { AV_PIX_FMT_RGB24, AV_PIX_FMT_NONE };
ret = avfilter_graph_create_filter(&buffersink_ctx, buffersink, "out",NULL, NULL, filter_graph);
if (ret < 0) {fprintf(stderr, "Cannot create buffer sink\n");exit(1);
}ret = av_opt_set_int_list(buffersink_ctx, "pix_fmts", pix_fmts,AV_PIX_FMT_NONE, AV_OPT_SEARCH_CHILDREN);
if (ret < 0) {fprintf(stderr, "Cannot set output pixel format\n");exit(1);
}

4.4 添加颜色空间转换滤镜（scale）

const AVFilter *scale = avfilter_get_by_name("scale");
AVFilterContext *scale_ctx = NULL;// 创建 scale 滤镜
ret = avfilter_graph_create_filter(&scale_ctx, scale, "scale",NULL, NULL, filter_graph);
if (ret < 0) {fprintf(stderr, "Cannot create scale filter\n");exit(1);
}

4.5 连接滤镜

将 buffersrc 连接到 scale，然后将 scale 连接到 buffersink。

ret = avfilter_link(buffersrc_ctx, 0, scale_ctx, 0);
if (ret >= 0) {ret = avfilter_link(scale_ctx, 0, buffersink_ctx, 0);
}
if (ret < 0) {fprintf(stderr, "Error connecting filters\n");exit(1);
}

4.6 配置滤镜图

完成滤镜图的配置，使其准备好处理帧。

ret = avfilter_graph_config(filter_graph, NULL);
if (ret < 0) {fprintf(stderr, "Error configuring the filter graph\n");exit(1);
}

4.7 处理帧

使用 av_buffersrc_add_frame() 向滤镜图中添加帧，并使用 av_buffersink_get_frame() 从图中获取转换后的帧。

AVFrame *frame = av_frame_alloc();
AVFrame *filt_frame = av_frame_alloc();// 假设 frame 已经填充了 YUV 数据// 将帧添加到滤镜图
ret = av_buffersrc_add_frame(buffersrc_ctx, frame);
if (ret < 0) {fprintf(stderr, "Error while adding frame to filter graph\n");exit(1);
}// 从滤镜图中获取处理后的帧
ret = av_buffersink_get_frame(buffersink_ctx, filt_frame);
if (ret < 0) {fprintf(stderr, "Error while getting frame from filter graph\n");exit(1);
}// 此时 filt_frame 包含 RGB 数据

4.8 释放资源

处理完成后，释放所有分配的资源。

av_frame_free(&frame);
av_frame_free(&filt_frame);
avfilter_graph_free(&filter_graph);