理解ffmpeg

ffmpeg是一个完整的、跨平台的音频和视频录制、转换和流媒体解决方案。

它的官网：https://ffmpeg.org/

这里有一份中文的文档：https://ffmpeg.p2hp.com/

ffmpeg提供了什么？

在centos上，可以通过yum进行安装：

yum install epel-releaserpm -Uvh https://download1.rpmfusion.org/free/el/rpmfusion-free-release-7.noarch.rpmyum install ffmpeg ffmpeg-devel

按照上述命令安装完ffmpeg-devel后，会在 /usr/lib64/ 路径找到对应的库

libavcodec.so
libavutil.so
...

ffmpeg安装完以后会有三个工具：

ffmpeg 用于在格式之间转换多媒体文件的命令行工具
ffplay 基于SDL和FFmpeg库的简单媒体播放器
ffprobe 一个简单的多媒体流分析器

ffmpeg还提供一系列的库，能提供开发者进行编码开发。

libavutil 是一个包含用于简化变成的函数的库，包括随机数生成器、数据结构、数学例程、核心多媒体实用程序等等。
libavcodec 是一个包含音频/视频编解码器的解码器和编码器的库。
libavformat 是一个包含用于多媒体容器格式的复用器和复用器的库
libavdevice 是一个包含输入和输出设备的库，用于从许多常见的多媒体输入/输出软件框架中抓取和渲染，包括Video4Linux, Video4Linux2, VfW和ALSA。
libavfilter 是一个包含媒体过滤器的库。
libswscacle 是一个执行高度优化的图像播放和色彩空间/像素格式转换操作的库。
libswresample 是一个执行高度优化的音频重采样、重矩阵化和样本格式转换操作的库。

源码

ffmpeg是开源的，源码可以直接

git clone https://git.ffmpeg.org/ffmpeg.git ffmpeg

FFmpeg主要是使用C语言编写的，由于FFmpeg需要对音频和视频进行底层处理，包括解码、编码、封装、解封装等操作，因此选择C语言是非常合适的，因为它可以提供对底层操作系统和硬件的直接访问。

libavutil

FFmpeg的Libavutil库提供了许多方法和功能，用于在多媒体处理中进行通用的实用工具和基本功能。以下是一些常见的Libavutil库提供的方法和功能：

内存管理：

av_malloc() 和 av_mallocz()：动态分配内存。
av_free()：释放先前分配的内存。
av_memcpy_backptr()：从后向前拷贝内存。
av_fast_malloc()：快速分配内存。

字符串操作：

av_strstart() 和 av_stristart()：检查字符串的前缀。
av_stristr()：在字符串中查找子字符串，忽略大小写。
av_get_token()：从输入字符串中提取标记。
av_strcasecmp() 和 av_strncasecmp()：比较字符串，忽略大小写。

时间和时钟：

av_gettime()：获取当前时间戳。
av_gettime_relative()：获取相对时间戳。
av_usleep()：微秒级延迟。

数学和整数操作：

av_clipl_int32() 和 av_clipf()：对整数和浮点数进行范围限制。
av_log2()：计算以2为底的对数。
av_gcd()：计算最大公约数。
av_rescale_q()：按比例转换数值。

字节操作：

av_be2ne16() 和 av_be2ne32()：将大端字节序转换为本地字节序。
av_memcpy_backptr()：从后向前拷贝字节。

字节流处理：

avio_* 系列函数：用于读写字节流，如打开、关闭、读取和写入文件。

这只是一小部分Libavutil库提供的方法和功能列表。Libavutil还提供了许多其他有用的函数，用于处理时间戳、计算时间间隔、处理字节流、颜色空间转换等等。

更多方法见：http://ffmpeg.org/doxygen/trunk/group__lavu.html#details

libavcodec

FFmpeg的libavcodec库是用于音频和视频编解码的核心库。它提供了丰富的方法和功能，用于处理不同编解码器的音视频数据。以下是一些常见的libavcodec库提供的方法和功能：

编解码器操作：

avcodec_find_encoder() 和 avcodec_find_decoder()：查找编码器和解码器。
avcodec_open2() 和 avcodec_close()：打开和关闭编码器和解码器。
avcodec_parameters_to_context()：将编码器参数转换为编码器上下文。

编码器和解码器参数设置：

avcodec_parameters_alloc() 和 avcodec_parameters_free()：分配和释放编码器参数对象。
avcodec_parameters_copy()：复制编码器参数。
avcodec_parameters_from_context()：从编码器上下文中获取编码器参数。

编码和解码：

avcodec_send_packet()：发送数据包给编码器或解码器。
avcodec_receive_frame()：接收解码器输出的帧。
avcodec_encode_video2() 和 avcodec_encode_audio2()：编码视频和音频数据。
avcodec_decode_video2() 和 avcodec_decode_audio4()：解码视频和音频数据。

视频和音频帧操作：

av_frame_alloc() 和 av_frame_free()：分配和释放帧对象。
av_frame_get_best_effort_timestamp()：获取最佳时间戳。
av_frame_copy() 和 av_frame_copy_props()：复制帧数据和属性。

编解码器参数查询：

av_codec_get_name()：获取编解码器名称。
av_codec_get_tag2()：获取编解码器的四字节标签。

错误处理和信息获取：

av_strerror()：获取错误消息字符串。
avcodec_error_to_string()：将错误代码转换为字符串。
avcodec_get_name()：获取编解码器的名称。
avcodec_get_type()：获取编解码器的类型。

这只是一小部分libavcodec库提供的方法和功能列表。libavcodec库还提供了更多用于处理音视频编解码的功能，如设置编码参数、处理编码器的选项、帧格式转换等。

更多方法见：http://ffmpeg.org/doxygen/trunk/group__libavc.html

libavformat

FFmpeg的libavformat库提供了用于音视频封装和解封装的方法和功能。它支持多种音视频容器格式，如AVI、MP4、MKV等。以下是一些常见的libavformat库提供的方法和功能：

格式上下文操作：

avformat_open_input() 和 avformat_close_input()：打开和关闭媒体文件。
avformat_find_stream_info()：获取媒体文件的流信息。
avformat_alloc_context() 和 avformat_free_context()：分配和释放格式上下文。

流操作：

av_find_best_stream()：查找最佳的音视频流。
av_read_frame()：读取音视频帧。
av_seek_frame()：在媒体文件中进行帧级别的跳转。
av_write_frame()：写入音视频帧。

封装格式操作：

avformat_write_header() 和 avformat_write_trailer()：写入封装格式的头部和尾部。
avio_open() 和 avio_close()：打开和关闭封装格式的IO上下文。

流信息获取：

avformat_new_stream()：创建新的音视频流。
av_stream_get_end_pts()：获取流的结束时间戳。
av_stream_get_r_frame_rate()：获取流的帧率。

格式参数设置和获取：

avformat_alloc_output_context2()：分配输出格式上下文。
avformat_alloc_output_context2()：获取输入格式上下文的参数。

时间基和时间戳处理：

av_rescale_q()：按比例转换时间戳。
av_guess_frame_rate()：猜测帧率。

错误处理和信息获取：

av_strerror()：获取错误消息字符串。
avformat_version()：获取libavformat库的版本号。
av_dump_format()：输出媒体文件的格式信息。

这只是一小部分libavformat库提供的方法和功能列表。libavformat库还提供了更多用于音视频封装和解封装的功能，如元数据操作、时间码处理、流选择、封装格式的选项设置等。

更多方法见：http://ffmpeg.org/doxygen/trunk/group__libavf.html

libavdevice

FFmpeg的libavdevice库提供了与音视频设备交互的方法和功能。它允许您进行音频和视频的采集和播放，并提供了与设备的交互接口。以下是一些常见的libavdevice库提供的方法和功能：

设备操作：

avdevice_register_all()：注册所有可用的设备。
avdevice_list_devices()：列出可用的音视频设备。
avdevice_get_input_list()：获取输入设备列表。
avdevice_get_output_list()：获取输出设备列表。
avdevice_open() 和 avdevice_close()：打开和关闭设备。

设备参数设置：

avdevice_capabilities_create() 和 avdevice_capabilities_free()：创建和释放设备参数对象。
avdevice_list_input_sources() 和 avdevice_list_output_sinks()：列出输入源和输出接口。
avdevice_list_formats()：列出设备支持的音视频格式。

设备采集和播放：

avdevice_read_packet()：从设备读取音视频包。
avdevice_write_packet()：向设备写入音视频包。

错误处理和信息获取：

av_strerror()：获取错误消息字符串。
avdevice_version()：获取libavdevice库的版本号。

更多方法见：http://ffmpeg.org/doxygen/trunk/group__lavd.html

libavfilter

FFmpeg的libavfilter库提供了音视频滤镜处理的方法和功能。它允许您对音视频数据进行各种滤镜和效果的处理，如裁剪、缩放、旋转、色彩调整等。以下是一些常见的libavfilter库提供的方法和功能：

滤镜图处理：

avfilter_register_all()：注册所有可用的滤镜。
avfilter_graph_alloc() 和 avfilter_graph_free()：创建和释放滤镜图。
avfilter_graph_parse2()：解析滤镜图的字符串描述。

滤镜操作：

avfilter_get_by_name()：通过名称获取滤镜。
avfilter_graph_create_filter()：创建滤镜实例。
avfilter_init_str()：初始化滤镜参数。

输入输出处理：

av_buffersrc_add_frame()：向输入缓冲区添加帧数据。
av_buffersink_get_frame()：从输出缓冲区获取帧数据。

滤镜参数设置和查询：

avfilter_inout_alloc() 和 avfilter_inout_free()：创建和释放输入输出结构。
avfilter_graph_config()：配置滤镜图。

错误处理和信息获取：

av_strerror()：获取错误消息字符串。
avfilter_version()：获取libavfilter库的版本号。

libswscale

FFmpeg的libswscale库提供了图像缩放和颜色空间转换的方法和功能。它用于对视频帧进行大小调整、像素格式转换和色彩空间转换等操作。以下是一些常见的libswscale库提供的方法和功能：

缩放和图像处理：

sws_getContext() 和 sws_freeContext()：创建和释放图像缩放上下文。
sws_scale()：缩放和转换图像。
sws_setColorspaceDetails()：设置颜色空间细节。

图像参数获取和设置：

sws_getCachedContext() 和 sws_getContext()：获取和设置图像缩放上下文的缓存。

颜色空间转换：

sws_convertPalette8ToPacked32()：将8位调色板转换为32位色彩。
sws_setColorspaceDetails()：设置颜色空间细节。

错误处理和信息获取：

sws_strerror()：获取错误消息字符串。
swscale_version()：获取libswscale库的版本号。

libswresample

FFmpeg的libswresample库提供了音频重采样和格式转换的方法和功能。它用于对音频数据进行采样率、通道布局和样本格式的转换。以下是一些常见的libswresample库提供的方法和功能：

上下文和重采样操作：

swr_alloc() 和 swr_free()：创建和释放音频重采样上下文。
swr_init()：初始化音频重采样上下文。
swr_convert()：进行音频重采样。

参数设置和查询：

swr_config_frame()：设置输入/输出音频帧的参数。
swr_set_compensation()：设置音频重采样补偿。

输入/输出音频帧处理：

swr_alloc_set_opts()：设置输入/输出音频帧的参数并创建音频重采样上下文。
swr_convert_frame()：进行音频重采样并输出音频帧。

延迟处理：

swr_get_delay()：获取重采样的延迟。
swr_inject_silence()：注入静音样本。

错误处理和信息获取：

swresample_strerror()：获取错误消息字符串。
swresample_version()：获取libswresample库的版本号。

如何读取一个mp4？

我现在有一个mp4文件，要读取这个文件应该怎么操作呢？

我是按照签名说的yum的方式安装ffmpeg-devel，它的

动态库地址为：/user/lib64/

header头文件地址为：/usr/include/ffmpeg/libavcodec/

在程序中直接引用就行

#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libavutil/avutil.h>

以下是一段读取互联网mp4的代码。

#include <iostream>extern "C" 
{
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libavutil/avutil.h>
}int main() {std::cout << "start read url mp4" << std::endl;// 做注册处理av_register_all();avformat_network_init();AVFormatContext *inputContext = NULL;// 打开一个url的信息std::string url = "https://demo.com/BigBuckBunny.mp4";int ret = avformat_open_input(&inputContext, url.c_str(), NULL, NULL);if ( ret != 0) {// 打开文件失败，处理错误// 可以通过调用 av_strerror() 函数将错误码转换为可读的错误消息char errorStr[AV_ERROR_MAX_STRING_SIZE];av_strerror(ret, errorStr, sizeof(errorStr));printf("Failed to open input file: %s\n", errorStr);return ret;}ret = avformat_find_stream_info(inputContext, NULL);if (ret < 0) {char errorStr[AV_ERROR_MAX_STRING_SIZE];av_strerror(ret, errorStr, sizeof(errorStr));printf("Failed to avformat_find_stream_info file: %s\n", errorStr);return ret; }// 输出AVFormatContent信息av_dump_format(inputContext, -1, url.c_str(), 0);for (int i = 0; i < inputContext->nb_streams; i++) {AVStream *stream = inputContext->streams[i];if (stream->codecpar->codec_type == AVMEDIA_TYPE_AUDIO) {// 处理音频流}else if (stream->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {// 处理视频流}int64_t duration = stream->duration;std::cout << duration << std::endl;}avformat_close_input(&inputContext);std::cout << "ok" << std::endl;return 0;
}

输出：

start read url mp4
Input #-1, mov,mp4,m4a,3gp,3g2,mj2, from 'https://demo.com/BigBuckBunny.mp4':Metadata:major_brand     : mp42minor_version   : 0compatible_brands: isomavc1mp42creation_time   : 2010-01-10T08:29:06.000000ZDuration: 00:09:56.47, start: 0.000000, bitrate: 2119 kb/sStream #-1:0(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 125 kb/s (default)Metadata:creation_time   : 2010-01-10T08:29:06.000000Zhandler_name    : (C) 2007 Google Inc. v08.13.2007.Stream #-1:1(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 1991 kb/s, 24 fps, 24 tbr, 24k tbn, 48 tbc (default)Metadata:creation_time   : 2010-01-10T08:29:06.000000Zhandler_name    : (C) 2007 Google Inc. v08.13.2007.
26304512
14315000
ok

这里的关键的函数调用逻辑如下：

av_register_all 初始化ffmpeg库
avformat_network_init 初始化ffmpeg的网络访问，如果我们的输入文件是url，则需要初始化
avformat_open_input 打开音视频文件，这个时候并没有读取到这个音视频文件的信息
AVFormatContext 这个是非常重要的结构，表示音视频格式的上下文，一些重要字段
- AVInputFormat：指向输入格式的指针，包含解封装函数等信息。
- AVStream：指向音视频流的数组，每个流都有对应的索引。
- nb_streams：音视频流的数量。
- duration：音视频文件的总时长。
- bit_rate：音视频文件的比特率。
- metadata：元数据，包含了文件的附加信息，如标题、作者、描述等。
avformat_find_stream_info 获取音视频文件的流信息
av_dump_format 打印AVFormatContext的信息
av_strerror 将错误码转换为可读的错误消息字符串