1.ffprobe 查看媒体文件格式 的工具
ffprobe ~/Desktop/origin.mp4
ffprobe version 4.4 Copyright (c) 2007-2021 the FFmpeg developersbuilt with Apple clang version 12.0.5 (clang-1205.0.22.9)configuration: --prefix=/opt/homebrew/Cellar/ffmpeg/4.4_2 --enable-shared --enable-pthreads --enable-version3 --cc=clang --host-cflags= --host-ldflags= --enable-ffplay --enable-gnutls --enable-gpl --enable-libaom --enable-libbluray --enable-libdav1d --enable-libmp3lame --enable-libopus --enable-librav1e --enable-librubberband --enable-libsnappy --enable-libsrt --enable-libtesseract --enable-libtheora --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libxvid --enable-lzma --enable-libfontconfig --enable-libfreetype --enable-frei0r --enable-libass --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-libspeex --enable-libsoxr --enable-libzmq --enable-libzimg --disable-libjack --disable-indev=jack --enable-avresample --enable-videotoolboxlibavutil 56. 70.100 / 56. 70.100libavcodec 58.134.100 / 58.134.100libavformat 58. 76.100 / 58. 76.100libavdevice 58. 13.100 / 58. 13.100libavfilter 7.110.100 / 7.110.100libavresample 4. 0. 0 / 4. 0. 0libswscale 5. 9.100 / 5. 9.100libswresample 3. 9.100 / 3. 9.100libpostproc 55. 9.100 / 55. 9.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'origin.mp4':Metadata:major_brand : isomminor_version : 512compatible_brands: isomiso2avc1mp41encoder : Lavf57.71.100description : Packed by Bilibili XCoder v2.0.2Duration: 00:07:02.19, start: 0.000000, bitrate: 528 kb/s# 这行信息表明,该音频文件的时长是7分7秒零190毫秒,开始播放 时间是0,整个媒体文件的比特率是528Kbit/s,然后再看另外一行:Stream #0:0(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p(tv, bt709), 1920x1080 [SAR 1:1 DAR 16:9], 323 kb/s, 30 fps, 30 tbr, 16k tbn, 59.99 tbc (default)Metadata:handler_name : VideoHandlervendor_id : [0][0][0][0]Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 194 kb/s (default)# 这行信息表明,第一个流是音频流,编码格式是MP3格式,采样率 是44.1kHz,stereo声道是立体声,采样表示格式是fltp,这路流的比特率是194Kbit/s。Metadata:handler_name : SoundHandlervendor_id : [0][0][0][0]
ffprobe -print_format json -show_streams origin.mp4
上述命令可以以JSON格式的形式输出具体每一个流最详细的信 息,视频中会有视频的宽高信息、是否有b帧、视频帧的总数目、视频 的编码格式、显示比例、比特率等信息,音频中会有音频的编码格式、 表示格式、声道数、时间长度、比特率、帧的总数目等信息。
显示帧信息的命令如下
ffprobe -show_frames sample.mp4
查看包信息的命令如下:
ffprobe -show_packets sample.mp4
2.ffplay
正常播放
➜ mxz-ffmpeg ffplay origin.mp4
代表播放视频结束之后会从头再次播放
ffplay origin.mp4 -loop 10
ffplay中其实也可以指定使用哪一路音频流或者视频流,命令 如下
ffplay origin.mp4 -ast 1
上述命令表示播放视频中的第一路音频流,如果参数ast后面跟的是 2,那么就播放第二路音频流,如果没有第二路音频流的话,就会静 音,同样也可以设置参数vst,比如:
ffplay origin.mp4 -vst 1
上述命令表示播放视频中的第一路视频流,如果参数vst后面跟的是 2,那么就播放第二路视频流,但是如果没有第二路视频流,就会是黑 屏即什么都不显示.
对于ffplay可以明确指明使用的到底是哪一种具体的对齐方式,比 如:
ffplay origin.mp4 -sync video
当然这也是ffplay的默认设置(就是写与不写都 一样)
ffplay origin.mp4 -sync video
上述命令显式地指定了使用以视频为基准进行音视频同步的方式播放视频文件。
ffplay origin.mp4 -sync ext
上述命令显式地指定了使用外部时钟作为基准进行音视频同步的方式,用来播放视频文件。
3.ffmpeg
有了它,进行离线处理视频时可以做任 何你想做的事情了
通用参数
-f fmt:指定格式(音频或者视频格式)
-i filename:指定输入文件名,在Linux下当然也能指定:0.0(屏 幕录制)或摄像头
-y:覆盖已有文件
-t duration:指定时长
-fs limit_size:设置文件大小的上限
-ss time_off:从指定的时间(单位为秒)开始,也支持[-]hh: mm:ss[.xxx]的格式
-re:代表按照帧率发送,尤其在作为推流工具的时候一定要加入 该参数,否则ffmpeg会按照最高速率向流媒体服务器不停地发送数据
-map:指定输出文件的流映射关系。例如:“-map 1:0-map 1: 1”要求将第二个输入文件的第一个流和第二个流写入输出文件。如果没 有-map选项,则ffmpeg采用默认的映射关系
视频参数
-b:指定比特率(bit/s),ffmpeg是自动使用VBR的,若指定了该参数则使用平均比特率
-bitexact:使用标准比特率
-vb:指定视频比特率(bits/s)
-r rate:帧速率(fps)
-s size:指定分辨率(320×240)
-aspect aspect:设置视频长宽比(4:3,16:9或1.3333,1.7777)
-croptop size:设置顶部切除尺寸(in pixels)
-cropbottom size:设置底部切除尺寸(in pixels)
-cropleft size:设置左切除尺寸(in pixels)
-cropright size:设置右切除尺寸(in pixels)
-padtop size:设置顶部补齐尺寸(in pixels)
-padbottom size:底补齐(in pixels)
-padleft size:左补齐(in pixels)
-padright size:右补齐(in pixels)
-padcolor color:补齐带颜色(000000-FFFFFF)
-vn:取消视频的输出
-vcodec codec:强制使用codec编解码方式('copy’代表不进行重新 编码)
音频参数
-ab:设置比特率(单位为bit/s,老版的单位可能是Kbit/s),对于 MP3格式,若要听到较高品质的声音则建议设置为160Kbit/s(单声道则 设置为80Kbit/s)以上
-aq quality:设置音频质量(指定编码)
-ar rate:设置音频采样率(单位为Hz)
-ac channels:设置声道数,1就是单声道,2就是立体声
-an:取消音频轨
-acodec codec:指定音频编码('copy’代表不做音频转码,直接复 制)
-vol volume:设置录制音量大小(默认为256)<百分比>
以上就是日常开发中经常用到的音视频参数以及通用参数,若只介绍这些参数,读者肯定会觉得比较迷茫,下面就结合日常开发中遇到的
场景逐个给出具体的实例来实践一下.
1、列出ffmpeg支持的所有格式
ffmpeg -formats
2、剪切一段媒体文件,可以是音频或者视频文件
ffmpeg -i origin.mp4 -ss 00:00:50.0 -codec copy -t 20 output1029.mp4
表示将文件input.mp4从第50s开始剪切20s的时间,输出到文件 output1029.mp4中,其中-ss指定偏移时间(time Offset),-t指定的时长 (duration)
3、如果在手机中录制了一个时间比较长的视频无法分享到微信 中,那么可以使用ffmpeg将该视频文件切割为多个文件:
ffmpeg -i origin.mp4 -t 00:00:50 -c copy small-1.mp4 -ss 00:00:50 -codec copy small-2.mp4
4、提取一个视频文件中的音频文件
ffmpeg -i origin.mp4 -vn -acodec copy outaudio.m4a
使一个视频中的音频静音,即只保留视频
ffmpeg -i input.mp4 -an -vcodec copy output.mp4
5、从MP4文件中抽取视频流导出为裸H264数据
ffmpeg -i origin.mp4 -an -vcodec copy -bsf:v h264_mp4toannexb output1029.h264
注意,上述指令里不使用音频数据(-an),视频数据使用 mp4toannexb这个bitstream filter来转换为原始的H264数据,在后续的API 章节中也会频繁使用到该bitstream filter
6、使用AAC音频数据和H264的视频生成MP4文件
ffmpeg -i test.aac -i test.h264 -acodec copy -bsf:a aac_adtstoasc -vcodec copy -f mp4 output.mp4
上述代码中使用了一个名为aac_adtstoasc的bitstream filter,AAC格 式也有两种封装格式
7、对音频文件的编码格式做转换:
ffmpeg -i input.wav -acodec libfdk_aac output.aac
8、从WAV音频文件中导出PCM裸数据:
ffmpeg -i input.wav -acodec pcm_s16le -f s16le output.pcm
这样就可以导出用16个bit来表示一个sample的PCM数据了,并且每 个sample的字节排列顺序都是小尾端表示的格式,声道数和采样率使用 的都是原始WAV文件的声道数和采样率的PCM数据。
9、重新编码视频文件,复制音频流,同时封装到MP4格式的文件中:
ffmpeg -i input.flv -vcodec libx264 -acodec copy output.mp4
10、将一个MP4格式的视频转换成为gif格式的动图:
ffmpeg -i input.mp4 -vf scale=100:-1 -t 5 -r 10 image.gif
上述代码按照分辨比例不动宽度改为100(使用VideoFilter的 scaleFilter),帧率改为10(-r),只处理前5秒钟(-t)的视频,生成
gif。
11、将一个视频的画面部分生成图片,比如要分析一个视频里面的每一帧都是什么内容的时候,可能就需要用到这个命令了:
ffmpeg -i output.mp4 -r 0.25 frames_%04d.png
上述命令每4秒钟截取一帧视频画面生成一张图片,生成的图片从 frames_0001.png开始一直递增下去。
12、使用一组图片可以组成一个gif,如果你连拍了一组照片,就可 以用下面这行命令生成一个gif:
ffmpeg -i frames_%04d.png -r 5 output.gif
13、使用音量效果器,可以改变一个音频媒体文件中的音量:
ffmpeg -i input.wav -af ‘volume=0.5’ output.wav
上述命令是将input.wav中的声音减小一半,输出到output.wav文件 中,可以直接播放来听,或者放到一些音频编辑软件中直接观看波形幅度的效果。
14、淡入效果器的使用:
ffmpeg -i input.wav -filter_complex afade=t=in:ss=0:d=5 output.wav
上述命令可以将input.wav文件中的前5s做一个淡入效果,输出到 output.wav中,可以将处理之前和处理之后的文件拖到Audacity音频编辑 软件中查看波形图。
15、将两路声音进行合并,比如要给一段声音加上背景音乐:
ffmpeg -i vocal.wav -i accompany.wav -filter_complex amix=inputs=2:duration=shortest output.wav
上述命令是将vocal.wav和accompany.wav两个文件进行mix,按照时 间长度较短的音频文件的时间长度作为最终输出的output.wav的时间长 度。
16、对声音进行变速但不变调效果器的使用:
ffmpeg -i vocal.wav -filter_complex atempo=0.5 output.wav
上述命令是将vocal.wav按照0.5倍的速度进行处理生成output.wav, 时间长度将会变为输入的2倍。但是音高是不变的,这就是大家常说的 变速不变调。
17、为视频增加水印效果:
ffmpeg -i input.mp4 -i changba_icon.png -filter_complex '[0:v][1:v]overlay=main_w-overlay_w-10:10:1[out]' -map '[out]' output.mp4
上述命令包含了几个内置参数,main_w代表主视频宽度, overlay_w代表水印宽度,main_h代表主视频高度,overlay_h代表水印 高度。
18、视频提亮效果器的使用:
ffmpeg -i input.flv -c:v libx264 -b:v 800k -c:a libfdk_aac -vf eq=brightness=0.25 -f mp4 output.mp4
提亮参数是brightness,取值范围是从-1.0到1.0,默认值是0。
19、为视频增加对比度效果:
ffmpeg -i input.flv -c:v libx264 -b:v 800k -c:a libfdk_aac -vf eq=contrast=1.5 -f mp4 output.mp4
对比度参数是contrast,取值范围是从-2.0到2.0,默认值是1.0。
20、视频旋转效果器的使用:
ffmpeg -i input.mp4 -vf "transpose=1" -b:v 600k output.mp4
21、视频裁剪效果器的使用:
ffmpeg -i input.mp4 -an -vf "crop=240:480:120:0" -vcodec libx264 -b:v 600k output.mp4
22、将一张RGBA格式表示的数据转换为JPEG格式的图片:
ffmpeg -f rawvideo -pix_fmt rgba -s 480*480 -i texture.rgb -f image2 -vcodec mjpeg output.jpg
23、将一个YUV格式表示的数据转换为JPEG格式的图片:
ffmpeg -f rawvideo -pix_fmt yuv420p -s 480*480 -i texture.yuv -f image2 -vcodec mjpeg output.jpg
24、将一段视频推送到流媒体服务器上:
ffmpeg -re -i input.mp4 -acodec copy -vcodec copy -f flv rtmp://xxx
上述代码中,rtmp://xxx代表流媒体服务器的地址,加上-re参数代 表将实际媒体文件的播放速度作为推流速度进行推送。
25、将流媒体服务器上的流dump到本地:
ffmpeg -i http://xxx/xxx.flv -acodec copy -vcodec copy -f flv output.flv
上述代码中,http://xxx/xxx.flv
代表一个可以访问的视频网络地址,可按照复制视频流格式和音频流格式的方式,将文件下载到本地的 output.flv媒体文件中。
26、将两个音频文件以两路流的形式封装到一个文件中,比如在K 歌的应用场景中,原伴唱实时切换的场景下,可以使用一个文件包含两 路流,一路是伴奏流,另外一路是原唱流:
ffmpeg -i 131.mp3 -i 134.mp3 -map 0:a -c:a:0 libfdk_aac -b:a:0 96k -map 1:a -c:a:1 libfdk_aac -b:a:1 64k -vn -f mp4 output.m4a