视频码率控制策略
CBR(Constant Bit Rate)、VBR(Variable Bit Rate)和ABR(Average Bit Rate)是三种常见的比特率控制方式,以视频码率控制为例,视频码率控制策略主要是在保证视频质量的前提下,尽可能地降低码率以减少存储和传输成本。
一、固定码率(CBR)
-
原理:
- 固定码率控制策略使视频在整个编码过程中保持恒定的码率。无论视频内容的复杂程度如何变化,编码器都会努力将输出码率控制在一个固定的值。
- 编码器通过调整量化参数(QP)等参数来实现码率的稳定。当视频画面比较复杂时,可能会牺牲一定的图像质量以保持码率不超过设定值;当画面相对简单时,也不会降低码率以提高图像质量。
-
应用场景:
- 适用于对带宽要求严格的场景,如网络直播、视频会议等。在这些场景中,稳定的码率可以确保视频流的流畅传输,避免因码率波动导致的卡顿和缓冲。
- 例如,在网络直播中,如果码率波动过大,可能会导致观众端的播放卡顿,影响观看体验。使用 CBR 可以保证直播流的码率稳定,让观众能够流畅地观看直播。
二、可变码率(VBR)
-
原理:
- 可变码率控制策略允许码率根据视频内容的复杂程度动态变化。编码器会分析视频的每一帧,对于复杂的帧分配较高的码率以保证图像质量,对于简单的帧分配较低的码率以节省空间。
- VBR 通常有不同的质量模式可供选择,如高质量模式、中等质量模式和低质量模式等。高质量模式会在保证图像质量的前提下尽量提高码率,而低质量模式则会更严格地控制码率以降低文件大小。
-
应用场景:
- 适用于对视频质量要求较高的场景,如视频制作、电影存储等。在这些场景中,可以根据视频内容的复杂程度自动调整码率,以在保证图像质量的同时尽可能地减少文件大小。
- 例如,在制作高清电影时,使用 VBR 可以在保证画面质量的前提下,对于一些静态场景或简单画面降低码率,从而减少存储成本。
三、平均码率(ABR)
-
原理:
- 平均码率控制策略是一种介于 CBR 和 VBR 之间的方法。它设定一个平均码率目标,编码器在编码过程中会尽量使整个视频的平均码率接近这个目标值。
- 与 CBR 不同的是,ABR 允许码率在一定范围内波动;与 VBR 不同的是,ABR 会更加注重整体的平均码率控制,而不是完全根据每一帧的复杂程度来调整码率。
-
应用场景:
- 适用于一些对码率稳定性和视频质量都有一定要求的场景,如在线视频播放、视频点播等。在这些场景中,既需要保证视频流的相对稳定,又希望能够在一定程度上根据视频内容调整码率以提高图像质量。
- 例如,在在线视频播放平台上,使用 ABR 可以在保证视频流基本稳定的前提下,对于一些精彩的画面或复杂场景适当提高码率,以提升用户的观看体验。
四、基于内容感知的码率控制
-
原理:
- 这种码率控制策略利用人工智能和机器学习技术,对视频内容进行分析和理解。编码器会根据视频的场景、物体、运动等特征来动态调整码率分配。
- 例如,对于画面中的重要物体或人物,可以分配较高的码率以保证清晰显示;对于背景或不太重要的区域,可以分配较低的码率以节省空间。
-
应用场景:
- 适用于对视频质量和用户体验要求较高的场景,如智能监控、虚拟现实等。在这些场景中,通过对视频内容的智能分析,可以更好地满足用户的需求,提高视频的观看效果。
- 例如,在智能监控系统中,基于内容感知的码率控制可以对监控画面中的关键区域(如入口、重要设备等)分配较高的码率,以便在需要时能够清晰地查看这些区域的情况。
应用举例
以大牛直播SDK的Android平台RTMP推送模块为例,我们在视频软、硬编码设计接口设计的时候,也做了相应的支持。
以硬编码为例,接口设计如下:
/** SmartPublisherJniV2.java* Copyright © 2014~2024 daniusdk.com All rights reserved.* WeChat: xinsheng120*//*** Set Video H.264 HW Encoder, if support HW encoder, it will return 0(设置H.264硬编码)* * @param kbps: the kbps of different resolution.* * @return {0} if successful*/
public native int SetSmartPublisherVideoHWEncoder(long handle, int kbps);/*** Set Video H.265(hevc) hardware encoder, if support H.265(hevc) hardware encoder, it will return 0(设置H.265硬编码)** @param kbps: the kbps of different resolution.** @return {0} if successful*/
public native int SetSmartPublisherVideoHevcHWEncoder(long handle, int kbps);/*** 设置视频硬编码是否使用 Native Media NDK, 默认是不使用, 安卓5.0以下设备不支持* @param handle* @param is_native: 0表示不使用, 1表示使用, sdk默认是0.* @return {0} if successful*/
public native int SetNativeMediaNDK(long handle, int is_native);/*
* 设置视频硬编码码率控制模式
* @param hw_bitrate_mode: -1表示使用默认值, 不设置也会使用默认值, 0:CQ, 1:VBR, 2:CBR, 3:CBR_FD, 请参考:android.media.MediaCodecInfo.EncoderCapabilities
* 注意硬编码和手机硬件有关,多数手机只支持部分码率模式, 另外硬编码设备差异很大,不同设备同一码率控制模式效果可能不一样
* @return {0} if successful
*/
public native int SetVideoHWEncoderBitrateMode(long handle, int hw_bitrate_mode);/** 设置视频硬编码复杂度, 安卓5.0及以上支持* @param hw_complexity: -1表示不设置, 请参考:android.media.MediaCodecInfo.EncoderCapabilities.getComplexityRange() 和 android.media.MediaFormat.KEY_COMPLEXITY* 注意硬编码和手机硬件有关,部分手机可能不支持此设置* @return {0} if successful*/
public native int SetVideoHWEncoderComplexity(long handle, int hw_complexity);/** 设置视频硬编码质量, 安卓9及以上支持, 仅当硬编码器码率控制模式(BitrateMode)是CQ(constant-quality mode)时才有效* @param hw_quality: -1表示不设置, 请参考:android.media.MediaCodecInfo.EncoderCapabilities.getQualityRange() 和 android.media.MediaFormat.KEY_QUALITY* 注意硬编码和手机硬件有关,部分手机可能不支持此设置* @return {0} if successful*/
public native int SetVideoHWEncoderQuality(long handle, int hw_quality);/** 设置H.264硬编码Profile, 安卓7及以上支持* @param hw_avc_profile: 0表示使用默认值, 0x01: Baseline, 0x02: Main, 0x08: High, 0x10000: ConstrainedBaseline, 0x80000: ConstrainedHigh;* 注意: ConstrainedBaseline 和 ConstrainedHigh 可能多数设备不支持,* H.264推荐使用 High 或者 ConstrainedHigh, 如果您使用的手机硬解码解不了,那还是设置Baseline* 如果设置的Profile硬编码器不支持,应编码器会使用默认值* 具体参考:android.media.MediaCodecInfo.CodecProfileLevel* @return {0} if successful*/
public native int SetAVCHWEncoderProfile(long handle, int hw_avc_profile);/** 设置H.264硬编码Level, 这个只有在设置了Profile的情况下才有效, 安卓7及以上支持* @param hw_avc_level: 0表示使用默认值, 0x100: Level3, 0x200: Level3.1, 0x400: Level3.2,* 0x800: Level4, 0x1000: Level4.1, 0x2000: Level4.2,* 0x4000: Level5, 0x8000: Level5.1, 0x10000: Level5.2,* 0x20000: Level6, 0x40000: Level6.1, 0x80000: Level6.2,* 如果设置的level太高硬编码器不支持,SDK内部会做相应调整* 注意: 640*480@25fps最小支持的是Level3, 720p最小支持的是Level3.1, 1080p最小支持的是Level4* 具体参考:android.media.MediaCodecInfo.CodecProfileLevel* @return {0} if successful*/
public native int SetAVCHWEncoderLevel(long handle, int hw_avc_level);
感兴趣的开发者,可以酌情参考,有问题可以单独跟我探讨。