H.264是MPEG-4家族中的一员，即MPEG-4系列文档ISO-14496的第10部分，因此被称作MPEG-4 AVC，MPEG-4重点考虑灵活性和交互性，而H.264着重强调更高的编码压缩率和传输的可靠性。
1、H.264 编码流程
1.1、slice&block
第一步：切片、切宏块，宏块（16x16）是编码的基本单元
第二步：不合理的宏块之间会出现块效应，即色差明显，所以继续切割，分成很多个8*8或4*4的子块
第三步：对子块进行算法编码，期间使用到的算法包括：
- 帧内预测（内部压缩）
- 帧间预测（外部压缩）
- 量化编码
- 熵编码
其中，每一个切片都有片头 + 多个宏块组成。
以16x16的宏块为编码最小单元，一个宏块可以被分成多个4x4或8x8的块，同一个宏块内，像素的相似程度会比较高，若16x16的宏块中，像素相差较大，那么就需要继续细分。
当对一个宏块进行编码的时候，每个宏块都会被分割成多种不同大小的子块进行预测。
1.2、GOP内压缩
GOP内 I、B、P帧
帧大小：I > P > B
压缩率：B > P > I
编码B帧的时候，需要先把B后面的帧先编码，然后参考之后才能继续编码B帧，例如：
PTS：IDR1、B2、B3、P4、B5、B6、P7、B8、B9、I10、B11、B12、P13、B14、B15、P16
DTS：IDR1、P4、B2、B3、P7、B5、B6、I10、B8、B9、P13、B11、B12、P16、B14、B15
每次编码B的时候，就要把后面最近的 I 或者 P 拿到前面来，如果已经之前被编码过，就不需要了。
IDR帧
I 帧不需要参考任何帧，但B、P帧可能去参考I帧之前的帧，但如果遇到IDR帧，就不能参考IDR帧之前的帧。
其核心的作用，就是为了让编码重新同步，立即将参考帧队列清空，已编码的数据全部清除掉。如果之前的参考序列出现了错误，这里就可以立刻矫正。IDR后面的数据又能重新开始编码，不会收到前面的错误影响。
1.3、编码配置
实时视频会议一直是继续向更高质量，更低带宽的方向发展。H.264 High profile 技术于2010年率先被polycom应用于视频会议系统。
比h.264 baseline进一步节约了近一半的带宽。在高清实时会议中，采用H.264 baseline，带宽要求还是比较高的，特别是要做1080P 30pfs甚至60pfs时。如果能减少一半带宽，意味着节省2-4M带宽，如果是在MCU侧，则带宽节省就更可观了。
AVC/H.264 规定了多种不同的配置：基线、主要、扩展、高
- 基线（Baseline Profile），不支持B帧，只支持无交错模式，主要是用于可视电话，会议电视，无线通讯等实时通信；
- 主要（Main Profile），提供I/P/B 帧，支持无交错和交错，用于数字广播电视和数字视频存储；
- 扩展（Extend Profile），也叫扩展Profile，
- 高（High Profile），在 Main Profile 的基础上增加了8x8 内部预测、提高了压缩效率；
2、H.264的功能分层
H.264的原始码流（裸流）是由⼀个接⼀个NALU组成，它的功能分为两层：“编码层”和“网络层”。
- VCL（视频编码层）：包括核⼼压缩引擎和块、宏块和⽚的语法级别定义，设计⽬标是尽可能地独⽴于⽹络进⾏⾼效的编码；
- NAL（⽹络提取层）：负责将VCL产⽣的⽐特字符串适配到各种各样的⽹络，就是把已经编码后的数据封装到网络包中去；
H264在网络中的传输，是以一连串NALU的形式传输的，一张图像有可能存在2个NALU。
其中，NALU装了不同的东西：
- SPS：序列参数集，SRS中保存了一组编码视频序列的全局参数（发 I 帧之前至少要发一次）
- PPS：图像参数集（发 I 帧之前至少要发一次）
- I 帧：I 帧或 I 帧的一部分；
- P帧：P帧或P帧的一部分；
- B帧：B帧或B帧的一部分；
如果H.264码流解不出来，就要去看看是不是SPS或PPS不存在？
3、H.264流结构
2.1、AnnexB/AVCC
H.264流有两种格式：
- 一种是annexb，也是传统模式，裸流一般都是annexb格式
-
- annexb格式会在数据包前面加上startcode，然后在后面加上UALU包（NALU Header + RBSP）
- 这个startcode用来做字节流对齐，以及分割流数据。
- 将SPS和PPS都作为一个NALU进行封装，每一次遇到 I 帧之前，都是重复加上SPS和PPS，这个SPS的作用就是提供了序列信息，比如解码信息，而这个PPS提供的是图像信息，比如如何压缩等。
- NALU封装了SPS、PPS、SEI、
- annexb格式的好处，就是解码器可以从任意一个包开始解码。
- 另外种就是AVCC模式，例如mp4、mkv都属于AVCC格式
-
- 没有startcode，直接是一个个UALU包
- 解码器配置参数在一开始就配置好了，使用NALU长度作为NALU的边界，不需要额外的起始码
- SPS和PPS都封装在文件头部的extradata中；
- 好处就是播放器直接能识别，去除了大量的startcode、sps、pps，缩小了文件大小；
比方说在ffmpeg中，我们解封装mp4后，需要对H264进行解码，而解码之前必须要对H264裸流进行一个转封装过滤，将h264的 “mp4版本” 转换为 “annexb版本” 的过程。
RTP包中接收的264包是不含有0x00,0x00,0x00,0x01头的，这部分是RTP接收以后，另外再加上去的，解码的时候再做判断的。
/** * 解码PS流的Extradata* h264_parse()* |* ff_h264_decode_extradata() |--> decode_extradata_ps* |--> decode_extradata_ps_mp4()* * decode_extradata_ps():*** decode_extradata_ps_mp4(): * MP4中SPS和PPS存放在 moov->trak->mdia->minf->stbl->stsd: * Extensions = Size + Type(avcC) + Extradata* */
static int decode_extradata_ps(const uint8_t *data, int size, H264ParamSets *ps,
int is_avc, void *logctx)
{// H264包H2645Packet pkt = { 0 };int i, ret = 0;ret = ff_h2645_packet_split(&pkt, data, size, logctx, is_avc, 2, AV_CODEC_ID_H264, 1, 0);if (ret < 0) {ret = 0;goto fail;}// 包里面有多少个NAL?for (i = 0; i < pkt.nb_nals; i++) {// 解析NAL类型H2645NAL *nal = &pkt.nals[i];switch (nal->type) {// SPS(7): 25字节左右case H264_NAL_SPS: {GetBitContext tmp_gb = nal->gb;ret = ff_h264_decode_seq_parameter_set(&tmp_gb, logctx, ps, 0);if (ret >= 0)break;av_log(logctx, AV_LOG_DEBUG,"SPS decoding failure, trying again with the complete NAL\n");init_get_bits8(&tmp_gb, nal->raw_data + 1, nal->raw_size - 1);ret = ff_h264_decode_seq_parameter_set(&tmp_gb, logctx, ps, 0);if (ret >= 0)break;ret = ff_h264_decode_seq_parameter_set(&nal->gb, logctx, ps, 1);if (ret < 0)goto fail;break;}// PPS(8): 5字节左右case H264_NAL_PPS:ret = ff_h264_decode_picture_parameter_set(&nal->gb, logctx, ps,nal->size_bits);if (ret < 0)goto fail;break;default:av_log(logctx, AV_LOG_VERBOSE, "Ignoring NAL type %d in extradata\n",nal->type);break;}}fail:ff_h2645_packet_uninit(&pkt);return ret;
}
typedef struct H264ParamSets {// SPS列表AVBufferRef *sps_list[MAX_SPS_COUNT];// PPS列表AVBufferRef *pps_list[MAX_PPS_COUNT];AVBufferRef *pps_ref;/* currently active parameters sets */const PPS *pps;const SPS *sps;int overread_warning_printed[2];
} H264ParamSets;2.2、SPS
序列参数集，保存了一组编码视频序列的全局参数，保存了：profile、level、视频宽和高、颜色空间等。在H.264的各种语法元素中，SPS中的信息至关重要。如果其中的数据丢失或出现错误，那么解码过程很可能会失败。
SPS 中的信息至关重要，如果其中的数据丢失，解码过程就可能失败。SPS 和 PPS 通常作为解码器的初始化参数。一般情况，SPS 和 PPS 所在的 NAL 单元位于整个码流的起始位置，但是在某些场景下，在码率中间也可能出现这两种结构：
- 解码器要在码流中间开始解码。比如，直播流。
- 编码器在编码过程中改变了码率的参数。比如，图像的分辨率。
2.3、PPS
每一帧编码后数据所依赖的参数，都保存在PPS中，主要体现的就是图像编码信息。
2.4、NALU
2.4.1、nal_unit_header
NALU头就一个字节，包含了对NALU的描述，1）重要程度；2）NALU类型
| F | 1B | 禁止位，0表示正常，1表示错误，一般都是0 |
| NRI | 2B | 重要级别，00不重要，01，10，11非常重要 |
| TYPE | 5B | 表示该NALU的类型是什么？ |
例如：
每个NAL分割的时候，00 00 00 01为startcode，头部的2个startcode分别代表了SPS和PPS，从第3个startcode开始，就是NALU（I、B、P帧）。
- 0x00 0x00 0x00 0x01 + 0x67
十六进制转为二进制：0x0 11 00111，NALU类型=7，表示PSP
- 0x00 0x00 0x00 0x01 + 0x68
十六进制转为二进制：0x0 11 01000，NALU类型=8，表示PPS
- 0x00 0x00 0x01 + 0x65
十六进制转为二进制：0x0 11 00101，NALU类型=5，表示 I 帧
- 0x00 0x00 0x00 0x01 + 0x41
十六进制转为二进制：0x0 10 00001，NALU类型=1，表示 P 帧
- 0x00 0x00 0x00 0x01 + 0x01
十六进制转为二进制：0x0 00 00001，NALU类型=1，表示 B 帧
2.4.2、nal_unit_rbsp
NALU的主体涉及到三个重要的名词，分别为EBSP、RBSP和SODB。
其中EBSP完全等价于NALU主体，而且它们三个的结构关系为：
EBSP包含RBSP，RBSP包含SODB。
NALU = EBSP + 0x03（防竞争字节）+ ...... + EBSP + 0x03
NALU = RBSP + 补齐字节
1、SODB
String Of Data Bits 原始数据比特流，就是最原始的编码/压缩得到的数据
2、RBSP
Raw Byte Sequence Payload，又称原始字节序列载荷。和SODB关系如下：
RBSP = SODB + RBSP Trailing Bits（RBSP尾部补齐字节）引入RBSP Trailing Bits做8位字节补齐。
3、EBSP
Encapsulated Byte Sequence Payload：扩展字节序列载荷。
如果RBSP中也包括了StartCode（0x000001或0x00000001）怎么办呢？所以，就有了防止竞争字节（0x03），编码时，扫描RBSP，如果遇到连续两个0x00字节，就在后面添加防止竞争字节（0x03）；解码时，同样扫描EBSP，进行逆向操作即可。
2.4.3、SliceHeader
- first_mb_in_slice：片中的第一个宏块的地址, 片通过这个句法元素来标定它自己的地址。要注意的是在帧场自适应模式下，宏块都是成对出现，这时本句法元素表示的是第几个宏块对，对应的第一个宏块的真实地址应该是：2 * first_mb_in_slice；
- slice_type：指明片的类型，IDR 图像时, slice_type 等于 2, 4, 7, 9；
slice_type 的值在 5 到 9 范围内表示，除了当前条带的编码类型，所有当前编码图像的其他条带的 slice_type 值应与当前条带的 slice_type 值一样，或者等于当前条带的 slice_type 值减 5。
当 nal_unit_type 等于 5（IDR 图像）时，slice_type 应等于 2、 4、 7 或 9。当 num_ref_frames 等于 0 时， slice_type 应等于 2、 4、 7 或 9。
- pic_parameter_set_id：当前slice所依赖的pps的id；
- colour_plane_id：当标识位separate_colour_plane_flag为true时，colour_plane_id表示当前的颜色分量，0、1、2分别表示Y、U、V分量；
- frame_num：每个参考帧都有一个依次连续的 frame_num 作为它们的标识,这指明了各图像的解码顺序。但事实上我们在表 中可以看到， frame_num 的出现没有 if 语句限定条件，这表明非参考帧的片头也会出现 frame_num。只是当该个图像是参考帧时，它所携带的这个句法元素在解码时才有意义；
- field_pic_flag：场编码标识位。当该标识位为1时表示当前slice按照场进行编码；该标识位为0时表示当前slice按照帧进行编码；
- bottom_field_flag：底场标识位。该标志位为1表示当前slice是某一帧的底场；为0表示当前slice为某一帧的顶场；
- idr_pic_id：表示IDR帧的序号。某一个IDR帧所属的所有slice，其idr_pic_id应保持一致。IDR 图像的标识。不同的 IDR 图像有不同的 idr_pic_id 值。值得注意的是，IDR 图像有不等价于 I 图像，只有在作为 IDR 图像的 I 帧才有这个句法元素，在场模式下， IDR 帧的两个场有相同的 idr_pic_id 值。 idr_pic_id 的取值范围是 [0，65535] 和 frame_num 类似，当它的值超出这个范围时，它会以循环的方式重新开始计数；
- pic_order_cnt_lsb：表示当前帧序号的另一种计量方式；
- delta_pic_order_cnt_bottom：表示顶场与底场POC差值的计算方法，不存在则默认为0；
- slice_qp_delta：指出在用于当前片的所有宏块的量化参数的初始值；
2.4.4、rbsp_trailing_bits
但是只在 NALU 前面加上起始码是会产生问题了，因为原始码流中，是有可能出现 0 0 0 1 或者 0 0 1 的，这样就会导致读取程序将一个 NALU 误分割成多个 NALU。为了防止这种情况发生，AnnexB 引入了防竞争字节（Emulation Prevention Bytes）的概念。
所谓防竞争字节（Emulation Prevention Bytes），就是在给 NALU 添加起始码之前，先对码流进行一次遍历，查找码流里面的存在的 000、001、002、003 的字节，然后对其进行如下修改。
// EBSP->RBSP 反向处理
std::vector<uint8_t> EBSP2RBSP(uint8_t* buffer, int len) {// 00 00 03 去掉03std::vector<uint8_t> ebsp;int i = 0;for (i = 0; i < len-2; ++i) {if (buffer[i] == 0x00 && buffer[i+1] == 0x00 && buffer[i+2] == 0x03) {ebsp.push_back(buffer[i++]);ebsp.push_back(buffer[i++]);}else {ebsp.push_back(buffer[i]);}}for (; i < len; ++i) {ebsp.push_back(buffer[i]);}return ebsp;
}4、H.264内I、B、P帧的关系？
GOP编码后的顺序是解码顺序，解码后看到的是显示顺序。
控制GOP也可以控制延迟问题，减少I帧时间的间距，一般控制在2秒比较合适。
4.1、I 关键帧
不需要参考其他画面，靠自己就能被解码成完整图像，属于“帧内编码”。
- 采用帧内编码
- 占数据信息量比较大
- 是一个GOP的基础帧
- 不需要考虑运动矢量
4.2、P帧
P帧代表预测帧，除了空域预测以外，它还可以通过时域预测来进行压缩。
通过与其相邻的前一帧（I 或 P）不同像素点进行压缩本帧数据，属于“帧间编码”。
以I帧和P帧为例。如果你只使用这两种类型的帧，那么每一帧要么参考自身（I 帧），要么参考前一帧（P 帧）。因此，帧可以以相同的顺序进出编码器。这里，呈现顺序（或显示顺序）与编码、解码顺序相同。
4.3、B帧
B帧可以参考在其前后出现的帧，采用双向预测（前后 I 或 P ），大大提高压缩倍数，想要理解B帧的作用，我们需要先理解显示顺序和解码顺序的概念。
按照解码顺序，解码器先解码帧1（I帧），然后是帧2（P帧）。但它却无法显示帧2，因为在解码顺序中的实际上是帧4！所以，解码器需要将帧2（按解码顺序）放入缓冲区，然后等待显示它的时机。
所以，编码器和解码器需要在内存中维护两个“顺序”或“序列”：一个将帧放置在正确的显示顺序中，另一个用于将帧按照编码和解码所需顺序放置。
- 显示队列：1、2、3、4、5、6、7
- 解码队列：1、2、3、2、6、7、5
所以在GOP内部，I与I之间为一个组，I组内部P与P之间一个组，P组内部先解码P，后解码B
- B帧压缩率最大，用来预测运动轨迹；
- P次之，用来表示和前一帧的差异；
- I帧最小，其本身独立完成编码。
4.4、IDR帧
视频第一个I帧，称为IDR帧，IDR一定是I帧，但I帧不一定是IDR帧。
4.5、开放GOP和闭合GOP
所谓开放GOP，就是 I 帧可以被跨越，而闭合GOP，就是 I 帧是一个IDR，该 IDR 帧不能被之前的帧参考。
这也要就要求了，在 IDR 帧之前，必须有一个P帧，否则，IDR 帧相邻的B帧就无法向后预测。
IDR和闭合GOP到底有什么用处？
- ABR视频流：
在ABR视频流中，播放器可以根据带宽和解码器缓冲器的填充程度在不同配置文件（组合不同码率和分辨率的视频）之间切换。如果播放器要从1080p切换到360p，那么它就需要这种利落的切换。此时IDR发挥作用，这样播放器就能刷新缓冲，让360p的视频流进入。
- 错误恢复：
如果你在流化视频时使用HLS，并且每个视频片段都以IDR开始，这意味着片段中的所有帧都不能参考前、后片段中的帧。所以如果因为某个错误而失去其中一个片段，播放器仍然能继续接收下一个视频片段。有趣的是，Apple 的 HLS 规范提到应该每两秒使用一次 IDR。（注意：规范没有说视频片段持续时间应该是两秒，而是指 GOP 的大小是两秒）
所以说，IDR不能太频繁，因为会影响压缩效率。但又要保证视频播放过程中丢包不受到影响，所以最好的办法，就是间隔一段时间使用固定的IDR。
- 快进快退：
我们之前提到过，IDR非常有助于实现快进快退。播放器需找到距离最近的IDR，然后开始从这一点播放视频流。
