H264 编码过程

H264应用于视频压缩。

假如正在播放一个1920*1080分辨率的视频，帧率是10帧，如果没有经过压缩，那么一秒产生数据为1920*1080*10/1024/1024=19.77MB，那么这些数据无法接受的，所以需要把数据进行压缩。

下图看出通过编码呈现的数据

在这里插入图片描述

H264相关概念

1.在H264结构中，一个视频图像编码后数据叫做一帧，一帧由一个片或者多个片组成，一片由一个或者多个宏块（MB）组成,宏块由16*16 YUV数据组成。所以宏块是H264编码基本单元。

2.H264采用帧内压缩和帧间压缩方式提高编码率

3.H264采用独特I帧，P帧和B帧策略来实现，连续之间的压缩。

I帧

1.I帧是帧内编码帧，I帧表示关键帧，保存一帧完整的画面。

2.I帧特点：

它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输;
解码时仅用I帧的数据就可重构完整图像;
I帧描述了图像背景和运动主体的详情;
I帧不需要参考其他画面而生成;
I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);
I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;
I帧不需要考虑运动矢量;
I帧所占数据的信息量比较大。

P帧：

1.P帧:前向预测编码帧。P帧表示的是这一帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。（也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据）
2.P帧的预测与重构：P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。
3.P帧特点:
1.P帧是I帧后面相隔1~2帧的编码帧;
2.P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);
3.解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;
4.P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧;
5.P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;
6.由于P帧是参考帧,它可能造成解码错误的扩散;
7.由于是差值传送,P帧的压缩比较高

B帧

B帧特点
1. B帧是由前面的I或P帧和后面的P帧来进行预测的;
2. B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量;
3. B帧是双向预测编码帧;
4. B帧压缩比最高,因为它只反映两个参考帧间运动主体的变化情况,预测比较准确;
5. B帧不是参考帧,不会造成解码错误的扩散。

3.GOP（画面组）

1.GOP即Group of picture（图像组），指两个I帧之间的距离(下图所说的视频序列就是GOP)，Reference（参考周期）指两个P帧之间的距离，可以理解为跟序列差不多意思，就是一段时间内变化不大的图像集，比较说GOP为120,如果是720 p60 的话,那就是2s一次I帧。一个I帧所占用的字节数大于一个P帧，一个P帧所占用的字节数大于一个B帧。所以在码率不变的前提下，GOP值越大，P、B帧的数量会越多，平均每个I、P、B帧所占用的字节数就越多，也就更容易获取较好的图像质量；Reference越大，B帧的数量越多，同理也更容易获得较好的图像质量。
2.GOP结构一般有两个数字，如M=3，N=12。M指定I帧和P帧之间的距离，N指定两个I帧之间的距离。上面的M=3，N=12，GOP结构为：IBBPBBPBBPBBI。在一个GOP内I frame解码不依赖任何的其它帧，p frame解码则依赖前面的I frame或P frame，B frame解码依赖前最近的一个I frame或P frame 及其后最近的一个P frame。

4. IDR帧(关键帧)

1.IDR（Instantaneous Decoding Refresh）即时解码刷新。在编码解码中为了方便，将GOP中首个I帧要和其他I帧区别开，把第一个I帧叫IDR，这样方便控制编码和解码流程，所以IDR帧一定是I帧，但I帧不一定是IDR帧；IDR帧的作用是立刻刷新,使错误不致传播,从IDR帧开始算新的序列开始编码。I帧有被跨帧参考的可能,IDR不会。
2.I帧不用参考任何帧，但是之后的P帧和B帧是有可能参考这个I帧之前的帧的。IDR就不允许这样，例如：

在这里插入图片描述

3.其核⼼作⽤是，是为了解码的重同步，当解码器解码到 IDR 图像时，⽴即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始⼀个新的序列。这样，如果前⼀个序列出现重⼤错误，在这⾥可以获得重新同步的机会。IDR图像之后的图像永远不会使⽤IDR之前的图像的数据来解码。

在这里插入图片描述

H264学习分析过程

以下教程以海思3518ev300为准测试。首先准备裸码流，分辨率为1920*1080 10帧。

1.首先先分析H264裸码流

1.H264由一个个NALU组成的，他们结构如下图所示

在这里插入图片描述

每个NALU单元包含多个NAL单元组成，每个NAL单元由NAL头和RBSP组成。

每个NALU由起始码startcode进行分隔，起始码分割有两种:0x000001(3Byte)或者0x00000001 4Byte组成。

H264裸码流分析首先先搜索0x000001和0x00000001,分离出NALU;然后分析NALU各个字段。首先我们先通过excel下面查看H264原始hex数据。

图中橙色就是每个NALU开始码，也是每个NALU分隔符。

然后绿色67，68，69是NAL头

NAL单元头部是由forbidden_bit(1bit)，nal_reference_bit(2bits)（优先级），nal_unit_type(5bits)（类型）三个部分组成的，组成如下图所示：

1、F(forbiden):禁止位，占用NAL头的第一个位，当禁止位值为1时表示语法错误；一般为0
2、NRI:参考级别，占用NAL头的第二到第三个位；值越大，该NAL越重要。
3、Type:Nal单元数据类型，也就是标识该NAL单元的数据类型是哪种，占用NAL头的第四到第8个位，具体NAL type内容如下图所示