音视频相关的一些基本概念

server/2024/11/30 11:32:35/

音视频相关的一些基本概念

文章目录

    • 音视频相关的一些基本概念
      • RTT
      • H264
      • profile & level
      • I帧 vs IDR
      • MP4 封装格式
      • AAC封装格式
      • TS封装格式
      • Reference

RTT

TCP中的RTT指的是“往返时延”(Round-Trip Time),即从发送方发送数据开始,到发送方接收到来自接收方的确认消息所经过的时间。
RTT时延通常由三部分决定:链路的传播时间、末端系统的处理时间、路由器等网络中间节点的缓存和排队时间。
正常情况下报文的传输时间和在应用处理时间相对固定,在网络拥堵情况下会出现RTT时延的波动。

RTT是衡量网络传输性能的重要指标之一,能够反映出数据在网络中传输的速度和稳定性。
通常情况下,RTT越短,网络传输的速度就越快,反之则越慢。
因此,通过监测TCP中的RTT时延,可以初步判断网络的性能如何。
但需要注意的是,RTT时延只是一个指标,要全面评估网络性能还需要结合其他指标进行综合分析。

H264

从功能角度分为两层: 视频编码层(VCL)和网络提取层(NAL)
从码流解析的角度: H264 码流实际可以理解为由一个一个的 NALU 单元组成。

视频编码层(VCL)

VCL: 进行视频编解码,包括预测(帧内预测和帧间预测),DCT 变化和量化,熵编码和切分数据等功能,是为了实现更高的视频压缩比。
NAL: 负责以网络所要求的恰当的方式对 VCL 数据进行打包和传送.
VCL工作过程:

  1. 压缩:预测(帧内预测和帧间预测)-> DCT 变化和量化 -> 比特流编码;
  2. 切分数据,主要为了第三步。这里一点,网上看到的“切片(slice)”、“宏块(macroblock)”是在VCL 中的概念,一方面提高编码效率和降低误码率、另一方面提高网络传输的灵活性。
  3. 压缩切分后的 VCL 数据会包装成为 NAL 中的一部分

NAL单元-NALU

NALU分为NAL unit header 和 NAL unit payoad

  • NALU header结构
    forbidden_zero_bit 在网络传输中发生错误时,会被置为 1,告诉接收方丢掉该单元;否则为 0。
    nal_ref_idc 用于表示当前NALU的重要性,值越大,越重要。解码器在解码处理不过来的时候,可以丢掉重要性为 0 的 NALU。NALU类型说明
  • NALU类型说明
    在这里插入图片描述
  • NALU header 解析举例

00 00 00 01 06: SEI
00 00 00 01 67: 0x67&0x1f = 0x07: SPS
00 00 00 01 65: 0x65&0x1f = 0x05: IDR

  • H264分层结构
    在这里插入图片描述

profile & level

Profile和Level是H.264中一个非常重要的概念,Profile用于确定视频编码过程中帧间压缩使用的算法(例如是否包含B帧、CABAC支持、颜色空间支持等),Profile越高,就说明采用了越高级的压缩特性,对应的对编解码硬件的要求也越高;
Level是对视频本身特性的一些描述(码率,分辨率,fps等),Level越高,视频的码率、分辨率、fps越高。

对于H.264的Profile和Level比较专业化的描述是:Profile@Level,例如Main@4.2,Baseline@3.1,High@5.0。

I帧 vs IDR

举个例子,在一段视频中,
存在以下帧:I P B P B P B B P1 I P2 B…
如果这段视频应用了多重参照帧,那么P2 帧在参照他前面的I 帧的同时,还可能会参照I 帧之前的P1 帧,由于I 帧前后的场景可能会有很大的反差甚至根本不同,所以此时P 帧参考I帧之前的帧不但会没有意义,反而会造成很多问题。
所以一种新型的帧被引入,那就是IDR 帧。如果这段视频应用了多重参考帧的同时采用了IDR 帧,那么帧的顺序就会变成这样:I P B P B P B B P1 IDR P2 B…由于IDR 帧禁止后面的帧向自己前面的帧参照,所以这回P2 帧就不会参照P1 帧了。

MP4 封装格式

Bento4-SDK-1-6-0-639.x86_64-microsoft-win32\bin\mp4dump.exe --verbosity 0 D:\test.mp4 >D:\test.txt

[ftyp] size=8+24major_brand = mp42minor_version = 1compatible_brand = mp42compatible_brand = mp41compatible_brand = isomcompatible_brand = avc1
[free] size=8+0
[mdat] size=8+11329609
[moov] size=8+157226[mvhd] size=12+96timescale = 1000duration = 300011duration(ms) = 300011[trak] size=8+96887[tkhd] size=12+80, flags=1enabled = 1id = 1duration = 300000width = 240.000000height = 136.000000[mdia] size=8+96787[mdhd] size=12+20timescale = 30000duration = 8999991duration(ms) = 299999language = und[hdlr] size=12+44handler_type = videhandler_name = Test MP4 - Video AVC[minf] size=8+96691[vmhd] size=12+8, flags=1graphics_mode = 0op_color = 0000,0000,0000[dinf] size=8+28[dref] size=12+16, flags=acf9fd[url ] size=12+0, flags=1location = [local to file][stbl] size=8+96627[stsd] size=12+135, flags=11e840entry_count = 1[avc1] size=8+123data_reference_index = 1width = 240height = 136compressor = [avcC] size=8+37Configuration Version = 1Profile = MainProfile Compatibility = 40Level = 13NALU Length Size = 4Sequence Parameter = [67 4d 40 0d 96 62 07 89 fc b0 80 00 00 32 00 00 0b b5 47 8a 14 89]Picture Parameter = [68 ee 3c 80][stts] size=12+12entry_count = 1[ctts] size=12+57276entry_count = 7159[stss] size=12+868entry_count = 216[stsc] size=12+28entry_count = 2[stsz] size=12+35972sample_size = 0sample_count = 8991[stco] size=12+2252entry_count = 562[trak] size=8+60215[tkhd] size=12+80, flags=1enabled = 1id = 2duration = 300011width = 0.000000height = 0.000000[mdia] size=8+60115[mdhd] size=12+20timescale = 48000duration = 14400512duration(ms) = 300010language = und[hdlr] size=12+44handler_type = sounhandler_name = Test MP4 - Audio AAC[minf] size=8+60019[smhd] size=12+4balance = 0[dinf] size=8+28[dref] size=12+16, flags=73b98f[url ] size=12+0, flags=1location = [local to file][stbl] size=8+59959[stsd] size=12+79, flags=a29ce1entry_count = 1[mp4a] size=8+67data_reference_index = 1channel_count = 2sample_size = 16sample_rate = 48000[esds] size=12+27[ESDescriptor] size=2+25es_id = 0stream_priority = 0[DecoderConfig] size=2+17stream_type = 5object_type = 64up_stream = 0buffer_size = 0max_bitrate = 0avg_bitrate = 0DecoderSpecificInfo = 11 90 [Descriptor:06] size=2+1[stts] size=12+12entry_count = 1[stsc] size=12+28entry_count = 2[stsz] size=12+56260sample_size = 0sample_count = 14063[stco] size=12+3520entry_count = 879

AAC封装格式

AAC(Advance Audio Coding):
即高级音频编码,出现在1997年,基于MPEG-2的音频编码技术,当时被称为MPEG-2 AAC,因此把其作为MPEG-2(MP2)标准的延伸。是由Fraunhofer IIS、杜比实验室、AT&T、Sony等公司共同开发,目的是取代MP3格式,随着MPEG-4(MP4)标准在2000年的成型,则为AAC也叫M4A。

AAC格式包括ADIF,ADTS和LATM. 需要说明的是ADIF,ADTS和LATM只是AAC的三种封装方式,只是封装方式不同,编码数据都是一致的。

1:ADIF:只有一个头,其余后面都跟着raw data,文件存储体积小,只能从开始处一帧一帧解码,无法跳播,无法从中间位置解码。

Audio Data Interchange Format 音频数据交换格式,该格式一般应用在将音频通过写文件方式存储在磁盘里的场景,不能进行随机访问,不允许在文件中间开始进行解码;只能从文件头开始解码,无法跳播。

2:ADTS:每帧都有7个字节的头,方便跳播,从任何位置都可以直接进行解码。

ADTS:Audio Data Transport Stream 音频数据传输流。这种格式的特征是它是一个有同步字的比特流,解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。这种格式可以用于广播电视。
ADIF只有一个文件头,ADTS每个包前面有一个文件头。
在这里插入图片描述

3:LATM:LATM格式具有很大的灵活性,每帧的音频配置单元既可以带内传输,又可以带外传输。正因为如此,LATM不仅适用于流传输还可以用于RTP传输,特别时CMMB广播默认码流格式为LATM。

LATM 的全称为“Low-overhead MPEG-4 Audio TransportMultiplex”(低开销音频传输复用),是MPEG-4 AAC制定的一种高效率的码流传输方式,MPEG-2 TS 流也采用LATM作为AAC 音频码流的封装格式之一。

TS封装格式

TS 全称是 MPEG2-TS,MPEG2-TS 是一种标准容器格式,传输与存储音视频、节目与系统信息协议数据,广泛应用于数字广播系统,我们日常数字机顶盒接收到的就是 TS(Transport Stream,传输流)流。

+-+-+-+-+     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-
|  TS   |  =  |  Packet 1 |  Packet 2 |  Packet 3 | ... | Packet n-1|  Packet n |
+-+-+-+-+     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-

TS 传输流中几个基本概念:

  • ES (Elementary Stream):基本流,直接从编码器出来的数据流,可以是编码过的音频、视频或其他连续码流;
  • PES (Packetized Elementary Streams):PES流是ES流经过打包处理后形成的数据流,在这个过程中完成了将ES流分组、加入包头信息(PTS、DTS 等)操作。PES流的基本单位是PES包,PES包由包头和payload组成;
  • PS 流 (Program Stream):节目流,PS 流由 PS 包组成,而一个 PS 包又由若干个 PES 包组成。一个 PS 包由具有同一时间基准的一个或多个 PES 包复合合成;
  • TS 流 (Transport Stream):传输流,TS 流由固定长度(188 字节)的 TS 包组成,TS 包是对 PES 包的另一种封装方式,同样由具有同一时间基准的一个或多个 PES 包复合合成。PS 包是不固定长度,而 TS 包为固定长度;

TS 文件分为三层:TS 层、PES 层、ES 层。ES 层就是音视频数据,PES 层是在音视频数据上加了时间戳等数据帧的说明信息,TS层是在PES层上加入了数据流识别和传输的必要信息。

TS 包大小固定为 188 字节,TS 层分为三个部分:TS header、adaptation field、payload;
TS header 固定 4 个字节(0x47开头作为同步字节);
adaptation field 可能存在也可能不存在,主要作用是给不足 188 字节的数据做填充;
payload 是 PES 数据;

One TS Packet:4bytes          xbytes          (184-x)bytes
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 
| TS header | adaptation field | payload(PES) | 
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
One payload(PES):+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 
| PES header | optional PES header | payload(ES) | 
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
One payload(ES NALU)Video:3 or 4 bytes    1byte       xbytes
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 
| StartCode  | NAL header | H264 data | 
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+Audio:7bytes        xbytes
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 
| ADTS header | AAC data | 
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

Reference

TCP中RTT时延的理解

H264码流结构详解
H.264中的Profile和Level
I帧、P帧和B帧的特点及IDR

AAC_ADTS_1
AAC_ADTS_2

音视频封装 - TS 封装格式
TS文件格式详解及解封装过程


http://www.ppmy.cn/server/146146.html

相关文章

JavaScript 中的原型和原型链

JavaScript 中的原型和原型链也是一个相对较难理解透彻的知识点,下面结合详细例子来进行说明: 一、原型的概念 在 JavaScript 中,每个函数都有一个 prototype 属性,这个属性指向一个对象,这个对象就是所谓的 “原型对…

《软件项目管理》期末-复习题及参考答案

(1)赶工一个任务时,你应该关注( C ) A. 尽可能多的任务 B. 非关键任务 C. 加速执行关键路径上的任务 D. 通过成本最低化加速执行任务 (2)下列哪个不是项目管理计划的一部分?&#x…

ipmitool使用详解(三)-解决各种dell、hp服务器无法ipmitool连接问题

报错 [root@localhost ~]# ipmitool -H 10.1.2.41 -I lan -U admin -P "password123" lan print 1 Get Session Challenge command failed Error: Unable to establish LAN session Error: Unable to establish IPMI v1.5 / RMCP session [root@localhost ~]# ipmit…

[2024年3月10日]第15届蓝桥杯青少组stema选拔赛C++中高级(第二子卷、编程题(1))

参考程序1 #include <iostream> using namespace std;int main() {int n, m;cin >> n >> m;// 计算最少天数int days n / m; // 先除以 m 得到整天数if (n % m ! 0) { // 如果还有剩余试卷&#xff0c;增加一天days;}cout << days << endl;ret…

AI潮汐日报1128期:Sora泄露引发争议、百度早期研究对AI领域Scaling Law的贡献、Meta发布系列AI开源项目

AI 潮汐日报&#xff0c;旨在提供最新潮、最核心、最有意思的AI速递。四大专栏&#xff1a;今日热点、应用速递、研究进展、思维碰撞。 今日热点 OpenAI文本转视频模型Sora泄露引发争议 OpenAI的文本转视频AI模型Sora在Hugging Face上遭遇泄露&#xff0c;泄露者为参与测试的…

实现跨语言通信:Rust 和 Thrift 的最佳实践

前言 在分布式系统中&#xff0c;服务之间高效且安全的通信至关重要。Apache Thrift 是一个被广泛应用的跨语言 RPC&#xff08;远程过程调用&#xff09;框架&#xff0c;它支持多种编程语言&#xff0c;包括 Rust。Rust 以其卓越的性能和内存安全保障&#xff0c;成为越来越…

读书分享(二)| 心智的成熟之旅

概述 人生苦难重重&#xff08;承认这一现实&#xff0c;就不会这么痛苦了。在苦这个事儿上&#xff0c;人人生而平等。苦中作乐才是人生的使命&#xff09;规避问题和逃避痛苦的趋向&#xff0c;是人类心理疾病的根源。只有心智成熟的人&#xff0c;才有能力改变人生。我们唯…

未来已来!联想推出汽车智能空间解决方案

2024年11月28日&#xff0c;联想车计算在2024联想创新开放日系列活动中&#xff0c;隆重推出联想汽车智能空间解决方案&#xff0c;并于联想北京及上海未来中心开放展示。联想Xphere未来座舱&#xff0c;以前瞻性的理念打造未来移动生活空间&#xff0c;为用户带来前所未有的驾…