音视频入门基础:RTP专题(16)——RTP封装音频时,音频的有效载荷结构

server/2025/3/11 3:42:34/

一、引言

《RFC 3640》和《RFC 6416》分别定义了两种对MPEG-4流的RTP封包方式,这两个文档都可以从RFC官网下载:» RFC Editor

本文主要对《RFC 3640》中的音频打包方式进行简介。《RFC 3640》总共有43页,本文下面所说的“页数”是指在pdf阅读器中显示的页数: 

二、MPEG Access Units

根据《RFC 3640》第5页,为了传输压缩后的音视频数据,MPEG定义了Access Units(访问单元)。MPEG Access Units(简称AU)是计时信息的最小数据实体。就音频而言,一个AU可代表一个音频帧,就视频而言,一个AU可代表一幅图像。根据定义,MPEG Access Units是八位对齐的。例如,如果音频帧不是八进制对齐的,则必须在帧末插入多达 7个零的填充位,以实现MPEG-4规范要求的八进制对齐的AU。
MPEG-4解码器必须能够解码使用了这种填充的AU。与MPEG-4规范一致,《RFC 3640》要求每个 MPEG-4第2部分视频的AU包括图像的所有编码数据、编码图像数据之前的任何视频流标题以及其后的任何视频流填充,直至但不包括表示新视频流或下一个AU开始的开始码:

三、有效载荷格式的全局结构

根据《RFC 3640》第9页,RTP Header之后的RTP payload包含三个八位对齐的数据部分,其中前两个(AU Header Section和Auxiliary Section)可能为空,如下图所示。

第一部分是AU (Access Unit) Header Section,包含一个或多个AU-header;但是,每个AU-header可以是空的,在这种情况下,整个AU Header Section都是空的。

第二部分是Auxiliary Section(辅助部分),包含辅助数据;该部分也可以配置为空。

第三部分是Access Unit Data Section,包含一个Access Unit的单个片段或一个或多个完整的Access Unit。Access Unit Data Section不得为空:

四、AU Header Section

根据《RFC 3640》第11页,出现时,AU Header Section由AU-headers-length字段和若干AU-header组成,如下图所示。

AU-header使用MIME格式参数配置,可以为空。如果AU-header配置为空,则AU-headers-length字段不应存在,因此AU Header Section为空。如果AU-header未配置为空,则AU报头长度(AU-headers-length)是占两个字节的字段,用于指定紧随其后的AU-header(不包括填充位)的长度(以比特为单位)。

每个AU-header都与同一RTP数据包中Access Unit Data Section所含的single Access Unit (fragment)相关联。在AU-header中,AU-header按照 Access Unit Data Section中包含Access Unit的顺序逐位连接。因此,第n个AU-header指的是第n个 AU(片段)。如果连接的 AU-header占用的八进制数不是整数,则必须在末尾插入最多7个零填充位,以实现 AU Header部分的八进制对齐:

五、AU-header

根据《RFC 3640》第12页,每个AU-header可包含下图所示的字段。除CTS-flag、DTS-flag和RAP-flag字段外,其他字段的比特长度由MIME格式参数定义。如果MIME格式参数的默认值为零,则不存在相关字段。对于存在且表示参数值的字段,必须选择足够大的比特数,以正确编码会话期间该参数的最大值。

如果存在,这些字段必须按照下图所示的顺序出现。在一般情况下,由于CTS-delta和DTS-delta 字段的是否存在分别由CTS-flag和DTS-flag的值指示,因此接收方只能通过解析AU-header来发现 AU-header的大小。

如果被使用,AU-header中的AU-Index字段只出现在AU Header Section中的第一个AU-header中;在任何其他 AU-header中,则使用AU-Index-delta字段:

其中:

AU-size: 该字段表示同一RTP数据包中Access Unit Data Section中相关Access Unit的大小(以八位字节为单位)。当 AU-size与 AU fragment(AU片段)相关联时,AU-size表示整个AU的大小,而不是片段的大小。在这种情况下,片段的大小可以通过AU data section的大小得知。可以利用这一点来确定数据包包含的是整个AU还是片段,这在丢失携带AU最后一个片段的数据包后特别有用:

AU-Index:该字段表示相关Access Unit(片段)的序列号。对于每个(按解码顺序)连续的AU 或AU片段,序列号都递增1。AU-Index字段出现在AU Header Section的第一个AU-header中,但不得出现在该Section的任何后续(非第一个)AU-header中。要对任何此类非第一个 AU-header中的序列号进行编码,应使用AU-Index-delta字段:

AU-Index-delta:该字段是一个无符号整数,用于指定相关AU的序列号与前一个接入单元序列号的差值。因此,对于第n个(n>1)AU,序列号的计算公式为:

AU-Index(n) = AU-Index(n-1) + AU-Index-delta(n) + 1

如果AU-Index字段出现在AU Header Section的第一个AU-header中,则AU-Index-delta字段必须出现在任何后续(非第一个)AU-header中。当AU-Index-delta的编码值为0时,表示Access Units在解码顺序上是连续的。如果 AU-Index-delta 值大于0,则表示应用了交错:

CTS-flag:该字段表示是否存在CTS-delta字段。值为1表示存在该字段,值为0表示不存在。如果 CTS-delta字段的信号长度大于零,则每个AU-header中必须有CTS-flag字段。在这种情况下,CTS-flag字段在第一个AU-header中的值必须为0,在所有非第一个AU-header中的值可以为1。对于Access Unit的任何非第一片段,CTS-flag字段应为0:

CTS-delta:该字段将CTS的值指定为该RTP数据包RTP header中时间戳的2的补码偏移(delta),从而对CTS进行编码。CTS必须使用与RTP header中时间戳相同的时钟速率:

DTS-flag:表示是否存在DTS-delta字段。值为1表示存在DTS-delta,值为0表示不存在。如果 DTS-delta字段的长度信号大于零,则 DTS-flag字段必须出现在每个AU-header中。一个Access Unit的所有片段的 DTS-flag字段必须具有相同的值:

DTS-delta:该字段将DTS的值指定为CTS的2的补码偏移(delta)。DTS必须使用与RTP header中时间戳相同的时钟速率。对于Access Unit的所有片段,DTS-delta字段必须具有相同的值:

RAP-flag:该字段设置为1时,表示相关的Access Unit为数据流内容提供了一个随机访问点。如果访问单元是分片的,则RAP flag(如果存在)必须为AU的每个非第一分片设置 0:

Stream-state:指定MPEG-4系统流的AU的流状态;每个状态由一个模数计数器的值标识。在 《ISO/IEC 14496-1》中,MPEG-4系统流使用AU_SequenceNumber来表示流状态。当流状态改变时,流状态的值必须递增 1。
 注意:不同流的流状态之间不需要任何关系:

六、The Auxiliary Section

根据《RFC 3640》第14页,Auxiliary Section(辅助部分)由auxiliary-data-size字段和auxiliary-data(辅助数据)字段组成。接收者可以(但不要求)解析auxiliary-data字段;为便于接收者跳过auxiliary-data字段,auxiliary-data-size字段表示auxiliary-data的长度(以比特为单位)。如果 “auxiliary-data-size ”和 “auxiliary-data”字段的连接占用的八进制数不是整数,则必须在auxiliary data后插入最多 7个零填充位,以实现八进制对齐,见下图:

auxiliary-data-size字段的位数可以通过MIME格式参数配置。默认长度为0表示整个Auxiliary Section(辅助段)都不存在。
auxiliary-data-size字段指定紧随其后的auxiliary-data字段的长度,以位(bit)为单位;auxiliary-data(辅助数据)字段包含的数据格式不是《RFC 3640》规范定义的。

七、Access Unit Data Section

根据《RFC 3640》第15页,Access Unit Data Section(访问单元数据节)包含完整的Access Unit(访问单元)的整数或一个AU的单个片段。Access Unit Data Section绝不是空的。如果存在多个Access Unit的数据,则将AU连接成一个连续的八位字节字符串。参见下图。Access Unit Data Section内的AU必须按解码顺序排列,但在交错的情况下不一定是连续的。

应该调整Access Unit的大小和数量,使生成的RTP包不大于途径的MTU。为了处理较大的数据包,这种有效负载格式依赖于较低的分片层,这可能会导致性能降低:

当携带多个Access Unit时,每个AU的大小必须提供给接收器。如果AU的大小是可变的,那么每个AU的大小必须在相应AU-header的AU-size字段中显示。但是,如果流的AU大小是恒定的,则不应该使用该机制;相反,固定大小应该通过MIME格式参数“constantSize”来表示。


http://www.ppmy.cn/server/174086.html

相关文章

django中序列化器serializer 的高级使用和需要注意的点

在 Django REST framework(DRF)中,序列化器(Serializer)是一个强大的工具,用于将复杂的数据类型(如 Django 模型实例)转换为 Python 原生数据类型,以便将其渲染为 JSON、XML 等格式,同时也能将接收到的外部数据反序列化为 Django 模型实例。以下将介绍序列化器的高级…

【开源免费】基于SpringBoot+Vue.JS青年公寓服务平台(JAVA毕业设计)

本文项目编号 T 233 ,文末自助获取源码 \color{red}{T233,文末自助获取源码} T233,文末自助获取源码 目录 一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程 四、功能截图五、文案资料5.1 选题背景5.2 国内…

自学微信小程序的第十四天

DAY14 1、微信小程序为我们提供了位置API,用于实现获取当前地理位置的功能,调用wx.getLocation()方法,通过该方法的success回调函数获取定位结果。若想使用位置API,需要在微信小程序管理后台的“开发管理-接口设置”页面中申请开通,并且还需要在app.json文件中添加请求用…

qt 常量中有换行符

在Qt中遇到“常量中有换行符”的错误通常是由于编码问题引起的。以下是一些解决这个问题的方法: 设置文件编码为UTF-8 BOM : 打开Qt Creator,进入工具 -> 选项 -> 文本编辑器 -> 行为 -> 默认编码,选择UTF-8&#x…

【每日八股】计算机网络篇(三):IP

目录 DNS 查询服务器的基本流程DNS 采用 TCP 还是 UDP,为什么?默认使用 UDP 的原因需要使用 TCP 的场景?总结 DNS 劫持是什么?解决办法?浏览器输入一个 URL 到显示器显示的过程?URL 解析TCP 连接HTTP 请求页…

Hytrix深入学习

Hystrix 是 Netflix 开源的一款容错库,主要用于分布式系统中的故障隔离和容错处理。它的核心目标是防止分布式系统中的雪崩效应(Cascading Failure),通过提供熔断器模式、资源隔离、降级机制等功能,帮助系统在依赖服务…

【计算机视觉】手势识别

手势识别是计算机视觉领域中的重要方向,通过对摄像机采集的手部相关的图像序列进行分析处理,进而识别其中的手势,手势被识别后用户就可以通过手势来控制设备或者与设备交互。完整的手势识别一般有手的检测和姿态估计、手部跟踪和手势识别等。…

MWC 2025 | 移远通信推出AI智能无人零售解决方案,以“动态视觉+边缘计算”引领智能零售新潮流

在无人零售市场蓬勃发展的浪潮中,自动售货机正经历着从传统机械式操作向AI视觉技术的重大跨越。 移远通信作为全球领先的物联网整体解决方案供应商,精准把握行业趋势,在2025世界移动通信大会(MWC)上宣布推出全新AI智能…