Webrtc音频模块(四) 音频采集

server/2024/12/23 19:13:58/

音频的采集还是封装在AudioDeviceWindowsCore中,相关的Core Audio API接口是下面几个:

IAudioClient* _ptrClientIn
IAudioCaptureClient* _ptrCaptureClient
rtc::scoped_refptr<IMediaObject> _dmo
rtc::scoped_refptr<IMediaBuffer> _mediaBuffer

音频的采集一样的通过Core Audio API实现,上面的_ptrClientIn_ptrCaptureClient就是采集接口对象。_dmo是DMO接口对象,_mediaBuffer是它使用的buffer接口对象,它们也用于采集。

webrtc中实现两种模式的音频采集

  • 通过IAudioCaptureClient,通过_ptrClientIn_ptrCaptureClient实现。
  • 通过IMediaObject从DMO取音频数据,通过_dmo实现。

这篇文章只介绍通过DMO的方式采集音频数据。

DMO

DMO 是 DirectX Media Object,看一看官方说明,如下:

DirectX Media Objects (DMOs) are COM-based multimedia and data-streaming components. In some respects, DMOs are similar to DirectShow filters. Like DirectShow filters, DMOs take input data and use it to produce output data. As the APIs for DMOs are much simpler than the corresponding APIs for DirectShow, they are easier to create, test, and use. For encoding/decoding, audio capture, audio processing and video processing effects, Microsoft encourages developers to write a DMO instead of a DirectShow filter.

它是一个COM组件,用来处理音视频数据,在webrtc中使用了音频处理功能。
一些高档的麦克风,很多都标注提供了回声消除,降噪等功能,通过DMO就可以利用这些硬件提供的功能。

Webrtc中使用DMO

AudioDeviceWinodwsCode中与DMO相关的变量是下面三个:

rtc::scoped_refptr<IMediaObject> _dmo;
rtc::scoped_refptr<IMediaBuffer> _mediaBuffer;
bool _builtInAecEnabled;

一个是DMO的COM接口对象,一个是用于从DMO取数据的Buffer接口,一个是否使用DMO的使能标志。

默认情况下_builIntAecEnabled为true,音频的采集将会从DMO中取处理后的音频数据,通过IMediaBuffer接口取数据。

初始化代码可以看看AudioDeviceWindowsCore::InitRecordingDMO()中的实现。在AudioDeviceWindowsCore::InitRecordingDMO()中,会设置DMO的数据输出的格式,用的也是前面介绍过的WAVEFORMATEX结构来描述音频的参数。

在AudioDeviceWindowsCore::SetDMOProperties()方法中,设置了DMO要开启的音频处理功能,webrtc会使用DMO的回声消除,降噪音频处理功能。

从DMO中取数据

音频的采集就是从DMO中取经过处理后的音频数据,它包括以下几步:

  1. 需要创建一个IMediaBuffer接口对象的实例。
  2. 将DMO_OUPUT_DATA_BUFFER中pBuffer成员指向自己的Buffer。
  3. 将DMO_OUPUT_DATA_BUFFER对象传给IMediaObject的ProcessOutPut接口。
  4. 调用IMediaObject的GetBufferAndLength接口来获取数据。

DMO数据采集线程实现DoCaptureThreadPollDMO,如下流程:
在这里插入图片描述


http://www.ppmy.cn/server/152562.html

相关文章

Java-32 深入浅出 Spring - IoC 基础 启动IoC 纯注解方式 SpringConfig web.xml

点一下关注吧&#xff01;&#xff01;&#xff01;非常感谢&#xff01;&#xff01;持续更新&#xff01;&#xff01;&#xff01; 大数据篇正在更新&#xff01;https://blog.csdn.net/w776341482/category_12713819.html 目前已经更新到了&#xff1a; MyBatis&#xff…

【贪心算法】贪心算法六

贪心算法六 1.坏了的计算器2.合并区间3.无重叠区间4.用最少数量的箭引爆气球 点赞&#x1f44d;&#x1f44d;收藏&#x1f31f;&#x1f31f;关注&#x1f496;&#x1f496; 你的支持是对我最大的鼓励&#xff0c;我们一起努力吧!&#x1f603;&#x1f603; 1.坏了的计算器 …

网上球鞋竞拍系统|Java|SSM|VUE| 前后端分离

【技术栈】 1⃣️&#xff1a;架构: B/S、MVC 2⃣️&#xff1a;系统环境&#xff1a;Windowsh/Mac 3⃣️&#xff1a;开发环境&#xff1a;IDEA、JDK1.8、Maven、Mysql5.7 4⃣️&#xff1a;技术栈&#xff1a;Java、Mysql、SSM、Mybatis-Plus、VUE、jquery,html 5⃣️数据库可…

C# 趋势图:洞察其发展轨迹与未来走向

一、语言特性演进趋势 &#xff08;一&#xff09;性能提升 即时编译优化&#xff1a; 在当今的软件开发领域中&#xff0c;C# 编译器对于即时编译&#xff08;JIT&#xff09;技术的探索与发展从未停止脚步。随着技术的不断演进&#xff0c;其在代码分析和优化策略方面愈发显…

5G -- 5G网络架构

5G组网场景 从4G到5G的网络演进&#xff1a; 1、UE -> 4G基站 -> 4G核心网 * 部署初中期&#xff0c;利用存量网络&#xff0c;引入5G基站&#xff0c;4G与5G基站并存 2、UE -> (4G基站、5G基站) -> 4G核心网 * 部署中后期&#xff0c;引入5G核心网&am…

Elasticsearch:什么是查询语言?

查询语言定义 查询语言包括数据库查询语言 (database query language - DQL)&#xff0c;是一种用于查询和从数据库检索信息的专用计算机语言。它充当用户和数据库之间的接口&#xff0c;使用户能够管理来自数据库管理系统 (database management system - DBMS) 的数据。 最广…

mybatis 的动态sql 和缓存

动态SQL 可以根据具体的参数条件&#xff0c;来对SQL语句进行动态拼接。 比如在以前的开发中&#xff0c;由于不确定查询参数是否存在&#xff0c;许多人会使用类似于where 1 1 来作为前缀&#xff0c;然后后面用AND 拼接要查询的参数&#xff0c;这样&#xff0c;就算要查询…

windows C#-使用构造函数

实例化类或结构时&#xff0c;将会调用其构造函数。 构造函数与该类或结构具有相同名称&#xff0c;并且通常初始化新对象的数据成员。 在下面的示例中&#xff0c;通过使用简单构造函数定义了一个名为 Taxi 的类。 然后使用 new 运算符对该类进行实例化。 在为新对象分配内存…