[WASAPI]音频API:从Qt MultipleMedia走到WASAPI,相似与不同

devtools/2025/1/1 3:02:43/

[WASAPI] 从Qt MultipleMedia 来看WASAPI

最近在学习有关Windows上的音频驱动相关的知识,在正式开始说WASAPI之前,我想先说一说Qt的Multiple Media,为什么呢?因为Qt的MultipleMedia实际上是WASAPI的一层封装,它在是线上替我做了很多事,就好像在Microsoft的文档上会推荐你先学习Windows.Media.Capture,然后再看low level的WASAPI。

我这篇文章中,一方面是我Qt MultipleMedia用的比较多,另一方面,Qt MultiMedia也比较简单,为音频相关的API做了很多封装,这样就不需要你自己一个个HRESULT的去调试和测试了。

Qt MultiMedia Audio Recorder

由于Qt在5进6之后对Qt MultiMedia进行了大范围重构,所以这里Qt的项目我做了两个版本,分别为
audio-record-qt

audio-record-qt6

在调用上,Qt6和Qt5没有本质区别,所以这里我将着重聊一聊qt5上的录音机

在Qt5中,录音机的数据流如图所示:

在这里插入图片描述

流程大概如下:

  1. 获取所有设备的信息
  2. 根据名称匹配,获取我们需要的那个设备的QAudioDeviceInfo
  3. 使用QAudioDeviceInfo,获取到QAudioInput(输入)和QAudioOutput(输出)设备
  4. 重写一个QIODevice类,修改其writeData方法,并在其中完成你想要做的事情,包括但不限于:保存为文件,获得耳返数据,进行算法的处理等等。
  5. 将你继承了QIODevice的类的成员变量,放进QAudioInput和QAudioOutput的start中,这样一个完整的流就完成了。

其实WASAPI实际上也就是沿着这个Qt的MultiMedia的思路进行开发就可以了,但是在WASAPI中,没有Qt的封装,接口上会更加复杂一点而已。但是总的流程并没有本质区别。

还有需要注意的一点,就是QIODevice和QByteArray对数据流的封装做的很好,在纯C++中只能自己手动管理,所以这个地方可能会出现内存泄漏的风险,在开发的时候需要多多注意内存泄漏的问题。

WASAPI Audio Recorder

工程地址:
LeventureQys/Windows_Audio_Driver/WASAPI_Testbench

在WASAPI中,和Qt的MultiMedia中大的流程是一样的,但是在接口上来说往往更加复杂,简单的来说,流程大致如下:

在这里插入图片描述

其中和QtMultiMedia中最重要的区别就是没有一个专门的QIODevice去帮我处理线程和数据的关系,而是需要自己单开一个线程,然后从Capture/Render实例中去GetBuffer,然后从中获取数据或者往里面写入数据,再手动释放。

这个过程非常自由,同样也非常容易出现意外,所以在操作WASAPI的过程中需要谨慎谨慎再谨慎。

具体的代码详情见Github链接 LeventureQys/Windows_Audio_Driver/WASAPI_Testbench 我这里只简单说说我在工程中遇到的几个小问题。

  1. 输入设备的IAudioClient Initialize方法失败

我的调用函数如下:

hr = this->ptr_audio_client->Initialize(AUDCLNT_STREAMFLAGS_LOOPBACK | AUDCLNT_STREAMFLAGS_EVENTCALLBACK,AUDCLNT_STREAMFLAGS_EVENTCALLBACK,hnsDefaultDevicePeriod,hnsDefaultDevicePeriod,format_wav,NULL);

在这个函数中,第二个参数我设置的是AUDCLNT_STREAMFLAGS_LOOPBACK | AUDCLNT_STREAMFLAGS_EVENTCALLBACK 这个地方具体要取决于设备是否允许进行回环录制和是否允许回调,并不是所有麦克风都支持这俩。

  1. 录制后的声音播放出来有很强的噪音,但我能确定声音是从麦克风传来的。

这种情况大概率是两边的声音没有对齐,这个根据wav的编码方式来的。简单地说,就是两边的channel和bitrate不匹配,导致声音无法对齐。具体你需要比对这两个format,然后再根据实际情况在音频处理处做应对和调整

WAVEFORMATEX* format_wav = NULL;
hr = ptr_audio_client->GetMixFormat(&format_wav);
if (FAILED(hr)) throw std::exception("Cant Get Mix Format!");WAVEFORMATEX* format_wav_output = NULL;
hr = ptr_output_audio_client->GetMixFormat(&format_wav_output);
if (FAILED(hr)) throw std::exception("Cant Get Mix Format Output!");

具体怎么调整详情可以看

[音视频学习笔记]二、什么是PCM音频?一些常见的PCM处理

比如我这里,我的麦克风的channels是1,但是耳机的channels是2,所以这里在播放的时候需要调整一下,将每一个bit都复制一份,放到输出的音频流中,如代码所示:

BYTE* pRenderData;
hr = ptr_output_audio_client_render->GetBuffer(numFramesAvailable, &pRenderData);
if (FAILED(hr)) {std::cerr << "GetBuffer (render) failed: " << hr << std::endl;return hr;
}
float* inputData = reinterpret_cast<float*>(pData);
float* outputData = reinterpret_cast<float*>(pRenderData);for (UINT32 i = 0; i < numFramesAvailable; i++) {// 将单声道复制到立体声的两个通道outputData[i * 2] = inputData[i];outputData[i * 2 + 1] = inputData[i];
}
到立体声的两个通道outputData[i * 2] = inputData[i];outputData[i * 2 + 1] = inputData[i];
}

http://www.ppmy.cn/devtools/146549.html

相关文章

CentOS安装PostgreSQL

官网&#xff1a;PostgreSQL: Linux downloads (Red Hat family) 选择你想下载的版本&#xff0c;自动帮你生成好命令&#xff0c; 直接copy即可 &#xff08;我本来想下载的是9.6的版本&#xff0c;但实在没找到怎么下&#xff0c;如果有dalao知道请教教我&#xff09; sudo…

.NET常用的ORM框架及性能优劣分析总结

市面上有很多流行的 ORM&#xff08;对象关系映射&#xff09;框架可以用于 .NET 开发。本文主要针对以下几种常见的 ORM 框架&#xff0c;对其优劣进行分析及总结&#xff0c;希望能够帮助大家进行ORM框架的使用有所帮助。 1. Entity Framework (EF) 特点 • 官方支持&…

【无标题】学生信息管理系统界面

网页是vue框架&#xff0c;后端直接python写的没使用框架

mybatis 缓存

本地缓存 Mybatis 使用到了两种缓存&#xff1a;本地缓存&#xff08;local cache&#xff09;和二级缓存&#xff08;second level cache&#xff09;。 每当一个新 session 被创建&#xff0c;MyBatis 就会创建一个与之相关联的本地缓存。任何在 session 执行过的查询结果都…

JVMTI 笔记

JVMTI(JVM tool interface)是一套c/c开发接口&#xff0c;用于对JVM进行性能分析、debug、内存管理、线程分析等各种黑科技操作 JVMTI开发1个CPU Profiler&#xff1a; agent.c JNIEXPORT jint JNICALL Agent_OnLoad(JavaVM *vm, char *options, void *reserved) {jvmtiEnv *…

【js】记录预览pdf文件

接口调用拿到pdf的文件流&#xff0c;用blob处理这个文件流拿到url&#xff0c;使用window.open跳转新的窗口进行预览 api({dataType: blob, }).then(res >{if(res.code 0){this.previewPDF(res,application/pdf;charsetutf-8,pdf文件名)} })previewPDF (res, type, fname…

腾讯音乐:说说Redis脑裂问题?

Redis 脑裂问题是指&#xff0c;在 Redis 哨兵模式或集群模式中&#xff0c;由于网络原因&#xff0c;导致主节点&#xff08;Master&#xff09;与哨兵&#xff08;Sentinel&#xff09;和从节点&#xff08;Slave&#xff09;的通讯中断&#xff0c;此时哨兵就会误以为主节点…

使用Quick 录屏为视频生成二维码

Quick 可以将 录屏视频、截图、录音等生成二维码或链接分享给任何人&#xff0c;通过设置访问权限&#xff0c;仅对允许的访客开放。 首先下载安装Quick客户端&#xff0c;安装完成后打开界面如下 点击 选区录制 &#xff0c;按住鼠标左键拖动选区待录制区域 释放鼠标左键&…