RK3568 Android 11 蓝牙BluetoothA2dpSink 获取用于生成频谱的PCM

news/2024/9/14 22:10:51/ 标签: android, pcm, A2dpSink

在这里插入图片描述

Android 中的 A2DP Sink

A2DP Sink 在 Android 系统中主要用于 接收 其他蓝牙设备（如手机、平板、电脑等）发送过来的 高质量的立体声音频。简单来说，它让你的 Android 设备可以充当一个 蓝牙音箱 或 耳机 的角色。

核心功能：

  • 接收音频流： 通过蓝牙协议接收来自其他设备的音频数据。
  • 解码音频： 将接收到的音频数据解码成可播放的音频格式。
  • 播放音频： 通过设备的扬声器或耳机输出解码后的音频。

应用场景：

  • 无线音箱： 将 Android 设备连接到蓝牙音箱，实现无线音乐播放。
  • 车载蓝牙： 将手机连接到车载蓝牙系统，通过车载音响播放音乐。
  • 蓝牙耳机： 将 Android 设备连接到蓝牙耳机，进行通话或听音乐。

技术实现：

  • BluetoothA2dpSink： Android 提供了 BluetoothA2dpSink 类来实现 A2DP Sink 功能。开发者可以通过这个类来管理 A2DP 连接、控制音频播放等。
  • 蓝牙配置文件： A2DP（Advanced Audio Distribution Profile）是一种蓝牙配置文件，专门用于高质量立体声音频的无线传输。

如何获取音频数据并生成音频频谱?

什么是音乐频谱?
音乐频谱是声音频率的分布图。声音是由不同频率的声波组成的，这些声波的振幅（强度）不同，就形成了不同的音色。频谱图就是将这些频率和振幅的关系用图形表示出来。
在这里插入图片描述

频谱图的组成
  • 横轴： 表示频率，通常以赫兹（Hz）为单位。频率越高，音调越高。
  • 纵轴： 表示振幅，也就是声音的强度。振幅越大，声音越响。
  • 颜色或灰度： 表示不同频率的振幅大小。颜色越深或灰度越高，表示该频率的振幅越大。
频谱图的种类
  • 线性频谱图： 频率轴按线性比例分布，适用于分析整个音频频段。
  • 对数频谱图： 频率轴按对数比例分布，更适合显示低频部分的细节，常用于音频分析。
  • 时频图： 显示声音频率随时间的变化情况，可以直观地看到声音的动态变化。
    在这里插入图片描述
总的来说

音乐频谱是了解声音的重要工具，它不仅能帮助我们更好地理解声音的本质，还能在音乐创作、音频处理等领域发挥重要作用。

在蓝牙音箱的模式下, 如何生成音频频谱?

    在打上RK提供的A2dpSink补丁后, 手机等设备可以通过蓝牙连接播放音乐, RK3568充当蓝牙音箱的角色. 在这种状态下, 系统播放音频并不是采用android上层的MediaPlayer 或 AudioTrack, 所以无法采用常规的方式来生成, 若需要获取播放器的音频频谱, 首先, 需要获得音频的PCM数据.

在蓝牙音箱模式下, 音频的播放器的位置处于android 源码的 system目录下

system/bt/btif/src/btif_avrcp_audio_track.cc

/** Copyright 2015 The Android Open Source Project** Licensed under the Apache License, Version 2.0 (the "License");* you may not use this file except in compliance with the License.* You may obtain a copy of the License at**      http://www.apache.org/licenses/LICENSE-2.0** Unless required by applicable law or agreed to in writing, software* distributed under the License is distributed on an "AS IS" BASIS,* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.* See the License for the specific language governing permissions and* limitations under the License.*/#define LOG_NDEBUG 1
#define LOG_TAG "bt_btif_avrcp_audio_track"#include "btif_avrcp_audio_track.h"#include <aaudio/AAudio.h>
#include <base/logging.h>
#include <utils/StrongPointer.h>#include "bt_target.h"
#include "osi/include/log.h"using namespace android;typedef struct {AAudioStream* stream;int bitsPerSample;int channelCount;float* buffer;size_t bufferLength;
} BtifAvrcpAudioTrack;#if (DUMP_PCM_DATA == TRUE)
FILE* outputPcmSampleFile;
char outputFilename[50] = "/data/misc/bluedroid/output_sample.pcm";
#endifvoid* BtifAvrcpAudioTrackCreate(int trackFreq, int bitsPerSample,int channelCount) {LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btCreateTrack freq %d bps %d channel %d ",__func__, trackFreq, bitsPerSample, channelCount);AAudioStreamBuilder* builder;AAudioStream* stream;aaudio_result_t result = AAudio_createStreamBuilder(&builder);AAudioStreamBuilder_setSampleRate(builder, trackFreq);AAudioStreamBuilder_setFormat(builder, AAUDIO_FORMAT_PCM_FLOAT);AAudioStreamBuilder_setChannelCount(builder, channelCount);AAudioStreamBuilder_setSessionId(builder, AAUDIO_SESSION_ID_ALLOCATE);AAudioStreamBuilder_setPerformanceMode(builder,AAUDIO_PERFORMANCE_MODE_LOW_LATENCY);result = AAudioStreamBuilder_openStream(builder, &stream);CHECK(result == AAUDIO_OK);AAudioStreamBuilder_delete(builder);BtifAvrcpAudioTrack* trackHolder = new BtifAvrcpAudioTrack;CHECK(trackHolder != NULL);trackHolder->stream = stream;trackHolder->bitsPerSample = bitsPerSample;trackHolder->channelCount = channelCount;trackHolder->bufferLength =trackHolder->channelCount * AAudioStream_getBufferSizeInFrames(stream);trackHolder->buffer = new float[trackHolder->bufferLength]();#if (DUMP_PCM_DATA == TRUE)outputPcmSampleFile = fopen(outputFilename, "ab");
#endifreturn (void*)trackHolder;
}void BtifAvrcpAudioTrackStart(void* handle) {if (handle == NULL) {LOG_ERROR(LOG_TAG, "%s: handle is null!", __func__);return;}BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);CHECK(trackHolder != NULL);CHECK(trackHolder->stream != NULL);LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btStartTrack", __func__);AAudioStream_requestStart(trackHolder->stream);
}void BtifAvrcpAudioTrackStop(void* handle) {if (handle == NULL) {LOG_DEBUG(LOG_TAG, "%s handle is null.", __func__);return;}BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);if (trackHolder != NULL && trackHolder->stream != NULL) {LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btStartTrack", __func__);AAudioStream_requestStop(trackHolder->stream);}
}void BtifAvrcpAudioTrackDelete(void* handle) {if (handle == NULL) {LOG_DEBUG(LOG_TAG, "%s handle is null.", __func__);return;}BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);if (trackHolder != NULL && trackHolder->stream != NULL) {LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btStartTrack", __func__);AAudioStream_close(trackHolder->stream);delete trackHolder->buffer;delete trackHolder;}#if (DUMP_PCM_DATA == TRUE)if (outputPcmSampleFile) {fclose(outputPcmSampleFile);}outputPcmSampleFile = NULL;
#endif
}void BtifAvrcpAudioTrackPause(void* handle) {if (handle == NULL) {LOG_DEBUG(LOG_TAG, "%s handle is null.", __func__);return;}BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);if (trackHolder != NULL && trackHolder->stream != NULL) {LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btPauseTrack", __func__);AAudioStream_requestPause(trackHolder->stream);AAudioStream_requestFlush(trackHolder->stream);}
}void BtifAvrcpSetAudioTrackGain(void* handle, float gain) {if (handle == NULL) {LOG_DEBUG(LOG_TAG, "%s handle is null.", __func__);return;}// Does nothing right now
}constexpr float kScaleQ15ToFloat = 1.0f / 32768.0f;
constexpr float kScaleQ23ToFloat = 1.0f / 8388608.0f;
constexpr float kScaleQ31ToFloat = 1.0f / 2147483648.0f;static size_t sampleSizeFor(BtifAvrcpAudioTrack* trackHolder) {return trackHolder->bitsPerSample / 8;
}static size_t transcodeQ15ToFloat(uint8_t* buffer, size_t length,BtifAvrcpAudioTrack* trackHolder) {size_t sampleSize = sampleSizeFor(trackHolder);size_t i = 0;for (; i <= length / sampleSize; i++) {trackHolder->buffer[i] = ((int16_t*)buffer)[i] * kScaleQ15ToFloat;}return i * sampleSize;
}static size_t transcodeQ23ToFloat(uint8_t* buffer, size_t length,BtifAvrcpAudioTrack* trackHolder) {size_t sampleSize = sampleSizeFor(trackHolder);size_t i = 0;for (; i <= length / sampleSize; i++) {size_t offset = i * sampleSize;int32_t sample = *((int32_t*)(buffer + offset - 1)) & 0x00FFFFFF;trackHolder->buffer[i] = sample * kScaleQ23ToFloat;}return i * sampleSize;
}static size_t transcodeQ31ToFloat(uint8_t* buffer, size_t length,BtifAvrcpAudioTrack* trackHolder) {size_t sampleSize = sampleSizeFor(trackHolder);size_t i = 0;for (; i <= length / sampleSize; i++) {trackHolder->buffer[i] = ((int32_t*)buffer)[i] * kScaleQ31ToFloat;}return i * sampleSize;
}static size_t transcodeToPcmFloat(uint8_t* buffer, size_t length,BtifAvrcpAudioTrack* trackHolder) {switch (trackHolder->bitsPerSample) {case 16:return transcodeQ15ToFloat(buffer, length, trackHolder);case 24:return transcodeQ23ToFloat(buffer, length, trackHolder);case 32:return transcodeQ31ToFloat(buffer, length, trackHolder);}return -1;
}constexpr int64_t kTimeoutNanos = 100 * 1000 * 1000;  // 100 msint BtifAvrcpAudioTrackWriteData(void* handle, void* audioBuffer,int bufferLength) {BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);CHECK(trackHolder != NULL);CHECK(trackHolder->stream != NULL);aaudio_result_t retval = -1;//return 0;
#if (DUMP_PCM_DATA == TRUE)if (outputPcmSampleFile) {fwrite((audioBuffer), 1, (size_t)bufferLength, outputPcmSampleFile);}
#endifsize_t sampleSize = sampleSizeFor(trackHolder);int transcodedCount = 0;do {transcodedCount +=transcodeToPcmFloat(((uint8_t*)audioBuffer) + transcodedCount,bufferLength - transcodedCount, trackHolder);retval = AAudioStream_write(trackHolder->stream, trackHolder->buffer,transcodedCount / (sampleSize * trackHolder->channelCount),kTimeoutNanos);LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btWriteData len = %d ret = %d",__func__, bufferLength, retval);} while (transcodedCount < bufferLength);return transcodedCount;
}

BtifAvrcpAudioTrackWriteData 函数中可以把PCM数据取出来用, 可以打开 DUMP_PCM_DATA 把蓝牙音频播放的PCM内容保存到本地文件char outputFilename[50] = "/data/misc/bluedroid/output_sample.pcm";中, 把文件拿出来用工具打包成WAV格式, 测试音频数据的正确性!

拿到PCM数据后, 通过算法, 便可以轻松实现音频频谱功能.

参考

  • Android 音频可视化：频谱特效的探索与实践
  • android获取和展示音乐的频谱
  • [RK3566-Android11] 关于 a2dpsink -蓝牙支持接收播放/无PIN码连接
  • Android 音频可视化

http://www.ppmy.cn/news/1519944.html

相关文章

vue3 监听

vue3 监听

watch &#xff08;1&#xff09;监听ref 状态的变化 const num ref(1) watch(num,(newValue,oldValue)>{console.log(newValue,oldValue);//2,1 }) setTimeout(()>{num.value },500)&#xff08;2&#xff09;computed const num ref(1); const double computed((…
阅读更多...
惠中科技光伏清洗剂：绿色清洁，引领光伏行业新潮流

惠中科技光伏清洗剂：绿色清洁，引领光伏行业新潮流

在当今全球能源转型的大潮中&#xff0c;光伏产业作为绿色能源的重要组成部分&#xff0c;正以前所未有的速度蓬勃发展。然而&#xff0c;随着光伏板在户外环境的长时间暴露&#xff0c;其表面不可避免地会积累灰尘、鸟粪、油污等污染物&#xff0c;严重影响光伏板的透光率和发…
阅读更多...
Gorm--Scan

Gorm--Scan

在 Gorm 中&#xff0c;Scan 是一个用于将查询结果映射到自定义结构体或变量的函数。与 Find 或 First 不同&#xff0c;Scan 允许你将查询结果存储到与数据库模型不完全匹配的结构体中。它特别适合用于自定义查询结果或联合查询的场景。 type Result struct {Name stringEma…
阅读更多...
#单片机基础 笔记二

#单片机基础 笔记二

SPI中断 1.SPI总线协议 1.1协议介绍 SPI接口是Motorola &#xff08;motorola | Smartphones, Accessories & Smart Home Devices&#xff09;首先提出的全双工三线/四线同步串行外围接口采用主从模式&#xff08;Master Slave&#xff09;架构。 时钟由Master控制&#xf…
阅读更多...
ELK学习笔记——如何给Kibana新增用户和角色

ELK学习笔记——如何给Kibana新增用户和角色

Kibana新增用户和角色 首先用超管账号登录上Kibana&#xff0c;按照下面步骤操作 1、创建角色 按图操作 2、创建用户 按图操作 3、给用户分配角色 至此&#xff0c;角色和用户绑定成功&#xff1b; 最后&#xff0c;可以退出管理员账号&#xff0c;登录这个新…
阅读更多...
github私有仓库通过action部署hexo到公开仓库

github私有仓库通过action部署hexo到公开仓库

github私有仓库通过action部署hexo到公开仓库 有一段时间一直将博客md文件直接放到公开仓库然后通过工作流action创建一个gh-page分支&#xff0c;来实现部署 但是这样做有一个问题&#xff0c;如果你的源文件&#xff0c;或者配置文件中有涉及变量&#xff0c;或者密钥key&a…
阅读更多...
Linux-vim

Linux-vim

文章目录 vi和vimvim的基本概念vim的基本操作vim正常模式命令集插入模式从插入模式切换为命令模式移动光标删除文字复制替换撤销上一次操作更改跳至指定的行 vim末行模式命令集列出行号跳到文件中的某一行查找字符保存文件推出vim vi和vim vi/vim的区别简单点来说&#xff0c;…
阅读更多...
Linux C 内核编程 /proc 编程例子

Linux C 内核编程 /proc 编程例子

直接上代码 proc_demo.c内核版本&#xff1a; 5.4.0-150-generic #include <linux/module.h> #include <linux/sched.h> #include <linux/proc_fs.h> #include <linux/seq_file.h> #include <linux/uaccess.h> #include <linux/slab.h>s…
阅读更多...
threading.local的使用

threading.local的使用

python中的threading.local对象 在Python中&#xff0c;使用threading.local对象的意义在于为每个线程提供了一种安全地存储和访问线程局部变量的方式。这种机制对于多线程编程特别有用&#xff0c;因为它可以帮助开发者避免一些常见的多线程编程问题&#xff0c;如数据竞争、…
阅读更多...
技术周刊 ｜ Rspack 1.0、v0 支持 Vue、2024 年度编程语言排行榜、Ideogram 2.0、从 0 实现一个 React

技术周刊 ｜ Rspack 1.0、v0 支持 Vue、2024 年度编程语言排行榜、Ideogram 2.0、从 0 实现一个 React

大家好&#xff0c;我是童欧巴&#xff0c;欢迎来到第 126 期技术周刊。 资讯 Rspack 1.0 Rspack 1.0 正式发布&#xff0c;作为一款基于 Rust 的高性能 JavaScript 打包工具&#xff0c;它兼容 webpack API 和生态&#xff0c;提供了显著提升的构建性能。1.0 版本在性能、兼…
阅读更多...
第三章：实时流数据处理与分析

第三章：实时流数据处理与分析

目录 3.1 流处理框架深入解析与实战 Flink与Kafka Streams的性能对比&#xff1a;事件驱动架构的代码实现 1. Apache Flink&#xff1a;流处理的“性能怪兽” 2. Kafka Streams&#xff1a;轻量级、低延迟的流式处理框架 实时异常检测与报警系统&#xff1a;结合Flink CEP…
阅读更多...
【Transformer】基本概述

【Transformer】基本概述

文章目录 提出背景核心思想—注意力机制流程解析参考资料 提出背景 在Transformer模型出现之前&#xff0c;循环神经网络&#xff08;RNN&#xff09;及其变体&#xff0c;如长短期记忆网络&#xff08;LSTM&#xff09;和门控循环单元&#xff08;GRU&#xff09;&#xff0c;…
阅读更多...
版本控制工具git

版本控制工具git

版本控制工具 git 数据库 > 有代码历史版本 > 仓库 每个文件都是不同的历史版本&#xff0c;以便恢复 集中式版本控制系统 例如&#xff1a;SVN 缺陷&#xff1a; 1.依赖于中心服务器 分布式的版本管理系统 只有程序员用 git 只有需要在同步代码的时候需要联网 程…
阅读更多...
Java笔试面试题AI答之面向对象（9）

Java笔试面试题AI答之面向对象（9）

文章目录 49. 简述Java继承时&#xff0c;类的执行顺序是什么&#xff1f;一、类的静态成员初始化顺序二、对象的初始化顺序三、总结 50. 举例说明什么情况下会更倾向于使用抽象类而不是接口&#xff1f;1. 当需要定义和实现部分通用行为时2. 当需要访问修饰符或方法修饰符时3.…
阅读更多...
sqlite3的db.wait方法：等待所有查询完成

sqlite3的db.wait方法：等待所有查询完成

Node.js中sqlite3的db.wait方法深入解析 在Node.js环境中&#xff0c;sqlite3库为开发者提供了一个与SQLite数据库进行交互的简洁API。在处理数据库操作时&#xff0c;有时需要等待直到所有的查询都完成&#xff0c;这时db.wait方法就显得尤为重要。本文将深入解析sqlite3库中…
阅读更多...
基于Python的机器学习系列（22）：高斯混合模型（GMM）聚类的改进版

基于Python的机器学习系列（22）：高斯混合模型（GMM）聚类的改进版

在之前的篇章中&#xff0c;我们介绍了高斯混合模型&#xff08;GMM&#xff09;及其基本实现。本文将扩展这一模型&#xff0c;重点是引入早停机制来提高训练效率&#xff0c;并且在训练过程中每隔一定的迭代次数绘制聚类结果&#xff0c;以便观察模型的收敛情况。 引入早停机…
阅读更多...
Windows下使用pm2管理多个前端vue项目

Windows下使用pm2管理多个前端vue项目

1. 安装Node.js和npm： 确保你已经在Windows系统上安装了Node.js和npm。你可以在Node.js的[官方网站](https://nodejs.org/)下载并安装适合你系统的版本。 2. 安装pm2： 打开命令提示符（或PowerShell），运行以下命令来全局安装pm2： npm install pm2 -g 3. 创建pm2配置…
阅读更多...
React16新手教程记录

React16新手教程记录

文章目录 前言一些前端面试题1. 搭建项目1. 1 cdn1. 2 脚手架 2. 基础用法2.1 表达式和js语句区别&#xff1a;2.2 jsx2.3 循环map2.4 函数式组件2.5 类式组件2.6 类组件点击事件2.6.1 事件回调函数this指向2.6.2 this解决方案2.6.2.1 通过bind2.6.2.2 箭头函数&#xff08;推荐…
阅读更多...
【C++ 游戏】密室逃脱

【C++ 游戏】密室逃脱

首先来大张旗鼓的介绍一下&#xff1a; 全网之最&#xff1a; 本游戏为全网第一篇C语言的密室逃脱类剧情游戏 本游戏为全网第一篇将画面类同等性质转化为文字类的游戏 本游戏为画——文类型游戏的突破口&#xff0c;适合借鉴 哈哈好了不吹了&#xff0c;不过上面的都是真的。 …
阅读更多...
温馨网站练习运用

温馨网站练习运用

第二次与团队一起制作网页虽然不进行商用&#xff0c;但是练习一下还是好的&#x1f60a;&#x1f60a; 我主要负责后端部分&#xff0c;该项目用了SpringBoot框架、SpringSecurity的安全框架、结合MyBatis-Plus的数据库查询。如果想看看&#xff0c;网站&#xff1a;温馨网登…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站