基于ESP32S3的链接大语言模型对话模块

devtools/2024/10/20 11:09:26/

本实物模块从实物外观、模块组成、API申请及功能说明四部分来介绍这款基于ESP32S3的大语言模型对话模块。

1、实物外观

13b24c44c92dd4f3d827dddcbb619a3d.jpeg

2、模块介绍

本硬件平台主要由三个模块组成,包括MAX9814录音模块、MAX98357音频功放模块和ESP32S3模块。如下图所示。

MAX9814录音模块:

1d7ba1396d1fa2894c20fd0f1750227d.jpeg

MAX98357音频功放模块:

e298eec511c8afabe5f384b6dd1775dc.jpeg

ESP32S3模块:

bd4c187fc237e4bff851009e09735e74.jpeg

3、API申请

本硬件平台需要用户自己申请3个API,分别是语音识别API、大语言模型API和语音合成API,本硬件平台用的语音识别API是百度智能云,大语言模型API是阿里通义千问,语音合成API是讯飞平台。因此,这里介绍上述三种API的申请方式,用户仅需在代码中更改API基础信息即可完成配置。

首先是百度语音识别API的申请:

搜索百度智能云并进入官网:

38794ad6f556a995783cfece9a5c2b1a.jpeg在官网中选择产品--语音技术--短语音识别标准版:

db4f5f769e780abc1b2bf7a865d63364.jpeg点立即使用,并登录百度账号:

cf8a95f01b924ee9b583f817589de0fa.jpeg

  1. 第一次用可以使用免费尝鲜获取一部分体验额度:

cb039bac7b4bcb4658aa83887cebdb0d.jpeg创建短语音识别应用,并获取API Key、Secret Key,以及通过调试获取token:

3168e0d581433f66edabd8366bbeca8c.jpeg

67adb63d143d03c8829f23a956a74ff4.jpeg

然后是阿里通义千问API的申请:

搜索阿里云并进入官网,扫码登录:

a3353b0b2cc0e4f8ed2ad7d5b0380b33.jpeg搜索Dashscope进入灵积服务模型:

b754294af102cbb2412d6016d6a2451d.jpeg

14a30dc31c62aca49f3860c759d77bde.jpeg进入API-KEY管理,创建新的API-Key:

1c1704f6aacfa008162d04f5a07632a0.jpeg

最后是讯飞语音合成API的申请:

首先搜索讯飞语音合成APi,并进入官网:

3471ea4d851e0d0b87613f8303095ae5.jpeg第一次使用有免费额度,直接领取个人免费套餐,进入登录界面:

f3040d8298d7ee4f3a5908b8d1649450.jpeg进入官网后领取完在线语音合成额度:

6156437397ad9a44224b49bef866076b.jpeg8724000ceec33536f45a8507f6121e1c.jpeg领取完额度后进入控制台创建新应用:

8bb84402c1413289913b1b77181e80ff.jpeg创建完之后就能获取APPID、APISecret、APIKey:

3cbb2d17dc85d84aa83c834b89255331.jpeg

以上就是所有API的申请教程。

4、功能介绍

本硬件平台可以实现链接开源大语言对话模型,并与其实时对话的功能。具体操作步骤如下:

第一步是上电,此时系统会介绍一下自己,上下两个LED都不亮;

f368c6b7430e9d0e0cdcfcb8296c49ff.jpeg

第二步是按下录音按钮,上面的LED开始常亮。此时可以与系统对话,录音时间为5s,上面LED灭后,表示录音结束。

fb916c4a4db66eb82631ee3dbd9bd530.jpeg

等待2-3s之后,系统输出大语言模型反馈结果,并通过喇叭发声的方式输出,此时下面的LED会亮,输出结束之后下面的LED会灭。

60fef658dbcc0b414f4b86e3512ca585.jpeg

本文大部分内容都属于原创,如需转载,请附上本文网站,
如果需要相关的仿真图、程序代码等资料可以直接私信我,我会及时回复。
 


http://www.ppmy.cn/devtools/111295.html

相关文章

《A Few Useful Things to Know about Machine Learning》论文导读

版权声明 本文原创作者:谷哥的小弟作者博客地址:http://blog.csdn.net/lfdfhl机器学习作为人工智能领域的重要分支,近年来得到了广泛的关注和应用。Pedro Domingos的经典论文《A Few Useful Things to Know about Machine Learning》为我们提供了对机器学习深入且全面的理解…

亲测好用,ChatGPT 3.5/4.0新手使用手册~

都知道ChatGPT很强大,聊聊天、写论文、搞翻译、写代码、写文案、审合同等等,无所不能~ 那么到底怎么使用呢?其实很简单了,国内AI产品发展也很快,很多都很好用了~ 我一直在用,建议收藏下来~ 有最先进、最…

iotdbtool助力时序数据库IoTDB高效运维

iotdbtool 项目简介 iotdbtool 是一个使用 Go 语言编写的命令行工具,基于 Kubernetes 环境,提供了 IoTDB 数据的备份功能。它可以从 Kubernetes 集群中的 IoTDB Pod 中提取数据,并将其上传到阿里云 OSS 存储桶中。 iotdbtool 支持 iotDB 单…

Java-数据结构-二叉树-基础 (o゚▽゚)o

文本目录: ❄️一、树形结构: ▶ 1、概念: ▶ 2、特殊的概念: ▶ 3、树的表示形式: ❄️二、二叉树: ▶ 1、概念: ▶ 2、两种特殊的二叉树: ➷ 1)、满二叉树&#xff…

力扣322-零钱兑换(Java详细题解)

题目链接:322. 零钱兑换 - 力扣(LeetCode) 前情提要: 因为本人最近都来刷dp类的题目所以该题就默认用dp方法来做。 最近刚学完背包,所以现在的题解都是以背包问题为基础再来写的。 如果大家不懂背包问题的话&#…

C++之类

首先创建一个主函数,里面类似于汽车的设计图一样,只显示基本的框架,不涉及基本的代码和逻辑,相当于较大的积木,供我们完成拼接。前面加上双引号的自定义的头文件。 构建的框架就是 myGradeBook.setCourseName(" C…

JVM面试真题总结(七)

文章收录在网站:http://hardyfish.top/ 文章收录在网站:http://hardyfish.top/ 文章收录在网站:http://hardyfish.top/ 文章收录在网站:http://hardyfish.top/ 解释GC的引用计数算法及其局限性 引用计数算法是一种非常直观、简…

第十八节:学习统一异常处理(自学Spring boot 3.x的第五天)

这节记录下如何通过AOP方式统一处理异常拦截。 第一步: 新建一个exception包,创建一个ExcetionHandler.java(名字随意取) package cn.wcyf.wcai.exception;import cn.wcyf.wcai.common.Result; import org.springframework.web…