回到首页 返回首页
回到顶部 回到顶部
返回上一页 返回上一页

【花雕学编程】Arduino动手做(248)---ESP-AI 开发板之使用开发平台搭建开发环境 简单

头像 驴友花雕 2025.02.14 19 0

00 (1).jpg
00 (2).jpg

1. 什么是 ESP-AI?
ESP-AI为你的开发板提供全套的AI对话方案,包括但不限于 ESP32 系列开发板的 IAT(ASR)+LLM+TTS 集成方案。依赖式注入到项目,不影响现有项目。

为什么说包括但不限于ESP32开发板呢?因为即使你的另一块开发板使用的是其他开发板,你也可以用ESP32来基于本项目搭建AI服务,并且使用串口通信方式来将指令或者对话发送到你的另一块开发板。

2、ESP-AI 能做什么?
我们设想这样的一个场景,你手里有一个机器人,他可以做一些固定的动作,但是你想和它进行交流,并且让它可以理解你的一些指令。如果你要从零开始实现这套流程,那你将会从收集麦克风的音频流开始,然后进入无休止的调试...

现在有了ESP-AI你大可不必这么做了,你只需要引入ESP-AI即可,对于离线语音唤醒、语音识别、大语言模型调用、文字转语音、喇叭输出音频等流程都已经帮你实现好了,而且ESP-AI使用插件式设计框架,上述中的每一个步骤都提供了扩展方法,让你可以随意定制你的产品。

3、怎么学习 ESP-AI?
[普通玩家] 如果你完全不懂软件或硬件,但是你有一定的动手能力,想给你的设备接入 AI 对话,请直接使用 ESP-AI开放平台。直接看 ESP-AI开放平台教程 。

[开发者] 请通读 开发指南 / 快速开始 & 开发指南 / 使用教程 来入门,接下来请通读其他所有文章。

开放平台提供免费的服务,只需要在配网页面配置秘钥即可连接开放平台服务,开发者自己开发的硬件代码也可以连接开放平台。

4、ESP-AI 技术栈
在软件方面:本项目服务端代码基于 Nodejs,硬件代码基于 Arduino。服务端虽然基于Nodejs进行开发,但是也提供其他编程语言编写插件,详情见插件开发章节。

在硬件方面:本项目主要基于ESP系列的开发板进行运行。

5、特性
✔️ 生态开放、代码开源。
✔️ 可定制的离线语音唤醒词,且内置多种唤醒方式(内置、语音、按钮、串口、天问asrpro)。
✔️ 完整对话链接 IAT(ASR) ➡️ LLM/RAG ➡️ TTS。
✔️ 支持会话打断。
✔️ TTS/LLM 快速响应算法,在考虑服务费用的基础上尽力以最快速度响应用户。
✔️ 用户指令智能识别(家电控制、音频播放),可根据上下文动态响应指令。且支持自定义逻辑/字符匹配等方式来识别用户意图。
✔️ 配置化。
✔️ 插件化,可编写插件接入任何 LLM/TTS/IAT。
✔️ C/S 架构,也就是说你可以对每个设备进行管理,包括为每一个客户端(硬件)独立分配一套配置。
✔️ 完整的鉴权规则 。
✔️ 全链流式数据交互。
✔️ 开发者平台提供:免费服务、可视化配置 ... 。
✔️ 高度自定义(配网页面以及各种细节都是完全提供出来以供更改的)
✔️ 轻松应付大并发场景(需配合Nginx做负载均衡) 。

 

一、搭建 ESP-AI 开发环境

相关步骤

1、拿到一个ESP-AI开发板。

 

07-.jpg

2、打开 开放平台(README | ESP-AI) ,并登录上去。首次登录需要使用手机号码登录。

https://espai.fun/

 

12.jpg

3、创建一个超体,什么配置都不需要改。

 

13.jpg

4、配网步骤
(1)到ESP-AI开放平台 注册并获取 api_key
(2)给设备烧录固件

 

14.jpg
15.jpg
16.jpg

(3)打开手机,连接 ESP-AI 热点

 

17 (2).jpg

17 (1).jpg

(4)打开配网页面(192.168.4.1)
填写wifi、api_key、唤醒方式后点击保存

 

18 (2).jpg

18 (1).jpg

(5)配网成功

 

18 (3).jpg

实验场景图

 

19.jpg

超体使用额度卡的叫灵威白虎,每天的免费额度是200次
昨天大概试了试,点了一首歌差不多就用完了

 

20.jpg
21.jpg

实验记录视频(2分钟20秒)

 

【【花雕动手做】ESP-AI 让你轻松接入系列AI人工智能的开发服务】 

 

https://www.bilibili.com/video/BV1opAAevEEv/?share_source=copy_web&vd_source=371a292a55e5ca9be994cbb4a86cc987

 

 

打开日志查看器

 

23.jpg
 

当前设备版本:1.13.8

 

24.jpg

检测到 ESP32-S3 开发板

 

25.jpg

尝试 wifi 连接

 

26.jpg

wifi 连接成功

 

27.jpg

定位完毕:中国/福建省/福州市
ESP-AI 服务连接成功

 

28.jpg

评论

user-avatar
icon 他的勋章
    展开更多