1. 什么是 ESP-AI?
ESP-AI为你的开发板提供全套的AI对话方案,包括但不限于 ESP32 系列开发板的 IAT(ASR)+LLM+TTS 集成方案。依赖式注入到项目,不影响现有项目。
为什么说包括但不限于ESP32开发板呢?因为即使你的另一块开发板使用的是其他开发板,你也可以用ESP32来基于本项目搭建AI服务,并且使用串口通信方式来将指令或者对话发送到你的另一块开发板。
2、ESP-AI 能做什么?
我们设想这样的一个场景,你手里有一个机器人,他可以做一些固定的动作,但是你想和它进行交流,并且让它可以理解你的一些指令。如果你要从零开始实现这套流程,那你将会从收集麦克风的音频流开始,然后进入无休止的调试...
现在有了ESP-AI你大可不必这么做了,你只需要引入ESP-AI即可,对于离线语音唤醒、语音识别、大语言模型调用、文字转语音、喇叭输出音频等流程都已经帮你实现好了,而且ESP-AI使用插件式设计框架,上述中的每一个步骤都提供了扩展方法,让你可以随意定制你的产品。
3、怎么学习 ESP-AI?
[普通玩家] 如果你完全不懂软件或硬件,但是你有一定的动手能力,想给你的设备接入 AI 对话,请直接使用 ESP-AI开放平台。直接看 ESP-AI开放平台教程 。
[开发者] 请通读 开发指南 / 快速开始 & 开发指南 / 使用教程 来入门,接下来请通读其他所有文章。
开放平台提供免费的服务,只需要在配网页面配置秘钥即可连接开放平台服务,开发者自己开发的硬件代码也可以连接开放平台。
4、ESP-AI 技术栈
在软件方面:本项目服务端代码基于 Nodejs,硬件代码基于 Arduino。服务端虽然基于Nodejs进行开发,但是也提供其他编程语言编写插件,详情见插件开发章节。
在硬件方面:本项目主要基于ESP系列的开发板进行运行。
5、特性
✔️ 生态开放、代码开源。
✔️ 可定制的离线语音唤醒词,且内置多种唤醒方式(内置、语音、按钮、串口、天问asrpro)。
✔️ 完整对话链接 IAT(ASR) ➡️ LLM/RAG ➡️ TTS。
✔️ 支持会话打断。
✔️ TTS/LLM 快速响应算法,在考虑服务费用的基础上尽力以最快速度响应用户。
✔️ 用户指令智能识别(家电控制、音频播放),可根据上下文动态响应指令。且支持自定义逻辑/字符匹配等方式来识别用户意图。
✔️ 配置化。
✔️ 插件化,可编写插件接入任何 LLM/TTS/IAT。
✔️ C/S 架构,也就是说你可以对每个设备进行管理,包括为每一个客户端(硬件)独立分配一套配置。
✔️ 完整的鉴权规则 。
✔️ 全链流式数据交互。
✔️ 开发者平台提供:免费服务、可视化配置 ... 。
✔️ 高度自定义(配网页面以及各种细节都是完全提供出来以供更改的)
✔️ 轻松应付大并发场景(需配合Nginx做负载均衡) 。
一、搭建 ESP-AI 开发环境
相关步骤
1、拿到一个ESP-AI开发板。

3、创建一个超体,什么配置都不需要改。

4、配网步骤
(1)到ESP-AI开放平台 注册并获取 api_key
(2)给设备烧录固件



(3)打开手机,连接 ESP-AI 热点

(4)打开配网页面(192.168.4.1)
填写wifi、api_key、唤醒方式后点击保存

(5)配网成功

实验场景图

超体使用额度卡的叫灵威白虎,每天的免费额度是200次
昨天大概试了试,点了一首歌差不多就用完了


实验记录视频(2分钟20秒)
【【花雕动手做】ESP-AI 让你轻松接入系列AI人工智能的开发服务】
打开日志查看器
当前设备版本:1.13.8

检测到 ESP32-S3 开发板

尝试 wifi 连接

wifi 连接成功

定位完毕:中国/福建省/福州市
ESP-AI 服务连接成功

评论