【二哈识图2 模型应用】基于表情识别的博物馆情绪镜 简单

1.项目介绍

逛博物馆时，总有些单调又疏离的时刻：面对静静陈列的文物，想有更有趣的互动，却只能被动看说明，缺少参与感。本项目将打造一款博物馆展品情绪镜，让文物展品像一面镜子映射你的情绪，基于你的情绪进行讲解和回应，帮你打破这份距离。例如：露出开心的笑容，情绪镜会立刻传来埃及雕像的趣味回应，分享它的制作故事与古人的生活场景，不用复杂操作，轻松与文物“共情”。

从表情图像采集、情绪识别、大语言模型提问，回答到结果输出，这样一套完整流程，清晰展现了人工智能技术在文化场景中的轻松落地实践，让表情识别技术变得可感知、可互动，让博物馆参观更有温度、更有乐趣！

2. 项目实现原理

当游客在博物馆参观时，站到情绪镜前，二哈识图2通过摄像头捕捉游客的面部表情并完成情绪模型推理，行空板K10通过板载摄像头捕捉前方文物图像；随后，二哈识图2将情绪识别结果传输给行空板K10，行空板K10整合“情绪结果+文物照片”，与预设提示词组合后发送给大语言模型提问。例如识别到埃及法老雕像且游客表情为“开心”，则提问“我对埃及法老雕像表现出了开心的表情，请结合文物历史文化，用生动通俗的语言与我互动，回答不超过100字”，大语言模型返回结果后，行空板K10将其显示在屏幕上。

3.软硬件准备

3.1软硬件器材清单

注意：Mind +编程软件版本为v2.0，HuskyLens的版本为二哈识图2。

3.2硬件连接

请按照下方连接图，将电脑、行空板K10、二哈识图2进行连接。

3.3软件平台准备

官网下载安装Mind+V 2.0及以上版本安装包，安装完成后，双击打开。

4.项目制作

4.1二哈识图2操作

首先，由于出厂语言默认为英文，我们可以用触屏的方式左右滑动，找到“System Settings”（系统设置）图标，将系统语言设置成自己想要的语言（支持英文，中文简体和中文繁体）。

点击进入“System Settings”，下滑至底部找到“Language”选项。点击“Language”，进入设置语言界面。

点击自己想要的语言选项。之后，系统会切换语言并自动返回至菜单页面，如下图是切换为中文简体的示意图。

其次，选择二哈识图2的通信方式。

二哈识图2支持UART（串口）和I2C两种通信方式，本教程中使用I2C通信模式。

点击“系统设置”->协议种类->选择I2C通讯模式后返回主菜单界面。

二哈识图2的更多详细使用方法见下面的网址：

https://wiki.dfrobot.com.cn/_SKU_SEN0638_Gravity_HUSKYLENS_2_AI_Camera_Vision_Sensor

本项目是基于已经训练好的表情识别模型，无需进行增量训练。

4.2 创建大语言模型使用条件

账号登录-火山方舟管理控制台：

https://console.volcengine.com/ark/region:ark+cn-b

根据价格、免费额度和功能，自由选择要开通的模型，直到弹出“提交成功”。

注意：如果要识别图片内容，必须要开通对应有多模态功能的大模型。

进入API Key管理，选择创建API Key，完成创建。

在此处可以获取“API Key”，代码实现过程需要填入代码的相应位置。

创建接入点。

填入信息，选择一个已经开通的模型。

确认接入。

在此处可以获取“接入点ID”，代码实现过程需要填入代码的相应位置。

注意：请妥善保管API密钥与接入点ID，切勿向他人泄露或公开传播，防止因关键信息泄露引发安全风险。

4.3代码实现

打开编程软件Mind+，选择“程序设计”中的“上传模式”。

首先，我们需要在Mind+中添加相应的扩展。

进入“扩展”页面，在主控扩展中搜索“行空板K10”。

点击扩展包上的“下载”按钮，等待下载完成。

点击该扩展包完成加载。

按照加载“行空板K10”的步骤在模块扩展中加载“Huskylens2 AI摄像头”和“Wi-Fi（连接网络以调用大语言模型）”和“豆包大语言模型”用户库。

所有用户库加载完毕后，点击“返回”按钮返回编程界面。

在连接设备中点击“连接”。

连接成功界面如下，点击“×”返回。

设备连接成功后，编写程序如下：

核心代码解析如下：

附件中有该项目的完整程序文件，展开项目，点击“打开项目”.

选择附件中的项目，并点击“打开”。

点击“上传到设备”运行程序。

实现效果如下：

5.附件清单

程序链接： https://pan.baidu.com/s/1zuLkPuWVEQ-Kz5rPzsxI4g?pwd=5juu