【二哈识图2 系列教程】基于姿态识别的乐器变奏装置 简单

1. 项目简介

1.1 项目设计

本项目基于二哈识图2与行空板K10，开发了一套“乐器变奏装置”。系统以经典乐曲《铃儿响叮当》为素材，预先分离其中三种乐器的演奏音轨，通过实时识别使用者模仿的乐器演奏姿势（如小提琴、长笛、吉他），同步播放对应乐器的演奏片段，实现姿势与声音的即时联动。例如，当系统识别出小提琴演奏姿势时，便会自动播放《铃儿响叮当》中小提琴声部的旋律，让使用者的动作与熟悉的乐曲产生直观而生动的共鸣。

系统旨在将使用者的乐器认知转化为可参与的互动体验，借助即时听觉反馈，将“姿势模仿”提升为“模拟演奏”。这种游戏化的交互设计，促使用户从被动观看转变为主动参与，在直观、轻松的操作中自然激发音乐兴趣与探索欲。

1.2 演示视频

2. 项目实现原理

核心逻辑如下:

二哈识图2捕捉并识别用户的乐器演奏姿态，并将识别结果传输给行空板K10 。行空板K10根据识别出的姿态，实时在屏幕上切换对应的乐器画面与标题，并播放该乐器的演奏音频。

3. 软硬件准备

3.1 软硬件器材清单

3.2 硬件连接

在TF卡存储程序所需的素材（可从附件复制），包括乐器演奏的图片和音频。注意直接拷在TF卡的根目录下，不要放进任何文件夹。

存储成功后，按照下方连接图，将电脑、二哈识图2、行空板K10和TF卡进行连接。

3.3 软件平台准备

在官网https://mindplus.cc/下载安装Mind+2.0及以上版本安装包，安装完成后，双击打开。

4. 项目制作

4.1 二哈识图2操作

首先，由于出厂语言默认为英文，我们可以使用触屏的方式左右滑动，找到“System Settings”（系统设置）图标，将系统语言设置成自己想要的语言（支持英文，中文简体和中文繁体）。

点击进入“System Settings”，下滑至底部找到“Language”选项。点击“Language”，进入设置语言界面。

点击自己想要的语言选项。之后，系统会切换语言并自动返回至菜单页面，如下图是切换为中文简体的示意图。

其次，选择二哈识图2的通信方式。

二哈识图2支持UART（串口）和I2C两种通信方式，本教程中使用I2C通信模式。

左右滑动，找到“姿态识别”功能。

将二哈识图2对着有人体的画面，检测到人体时，屏幕上会用白色方框，框出画面中的所有人体，并用圆点标记出人体上的17个关键点。

对准要学习的某个人体姿势，调整二哈识图2“看”的角度，使屏幕中间的“十”字位于白色框内，然后按下二哈识图2右上角A键，学习该姿态。

学习完成后，如识别到已学习的姿态，屏幕将以彩色方框框出该姿态，并在上方显示“name: IDx 90%”，例如“姿势:ID1 85%”，其中name默认为“姿势”（设置名字请看“参数设置”）；"ID1"即学习的第一个姿势；“85%”是指置信度，表示在姿态识别功能下,模型认为识别到的目标姿势属于某个已学习姿势的可能性。"ID1 85%"即模型认为这个姿势有85%的可能性是ID1姿势。学习更多姿势，可依此类推。

二哈识图2的更多详细使用方法见下面的网址：

https://wiki.dfrobot.com.cn/_SKU_SEN0638_Gravity_HUSKYLENS_2_AI_Camera_Vision_Sensor

4.2 代码实现

打开Mind+2.0版本，选择“程序设计”中的“上传模式”。

首先，我们需要在Mind+中添加相应的扩展，包括行空板K10和二哈识图2 AI摄像头。

首先进入“扩展”页面，在“主控扩展”中搜索“行空板K10”，并选择最高版本的扩展后再下载。

下载后需再次点击，直到右上角出现“移除”才表示成功加载进程序。

接着在“模块扩展”中搜索“二哈识图2”，并选择最高版本的扩展后再下载。

下载成功后，需再次点击将该扩展包加载进程序（出现“移除”二字表示加载成功）。

加载完毕点击“返回”回到编程界面，点击“连接设备”，连接行空板K10。

下图表示行空板K10已成功连接。

连接成功后，开始编写代码，完整代码如下：

代码解析如下：

附件中有完整程序文件，展开项目，点击“打开项目”。

选择附件中的项目，并打开。

点击此处，上传到设备运行程序。

实现效果如下：

5. 附件清单

本教程的附件可通过此链接下载：https://pan.baidu.com/s/1NQ2wc77bf3vUoQU5fNnW9g?pwd=8s2i