经常教导,哈士奇不仅学会读古诗词,而且学会识别垃圾分类,“二哈”就会越来越聪明,今天二哈学会手势控制播放音乐了!分享有意思小作品——【Mind+】二哈手势音乐盒子。
一、思路:
1.哈士奇摄像头识别到笔指向不同按键位置,掌控板控制音乐不同状态;
2.当识别开始按键位置,开始播放音乐;
3.当识别到 停止图标位置,停止播放音乐;
4.当识别到快进图标位置,播放下一曲音乐;
5. 当识别到后退图标位置,播放上一曲音乐.。
二、搭建环境
1、硬件: 掌控板 UART MP3语音模块
micro:bit掌控I/O扩展板 无源音箱小喇叭 HuskyLens
2、软件:Mind+_Win_V1.6.2_RC2.0
3、接线要求:
1哈士奇接扩展报IIC口 红线接+,黑线接- ,蓝线接C,绿线接D 2语音模块接扩展报串口 红线接+,黑线接- ,蓝线接14,绿线接13,
三、哈士奇的追踪说明
1. 通过学习哈士奇相关参考资料,我们知道哈士奇屏幕的分辨率是 320×240,屏幕左上角的顶点为屏幕的坐标原点(0, 0),水平向右方向为 X 轴正方向,竖直向下方向为 Y 轴正方向,因此屏幕右下角的坐标为(320, 240)。为了便于理解,我们将下图中哈士奇屏幕上的信息剥离出来,抽象成下图的几何数学模型, 这有助于我们了解彩色方框的坐标值。
2.下图黄色区域为哈士奇摄像头“看到”笔所在位置提供一个依据。
当笔触动在屏幕区域(80.20)--(200.20)和(80, 70)--(200, 70)之间,哈士奇发现笔在摄像头屏幕的上方;
当笔触动在屏幕区域(20.80)--(70.80)和(20.140)--( 70.140)之间,哈士奇发现笔在摄像头屏幕的右方;
当笔触动在屏幕区域(80.150)--(200.150)和(80, 220)--(200, 220)之间,哈士奇发现笔在摄像头屏幕的下方;
当笔触动在屏幕区域(220.80)--(290.80)和(220.140)--( 290.140)之间,哈士奇发现笔在摄像头屏幕的左方;
说明:
1.在哈士奇追踪模式下,我们把屏幕划分四个区域,定位笔在屏幕区域的位置 ;
2.当哈士奇识别学过的物体时,在屏幕上会有蓝色方框将其框选,屏幕方框随笔势位置而改变;
3.当哈士奇发现笔出现上图黄色区域时,方向信息传递给掌控板,发出相关指令,实现物体跟踪的目的
四、Mind+编程
步骤1 编程环境配置
1、通过数据线连接掌控板和计算机,用管理员模式打开Mind+1.6.2,将Mind+切换为“上传模式”下,连接设备,选择串口com28;
2、扩展模块中,添加主控板:掌控板;执行器:串口MP3模块,传感器:HuskyLens AI摄像头
步骤2 哈士奇识别坐标位置
上电后,将二哈切换到物体识别模式,将笔放在哈士奇屏幕前,一个黄色的矩形框瞄准,按下学习按键 ,显示黄色方框正在学习,松开按钮完成学习,显示蓝色方框和物体ID1。(如果效果不理想,再次按下学习按键,进入遗忘信息界面,之前学习的内容全部清空,重新识别。
2.通过mind+程序,检测串口输出识别方框中心的X,Y坐标,对屏幕坐标认识。
说明:哈士奇跟踪物体效果很满意时,长按“功能按键”,进入物体识别功能的二级菜单参数设置界面,向右拨动“功能按键”关闭“学习多个”的开关,再短按“功能按键”,保存并返回物体跟踪界面,如果不关,受到光线或其他物体的干扰 ,影响物体跟踪的效果。
步骤3 编程
五、知识拓展
1、二哈识图(HuskyLens)
二哈识图(HuskyLens)是一款简单易用的人工智能视觉传感器,内置6种功能:人脸识别、物体追踪、物体识别、巡线追踪、颜色识别、标签(二维码)识别。仅需一个按键即可完成AI训练,摆脱繁琐的训练和复杂的视觉算法,让你更加专注于项目的构思和实现。二哈识图(HuskyLens)板载UART / I2C接口,可以连接到Arduino、Raspberry Pi、LattePanda、micro:bit等主流控制器,实现硬件无缝对接,直接输出识别结果给控制器,无需折腾复杂的算法,就能制作非常有创意的项目。
2、UART MP3语音模块
MP3语音模块内置8 MB存储空间,无需外接SD卡,若一个音效以秒计算,8M的内存可以存储两百多个音效供您选用。存储方式和使用U盘一样简单,可随时更新模块内的音效。使用上非常的简单,沿用DFRobot-Gravity接口,减少了接线的烦恼;支持MP3、WAV音频格式,可做指定播放,循环播放,30级音量调节等。 适用于各种需要有音效或者语音的项目,
评论