所有分类
主题 主题
平台 平台
我的工作台
userHead
注册时间 [[userInfo.create_time]]
创造力 [[userInfo.creativity]]
[[userInfo.remark]]
[[d.project_title]]
articleThumb
[[d.material_name]]
timelineThumb
进入工作台
折叠
所有分类 我的工作台
展开

【AI挑战赛】口语趣学机

ZZ小海鸥 ZZ小海鸥 2020-04-03 22:39:01
projectImage

创作思路:

      大朋友,你的普通话标准吗?小朋友,你学习词语难吗?家长们,你能教自己的孩子说好普通话吗?

      我觉得对我自己而言,就好难,我女儿,红色——湖色,ong——o、u,这个梗她跳不出去。

      深深地无奈中,我想,自己对着她念念念、教半天,她还是不会,而且越来越没兴趣。

      当有一个可爱的玩伴能教她学习时,她反而很开心地跟着学,虽然这个玩伴还不太灵敏。

projectImage

此处欣赏下小朋友学习“书本”的小动画(上传了gif发现好像看不见,又传了视频,密码aiqxky),一直念“书本、书本”,可惜我们的趣学机就是觉得小朋友念得不好。额~~~~

projectImage
步骤1 步骤1
二哈摄像头学习过程

二哈版本V0.4.9Class,增加“物体分类”功能,可以学习不同物体的多张照片,然后内部使用机器学习算法进行训练,完成之后,当摄像头画面再次出现学习过的物体时可以识别出来并显示他的ID号,学习的越多就识别越精准。详细可以见官方贴子https://mc.dfrobot.com.cn/thread-304439-1-1.html。

开启物体分类中的学习多个功能,开始学习,每次学完,再次按下学习键可以继续学习下一个。为排除干扰,一定要学习摄像头所看到的环境。

(上传了gif发现好像看不见,又传了视频,密码aiqxky)

projectImage
材料清单 材料清单
1x
Gravity: 二哈识图(HuskyLens)AI 视觉传感器
1x
Speech Synthesizer Bee语音合成模块
1x
WiFi Bee IO扩展板
1x
掌控板3个(2.0一个)
1x
百灵鸽扩展板3个
1x
积木
projectImage
projectImage
步骤2 步骤2
图片处理

网上搜图,然后使用P图,制作一只碗里的猫与三个手势。

projectImage
步骤3 步骤3
程序编程——环境设置

当识别到ID8(小狗学习的ID是8),开启口语学习模式。

由于掌控板语音识别需要连接WiFi,而后面躲猫猫环节使用UDP通信会更快,所以事先可以直接在手机开热点建立无线,然后设置好UDP服务端。

projectImage

udp只要每一个掌控板在同一个网络中即可,而服务端开如果开WiFi热点也是可以的。下面这两种任选一种。

projectImage

而在本作品中由于需要连接无线网络进行语音识别,所以趣学口语机的程序初始是下图所示。

projectImage
步骤4 步骤4
程序编写——口语学习与识别

二哈识别到小朋友来了后,开启趣学口语功能,在编程中程序过长,可以用函数简化。每次学习2个词语(也可以增多,将跳出循环的条件学会=3,3数值修改即可)

温馨提醒:语音合成模块播音后,需要加上等待时间(说话时长)。

projectImage

使用列表加入词语,词语库中的词语还能增多哦,非常灵活。(如果是幼儿学习,其实更好地是学习aoe等声母韵母,可惜这种音的语音识别掌控板还不能实现,所以这里使用了词语学习,对于小学生来说,我们可以将每次学会的一些词语添加在这里,还能做复习。)

跟读五次是因为识别过程会有点长,而且如果只读一次词语,可以识别不出来,为增加识别成功率、以及学习效果,使用跟读五次(六次、七次也都是可以哦)

projectImage

播报完学习要求后,进入播报词语与语音识别阶段,由红绿灯指示识别前后的不同状态,每一轮,学会一个词,就会学习新的一个词语,但是如果没有跟读正确(识别正确),那么就会再次学习这个词语。

projectImage
步骤5 步骤5
程序编写——躲猫猫游戏

这一环节,测试了接近一周时间,需要尽量保证三个掌控板能够同步,当一个小猫藏起来后,小猫0.5秒后再次出现在另一个碗里,这让小朋友觉得好玩又可以锻炼注意力哦,小朋友一定要集中注意力,找到小猫最后藏哪里了哦。游戏画面结束时,游戏选择环节需要使用手势123指出小猫在哪个碗里,找对表扬,找错鼓励。(其实这里还想来个点头开始玩游戏,不过好像那样的动作对二哈太难,我们的二哈还是几个月的小婴儿呢!)

而游戏环节玩好后,当小朋友再次来到口语趣学机的面前,又可以进行新的一轮的学习与互动游戏。

让三个掌控板通信,能够尽量同步,这里采用一应一答的方式,中间b客户端(主程序)发送消息问a(左边掌控板),a回应后,中间b发送消息问c(右边掌控板),c回应后,才开始相应环节。

projectImage

小猫出现的地方,我的想法是让小猫出现一次后,下一次要在另一个碗里出现。

这一环节的测试,是躲猫猫的关键,测试太久。如果不需要每次都是下一个碗,还是比较容易的,但是那样时效果中发现111133332222,这种出现次数很多,那么这种就太容易猜了,用下面的程序,发现在原则上,每一次的前后一个猫的数值都是不相同了,所以原则上已经保证了小猫出现在这个位置后,下一次绘制另一个位置。

不过在实际效果中,还是发现了同一个碗小猫出现两次,已经排除了不是程序问题后,那么这种情况是网络延迟了,这个客观因素在这里不会有太大的影响,没有太大的关系。

projectImage
projectImage
projectImage

效果很美

projectImage
projectImage
projectImage

最后躲猫猫画面结束,出现手势(手势出现的程序在上面哦),进行判断,借用二哈的物体分类功能实现学习好三个手势,判断是否选对。设置结果变量来实现完成每一个功能后跳出循环,执行下一步。

projectImage
projectImage
projectImage
projectImage
步骤6 步骤6
左边掌控板的程序编写

左边掌控板与右边掌控板程序类似,只修改了发送与收到的信息,这里需要经常与中间掌控板进行互动测试。

projectImage
步骤7 步骤7
右边掌控板的程序编写

左边掌控板与右边掌控板程序类似,只修改了发送与收到的信息,这里需要经常与中间掌控板进行互动测试。

projectImage
步骤8 步骤8
作品欣赏

密码:aiqxky

附件 附件
Makelog作者原创文章,未经授权禁止转载。
0
0
评论
[[c.user_name]] [[c.create_time]]
[[c.parent_comment.count]]
|
[[c.comment_content]]