回到首页 返回首页
回到顶部 回到顶部
返回上一页 返回上一页

【AI挑战赛】口语趣学机 简单

头像 ZZ小海鸥 2020.04.03 659 0
project-image

创作思路:

大朋友,你的普通话标准吗?小朋友,你学习词语难吗?家长们,你能教自己的孩子说好普通话吗?

我觉得对我自己而言,就好难,我女儿,红色——湖色,ong——o、u,这个梗她跳不出去。

深深地无奈中,我想,自己对着她念念念、教半天,她还是不会,而且越来越没兴趣。

当有一个可爱的玩伴能教她学习时,她反而很开心地跟着学,虽然这个玩伴还不太灵敏。

project-image

此处欣赏下小朋友学习“书本”的小动画(上传了gif发现好像看不见,又传了视频,密码aiqxky),一直念“书本、书本”,可惜我们的趣学机就是觉得小朋友念得不好。额~~~~

project-image

步骤1 二哈摄像头学习过程

二哈版本V0.4.9Class,增加“物体分类”功能,可以学习不同物体的多张照片,然后内部使用机器学习算法进行训练,完成之后,当摄像头画面再次出现学习过的物体时可以识别出来并显示他的ID号,学习的越多就识别越精准。详细可以见官方贴子https://mc.dfrobot.com.cn/thread-304439-1-1.html。

开启物体分类中的学习多个功能,开始学习,每次学完,再次按下学习键可以继续学习下一个。为排除干扰,一定要学习摄像头所看到的环境。

(上传了gif发现好像看不见,又传了视频,密码aiqxky)

project-image

材料清单

  • Gravity: 二哈识图(HuskyLens)AI 视觉传感器 X1 链接
  • Speech Synthesizer Bee语音合成模块 X1 链接
  • WiFi Bee IO扩展板 X1 链接
  • 掌控板3个(2.0一个) X1
  • 百灵鸽扩展板3个 X1
  • 积木 X1
project-image
project-image

步骤2 图片处理

网上搜图,然后使用P图,制作一只碗里的猫与三个手势。

project-image

步骤3 程序编程——环境设置

当识别到ID8(小狗学习的ID是8),开启口语学习模式。

由于掌控板语音识别需要连接WiFi,而后面躲猫猫环节使用UDP通信会更快,所以事先可以直接在手机开热点建立无线,然后设置好UDP服务端。

project-image

udp只要每一个掌控板在同一个网络中即可,而服务端开如果开WiFi热点也是可以的。下面这两种任选一种。

project-image

而在本作品中由于需要连接无线网络进行语音识别,所以趣学口语机的程序初始是下图所示。

project-image

步骤4 程序编写——口语学习与识别

二哈识别到小朋友来了后,开启趣学口语功能,在编程中程序过长,可以用函数简化。每次学习2个词语(也可以增多,将跳出循环的条件学会=3,3数值修改即可)

温馨提醒:语音合成模块播音后,需要加上等待时间(说话时长)。

project-image

使用列表加入词语,词语库中的词语还能增多哦,非常灵活。(如果是幼儿学习,其实更好地是学习aoe等声母韵母,可惜这种音的语音识别掌控板还不能实现,所以这里使用了词语学习,对于小学生来说,我们可以将每次学会的一些词语添加在这里,还能做复习。)

跟读五次是因为识别过程会有点长,而且如果只读一次词语,可以识别不出来,为增加识别成功率、以及学习效果,使用跟读五次(六次、七次也都是可以哦)

project-image

播报完学习要求后,进入播报词语与语音识别阶段,由红绿灯指示识别前后的不同状态,每一轮,学会一个词,就会学习新的一个词语,但是如果没有跟读正确(识别正确),那么就会再次学习这个词语。

project-image

步骤5 程序编写——躲猫猫游戏

这一环节,测试了接近一周时间,需要尽量保证三个掌控板能够同步,当一个小猫藏起来后,小猫0.5秒后再次出现在另一个碗里,这让小朋友觉得好玩又可以锻炼注意力哦,小朋友一定要集中注意力,找到小猫最后藏哪里了哦。游戏画面结束时,游戏选择环节需要使用手势123指出小猫在哪个碗里,找对表扬,找错鼓励。(其实这里还想来个点头开始玩游戏,不过好像那样的动作对二哈太难,我们的二哈还是几个月的小婴儿呢!)

而游戏环节玩好后,当小朋友再次来到口语趣学机的面前,又可以进行新的一轮的学习与互动游戏。

让三个掌控板通信,能够尽量同步,这里采用一应一答的方式,中间b客户端(主程序)发送消息问a(左边掌控板),a回应后,中间b发送消息问c(右边掌控板),c回应后,才开始相应环节。

project-image

小猫出现的地方,我的想法是让小猫出现一次后,下一次要在另一个碗里出现。

这一环节的测试,是躲猫猫的关键,测试太久。如果不需要每次都是下一个碗,还是比较容易的,但是那样时效果中发现111133332222,这种出现次数很多,那么这种就太容易猜了,用下面的程序,发现在原则上,每一次的前后一个猫的数值都是不相同了,所以原则上已经保证了小猫出现在这个位置后,下一次绘制另一个位置。

不过在实际效果中,还是发现了同一个碗小猫出现两次,已经排除了不是程序问题后,那么这种情况是网络延迟了,这个客观因素在这里不会有太大的影响,没有太大的关系。

project-image
project-image
project-image

效果很美

project-image
project-image
project-image

最后躲猫猫画面结束,出现手势(手势出现的程序在上面哦),进行判断,借用二哈的物体分类功能实现学习好三个手势,判断是否选对。设置结果变量来实现完成每一个功能后跳出循环,执行下一步。

project-image
project-image
project-image
project-image

步骤6 左边掌控板的程序编写

左边掌控板与右边掌控板程序类似,只修改了发送与收到的信息,这里需要经常与中间掌控板进行互动测试。

project-image

步骤7 右边掌控板的程序编写

左边掌控板与右边掌控板程序类似,只修改了发送与收到的信息,这里需要经常与中间掌控板进行互动测试。

project-image

步骤8 作品欣赏

密码:aiqxky

评论

user-avatar