项目背景
随着科技发展,图书管理也在发展,越来越智能化。加入了文字识别、语音识别的图书管理系统更加节省人力,更加方便人们进行图书管理。内含的语音交互系统方便年龄较小的孩子进行找书,借书,续借,还书。
步骤1 设计思路
步骤2 准备工作
1、通过http://mindplus.cc/下载Mind+软件的最新版本,并进行安装。
2、打开软件,通过左下角的扩展模块,添加AI图像识别、语音识别、文字朗读、MQTT。
3、注册百度AI工作平台,http://ai.baidu.com。点击右上角的控制台,注册并登陆,创建应用。具体方法请参照教程地址:http://mindplus.dfrobot.com.cn/ai。
4、登录IoT网站http://iot.dfrobot.com.cn,注册账号。进入工作间。新建一个设备,在Mind+进行配置。具体方法请参照https://mc.dfrobot.com.cn/thread-276708-1-1.html
步骤3 编写程序:掌控板(实时模式)(助手)
一、环境搭建
配置百度AI与easy lot,左下角拓展中主控板选择掌控板、功能模块选择语音识别与文字朗读、网络服务界面选择MQTT与AI图像识别
二、欢迎界面
通过功能模块里的文字朗读与语音识别,进行交互,获取下一步指令。同时对话内容将会在掌控板中显示。
三、功能界面
找书、借书、续借、还书
3.1找书
通过语音识别书籍名中的关键词完成,大大提高了书籍识别的成功率,但是在书籍数量过多时,关键词会越来越复杂,防止识别出多本书。
识别书名之后会把书籍位置信息发送到掌控版上进行显示,防止小读者没有听清,并且同时利用easy lot 物联网,将要找的书名发送给ardunino,ardunino将控制led对要找的书进行亮灯操作
3.2借书
借书首先需要识别读者身份,如果是图书馆的读者,那可以允许借书,如果认证失败,则不能借书
其次,借书要识别小读者要借什么书,这里用到了文字识别,(要注意的是,摄像头一定要镜像开启!!!)但在识别过程中会出现除了书名之外的其他内容,因此,我选择的方法是部分识别,重新定义,如果说识别出的文字中有给定的关键词,那书籍名称就通过程序判断识别出来,这样识别就会更精确,但同时造成的问题是当书过多时,识别就会造成紊乱,需要增加关键词。所以这种方法只适用于图书馆书籍数量较少的时候使用,当数量多的时候,可以采用扫码识别,每一本书都有一张记录自己信息的二维码,但现在Mind+暂时不支持,所以就放弃了。
3.3续借
续借图书没有用到其他新的功能,只是语音互动方面的调整,还是人脸识别,书籍识别,最后续借成功,语音互动方面,续借只能续借一次,续借之后,小读者只能按时归还了
3.4还书
还书方面只有书籍识别这一功能,所以还书只用把书带来就行了,是不是小读者本人就不用考虑了,还书十分方便。
步骤4 编写程序:Ardunino(上传模式)(书架)
上面说到,在找书的时候会与书架进行物联网通信,将要找的书名发送给Ardunino,进而Ardunino控制相应位置的led亮灯,从而帮助小读者进行找书
步骤5 组装实物
掌控板方面只用连接电脑,进入实时模式就好了
Ardunino方面需要连接Gravity: UART OBLOQ - IoT物联网模块还有几个led灯
Gravity: UART OBLOQ - IoT物联网模块
连接方法可参考http://iot.dfrobot.com.cn/docs/
步骤6 演示视频
下面是小助手找书,借书,续借,还书四个功能的整体软件视频
这个是找书功能中与书架的互动视频,当说出书名时语音助手会告诉你书的位置,并且书架下方对应的led就会亮起,帮助读者找到图书
附件
附件打开后,实时模式是掌控板代码,上传模式是Ardunino代码,为二合一代码
评论