所有分类
主题 主题
平台 平台
我的工作台
userHead
注册时间 [[userInfo.create_time]]
创造力 [[userInfo.creativity]]
[[userInfo.remark]]
[[d.project_title]]
articleThumb
[[d.material_name]]
timelineThumb
进入工作台
折叠
所有分类 我的工作台
展开

校园情绪卫士------一种具备人工智能的、可移动的学生情绪舒缓设备

阿钟 阿钟 2021-05-31 13:08:10

关键字:  Micro:bit, Doyour:bit, 可持续发展目标,良好的健康与福祉,中小学生情绪障碍,语音识别,人脸识别

1、简介

“校园情绪卫士” , 是为了缓解中小学生的情绪问题,而设计发明的一款具有语音和表情识别功能的Micro:bit产品。 该产品基于语音和视频识别模块,可以聆听学生的倾诉语言,识别学生的表情,并反馈给学生有趣的故事,从而缓解学生的焦虑、抑郁等情绪问题。

projectImage

2、为什么做“校园情绪卫士”

我们身边就有不少同学们无法对自己不好的情绪进行有效疏导和缓解。

上个月,隔壁班有一名女同学因为和同学吵架被老师批评,几天后她心里还是过不去这个坎,多次偷偷用铅笔扎自己的胳膊,而且还出血了。

老师发现后,让她去学校的心理卫生室做一些心理方面的疏导,但她觉得很丢人不想去。同时也能猜测到,她没有告诉她的家长,没有跟父母好好沟通、争取心理帮助。

这个事件只是一个小小的例子,中小学生还有更多其他的心理压力问题,甚至是焦虑抑郁问题。

我们在网络上查找了一些数据,小学生中13.9%有抑郁,35.4%有焦虑症状,但是这么普遍的情绪问题并没有得到社会的足够重视。

projectImage

初中、高中的毕业班的学生情绪障碍尤为突出,其中轻度焦虑的36.7%,重度焦虑的有16.59%。

projectImage

情绪问题严重影响中小学生的身心健康,甚至生命。即使学校有心理辅导老师,很多同学也不愿意去和老师沟通,毕竟从一个学生的角度看,和老师沟通总会存在一些压力。

因此,我们设计制作一个可以缓解中小学生情绪问题的“校园情绪卫士”, 在学生想找人倾诉的时候,可以和“情绪卫士”进行聊天, 以此来解决他们的情绪障碍。

3、项目分析和设计

我们采访了一些同学和老师,从采访中发现广交朋友的小朋友很少有情绪问题,因为他们可以找朋友倾诉和聊天。有了倾诉的对象,将内心的苦闷和烦恼说出来,心里就会舒服很多,情绪的问题也会大大地减轻。

有重度情绪问题的同学,一般很少有朋友可以倾诉,大多会通过其他的陪伴来转移自己的不开心,比如养一只小狗或者向玩偶进行倾诉。 

上面的现象启发了我们,做了一个能在校园中到处移动,能聆听小朋友心声并予以正能量反馈的设备产品,希望它能成为同学们心中的“大白”(来自《超能特工队》)。

倾诉是解决情绪问题的良药

projectImage

围绕“识别 --> 少量的反馈”,这个核心的功能,我们来设计“校园情绪卫士”。

1)识别(语音和表情)-->反馈

采用Microbit + AI视频模块+语音识别模块 + 语音合成模块的集成。可以完成对语音输入的识别,同时根据不同的识别结果,输出一些简单的行为动作或者讲不同的故事。

2)位置的可移动和有反馈的动作,会加强互动性。

Microbit + 电机控制板,可以完成产品的动作控制,例如可以行走、前进、后退、拐弯等, 还可以配合舵机完成一些构件的摆动。

3)两个模块的集成

利用Microbit的无线模块,将识别的结果转换成相应的指令代码,并发送给控制单元模块,调用相关的模块运行。

步骤1 步骤1
产品的研究和设计

“校园情绪卫士” 从中小学生的情绪问题入手,利用智能语音、智能视频和无线组网控制的技术设计了一个类似小动物造型的产品。 该产品由两个重要部分组成:

1、“头部” –  具备视频感知模块、语音感知模块、语音合成模块 和中央指令处理模块组成。能够通过感知模块倾听语音指令、视频识别;通过中央控制模块进行感知结果的分析,并通过无线功能,将相关的分析结果发送另一个microbit进行移动或者互动模块的调用。

2、“身体部分” –  一个micro:bit加上电机控制板组成,主要用来控制“校园情绪卫士”前后左右移动,以及头部和尾部的转动。

设计成为一个“小动物”的外形,也是为了更贴近小朋友,让小朋友更容易接近。

 

projectImage

上图:电路图的设计

projectImage

头部电路图

“校园情绪卫士”的头部是感知模块的核心部分,其组成由一个microbit、一个IO扩展版、一个语音识别模块、一个语音合成模块、一个视频识别模块组成。

语音识别模块的主要功能是倾听学生们的倾诉,从语音中分析出情绪相关的词语,根据这些词语生成相关的一些指令。  还能够听从一些互动的指令进行移动和方向控制。

关键的词语有两大类:

1、情绪类: 生气、难过、高兴、伤心、悲伤、平静等

2、互动类:前进、后退、左转、右转、你好、再见等

视频模块的主要功能是进行人脸识别和表情识别, 通过人脸识别和表情识别让“校园情绪卫士”更加智能,更容易让中小学生接近。对与缓解他们的情绪障碍也就更有利。

projectImage

身体部分电路图

“校园情绪卫士”的身体部分,主要有一个Micro:bit、一个电机控制板、4个电机和2个舵机组成,利用无线通信获得“头部”的互动指令,对电机和舵机进行相应的控制,从而让“校园情绪卫士”具有了移动的功能。

步骤2 步骤2
校园情绪卫士身体部分制作

身体部分的制作, 利用一个快递的纸板,在纸板上根据小电机轮子的大小挖出4个洞来,将电机通过胶枪粘到纸板的底部,再利用电线将电机和电机扩展板链接起来。

后来测试的过程中,由于轮子总是和纸板边缘摩擦,我们就将纸板剪裁成一个长方形,轮子直接露在外面。

projectImage

头部和尾部的控制,利用一个牛奶盒子,将两个舵机安装在牛奶盒的两端,再将舵机的摆臂粘贴在一个纸板上,这样可以扩展头部的部分。一开始先贴一个小纸板进行测试使用。

projectImage
步骤3 步骤3
头部部分的设计

在一个纸板上打印上一个米老师的形状的图形,在图形合适的位置用螺丝刀钻两个洞,将microbit扩展板通过绑带固定在纸板上。 

在纸板的上部安装上语音识别模块和语音合成模块。 

选择IO扩展板是因为这个IO板上有两套IIC接口。正好可以链接两套IIC接口的装置。因为语音识别和视频识别都需要连接在IIC接口上的。

projectImage
projectImage
projectImage
步骤4 步骤4
编程和测试

利用makecode进行编程和测试。 电机扩展板、语音识别模块、语音合成模块、人脸识别模块都有相应的扩展模块加载到makecode,这样对于编程非常方便和有力。

定义了一套指令模型,利用指令相互的传递进行互动的控制。

projectImage
projectImage
projectImage
projectImage
projectImage
步骤5 步骤5
人脸识别和表情识别模块组装

利用AI视觉传感器识的板载 I2C接口和microbit相连接, 目前该模块可以进行人脸的识别、标识识别、颜色识别等功能。 

校园情绪卫士利用了该模块的人脸识别,当看到小朋友后,校园情绪卫士可以直接说:小明,你好。 你想和我一起聊聊天吗? 

而且情绪卫士可以识别小朋友的表情,根据表情的不同,反馈出不同的语言和语气。来引导和缓解小朋友的情绪。 

 

projectImage
projectImage
步骤6 步骤6
产品细节
projectImage
projectImage
projectImage
材料清单 材料清单
2x
Microbit 主板
1x
电机扩展板
1x
IO扩展吧
1x
语音识别模块
1x
语音识别模块
2x
舵机
4x
小电机
4x
轮子
1x
18650电池
1x
AI视频识别模块

总结

“校园情绪卫士”,通过Micro:bit主板、AI智能语音识别模块、视频识别灵活互动的电机控制模块, 打造校园中缓解学生情绪障碍的一个产品。该产品虽然还不完善,但是我们希望通过“校园情绪卫士”的引起大家对中小学生情绪障碍的关注,在目前巨大的学习压力下,“校园情绪卫士”能带给同学们有一刻的轻松和欢乐,缓解他们各种的情绪障碍。

情景展示:

校园情绪卫士在校园中慢慢的移动, 一个同学走过来;

卫士: 你好,小明。  (利用视频识别直接识别出同学的名字,并给他打招呼)

小明(一脸不高兴的说): 走开,我们很难过。

卫士,通过语音识别,知道小明很难过,然后说:小明,我知道你很难过,我给你讲个故事吧,小英雄雨来在抗日战争时期。。。    (卫士,给小明讲了一个故事)

小明被“小英雄雨来”的故事感动了,露出了高兴的表情;

卫士:你高兴了,你还想和我聊天吗? 

小明:谢谢你,卫士。 我现在放松了,我去教室了。再见!

卫士:再见。

目前表情识别功能识别率很低,所以没有在视频中进行测试。


Makelog作者原创文章,未经授权禁止转载。
2
0
评论
[[c.user_name]] [[c.create_time]]
[[c.parent_comment.count]]
|
[[c.comment_content]]