【灵感数字组】MIND+模型训练之教师口头禅识别 简单

【项目背景】

在日常课堂教学中，每位老师或多或少会有自己的“口头禅”。这些口头禅是课堂氛围的调节剂，是学生时代珍贵的记忆点，但也会带来一些不利的影响。教师在上课期间经常说口头禅，会分散学生的课堂注意力，影响学生的听课效率；学生可能会模仿教师的口头禅，从而形成不好的语言习惯，不利于学生良好行为的培养；频繁使用如“好不好”、“对不对”、“懂了吗”等口头禅，会让学生产生习惯性、应付性反馈行为，并不能取得实际的互动效果。

对教师的课堂语言进行记录并统计分析其中的口头禅数据，对于当前主流的AI课堂分析系统来说是非常基础的功能，但很多学校和教师没有这个条件。而且基于普通话进行识别，对于方言味较重或者音色较特别的语言可能会有识别不准的问题。所以，使用开源软件和工具，为老师定制个人语音模型，通过编写简单的程序即能进行口头禅识别、统计是一个非常不错的想法。正好Mind+ V2版加入了模型训练功能，为制作这样的项目提供了便利。

【项目功能】

实时识别教师课堂语言中不好的口头禅，统计出现的次数，供参考改进。

【演示视频】

【准备工作】

1. 电脑一台，系统要求:Win10/11 64位，需配备麦克风

2. 安装软件：Mind+ V2.0.5

【创作过程】

本项目主要实施过程：数据采集 -> 模型训练 -> 模型部署 -> 程序设计-> 测试完善，全程使用Mind+软件完成。

一、数据采集

1.确定分类

对某个老师的口头禅进行预先收集，采用询问师生、观看教学实录、现场听课等方式进行，主要目的是确定数据的分类，方便后续的数据采集。本项目以下列词语为例。

打开Mind+软件，进入主界面后，选择“模型训练”模块，再选择“语音分类”功能。

进行工作界面后，点击“添加分类”按钮添加分类并进行重命名。“背景噪音”需保留。

2.样本采集

在每个分类下，点击“麦克风”，通过麦克风实时录制老师本人的语音（时长30秒），进行样本采集和提取。给“背景噪音”采集样本时，尽量不要发出人为的声响。

对各个样本进行播放，确认其完整性，对不好的样本可进行删除。如样本过少，可追加录制、提取。

二、模型训练

1.设置训练参数

训练模块在工作界面的中间，训练前可点击“高级设置”设定训练的周期数，默认50，最高为100。

2.进行训练

点击“训练模型”按钮，即可开始训练。训练过程中工作界面需保持在打开状态，等待完成。

三、模型部署

1. 模型校验

训练完成后，右边的“模型部署”模块会被自动激活。让老师对着麦克风说一些话，测试模型推理的能力。在测试过程中，可通过设置“重叠系数”来调整识别频率。如效果不理想，可通过回到数据采集环节进行样本替换、添加，再重新训练模型，不断优化。

2. 导出模型

当获得了一个较理想的测试效果时，可点击“导出模型”保存好模型文件备用。

为了方便后期进行迭代完善，模型训练项目文件需进行保存。在“快速体验”菜单下选择“保存项目”。

四、程序设计

1.界面设计

使用制图软件制作一个程序界面图，比例为4:3，格式为JPG或PNG格式。

2.切换到编程模式

打开Mind+软件，在主界面选择“程序设计”模块，再选择“实时模式”。

3.上传背景图片

4. 加载扩展“模型训练推理库”和“画笔”

5. 创建变量和列表

为每个词建立一个变量用于统计出现的次数，如下图中“w1”—“w6”,这几个变量使用“大字显示”模式显示在舞台上，并将其拖放到对应的文字下。建立一个变量“t”方便统一设置延迟时间。建立一个列表“数据”，用于存放最后的统计数据，方便以单独TXT文件形式导出保存。

6.初始化部分

（1）隐藏列表“数据”；

（2）擦除舞台上的画笔痕迹；

（3）设置变量“w1”—“w6”的初始值为“0”；

（4）设置模型推理模式为：语音分类；

（5）加载训练好的模型文件；

（6）发出开始推理指令；

（7）设置变量“t”的值为“0.2”。

7.语音识别与统计

循环执行：侦测语音，判断当前最高置信度分类ID的值，根据结果给对应的变量值增加1；为了防止重复统计，需及时清空分类推理结果，并设置一定的延时。

8.统计结果汇总

当统计完成时，可以按下空格键，将统计次数的变量值存入列表“数据”中，并显示在舞台上。在列表处点击鼠标右键，在弹出的菜单中选择“导出”，将当前数据存放到本地电脑中保存。

9.可视化效果呈现

为每一个词添加一个对应的角色，然后编写程序：通过画笔绘制柱形图以呈现数据的变化。

五、测试完善

运行程序，说一些包含相关口头禅的话，看程序是否能正确识别和准确统计，可视化效果是否能与数据联动且美观。

【使用建议】

使用时，可以使用一台笔记本电脑，单独运行该程序进行实时识别，应避免直接运行在教学一体机上。也可以在非现场地点通过播放课堂录音来进行识别。

【改进计划】

后期待条件俱备，将该程序移植到开源硬件如行空板M10等设备上，方便随身携带使用。在功能上，考虑增加更多的互动效果和反馈机制，比如发出灯光提醒、上传数据到物联网平台、AI数据分析等。