返回首页
回到顶部
项目背景：随着我国社会的日益老龄化，老年人用药安全的问题日益凸显。由于老年人普遍用药种类繁多、记忆力衰退、行动不便等原因，开发适用于老年人的药品查询系统，意义重大。
项目功能：本项目可以通过摄像头实时拍摄药品画面，通过AI识别药品相关信息，并将识别结果通过行空板M10屏幕显示以及语音播报的形式反馈给老年用户。本项目适用于老年人居家健康管理以及药房进行辅助药品查询。
软硬件清单：mind+2.0、行空板M10、台式电脑、USB摄像头、USB扬声器
硬件连接图：
需要用到的库文件：
项目实现原理：本项目基于图像分类技术实现对药品名称的自动识别，首先通过 Mind+ 模型训练平台进行图像分类模型的图像采集与模型训练；训练完成后，对模型进行校验与优化，并导出为适用于行空板M10的onnx和yaml格式；最终将模型部署至行空板M10进行推理应用，利用其摄像头捕获实时画面，由模型进行推理识别，输出药品名称，并通过文本展示药品名称，语音播报注意事项。
创作过程：
1.数据采集
步骤一：摄像头需要先和台式机连接。
步骤二：打开mind+2.0，选择模型训练中的图像分类模块。
步骤三：设置分类标签，由于时间关系，目前只设置了如下几种药品的分类标签：氨酚咖那敏片、糠酸氟替卡松鼻用喷雾剂、糠酸氟替卡松鼻用喷雾剂、开喉剑喷雾剂、没有药品。注意：没有药品也需要单独设置一个类别，否则摄像头下无药品时，系统会将已存在几个类别中识别概率相对较高的结果作为最终推理结果。数据采集时，要注意尽量多角度多位置多时间段拍摄。不同类别间数据量要尽可能平衡。这里出于时间成本、效率等综合考量，每个类别选择了60张左右的样本图片。此外环境的背景样本在整个数据采集过程中要尽量保持一致性。
2.模型训练：相关参数设置如下所示，这里直接采用了默认参数。如果训练效果不佳，参数还可以进行调整。
在训练过程中，点击“深入了解”，可对模型训练过程进行监测。
3.模型校验：进行模型的测试，如果测试结果不理想，可以重新增加或修改模型样本数据、调整训练参数，重新进行模型训练，直至效果满意为止。
4.模型导出：点击导出文件，将模型导出为zip文件，并进行解压。
5.模型推理与应用
（1）点击上传文件，将训练好的模型及需要用到的语音文件导入资源文件。
（2）行空板连接无线网络，并编写程序，程序的核心功能是：实时显示摄像头拍摄的药品画面；用训练好的ONNX图像分类模型进行药品识别；反馈识别结果；用户界面的设计
具体代码如下：
项目的不足之处：该系统每20秒钟触发一次，如果药品一直不更换，会持续重复播报，造成不必要的语音干扰。改进办法：只有画面中的药品发生改变时，才触发识别；药品不更换时，不重复播报；设置冷却时间，如20秒钟，避免短时间内重复语音播报。
未来展望：可将用药记录导出，提供查询统计等相关功能；用药信息也可通过MQTT远程查看；
补充说明：本项目其实作者在此前用二哈识图2的OCR功能实现过，但是由于摄像头焦距调整、光线等客观原因的限制，本次运用图像分类模型的识别效果更佳。正确识别率能达到接近100%。
他的勋章
评论