返回首页
回到顶部
1 项目介绍
1.1项目介绍
本项目致力于打造一个智能又有趣的商品识别与自动计价系统，灵感来源于现代超市中的自助结算台和AI智能购物车。我们通过图像识别的目标检测技术，让一块小巧的行空板M10化身成为“AI收银员”——它能够通过摄像头实时识别面前的商品，自动标注名称、框出位置，并快速计算总价。
你可以用它来玩转家庭零食库盘点、桌面商品分类小挑战，甚至模拟无人商店的互动体验。从数据收集、模型训练到推理与应用，完整呈现人工智能技术在生活中的轻松实践，让目标检测技术变得可触摸、可互动、更有趣！
1.2演示视频
2.项目实现原理
本项目基于目标检测技术实现商品识别与计价功能，整个实现过程涵盖从数据准备到模型推理与应用的全流程。具体而言，首先通过 Mind+ 模型训练平台进行图像采集与标注构建数据集，并训练目标检测模型；训练完成后，对模型进行校验与优化，并导出为适用于行空板M10的格式；最终将模型部署至行空板 M10进行推理应用，利用其摄像头捕获实时画面，由模型进行推理检测，输出商品位置、类别及对应价格，并实现总价自动计算。
3.软硬件环境准备
3.1软硬件器材清单
注意：行空板系统版本在 v0.4.1 及以上均适用于本项目制作，行空板的 Python 环境版本为 3.12，Mind + 编程软件版本为 v2.0。
3.2硬件连接准备
本项目需在行空板上实现图像 “输入 - 推理与计算 - 输出” 流程：通过 USB 摄像头拍摄图像，在行空板部署目标检测模型完成推理与结果输出。
请参照下方连接图，完成电脑、行空板与 USB 摄像头的连接：
3.3软件平台准备
官网下载安装Mind+ 2.0及以上版本安装包，安装完成后，双击打开。
3.4环境和扩展准备
本项目需要行空板的Python环境的版本为3.12.7，请根据下面的步骤将其切换到指定版本。
打开编程软件Mind+，选择“程序设计”中的“Python模式”。
进入 “扩展” 页面并搜索 “行空板”，点击扩展包上的 “下载” 按钮。
下载完成后点击该扩展包完成加载，再点击 “返回” 按钮返回编程界面。
在终端连接选项中中选择“默认-10.1.2.3”以连接行空板M10。
在终端中输入“python --version”后按下“回车”键以检查行空板M10的Python环境版本：
如上图行空板的Python环境已为指定版本3.12.7。
若版本不符合，请在终端中输入“pyenv global 3.12.7”以将其切换为该版本。
环境切换完毕后，需要加载模型推理的用户库。请按照下面的步骤操作。
加载模型推理的用户库需要在行空板中下载依赖库，所以在加载该用户库之前，我们需要先给行空板联网。
行空板连接好后，在浏览器地址栏中输入“10.1.2.3”。
选择“网络设置”->点击“扫描”->选择无线网络名称并输入密码->点击“连接”。
显示“wifi连接成功”，说明你的行空板已经成功连接网络。
行空板的环境和网络都设置成功了，接下来需要加载模型推理用户库。
在扩展中搜索“模型训练”点击下载并添加该用户库。
出现下载指定依赖库的提示后，按照提示点击 “确定” 进行下载。
4. 项目制作
我们使用Mind+中的模型训练来完成目标检测模型的训练。
首先，打开Mind+软件，选择“模型训练”并打开“目标检测”（注意：只有Mind+2.0及以上版本才有模型训练功能）。
打开初始界面如下：
页面分为三部分，从左至右依次为：数据采集、模型训练、模型校验与导出（后面会详细说明各部分的使用方法）。
4.1数据采集与标注
模型训练的第一步是准备商品的数据集。本项目中使用的商品为苹果、可乐、唇膏和眼药水这四个类别的商品。
请根据下面的步骤，使用摄像头采集和标注数据。
点击 “摄像头” 按钮进行数据采集，该按钮可直接打开电脑自带摄像头，使用该摄像头采集数据。
长按“按住即可录制”按钮开始数据采集，变换角度对商品进行多方位的图像录制。默认每秒采集一张照片，可根据需求在设置中调整。
（FPS 即每秒帧数，指每秒钟采集的图像帧数量）
所有商品采集结束后，关闭摄像头采集功能。
接下来，我们需要对每种类别的商品数据进行标注。
弹窗显示“标签列表为空，是否前往创建标签？”，点击“确定”创建商品标签。
我们先来尝试创建名为“苹果”的标签。
输入标签名称->选择标签颜色->确认->标签创建成功。
创建新标签需点击“创建标签”按钮，重复上述操作完成所有标签的创建。
本项目使用四类商品，分别是苹果、可乐、唇膏和眼药水，请按照上述步骤，完成剩余三类标签的创建。
创建好所有标签后，我们要对图片中的目标商品进行标注，方法如下：
选择标签（或者使用其对应快捷键）->用鼠标框选目标（首尾单击鼠标左键）
若对标注框的大小和位置不满意，可在标注框区域内点击鼠标右键，对标注框进行调整或删除（选中后按下键盘上的 “Delete” 键）。
标注该图片中的所有目标后，点击“下一张”（或使用空格键）继续标注下一张图片。
所有图片标注完成后点击“×”返回主界面。
本项目附件中提供了已标注的数据集（YOLO 格式），可按照下列步骤完成上传：
点击“上传”。
选择“导入数据类型”为“有标注数据（YOLO格式）”，并点击“选择文件上传”。
选择文件夹“目标检测数据集.zip”（该数据集文件夹见附录），点击“确定”进行上传。
数据集准备完成后，我们即可进入模型训练环节。
4.2模型训练
在训练模型前，我们需要根据数据集特点修改模型训练参数。
展开“高级设置”以调整参数。
本项目使用的数据量约为 130 张，训练模型的参数如下：
参数设置完成后，只需点击 “训练模型” 按钮，即可开始模型训练（训练过程中请保持该页面开启，确保训练不中断）。
在训练过程中，点击“深入了解”，可对模型训练过程进行监测。
等待训练完成后，点击“确定”。
4.3模型校验与导出
模型训练结束后，可以通过模型校验来验证模型效果。摄像头拍摄校验能简单直接地观察到模型的应用效果，请按照下面的步骤进行校验。
开启“输入”开关->选择摄像头->将摄像头对准目标->观察输出
同时，该项目的附录中也提供了测试文件，可通过下面的步骤进行上传文件的校验。
开启“输入”开关->选择“文件”->点击“选择文件上传”->选择文件并点击确定->观察校验结果。
校验结果符合预期后，即可导出模型文件。
点击“导出模型”将模型导出为ONNX格式的文件和yaml格式的配置文件（上述两个文件在模型推理与应用中会使用到）。
选择位置保存模型文件。
建议将该模型训练项目保存为项目文件，以便后期优化和调整模型。操作步骤如下：
展开 “快速体验” 菜单，选择 “保存项目”；
选择保存路径，点击 “确认” 完成保存；
后续可通过 “快速体验” 菜单中的 “打开项目”，打开已保存的项目文件。
模型训练和导出到这一步就结束了，之后就是模型的推理和应用了。
4.4模型推理与应用
请按照下列步骤，将模型训练导出的模型文件上传到行空板 M10，并编写程序实现商品检测与计价功能。打开Mind+编程软件并进入python模式。
第一步：请按照下面的步骤上传模型文件。
点击“资源文件”->选择“上传文件”->选择模型(.onnx)及其配置文件(.yaml)->点击“打开”。
模型文件上传成功。
第二步，编写程序，程序如下：
我们一起来看上述代码的核心功能。
如下图，此程序主要分成以下几个部分：
第三步，运行并验证，点击“运行”图标运行程序。
将摄像头对准要识别的商品并按下行空板M10上的“A”键，行空板显示推理结果并计算总价。
实现效果图片如下：
资料附录中附有完整程序文件，可在Mind+中打开，点击“运行”即可，操作流程如下：
展开 “项目” 菜单并点击 “打开项目”。
打开附录中的项目，并点击“运行”即可实现程序效果。
5. 附件清单
文件链接: https://pan.baidu.com/s/1LK7-tKgGytNdF7AFj4F3GQ?pwd=5je5
他的勋章
评论