二哈识图2之二哈目标识别助力清理福寿螺卵 简单

一、设计背景

暑假里去小溪边查看植物的生长状况，结果发现河岸边多了许多粉红颗粒状的东西。查阅知道这个是福寿螺的卵，福寿螺是一种对人体有危害的瓶螺科软体动物，而且这种卵不只在这附近有，国内各地到处都是这个卵。想着想着，能设计出一个装置，可以清除福寿螺卵，让它无法孵化，那它的孵化概率就会变低了，这样我们的安全、农作物的生长、生态系统就都会得到保障。

通过查找资料，我们发现，发现3种消灭的方法。

水枪冲刷是一种方式，适合在硬质的硬质驳岸中。

二、系统设计与工作原理

工作原理，利用图像识别中的目标检测，利用mind+v2版本中的目标检测模型训练，采集周边河道中的福寿螺卵的照片，(尽量多采集一个特别是各种场景和角度)，导入图片进行数据标注，利用mind+软件中的数据标注工具，进行标注，然后再进行训练和测试，通过测试后，导出模型部署到二哈视觉传感器2中，利用二哈视觉传感器2，检测目标，确定目标坐标，定位目标后，进行最终处理。

工作流程图

三、器材清单

四、实现步骤与源码

采用目标识别部署到二哈2中，

第一采集数据

通过实地采集图片，也可以利用视频抽帧方式去获取图片

数据的采集关乎模型的效果，要训练更好的模型数据第一步就需要保证数据的质量。

第2步，打开mind+2.0 模型训练 目标检测

选择导入图片，目前还没有标注，选择无标注图片，如果从其他地方下载的数据集（有标注的）可以直接导入带标注的，减少人工的工作量。

接下来就是人工智能的“人工”了，数据标注，选择高级模式 数据标注。

选择数据集，并创建标签，标签就是你要检测的目标，如果有多个目标可以设置多个标签。

通过设置不同的数据标签，设定标签框，进行标注，这个是比较繁琐，也是比较耗体力的。要训练出较高好的模型，数据量不能太少。接下来就一张张图片进行标注。当然也可以借助一些其他标注工具进行标注。

标注完成后进行训练。

目标检测训练比较耗时

训练完成后必要的一步是测试。导入图片进行时测试，如果测试效果比较差的话，需要重新调整数据和训练。

测试完毕后，导出模型 ，生成bests.onnx 和 data.yaml ，通过推理模型库，可部署到其他设备中。

也可以直接导入到二哈2中。

导出下载到本地电脑中，并上传到二哈中。

上传二哈对应文件夹中，本地安装

设计一个测试程序，检测福寿螺卵的位置。

测试坐标

通过计算目标检测的重点点坐标，设计调整云台

五、成果展示与演示

六、总结一下

目标检测，对于数据质量要求有点高，数据的质量影响的模型的质量，尽量用同等设备用拍摄，图片数据的像素大小等尽量与检测设备的质量相同或者类似。不然训练的模型泛化能力比较弱。

在检测中调整检测的阈值也是一个实现作品的可靠度的手段。

备注：本作品因为材料有限，没有这个金属舵机，增加几个维度的舵机角度，可以调整出更精准的目标点。

作品后续

目标检测可以扩展到各种场景，有识别的ID和坐标，可以利用这个坐标做更多的扩展。目标打击，目标抓取等。