返回首页
回到顶部
一、 项目背景
(一) 项目源起
儿子很早就在code.org网站的动画课程中学习了人工智能和机器学习的基本工作原理，Mind+V2上线以后，一直想带着他一起学习新版软件的模型训练功能。这次的模型训练挑战赛正好提供了一次绝佳的实战机会，让他可以在实际项目中学习软件使用，实操AI模型训练与部署。于是，我们父子俩组队参赛，儿子打主力，我打下手。
项目选题全权交给他来思考。经过一番头脑风暴，他提出了一个idea——训练一个可以识别野生猫科动物的模型。这个idea源自他在南京红山动物园和西宁野生动物园研学时的经历——在那里，他不仅认识了多种中国野生猫科动物，还了解到专注于保护中国野生猫科动物的公益环保组织——猫盟CFCA。通过猫盟在B站发布的相关视频，他进一步了解了，红外相机是野生动物保护工作中常用的监测工具，许多珍贵的野生动物影像均由其拍摄而成。红外相机的核心工作原理是通过红外传感器检测野生动物身体辐射的红外线，进而触发拍摄。但目前，工作人员需定期前往现场，手动查看红外相机拍摄的视频和画面，鉴别野生动物种类，工作效率有待提升。他设想，如果能在红外相机中部署AI识别模型，使其可自动识别拍摄到的野生动物，并将识别结果、图片、位置、时间等信息通过网络实时传输至工作人员手机，将大幅提升野生动物观测的工作效率。
这个点子非常棒，虽然没有那么齐备的硬件设备可以完全实现上面的想法，但是可以利用手头已有的二哈识图2和行空板K10，制作一个基础的项目原型来验证上述想法的可行性。于是，我让他赶紧给猫盟CFCA的官方公众号留言，争取能得到猫盟官方的支持。如果能拿到猫盟官方的图片作为模型训练集，那模型训练就能更准确了。遗憾的是，截至项目方案提交，我们也没等到猫盟的回复，我鼓励他先把项目原型做好，再和猫盟联系，说不定就能收到回复了。
(二) 项目简介
这是一个基于Mind+V2自训练模型的野生猫科动物识别记录系统。核心流程：通过各类野生猫科动物图片集训练AI模型，使其具备识别不同野生猫科动物类别的能力；将训练完成的模型部署在二哈识图2上，当二哈识图2识别到野生猫科动物时，会自动截图并保存至本地，同时将识别到的动物类别及数量传输至行空板K10；最终通过MQTT协议，将所有相关信息上传至SIoT服务器，方便用户通过手机查看详细数据。
(三) 核心价值
1) 贴合实际需求，具备升级潜力：本项目源于野生动物保护的实际痛点，尽管目前受限于硬件条件，仅能开发基础原型，但若能结合现有红外相机产品硬件进行二次开发，将实现红外相机与人工智能的深度融合，推动红外相机品类的升级迭代，为野生动物监测工作提供更高效的技术支持。
2) 助力学生全面成长，实现跨学科实践：对参与项目的学生而言，本项目既是一次跨学科融合的PBL实践，也是一次完整的产品开发体验。学生从日常观察出发，挖掘实际用户需求，再借助最新的AI技术尝试解决需求。在此过程中，不仅能学习野生猫科动物相关的动物学知识，还能完整体验数据收集、数据标注、模型训练、模型部署、功能开发、程序编写等人工智能产品的全开发流程，提升综合实践能力。
二、 技术架构与操作步骤
(一) 系统架构图
系统核心架构流程：以红外相机拍摄的视频或图片作为模型训练集，在Mind+V2软件中完成模型训练；训练成功后，将模型部署至二哈识图2设备；当二哈识图2识别到目标野生猫科动物时，行空板K10会实时显示动物名称及数量，并触发二哈识图2截屏，将画面保存至本地；同时，所有识别信息通过MQTT协议传输至SIoT服务器，用户可通过手机浏览器访问服务器，查看相关数据。
(二) 硬件准备
1．二哈识图 2：用户在二哈识图 2中部署自训练模型，需要将固件升级至最新的V1.2.2。
固件下载链接：V1.2.2固件
2．其他硬件：行空板K10、双头PH2.0-4P硅胶线（用于连接二哈识图2和行空板K10上的I2C接口进行通讯）、Type-C数据线X2（用于给二哈识图2和行空板K10供电）。
3．可选硬件：二哈识图2WIFI模块（用于实现二哈识图2与行空板K10的无线通讯）。
(三) 硬件连接
1．有线连接：使用双头PH2.0-4P硅胶线，连接行空板K10与二哈识图2的I2C接口；再用两根Type-C数据线，分别连接电脑的两个USB口与二哈识图2、行空板K10的Type-C接口，完成供电。接线示意图如下：
2．无线连接（可选）：若配备二哈识图2 WIFI模块，可通过WIFI实现二哈识图2与行空板K10的无线通讯，需确保两台设备连接至同一WIFI网络。
感谢Luke唐老师设计的行空板-二哈识图2组合固定底座模型，在其基础上进行了部分修改，增加了行空板K10的金手指插槽，调整了二哈识图2底座高度，便于连接TYPE-C电源。（模型文件见附件）
完整的硬件连接如下图所示：
(四) 数据收集
根据猫盟CFCA发布的数据，中国本土共有12种野生猫科动物，分别为云豹、云猫、欧亚猞猁、亚洲野猫、雪豹、兔狲、虎、金猫、丛林猫、豹、豹猫、荒漠猫。考虑到实际情况，若收集全部12种动物的图像资料用于模型训练，存在两大困难：一是部分野生猫科动物数量稀少，网络可获取的图像资料在数量和质量上难以满足模型训练需求；二是数据收集工作量较大，在有限的项目周期内难以完成。
因此，我们参考猫盟官方微信公众号的内容分类，选取了猫盟发布内容较多、且大众在媒体中较为常见的5种野生猫科动物（豹、云豹、豹猫、雪豹、兔狲），开展素材收集与模型训练工作。
训练野生猫科动物识别模型的最优数据当然是红外相机拍摄的原始视频与图片，但是由于未能获得猫盟官方素材，我们退而求其次，主要从猫盟B站官方账号发布的视频、公众号推文中检索和截图，其他数量不足的部分，从B站搜索相关动物的纪录片进行截图。在整个项目实施过程中，数据收集与整理环节耗费的时间最长。
整理好的训练素材包含6个文件夹：5个类别文件夹（分别对应豹、云豹、豹猫、雪豹、兔狲），每个文件夹包含至少要求50张以上的图片，尽量保证各类别图片数量均衡；1个测试文件夹，每个动物类别选取几张测试图片，且测试图片与训练图片无重复。
野生猫科动物多在夜间活动觅食，红外相机拍摄的野外视频也因此多为暗光环境下的黑白红外影像。为提升模型对红外黑白图像的识别精度，我们借助 AI 修图工具，将部分自然光线下拍摄的彩色图像转换为红外模式的黑白图像，以此扩充训练数据集，丰富模型的训练样本类型。
在模型训练中，我们发现一个问题，模型训练成功后，在Mind+中进行模型校验，图片的识别成功率还是比较高的，但是把模型部署到二哈识图2之后，通过二哈识图2的镜头再去识别电脑上的图片，识别成功率就会下降。这可能是因为图像经过镜头成像系统处理后，进行了压缩。因此，为了提高识别成功率，我们用二哈识图2把所有的图片素材重新拍摄一遍，作为训练素材。
经过了几轮模型校验和调整，最终训练数据集包含844张图片，平均每个类别文件夹包含约150多张图片，最终导出的数据集大小733M，我上传至百度网盘，分享链接见附件。
(五) 模型训练
1．软件准备：下载安装最新的Mind+ V2，地址：点击下载
2．模型类型选择：Mind+无代码方式训练并在线部署模型到二哈识图2，目前仅支持“目标检测”模型。打开Mind+ V2，点击训练模型中的目标检测。
3．模式选择与数据上传：Mind+提供了“快速体验”和“高级模式”两种训练模式。默认选择快速体验，点击“上传”。
选择“无标注数据（仅图片）”，把所有训练数据集中的图片全部上传后，点击“回车”符号（停止采集），返回上一层页面。
4．数据标注：点击“数据标注”，开始进行数据标注。
创建5个野生猫科动物类别标签（豹、豹猫、云豹、雪豹、兔狲），为每个标签设置不同颜色，便于区分。
标签创建完成后，根据图片中动物的类别，点击对应标签，框选动物轮廓，若画面中有多只同类动物，需分别框选，确保标注准确。
5．模型训练（快速体验模式）：完成所有图片标注后，点击“训练模型”，按照软件默认设置，启动模型训练即可。
6．高级模式训练（补充验证）：点击右上角的“高级模式”，“创建数据集”，命名为“野生猫科动物”。
点击“上传数据”，选择“无标注数据”，上传图片。
上传完成后，点击“标注设置”，按照与快速体验模式相同的操作流程完成数据标注。
标注结束后，点击右上方的“模型训练”，再点击“创建训练任务”，命名为“野生猫科动物识别模型”，选择对应的训练集，其他参数保持默认设置，点击“确认”。
点击“参数设置”，可调整模型训练参数，这里保持默认设置。
调整好参数后，点击“训练”开始进行模型训练。模型训练过程中，可通过“训练监测”窗口，查看训练数据。
7．模型校验：训练结束以后，点击“模型校验”，选择训练项目为野生猫科动物训练模型，模型选择“best.pt”，其他参数默认。选择“单张图片测试”，上传测试文件夹下的图片，逐一进行测试。如果测试效果不理想，需补充、调整训练样本，增加清晰度高、特征明显的图片，重新进行标注与训练，直至模型识别效果达到预期。
(六) 模型部署
1．模型转换：模型校验结果达到预期后，关闭高级模式，返回快速体验页面，点击“部署至二哈识图2”，应用名称和标题设置都输入“野生猫科动物识别”，点击“开始转换”。模型转换成功后，会生成一个ZIP文件，将其下载至本地电脑。
2．模型安装：使用USB数据线连接电脑与二哈识图2，连接好后电脑会出现一个名为“Huskylens”的硬盘，将生成的模型zip文件复制到该硬盘的\storage\installation_package目录下。
点击二哈识图2屏幕，向右滑动至“模型安装”选项，点击进入模型安装。
点击“本地安装”，安装成功后，屏幕上会出现一个新的名为“野生猫科动物识别”的图标，表示模型已经成功部署。
(七) 程序编写
1．软件及网络环境准备
（1）打开Mind+ V2，选择“程序设计”中的“上传模式”。
（2）扩展组件安装：点击“扩展”，在“主控扩展”中选择“行空板K10”，下载最新的0.06版本。
“模块扩展”中分别搜索“二哈识图2”“MQTT”“Wi-Fi”，下载并安装各模块的最新版本。
（3）无线通讯设置：由于已为二哈识图2安装WIFI模块，采用WIFI方式实现二哈识图2与行空板K10的无线通讯，需确保两台设备连接至同一WIFI网络；在二哈识图2的系统设置中连接WIFI后，记录其IP地址，用于后续编程。
（4）SIoT服务器部署：下载安装SIoT服务器软件：下载地址
解压下载文件，打开文件夹，双击“start SIoT.bat”启动服务器（注意：需运行“start SIoT.bat”，而非“main.exe”）。
*注意启动时，需将SIoT添加至防火墙允许列表，勾选“专用网络”和“公用网络”，避免外部设备无法访问。
（5）服务器访问：在电脑浏览器中输入“127.0.0.1:8080”或“电脑主机IP地址:8080”（通过cmd输入“ipconfig”可查看主机IP地址），即可打开服务器网页端口，登录账号为“siot”，密码为“dfrobot”，登录后可新建主题或查看消息。
手机端访问需确保手机与电脑、行空板K10连接同一WIFI，在手机浏览器中输入相同的服务器地址，使用相同账号密码登录即可。
2）程序流程图
3）程序编写
STEP1：编写初始化程序
初始化程序主要作用是设置好WIFI、物联网服务器以及二哈识图2的连接。
在SIoT服务器页面新建5个主题，分别对应5种野生猫科动物，主题名称格式为“siot/动物名称”（如siot/豹、siot/豹猫）。
MQTT初始化参数设置如下
注意：SIoT服务器连接成功的关键的是，电脑、行空板K10、手机需连接同一WIFI网络，且主题名称需以“siot/”开头。
STEP2：编写主程序
STEP3：设计数据可视化面板
在Mind+V2中点击“界面设计”下的“数据可视化面板”。
通过拖拽组件搭建可视化大屏，用于实时显示识别数据；为每种野生猫科动物添加一个折线图组件，修改组件标题和关联主题，使其对应具体动物及相关数据主题，实现各类动物识别数量的单独统计。
程序编写完成后，用Type-C数据线连接电脑与行空板K10，连接成功后上传程序，即可开展功能测试。
三、功能演示
打开二哈识图2中的自训练模型后，首要进行5种野生猫科动物的分类学习。分别选取1张豹、豹猫、云豹、雪豹、兔狲的图片按顺序进行识别，每一张图片确认识别正确后，按下二哈识图2上的A键，给每一类动物设置一个ID，豹的ID是1, 豹猫的ID是2,、云豹的ID是3、雪豹的ID是4,、兔狲的ID是5。接下来就可以进行图片识别测试了，使用多张不同类别的野生猫科动物图片进行识别测试后，可在Mind+V2的数据可视化面板中，实时查看各类动物的识别数量；同时，通过手机浏览器访问SIoT服务器，登录后可查看不同主题下的动物数据，验证系统功能的有效性。
项目演示视频：
四、改进设想
1、优化模型训练数据：本次项目的模型训练图片均来自网络，数量和质量有限，仅能满足项目原型验证的需求。若要将该模型实际应用于猫盟的野外科学观测工作，需收集大量高质量的训练素材，尤其是黑暗光线条件下红外相机拍摄的图片和视频，以此提升AI模型在野外实际环境中的识别精准度。如果红外相机硬件厂商与猫盟CFCA联合开发，利用猫盟多年积累的野生动物监测数据训练模型，一定可以进一步提高模型的准确性和实用性。
2、完善硬件方案与功能落地：该项目要实现商业落地，需进一步优化硬件配置，增加红外摄像头、红外传感器、4G网络通信模块、北斗定位模块，为红外相机新增AI识别、数据处理、实时上传功能；同时开发专用前端程序，让用户可在手机端实时接收红外相机上传的完整数据，包括动物图片、拍摄时间、相机地理位置、动物类别及数量等。此外，硬件设备的增加会提升能耗，需升级电源系统，可配置太阳能电池充电储能模块，延长系统工作周期。
五、项目体会
本次项目由孩子全程主导，负责数据集的收集、整理、标注，模型的训练、部署，程序的编写以及项目演示等核心工作；我主要承担辅助角色，负责整理项目文档、提供技术支持。在项目实施过程中，我们父子俩均获得了成长与进步，完整体验了AI模型从训练到部署运用的全流程，也对二哈识图2、行空板K10等硬件工具的使用有了更深入的理解和掌握。
非常感谢DFROBOT组织本次比赛，这类赛事活动提供了丰富且有意义的实践案例，为学校和学生搭建了优质的教学实践平台，助力学生将理论知识与实际操作相结合，提升创新能力和实践能力。
六、附件
训练数据集大小733M，无法上传附件，百度网盘分享链接如下，感兴趣的同学可以自取。
野生猫科动物识别模型资料包
链接: https://pan.baidu.com/s/1O0tRLFg9Y23BAO9RNLey1g?pwd=b5gc 提取码: b5gc
他的勋章
评论