返回首页
回到顶部
1.项目简介
1.1项目介绍
本项目基于Mind+模型训练与二哈识图2打造了一款能识别良渚陶器类型的智能讲解装置。它通过自训练的目标检测模型精准区分炊煮器、盛食器、盛贮器和酒水器四类，再通过屏幕文字输出对应陶器的类型及简介。比如在良渚博物馆的陶器展柜前，游客只需用装置对准展柜，就能立刻看到在展柜中哪个是盛食器哪个是酒水器，并快速获取这些陶器的作用和功能的专业讲解。
你还可以用它识别花园中的植物，快速了解植物的简介、文化背景、养护知识和趣味知识等。此类交互只需对准目标即可自动识别，运行时不仅快速给出分类结果，还能同步输出生动说明，既有科技感又贴近场景，让科普活动更有趣也更实用。
1.2演示视频
2.项目实现原理
本项目基于Mind+模型训练中的目标检测技术和二哈识图2，目的是实现良渚时期陶器种类识别与讲解，涵盖从数据准备、模型推理到应用的全流程。
具体步骤如下：首先使用 Mind+ 2.0模型训练中的目标检测开展数据采集，在良渚博物馆陶器馆采集不同种类陶器（如盛食器、炊煮器、酒水器）的图像样本，构建包含数百张样本的数据集；其次对数据中的陶器进行标注；接着基于该数据集进行模型训练，使模型能够识别不同陶器的形态特征并输出对应类别；训练完成后，将模型导出为适用于二哈识图2的对应格式；最终将导出的模型安装在二哈识图2中，利用二哈识图2对画面中的陶器进行实时检测与分类，输出 “盛食器”“炊煮器” 或 “酒水器” 等关键信息，并触发行空板M10对应讲解文本的显示（如 “用于盛装食物的器物，食物搁置其中，取用十分方便”），实现博物馆展品的智能化讲解。
3.软硬件环境准备
3.1软硬件器材清单
注意：行空板系统版本在 v0.4.1 及以上均适用于本项目制作，模型训练阶段需要行空板的 Python 环境版本为 3.12，Mind + 编程软件版本为 v2.0。
3.2软件平台准备
官网下载安装Mind+ V2.0及以上版本安装包，安装完成后，双击打开。
3.3 模型训练准备
请按照下方链接中的教程，完成目标检测模型的数据采集、标注及训练工作。
https://makelog.dfrobot.com.cn/article-318195.html
3.4 模型下载准备
点击部署到二哈识图 2 按钮。
输入应用名称和标题设置（暂只支持英文和数字）。
开始转换，等待文件上传成功后，自动云端转换中，请耐心等待。
等待模型转换成功，点击下载到本地电脑，会得到一个zip文件。
注意：此硬件目前仅支持目标检测，此功能需要联网进行转换。
3.5 自训练模型安装
使用USB数据线连接电脑与二哈识图 2，连接成功后，电脑会识别到一个名为 Huskylens 的硬盘。
将生成的模型ZIP文件复制到Huskylens的硬盘的\storage\installation_package目录下。
接着，将该模型安装到二哈识图2本地。
首先，可以按照下面的步骤将界面语言切换为中文。
其次，选择HuskyLens2的通信方式。
二哈识图2支持UART（串口）和I2C两种通信方式，本教程中使用I2C通信模式。
点击“系统设置”->协议种类->选择I2C通讯模式后返回主菜单界面。
左右滑动，点击进入'模型安装'。
选择本地安装，安装成功后出现下图。
此时观察二哈识图2屏幕出现一个新的名为“liangzhu”的功能，表示我们已经成功将自己训练的模型导入至二哈识图2中。
3.6硬件连接准备
请按照下方连接图，将电脑、行空板M10、二哈识图2进行连接。
4. 项目制作
打开编程软件Mind+，选择“程序设计”中的“Python积木模式”。
首先，我们需要在Mind+中添加相应的扩展，包括行空板M10和二哈识图 2 AI摄像头。
进入“扩展”页面并搜索“行空板M10”。
点击扩展包上的“下载”按钮，等待下载完成。
点击该扩展包完成加载。
按照加载“行空板M10”的步骤加载“HUSKYLENS 2 AI摄像头”库。
加载完毕后，点击“返回”按钮回到编程界面。
展开远程终端，并选择“默认-10.1.2.3”连接行空板M10。
设备连接成功后，编写程序如下：
核心代码解析如下：
附件中有该项目的完整模型和程序文件，先将自训练模型的压缩文件按照3.5下载和安装到二哈识图2中，接着在mind+中展开 “项目” 菜单并点击 “打开项目”，并点击“运行”即可实现程序效果。
实现效果如下：
5. 附件清单
资料链接: https://pan.baidu.com/s/1WC7XKzaCNnlBKYvJLsxneA?pwd=yxn2
他的勋章
评论