返回首页
回到顶部
1.项目介绍
1.1项目背景
逛博物馆时，总有些让人遗憾又困扰的时刻：站在珍贵的文物展柜前，想了解它的历史故事，却找不到讲解员，操作手机查询资料既影响参观节奏，又容易错过文物细节。本项目将打造一款基于标签识别的博物馆讲解器，帮你轻松解决这些问题——识别文物旁的专属标签就能自动触发讲解。例如：走到战国水晶杯展柜前，讲解器对准展柜旁的标签轻轻一扫，立马就能听到关于战国水晶杯的制作工艺、历史背景讲解，不用你查询或四处找讲解员，从容沉浸式感受文物魅力。
从文物标签图像采集、标签识别模型训练、模型推理，到讲解内容匹配，再到音频播放控制，这样一套完整流程，清晰展现了人工智能技术在文化场景中的轻松落地实践，让标签识别技术变得可感知、可互动，让博物馆参观更有收获、更有乐趣！
1.2演示视频
2. 项目实现原理
它的核心逻辑如下：先让二哈识图2摄像头进行文物标签数据的采集与学习——把不同文物（如战国水晶杯）对应的专属标签特征，通过“文物标签图像采集→标签识别模型增量训练”的流程“记“进系统里。等游客在博物馆参观时，走到文物展柜前，HuskyLens2会通过摄像头实时捕捉展柜旁的标签，再进行模型推理，识别出标签ID，并将结果存入系统缓存。
接着，行空板K10会接收二哈识图2的识别结果，进行数据计算与指令匹配：如果识别出的是“水晶杯标签”，就调取预先存储的“水晶杯制作工艺、历史背景”讲解音频，同时通过屏幕显示文物名称与核心信息作为反馈；要是二哈识图2识别到多个标签，则会提示游客选择需要的标签进行识别和反馈。
3.软硬件准备
3.1软硬件器材清单
注意：Mind + 编程软件版本为 v2.0，HuskyLens的版本为二哈识图2。
3.2硬件连接
请按照下方连接图，将电脑、行空板K10、二哈识图2进行连接。
3.3软件平台准备
官网下载安装Mind+ 2.0及以上版本安装包，安装完成后，双击打开。
4.项目制作
4.1二哈识图2操作
首先，由于出厂语言默认为英文，我们可以用触屏的方式左右滑动，找到“System Settings”（系统设置）图标，将系统语言设置成自己想要的语言（支持英文，中文简体和中文繁体）。
点击进入“System Settings”，下滑至底部找到“Language”选项。点击“Language”，进入设置语言界面。
点击自己想要的语言选项。之后，系统会切换语言并自动返回至菜单页面，如下图是切换为中文简体的示意图。
其次，选择二哈识图2的通信方式。
二哈识图2支持UART（串口）和I2C两种通信方式，本教程中使用I2C通信模式。
点击“系统设置”->协议种类->选择I2C通讯模式后返回主菜单界面。
最后，滑动屏幕，找到“标签识别”功能。
将二哈识图2“看”向含有标签的画面，画面中所有标签将被白色方框框出，方框上会显示标签内包含的信息。
二哈识图2对准要学习的指定AprilTag标签，调整二哈识图2“看”的角度，使屏幕中间的“十”字在白框内，然后按下二哈识图2右上角的A键，学习该标签。
学习完成后，如识别到已学习的AprilTag标签，屏幕将以彩色方框框出该标签，并在上方显示“name: IDx”，name默认为标签内的信息。
学习更多AprilTag标签，可依此类推。
AprilTag可以通过下面网站进行生成：
https://www.2weima.com/aruco.html
二哈识图2的更多详细使用方法见下面的网址：
https://wiki.dfrobot.com.cn/_SKU_SEN0638_Gravity_HUSKYLENS_2_AI_Camera_Vision_Sensor
目标实体数据采集、增量模型训练完成后，即可开始编写代码，实现一个基于标签识别的博物馆讲解器。
4.2代码实现
打开编程软件Mind+，选择“程序设计”中的“上传模式”。
首先，我们需要在Mind+中添加相应的扩展，包括行空板K10和二哈识图2。
进入“扩展”页面并搜索“行空板K10”。
点击扩展包上的“下载”按钮，等待下载完成。
点击该扩展包完成加载。
按照加载“行空板K10”的步骤加载用户库“Huskylens2 AI摄像头”。
“行空板K10”和“Huskylens2 AI摄像头”的用户库加载完毕后，
点击“返回”按钮返回编程界面。
在连接设备中点击“连接”。
连接成功界面如下，点击“×”返回。
设备连接成功后，编写程序如下：
核心代码解析如下：
附件中有该项目的完整程序文件，展开项目，点击“打开项目”。
选择附件中的项目，并点击“打开”。
点击“上传到设备”运行程序。
实现效果如下：
5.附件清单
通过网盘分享的文件链接: https://pan.baidu.com/s/1-c64A28DPEmgwB0zy47e3A?pwd=rv54
他的勋章
评论