【二哈识图2 系列教程】基于物体识别的盲人常见物品寻找机 简单

1.项目介绍

1.1项目背景

在我们的日常生活中，寻找物品似乎是一件再平常不过的小事——当雨伞不见了，我们环顾四周便能迅速找到它。但对于盲人而言，这却是一个充满挑战的过程。无法依靠视觉判断方位，让他们常常需要反复摸索或寻求帮助。

如果科技能帮他们“看到”呢？本项目正是基于这样的思考而设计。我们利用二哈识图2的物体识别功能，结合行空板K10的计算与语音反馈能力，构建出一台能够听懂指令、自动扫描并提示方向的“盲人常见物品寻找机”。

当用户说出“找雨伞”指令时，行空板K10控制舵机带动二哈识图2旋转扫描场景，识别到目标后，摄像头将方位信息通过I2C发送给行空板K10。行空板K10随即语音提示“手提包在你右前方”，并让舵机停在对应方向完成指示。帮助视障人士快速定位常用物品，让科技真正成为他们的“第二只眼睛”。

1.2演示视频

2. 项目实现原理

本项目通过二哈识图2的物体识别功能，结合行空板K10的主控计算能力，构建“盲人常见物品寻找机”。用户可通过语音命令触发物品识别，舵机带动二哈识图2转动以扩大搜索范围，二哈识图2在本地完成物体学习与实时推理，将识别结果通过I2C通信发送至行空板K10，主控接收到数据后，判断物品是否存在及舵机的方位信息：若存在，则通过语音合成模块（如“手提包在你右前方”）向用户反馈；若未识别到物品，则继续控制舵机带动摄像头转动搜索，形成持续寻找的流程。

3.软硬件准备

3.1软硬件器材清单

注意：Mind+ 编程软件版本为 v2.0，HuskyLens的版本为二哈识图2。

3.2硬件连接

请按照下方连接图，将电脑、行空板K10、二哈识图2进行连接，舵机连接在行空板K10的P1口。

3.3软件平台准备

官网下载安装Mind+ 2.0及以上版本安装包，安装完成后，双击打开。

4.项目制作

4.1二哈识图2操作

首先，由于出厂语言默认为英文，我们可以用触屏的方式左右滑动，找到“System Settings”（系统设置）图标，将系统语言设置成自己想要的语言（支持英文，中文简体和中文繁体）。

点击进入“System Settings”，下滑至底部找到“Language”选项。点击“Language”，进入设置语言界面。

点击自己想要的语言选项。之后，系统会切换语言并自动返回至菜单页面，如下图是切换为中文简体的示意图。

其次，选择二哈识图2的通信方式。

二哈识图2支持UART（串口）和I2C两种通信方式，本教程中使用I2C通信模式。

点击“系统设置”->协议种类->选择I2C通讯模式后返回主菜单界面。

最后，滑动屏幕，找到“物体识别”功能。

将二哈识图2“看”向可识别的物体，观察二哈识图2的屏幕，画面中所有可识别的物体将被白色方框框出，并显示对应物体名称及置信度。在机器学习中，置信度指的是模型对自己预测结果的“确定程度"，比如"苹果 26%"，表示在物体识别功能下模型认为当前画面中的该物体有26%的可能性是“苹果”。

二哈识图2中的参数配置以及模式选择完成后，接下来需要让该模型学习多个物体，用以触发寻找常见物品操作。步骤如下：

用户可针对80类中的任意物体进行学习，系统会按学习顺序分配唯一ID号，后续可通过ID号在项目程序中执行逻辑判断。

将二哈识图2“看”向目标物体，白框框住物体后，调整二哈识图2“看”的角度，使屏幕中间的"十"字光标位在白框内，可按下二哈识图2右上角的A键，学习该物体。

学习完成后，如识别到已学习的物体，屏幕将以彩色方框框出该物体，并在物体上方显示“name: IDx 置信度”。例如“苹果:ID1 64%”。学习更多物体，可以此类推。

二哈识图2的更多详细使用方法见下面的网址：

https://wiki.dfrobot.com.cn/_SKU_SEN0638_Gravity_HUSKYLENS_2_AI_Camera_Vision_Sensor

所有物体学习完成后，即可开始编写代码，实现一个基于物体识别的盲人常见物品寻找机。

4.2代码实现

打开编程软件Mind+，选择“程序设计”中的“上传模式”。

首先，我们需要在Mind+中添加相应的扩展，包括行空板K10、二哈识图2、舵机模块。

进入“扩展”页面并搜索“行空板K10”。

点击扩展包上的“下载”按钮，等待下载完成。

点击该扩展包完成加载。

按照加载“行空板K10”的步骤加载用户库“Huskylens2 AI摄像头”、“舵机模块”。

“行空板K10”、“Huskylens2 AI摄像头”以及“舵机模块”的用户库加载完毕后，

点击“返回”按钮返回编程界面。

在连接设备中点击“连接”。

连接成功界面如下，点击“×”返回。

设备连接成功后，编写程序如下：

核心代码解析如下：

附件中有该项目的完整程序文件，展开项目，点击“打开项目”。

选择附件中的项目，并点击“打开”。

点击“上传到设备”运行程序。

实现效果如下：

5.附件清单

通过网盘分享的文件链接: https://pan.baidu.com/s/1iE94YtB8ZQMRsFNFpGKTqg?pwd=bs6m