回到首页 返回首页
回到顶部 回到顶部
返回上一页 返回上一页

【二哈识图2 系列教程】用手当手柄!通过 二哈识图2 手势识别体验全新玩法 —— 控制愤怒的小鸟! 简单

头像 zoey不种土豆 2025.10.27 3 0

二哈识图2 AI 视觉传感器是一款由 Kendryte K230 处理器 驱动的高性能嵌入式视觉模块,拥有高达 6 TOPS 的专用 AI 推理算力。它内置 20 余种 AI 模型,包括人脸识别、目标识别、姿态识别等,开机即可使用,真正实现“即插即用”的 AI 视觉体验。

除了内置模型外,二哈识图2 还支持完整的自定义模型部署流程——用户可以自行训练神经网络模型,并直接烧录至设备,实现针对特定场景的 AI 识别。它配备 UART / I²C 通信接口,可与 Arduino、micro:bit、ESP32、Raspberry Pi 等开源硬件平台无缝连接,非常适合 AI 教育、STEAM 学习与交互创意项目。

在本项目中,你将学习如何将 二哈识图2 与 Arduino UNO 连接,并通过手势识别来操控经典游戏《愤怒的小鸟》。

当 二哈识图2 检测到你的手部动作时,它会将手势识别为虚拟弹弓:
 握拳 = 拉弓瞄准
 张开手 = 松弦发射

让你的手势成为“手柄”,在 AI 视觉与实时互动之间,体验一场充满乐趣的全新玩法!

 

准备工作

硬件准备

要跟随本教程,你需要准备以下硬件:

DFRduino UNO R3(带 IO 扩展板和 USB A-B 数据线)
 一款完全兼容 Arduino UNO 的微控制器主板,适用于教学与原型开发。它将作为主控板,负责数据处理与传感器交互,兼容 Arduino IDE 与多种开源硬件平台。

二哈识图2 AI 视觉传感器
 一款易上手的 AI 视觉模块,采用 Kendryte K230 AI 芯片(6 TOPS),内置 20+ 种视觉模型,并支持自定义模型部署。支持 UART / I²C 接口,可与 Arduino、ESP32、Raspberry Pi 等平台连接。

 

软件准备

Arduino IDE 2.3.6 : 一个功能强大、适合初学者的开源电子开发平台。安装完成后,你即可快速开始项目开发。

 

使用 二哈识图2 学习手势

在本节中,你将学习如何使用 二哈识图2 检测手掌、识别关键点并识别特定手势。

Step 1. 为 二哈识图2 供电并启动设备,然后从主菜单中选择“手势识别”功能。

 当画面中出现手掌时,二哈识图2 会自动检测并用白色方框标出所有手掌区域,同时在每只手上标记出 21 个关键点(以白色小圆点表示)。

image.png

Step 2. 将你的手(例如握拳或张开手)对准屏幕中央的十字线并保持手势稳定。
 按住 A 键,持续采集超过 10 帧图像,然后松开以学习下一个手势。
 为了获得更好的识别效果,建议在学习过程中缓慢旋转手腕轻微调整手势角度,以提升识别精度。

image.png

Step 3.  学习完成后,二哈识图2 会用彩色方框标出识别到的手势,并在屏幕上显示手势名称、ID 编号以及置信度。

image.png

 

Arduino 准备

Step 1. 根据你的操作系统,下载并安装最新版 Arduino IDE

image.png

Step 2. 启动 Arduino 应用程序。

Step 3. 按照接线图将 DFRobot_HuskylensV2 连接至电源板(购买 二哈识图2 时已附带电源板,可提升运行稳定性),然后使用 USB A-B 数据线 将 Arduino UNO 连接至电脑。

image.png

Step 4. 选择正确的开发板与端口:

Board:

导航到 Tools > Board > Arduino AVR Boards 然后选择 “Arduino Uno”。

image.png

• 端口选择:

导航到 Tools > Port,选择与 Arduino UNO 对应的串口(例如 COM3、COM14 等)。请确保选择的 COM 号正确

image.png

 

Step 5. 安装 二哈识图2 库
 要在 Arduino 中使用 二哈识图2,请从 DFRobot 官方 GitHub 仓库安装 DFRobot_HuskylensV2 Library.

1. 在 Arduino IDE 中,点击菜单栏: Sketch → Include Library → Add .ZIP Library...

2. 选择下载好的 .zip 文件并导入。

3. 你也可以参考 Arduino 官方教程: Installing Libraries (.zip)

image.png

 

上传 Arduino 代码

在本项目中,Arduino UNO 负责从 二哈识图2 采集手势识别数据,并通过串口通信发送至电脑。

Step 1. 打开或粘贴 Huskylens_angry_birds_game.ino 文件中的代码,点击右上角的 上传(Upload) 按钮。上传完成后,打开串口监视器(Serial Monitor),将波特率设置为 115200。

如果你看到如下输出内容:

image.png

 

说明 二哈识图2 与 Arduino UNO 已成功建立通信!

 

运行 Python 游戏脚本

当 Arduino 开始发送手势数据后,我们就可以运行 Python 脚本来控制《愤怒的小鸟》游戏。

要访问完整源码与下载,请前往项目仓库:HuskyLens2 Angry Birds Game — Gitee

 

运行游戏

1. 保持 Arduino UNO 连接至电脑;

2. 确认电脑上的串口号(如 COM3 或 COM14);

3. 在项目文件夹中打开终端(Terminal),输入以下命令运行游戏:

 

代码
py main_uno.py

随后将会弹出游戏窗口:

image.png

 

结构打印(3D 打印支架)

二哈识图2 通用固定夹是一个 3D 打印支架,用于将 HUSKYLENS AI 视觉传感器稳固地固定在电脑屏幕上。该支架适用于 厚度 5 mm – 24 mm 的结构表面,并兼容 HuskyLens 1 / 二哈识图2 以及其他孔距相同的模块。

你可以前往 MakerWorld 下载并打印完整的 3D 文件:https://makerworld.com.cn/zh/models/1674417-er-ha-shi-tu-aishi-jue-chuan-gan-qi-tong-yong-gu-d#profileId-1838706

image.png

现在,你就可以通过手势来控制游戏了!

 伸出你的手,拉弓、瞄准、发射 —— 体验现实世界中的“虚拟弹弓”互动吧!

image.png

而这仅仅是个开始——二哈识图2 AI 视觉传感器 不仅支持手势识别,还拥有更多强大的 AI 功能,让我们一起去探索它的更多可能性吧!

 

评论

user-avatar