【二哈识图2 系列教程】基于手势识别的车载智能助手 简单

1.项目总览

1.1项目介绍

开车时总会遇到一些让人手忙脚乱的时刻，比如：刚上高速，手机突然响了，伸手去找手机怕跑偏方向，不接又担心是急事；傍晚进隧道，想调亮车内灯光，但怎么也摸不到调节按钮，开车的同时要做这些事情总觉得不够安全。本项目将打造一个车载助手，帮助你解决这些小麻烦——它不用你碰任何按钮，靠手势就能操作。例如：开车时电话响了，你不用低头找手机，对着中控前方比个OK，电话立马接通，安全又省心；晚上开车想营造柔和的氛围，轻轻把拇指和食指捏近点，灯光就跟着暗下来，不用再摸黑找灯光旋钮。

更实用的是，这个小助手还能跟着你的需求拓展：想调空调时，伸出食指向上指代表调高1度；握拳代表调低风速，以后做做手势就能控温度；想切歌时，设定“手掌左右划动切换上一首/下一首”，不用再去按音乐按钮。从目标实体数据采集、增量模型训练、模型推理，到数据计算，再到指令执行，这样一套流程，完整展现了人工智能技术在生活里能被轻松落地实践，让手势识别技术变得能被触摸、能互动起来，还更有乐趣！

1.2演示视频

2. 项目实现原理

它的核心逻辑如下：先让二哈识图2的摄像头进行手势数据的采集与学习——把“OK”这类目标手势的特征，通过“目标实体数据采集→模型增量训练”的流程“记”进系统里，等开车时需要接听电话，二哈识图22会通过摄像头实时捕捉你的手势，再进行模型推理，识别出手势类型。接着，行空板K10会接收二哈识图2的识别结果，进行计算：如果是“OK”手势，就执行“接听电话”的指令，通过屏幕进行显示反馈；要是识别出的是用于调节灯光的手势，就根据拇指和食指的位置坐标计算出的距离，计算出对应的灯光强弱程度，并对灯光的亮度进行调节。

3.软硬件准备

3.1软硬件器材清单

注意：Mind + 编程软件版本为 v2.0

3.2硬件连接

请按照下方连接图，将电脑、行空板K10、二哈识图2进行连接。

3.3软件平台准备

官网下载安装Mind+ 2.0及以上版本安装包，安装完成后，双击打开。

4.项目制作

4.1二哈识图2操作

首先，由于出厂语言默认为英文，我们可以用触屏的方式左右滑动，找到“System Settings”（系统设置）图标，将系统语言设置成自己想要的语言（支持英文，中文简体和中文繁体）。

点击进入“System Settings”，下滑至底部找到“Language”选项。点击“Language”，进入设置语言界面。

点击自己想要的语言选项。之后，系统会切换语言并自动返回至菜单页面，如下图是切换为中文简体的示意图。

其次，选择二哈识图2的通信方式。

二哈识图2支持UART（串口）和I2C两种通信方式，本教程中使用I2C通信模式。

点击“系统设置”->协议种类->选择I2C通讯模式后返回主菜单界面。

最后，滑动屏幕，找到“手势识别”功能。

将二哈识图2对着有手掌的画面，检测到手掌时，屏幕上会用白色方框，框出画面中的所有手掌，并用白色圆点标记出手掌上的21个关键点。

二哈识图2中的参数配置以及模式选择完成后，接下来需要让该模型学习“OK”的手势以触发接听电话的操作。步骤如下：

对准要学习的某个手掌，调整二哈识图2“看”的角度，使屏幕中间的“+”字位于白色框内，然后按下二哈识图2右上角A键，学习该手势。

学习完成后，如识别到已学习的手势，屏幕将以彩色方框框出该手势，并在上方显示手势名字、ID号及置信度，例如“手势:ID191%”。

二哈识图2的更多详细使用方法见下面的网址：

https://wiki.dfrobot.com.cn/_SKU_SEN0638_Gravity_HUSKYLENS_2_AI_Camera_Vision_Sensor

目标实体数据采集、增量模型训练完成后，即可开始编写代码，实现一个基于手势识别的车载智能助手。

4.2代码实现

打开编程软件Mind+，选择“程序设计”中的“上传模式”。

首先，我们需要在Mind+中添加相应的扩展，包括行空板K10和二哈识图2。

进入“扩展”页面并搜索“行空板K10”。

点击扩展包上的“下载”按钮，等待下载完成。

点击该扩展包完成加载。

按照加载“行空板K10”的步骤加载用户库“Huskylens2 AI摄像头”。

“行空板K10”和“Huskylens2 AI摄像头”的用户库加载完毕后，

点击“返回”按钮返回编程界面。

在连接设备中点击“连接”。

连接成功界面如下，点击“×”返回。

设备连接成功后，编写程序如下：

核心代码解析如下：

附件中有该项目的完整程序文件，展开项目，点击“打开项目”。

选择附件中的项目，并点击“打开”。

点击“上传到设备”运行程序。

将二哈识图2选择为“手势识别”模式。

实现效果如下：

5.附件清单

文件链接: https://pan.baidu.com/s/1A9k7TYhrUUmZS-1bsfSaqA?pwd=itcq