【二哈识图2 】基于自训练模型的颜色积木识别系统- Makelog(造物记)

小雪，是二十四节气中的第20个节气，

冬季第2个节气，

时间在每年公历11月22或23日，

即太阳到达黄经240°时。

小雪是反映降水与气温的节气，

它是寒潮和强冷空气活动频数较高的节气。

小雪节气意味着天气会越来越冷、降水量渐增。

很高兴参加“AI视觉应用创新挑战赛”活动，

与志同道合的朋友们携手，

在思维的碰撞中激发灵感，共同将智慧的闪光点，

今天分享一个《基于自训练模型的颜色积木识别系统》

一、搭建环境

1、硬件：二哈识图2固件1.1.6

2、软件：Mind+1.8.1（编程）； Mind+ 2.0（模型训练）

材料清单

二哈识图2 AI视觉传感器 X1 链接
行空板K10 X1 链接
行空板多功能扩展板 X1 链接
usb摄像头 X

二、环境准备

1.安装.NET 7.0.410

2.安装python环境搭建工具——anaconda

3.建立MindPlus_Model文件夹

在电脑中点击运行anaconda powershell，进入终端

4.下载模型转换打包工具------onnx2kmodel-master

将下载好的zip文件，解压到MindPlus_Model文件夹中

5.启动python app.py

(base) PS C:\Users\hsy> conda activate env312
(env312) PS C:\Users\hsy> cd C:\Windows\System32\MindPlus_Model\onnx2kmodel-master

(env312) PS C:\WINDOWS\system32\MindPlus_Model\onnx2kmodel-master> python app.py

准备工作已经完成。

三、颜色积木模型训练

1.打开Mind+2.0

2.模型训练找到目标检查选项

3.数据设置——创建积木分类数据集

打开usb摄像头，采集每组100张左右不同颜色的积木图片

要求：背景颜色单一或者纯净

4.标注积木——创建不同颜色积木标签

找到未标注筛选按钮，先标注一类积木效果很好

5.模型训练

6.导出数据集和模型

1将导出的模型文件积木分类_model保存在 C:\WINDOWS\system32\MindPlus_Model下。

2.将导出的数据集积木分类也保存在 C:\WINDOWS\system32\MindPlus_Model下。

四、部署二哈 2

1.模型转换工具，在Select Mode中选择MindPlus

2.设置HUSKYLENS 2里的模型logo图

3在AppName板块设置模型应用对应的中文名称和英文名称

4.生成二哈2识别颜色模型

5.将模型zip文件复制到二哈2 的硬盘的\storage\installation_package目录下。

6.点击二哈2屏幕，点击进入'模型安装'。选择本地安装，安装成功后出现下图

五、编程程序

步骤1 打开 mind+,窗口右上角，选择上传模式

步骤2 打开 Mind+,右下角扩展添加在官方库添加行空板k10,二哈2

步骤3 编写程序

代码

/*!
 * MindPlus
 * esp32s3bit
 *
 */
#include "unihiker_k10.h"
#include "DFRobot_HuskylensV2.h"
// 创建对象
UNIHIKER_K10 k10;
uint8_t      screen_dir=2;
HuskylensV2  huskylens;


// 主程序开始
void setup() {
	k10.begin();
	k10.initScreen(screen_dir);
	k10.creatCanvas();
	Wire.begin();
  while (!huskylens.begin(Wire)) {
    delay(100);
  }
	k10.canvas->canvasClear();
	k10.setScreenBackground(0x000000);
	k10.canvas->canvasText("行空板", 1, 0xFFFFFF);
	k10.canvas->canvasText("二哈2识别颜色积木", 4, 0xFFFFFF);
	k10.canvas->updateCanvas();
	huskylens.switchAlgorithm((eAlgorithm_t)128);
}
void loop() {
	huskylens.getResult((eAlgorithm_t)128);
	if ((huskylens.available((eAlgorithm_t)128))) {
		if (((RET_ITEM_STR(huskylens.getCachedCenterResult((eAlgorithm_t)128), Result, name))==String("绿色积木"))) {
			k10.canvas->canvasClear(10);
			k10.canvas->canvasText("当前积木颜色绿色", 10, 0xFFFFFF);
			k10.canvas->updateCanvas();
			k10.rgb->write(-1, 0x00FF00);
		}
		if (((RET_ITEM_STR(huskylens.getCachedCenterResult((eAlgorithm_t)128), Result, name))==String("橙色积木"))) {
			k10.canvas->canvasClear(10);
			k10.canvas->canvasText("当前积木颜色橙色", 10, 0xFFFFFF);
			k10.canvas->updateCanvas();
			k10.rgb->write(-1, 0xFF6600);
		}
		if (((RET_ITEM_STR(huskylens.getCachedCenterResult((eAlgorithm_t)128), Result, name))==String("蓝色积木"))) {
			k10.canvas->canvasClear(10);
			k10.canvas->canvasText("当前积木颜色蓝色", 10, 0xFFFFFF);
			k10.canvas->updateCanvas();
			k10.rgb->write(-1, 0x0000FF);
		}
	}
	else {
		k10.canvas->canvasClear(10);
		k10.canvas->canvasText("等待识别积木颜色中.......", 10, 0xFFFFFF);
		k10.canvas->updateCanvas();
		k10.rgb->write(-1, 0x000000);
	}
}

9月17日晚上，DF发布二哈识图2和新的Mind+软件, 除了基本功能外，最大亮点Mind+可以训练模型，训练模型如古人炼丹一样。只要把相关的药材放入丹炉，加入适当的火候，就练出自己想要的仙丹。

通过两个月升级迭代，通过Mind+2.0的目标检测，采集不同颜色积木的数据集，数据标注，模型训练，训练出自己想要的模型，部署到二哈上，实现自动识别不同颜色积木。

【二哈识图2 】基于自训练模型的颜色积木识别系统 简单

【二哈识图2 】基于自训练模型的颜色积木识别系统简单