基于二哈识图2和行空板K10的智能蔬菜识别与烹饪助手 中等

一、背景介绍

这个项目使用了二哈识图2的分类检测功能，结合在行空板K10上运行的小智AI，通过MCP协议进行关联，从而实现了通过二哈识图2准确识别蔬菜的种类，然后通过大模型来提供专业知识。用户只需用摄像头对准蔬菜，系统即可自动识别并通过语音对话，提供营养分析、烹饪建议和菜谱推荐。

二、系统设计与工作原理

核心功能

系统的核心功能包括：

• 蔬菜分类检测：实现蔬菜分类的精准检测
• AI大模块对话：根据识别到的蔬菜种类，提供专业的知识和烹饪指导
•  

技术架构图

系统的架构图如下：

硬件环境：

• * 二哈识图2，加装WiFi模块
• * 行空板K10
•  

软件环境：

• * 数据库：postgresql 18，mcphub使用
• * MCP Hub：xiaozhi-mcphub
• * Mind+：Mind+ v2.0，模型训练
• * AI Code：VSCode + Claude Code + Minimax-M2.1
• * 小智AI：小智AI固件和服务平台
•  

工作流程

三、器材清单

核心硬件

* 二哈识图2 (Huskylens2) 购买链接
  功能：负责蔬菜图像采集与本地识别

* 二哈识图2 WiFi模块 购买链接
  功能：提供网络连接，支持MCP服务

* 行空板K10 购买链接
  功能：运行小智AI系统，处理大模型请求

可选配件

• * USB数据线（用于固件烧录和数据传输）
• * 支架或外壳（便于固定设备）

四、实现步骤与源码

蔬菜分类检测训练与部署

要实现蔬菜分类检测的基础，是要提供专门的模型，能够准确对蔬菜进行识别。
二哈识图2现有的物体识别和分类检测模型中，也可以检测一部分的蔬菜，但如果要准确识别，还是自己提供数据集进行训练更好。

蔬菜数据集准备

我找到了一个常见蔬菜的数据集：蔬菜图像数据集，一共有15种蔬菜，分别为：豆类、苦瓜、葫芦、茄子、西兰花、卷心菜、辣椒、胡萝卜、花椰菜、黄瓜、木瓜、土豆、南瓜、萝卜和番茄

其中图片数据如下：

完整的数据集，每种蔬菜有1400多张图片，15种蔬菜一共有21000张。

这么多的图片，训练一次将会非常的耗时。为了快速验证，每种挑选了100张图片，一共1500张，进行训练测试。
等一切都调好了，最终才用完整的数据集进行训练。

挑选好快速验证用的图片后，也挑选几张图片，用于实测测试：

蔬菜数据集标注

标注是模型训练过程中，至关重要的一步。
不过，就算是快速训练的小数据集，也有1500张图片，就算手动标注，1个5s，也得不停歇的标注2个多小时：

而这个数据集，是真实场景的图片数据，需要整张图片一起训练，每张图片重复同样的工作。
最终，标注了5张图片，然后导出来，让AI Code分析，然后按照同样的方式生成。

具体步骤如下：

1. 先让AI分析一下目前的数据情况
   
2.  
3. 给出参考样例，让AI学习生成新的
   
4.  
5. AI学习后生成需要的数据
   
6.  
7. 打包数据为zip格式
   

最终，得到 数据集蔬菜_100.zip ，就可以提供给Mind+训练了。

数据层数据集训练

Mind+ V2.0版本，提供了模型训练的功能，直接打开就能用上：

目前，只有目标检测的模型，可以训练后，部署到二哈识图2上面。

进入目标检测后，上传有标标注数据(YOLO格式)，选择刚才生成的数据集 数据集蔬菜_100.zip 即可：

上传完成后，直接点击 训练模型：

如果熟练使用后，可以调整 高级设置中的参数，来获得更好的训练效果。

训练模型的时间，根据数据集的大小，从数分钟到数小时不等：

经过耐心的等待，最终训练完成：

蔬菜分类检测模型部署

训练完成后，点击界面中的部署至 二哈识图2，打开生成界面：

注意，这里的部署，是生成 二哈识图2 的安装包，而不是直接部署上去。

参考上图，填写好信息后，点击开始转换，就会自动上传文件到云平台进行转换处理：

模型转换成功后，可以点击下载到本地电脑：

然后，将 二哈识图2 连接到电脑，找到连接后出现的Huskylens设备：

将生成的安装包，拷贝到如下目录内：

蔬菜分类检测模型安装

在 二哈识图2上面，从应用图标界面，选择模型安装：

然后，点击从本地安装：

即可自动搜索安装包，进行安装：

安装成功后，就可以找到对应的应用图标：

蔬菜分类检测测试

点击 【蔬菜识别】图标，打开应用，就可以对准蔬菜的图样，进行识别测试了：

MCP调用

二哈识图2非常强大的一点，在于提供了MCP服务，可以让其他大模型工具，非常方便的通过MCP协议连接上来，使用二哈识图2的功能。

获取二哈识图2的MCP地址

给二哈识别2安装好WiFi模块后，找到系统设置应用图标：

点击后进入系统设置：

在进入WiFi设置，连接到WiFi网络：

连接WiFi后，再从应用图标界面，点击MCP，即可查看MCP地址：

二哈识图MCP调用测试

在Cherry Studio中，可以调用二哈识图2的MCP，进行快速测试。

打开Cherry Studio后，进入MCP设置：

点击添加后，按照下图，填写上一步获得的MCP地址即可：

然后在对话界面的助手MCP设置中，开启HUSKYLENS：

现在，就可以在对话过程中，测试调用二哈识图2的MCP功能了。

当你问对话助手有哪些能力的时候，它就会列出当前可用的算法和功能：

可以用物体检测功能先试一下，看看能否成功调用：

MCP hub搭建

在K10上面运行的是小智AI，提供了非常方便的MCP服务接入功能。
再使用 xiaozhi-mcphub，就可以很方便的把二哈识图2的MCP功能接入到小智AI使用

数据库配置

xnaizohi-mcphub 需要postgress数据库支持，就可以在本地运行。

安装好postgress以后，使用数据库管理工具，添加 数据库db_iaozhi_mcphub 和用户user_xiaozhi：

添加以后，使用设置的用户名和密码，进行连接测试，确保连接成功：

搭建MCPHub

首先，打开命令行窗口，下载 xiaozhi-mcphub 源码：

git clone https://github.com/huangjunsen0406/xiaozhi-mcphub.git

然后，将数据库配置写入到xiaozhi-mcphub目录下的.env文件中：

# 设置数据库连接，写入 .env export DATABASE_URL="postgresql://user_xiaozhi:123456@localhost:5432/db_xiaozhi_mcphub"

接着，执行下面的命令启动：

cd xiaozhi-mcphub pnpm install # 同时启动后端（:3000）与前端（Vite :5173） pnpm dev

运行成功后，会输出如下的信息：

此时，用浏览器访问 http://localhost:5173/ ，用默认用户admin和密码admin123，即可登录管理界面：

获取小智AI MCP接入点

在小智AI的后台https://xiaozhi.me/，K10对应的智能体管理中，可以找到 获取MCP接入点 按钮：

点击后查看接入点地址：

点击显示后，即可显示完整的地址，复制该地址，然后进行下一步操作。

添加小智AI MCP端点

回到MCPHub控制面板，在小智中，添加端点：

点击 创建，就会添加该小智端点：

然后，在服务器管理中，添加二哈识图2 MCP服务：

然后稍等一会，就能看到二哈识图2提供的工具调用了：

此时，如果回到 小智AI 的后台，就能看到启用的服务：

行空板K10烧录小智AI

首先从小智官方下载最新的df-k10固件：

然后使用 https://dev.16302.com/localinit 的在线烧录工具烧录：

烧录完成后，给小智AI配好网，再到小智AI控制面板激活，并使用如下的提示词：

你是一名烹饪助手AI，运行在行空板K10上，与二哈识图2硬件协同工作。

当收到蔬菜识别数据时：

1. 首先确认识别结果，并以自然方式提及“通过图像识别到...”

2. 提供以下结构化信息：

  - 营养亮点（3-4个关键点）

  - 推荐烹饪方法（2-3种最适合该蔬菜的做法）

  - 简易菜谱（1-2道，包含主要步骤）

  - 搭配建议（1-2种经典或创意搭配）

3. 如果用户提供了额外信息（如人数、饮食限制、口味），请据此调整建议

4. 使用友好、鼓励的语气，适当使用烹饪相关的表情符号（如🥬🔥🍳）

5. 如识别置信度较低或品种特殊，可补充询问“这是您想了解的蔬菜吗？还是类似品种？”

请避免：

- 冗长的学术化描述

- 绝对化的健康断言（如“一定能治病”）

- 推荐用户可能不易获取的稀有食材

示例响应框架：

“嗨！二哈识图识别到您面前的是【西兰花】～这是一种超级健康的十字花科蔬菜哦！

🌱 营养亮点：富含维C、维生素K、膳食纤维，抗氧化能力强...

🔥 推荐做法：清炒保持脆嫩，焯水凉拌保留营养...

🥘 简易菜谱：蒜蓉西兰花（步骤...）

🔄 完美搭配：搭配香菇鲜味倍增，搭配鸡胸肉做低脂餐...

根据您[用户需求]，特别推荐... 试试看吧，期待您的烹饪成果！🍽️”

行空板K10调用二哈识图MCP

唤醒小智AI后，对它说：“切换到蔬菜识别模式”，就能自动切换：

然后，就可以进行蔬菜识别了。

五、成果展示与演示

经过前面的步骤，一个基于二哈识图2和行空板K10的智能蔬菜识别与烹饪助手就完成了，现在就可以使用了。
下面实际使用的视频：
基于二哈识图2和行空板K10的智能蔬菜识别与烹饪助手_哔哩哔哩_bilibili

六、迭代过程与“踩坑”记录等

数据集准备

数据集直接决定了目标检测的效果如何，一个好的数据集非常的重要。
一开始，想要去网上搜搜蔬菜的图片，然后收集整理，但是并不是很统一。
后来去数据体相关的网站查找，最后在魔搭社区找到了一份数据集 蔬菜图像数据集 · 魔搭社区：

这份数据集包括常见的15种蔬菜，提供了足够多的样例图片以供训练。

数据集标注

完成的蔬菜图像数据集包含21000张图片，如果要人工标注，那必然耗时耗力。
在DFRobot 李亮的指导下，先用Mind+标注几张，导出做为样例，然后让AI来学习，并提取制定数量的图片，生成对应的数据集，这样健就可以快速开展训练测试。

进一步完善

正在寻找合适的数据集，扩展到常见的水果、肉类、调料的识别，从而成为真正的烹饪助手。