所有分类
主题 主题
平台 平台
我的工作台
userHead
注册时间 [[userInfo.create_time]]
创造力 [[userInfo.creativity]]
[[userInfo.remark]]
[[d.project_title]]
articleThumb
[[d.material_name]]
timelineThumb
进入工作台
折叠
所有分类 我的工作台
展开

第七节:RobomasterTT未来交警

RobotDanny RobotDanny 2021-01-06 19:30:08
2
0
简单
projectImage

[1]课程引入和知识原理讲解(Think)

高速公路出现交通事故的时候,交警很难第一时间到达现场,

为了解决这个问题,我们设想可以让交警操控RobomasterTT抵达事故地点进行取证。

我们可以利用二哈识图模块探测事故车牌号码,

 

在节假日的出行中,很多车主可能会占用应急车道,这是交通违法行为,

由于车辆拥堵,交警很难前往取证,我们可以使用无人机携带二哈识图模块沿应急车道飞行,对占用应急车道的车牌(二哈识图-标签)进行记录,传输给交警,

效率高,而且非常准确。

相比传统的手动取证,无人机取证不受地面交通情况限制,能以更快的速度处理现场,减少塞车的等待时间,尽快疏通道路。

[2]项目描述和实施步骤(Doing)

(1)器材清单

①RobomasterTT无人机

②RobomasterTT无人机保护桨(Tello-CYNOVA保护桨)

③HuskyLens二哈识图传感器

   HuskyLens二哈识图是一款简单易用的AI视觉传感器,内置7种功能:人脸识别、物体追踪、物体识别、巡线追踪、颜色识别、标签识别、物体分类。仅需一个按键即可完成AI训练,摆脱繁琐的训练和复杂的视觉算法,让你更加专注于项目的构思和实现。

HuskyLens板载UART / I2C接口,可以连接到Arduino、Raspberry Pi、LattePanda、micro:bit等主流控制器,实现硬件无缝对接。HuskyLens直接输出识别结果给控制器,你无需折腾复杂的算法,就能制作非常有创意的项目。

projectImage

(2)任务流程图

projectImage

①使用二哈识图学习识别标签(车牌)

手动控制TT无人机沿高速应急车道飞行,如果发现占用应急车道的车牌,

会点亮灯光来表示看到的车牌ID,

②当识别到ID1的车牌时,无人机身上的LED灯带会点亮一个白色灯,

  当识别到ID2的车牌时,无人机身上的LED灯带会点亮两个红灯,

  当识别到ID3的车牌时,无人机身上的LED灯带会点亮三个绿灯,

  当识别到ID4的车牌时,无人机身上的LED灯带会点亮四个蓝灯

 

projectImage

(3)步骤图片

①机械结构设计

把二哈识图安装到TT无人机的身上:

 

projectImage

②电控设计

  我们使用I2C接口建立HUSKYLENS与TT扩展模块的通信,

读取二哈识图的信息。

 

projectImage

③RobomasterTT 空中交警识别车牌ID算法原理和设计:

HUSKYLENS 识别 AprilTag 原理

        标签识别技术(简称标识技术)是指对物品进行有效的、标准化的编码与标识的技术手段,它是信息化的基础工作。

标识技术主要有条形码技术、IC 卡技术、射频识别技术、光符号识别技术、语音识别技术、生物计量识别技术、遥感遥测、机器人智能感知等技术。

这里我们使用AprilTags标签:

AprilTags 是一个出自密歇根大学项目团队的视觉基准系统,主要用于 AR,机器人和相机校准等领域。标签的作用类似于条形码,存储少量信息(标签 ID),同时还可以对标签进行简单而准确的 6D(x,y,z,滚动,俯仰,偏航)姿势估算。

 

projectImage

[1]AprilTag 识别过程主要包含如下步骤:

1. 边缘检测寻找图像中的边缘轮廓。

 

projectImage

2、四边形检测,找出轮廓中的四边形。

 

projectImage

3、解码对找出的四边形进行匹配、检查。

 

projectImage

通过这些步骤,HUSKYLENS 的标签识别功能就能识别不同的 AprilTags,在TT空中交警的场景中,我们需要将不同的 AprilTags 贴在车的身上,表示不同的车牌号码:

projectImage

交警可以控制无人机在高速公路的应急车道进行巡逻,发现占用应急车道的车辆时,二哈识图会进行识别,通过点亮的灯光数据来表示看到的ID。

 

[2]HUSKYLENS 传感器 - 标签识别功能演示

  1、侦测标签

当 HuskyLens 检测到二维码标签时,屏幕上会用白色框自动框选出检测到的所有二维码标签。

 

projectImage

 2、学习标签

将 HuskyLens 屏幕中央的“+”字对准需要学习的标签,短按或长按“学习按键”完成第一个标签的学习。松开”学习按键“后,屏幕上会提示:”再按一次按键继续!按其他按键结束“。

如要继续学习下一个标签,则在倒计时结束前按下“学习按键”,

可以继续学习下一个标签。如果不再需要学习其他标签了,则在倒计时结束前按下”功能按键”即可,或者不操作任何按键,等待倒计时结束。

 

projectImage

本项目中,需要继续学习下一个标签,因此在倒计时结束前按下“学习按键”,然后将 HuskyLens 屏幕中央的“+”字对准需要学习的下一个标签,短按或长按“学习按键”完成第二个标签的学习。

标签 ID 与录入标签先后顺序是一致的,也就是:学习过的标签会按顺序依次标注为“标签:ID1”,“标签:ID2”,“标签:ID3”,以此类推,并且不同的标签对应的边

 

3、识别标签

HuskyLens 再次遇到学习过的标签时,在屏幕上会有彩色的边框框选出这些标签,并显示其 ID。边框的大小会随着二维码标签的大小进行变化,边框自动追踪这些二维码标签。

projectImage

下面是HUSKYLENS学习 识别ID标签(车牌号码)的测试视频:

[3]TT空中交警使用HUSKYLENS 传感器 - 标签识别功能演示

  我们首先使用HUSKYLENS 传感器识别标签,并打印标签,贴在墙上

来表示占用应急车道的车牌号码,然后TT无人机进行巡逻,

  当识别到ID1的车牌时,无人机身上的LED灯带会点亮一个白色灯,

  当识别到ID2的车牌时,无人机身上的LED灯带会点亮两个红灯,

  当识别到ID3的车牌时,无人机身上的LED灯带会点亮三个绿灯,

  当识别到ID4的车牌时,无人机身上的LED灯带会点亮四个蓝灯

projectImage

(4)RobomasterTT空中交警完整的代码:

  机械结构和电控结构结构完成以后,我们需要编写程序,

打开Mind+编程平台,找到左下角的“扩展”并单击,

  在主控板中,我们选择RobomasterTT(ESP32模块)

 

projectImage

在传感器界面中,我们选择HUSKYLENS AI摄像头,

projectImage

然后我们编写程序,并上传到TT开源控制器中:

当识别到ID1的车牌时,无人机身上的LED灯带会点亮一个白色灯,

  当识别到ID2的车牌时,无人机身上的LED灯带会点亮两个红灯,

  当识别到ID3的车牌时,无人机身上的LED灯带会点亮三个绿灯,

  当识别到ID4的车牌时,无人机身上的LED灯带会点亮四个蓝灯

 

 

 

 

projectImage
projectImage

[3]项目拓展和总结(Theory)

     在实时模式下,我们选择RobomasterTT(单机),

编写程序控制无人机识别地面的挑战卡进行自主飞行,同时二哈识图会自动识别占用应急车道的标签,从而实现无人机自动飞行,自动识别标签的功能。

 

projectImage

下面是第七节RobomasterTT未来交警的测试视频:

[4]学生能力基础(5-6年级)

Makelog作者原创文章,未经授权禁止转载。
2
0
评论
[[c.user_name]] [[c.create_time]]
[[c.parent_comment.count]]
|
[[c.comment_content]]