车辆检测技术作为物体检测中的一个重要内容,被用于自动驾驶、交通安全等各种领域,让车牌识别,交警线上智能判罚成为可能,为智慧交通系统奠定了基础。本教程我们就来学习如何利用现成的模型,结合行空板、USB摄像头检测并拍摄车辆。
![基于行空板的opencv车辆检测装置图1](https://mc.dfrobot.com.cn/data/attachment/forum/202404/18/161223o8w3hot6r8uhsjxr.png)
任务目标
摄像头模拟电子眼,检测车辆。当检测到有车驶来时,就对该画面进行抓拍,并将抓拍的照片保存到行空板的系统文件里。
![基于行空板的opencv车辆检测装置图2](https://mc.dfrobot.com.cn/data/attachment/forum/202404/18/161308n95ioo2gr90vn00o.png)
动手实践
车辆检测装置主要用于抓拍车辆,即如果摄像头检测到车辆就对该画面进行抓拍,然后将抓拍的照片保存在行空板的系统文件里,后期可以调取里面的照片筛选违规车辆。接下来,通过两个简单的小任务来学习如何制作项目。
任务一:显示实时视频
在此项任务中,打开摄像头,并将摄像头检测到的画面显示在行空板屏幕上。
任务二:完成车辆检测并拍摄功能
在任务一的基础上,加上车辆检测功能,当检测到汽车时,就在终端区域输出“检测到车辆”的信息,对该画面进行抓拍,并将抓拍的照片保存到行空板的系统文件里。
任务一:显示实时视频
1. 硬件连接
将USB摄像头连接到行空板上,如下图。硬件连接成功后,使用USB线将行空板连接到计算机。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/a5da8371be3d390123c131a228cea3d7.png)
2. 软件准备
(1) 打开Mind+,按照下面图示完成软件准备过程。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/e2ee938d19ad6aa46e6a65901377aec6.png)
(2) 点击“扩展”,在用户库的搜索框输入地址“https://gitee.com/chenqi1233/ext-object_recognition”然后按下回车按键搜索“物体检测”的库,搜索完成后点击“物体检测”库完成添加。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/d7ed71594f1a3a344d63a64a72d722f2.png)
3. 编写程序
首先观察一下,任务一的界面上都包含哪些元素?标题,显示框,视频内容显示区域,效果如下图。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/baaa5119fafa9c1fc44beea61b0e9141.png)
(1) UI界面设置,首先利用“显示文字”指令将对象“标题”的内容显示在行空板屏幕上方。并添加视频显示区域。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/7b17cfb231351cd42a3d9906a512139b.png)
(2) 想要显示实时的视频画面,就需要使用“初始化摄像头”指令打开摄像头,并设置该摄像头的设备号为0。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/33098ff1361f30867578e470ebb31a43.png)
(3)现在摄像头已经打开了,接下来我们可以使用“从VideoCapture对象(vd)中抓取下一帧(img)以及状态(ret)”指令将捕获到的画面存入到 ‘img’ 这个变量中,然后使用“对象名(img_src)将图片(img)裁剪为宽()高()”指令将‘img’变量里的图像裁剪成宽为240,高为270的新图像,并新图像保存在 ‘img_src’ 变量中,以供后续处理和分析使用。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/dc854aae55fef49fbf6596e0332e7922.png)
(4) 上面我们已经学习了如何捕获画面和裁剪画面,接下来,我们将完成画面实时显示功能。首先导入一张白底的背景图到文件系统中,然后在(0,50)的坐标位置显示这张背景图。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/12aae76ef84e85bfe5757252cd11d4ec.png)
(5) 因为OpenCV图像中的默认颜色格式是BGR,想要在行空板屏幕上显示画面,就需要将颜色格式转换成RGB,使用“对象名(imgROI)将图片(img_src)使用BGR和RGB之间进行转换”指令将‘img_src’ 变量中的图像转换成RGB,并将转换后的图像保存到‘imgROI’变量中。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/4cb0ce8711e2b9b5334ae8fe4aefbefc.png)
(6) 通过上面步骤,我们已经完成了图像颜色格式转换、图像尺寸剪裁和图像捕获。现在,只要利用“更新图片”就可以将捕获到的图像显示在显示框区域内。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/f13a76ef5793fbe788135b936ed940eb.png)
4. 程序运行
检查行空板是否已连接到mind+,无误后,点击右上角的运行按钮,程序运行成功后,行空板屏幕上会显示实时画面。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/2b841291f383982ba56f97fe369d8476.png)
任务二:完成车辆检测功能
前面我们讲过,在任务一的基础上,加上车辆检测的功能,当检测到汽车就在终端区域输出“检测到车辆”的信息,并抓拍车辆图片保存到行空板的系统文件里。
1. 准备工作
按照任务一的“硬件连接”与“软件准备”连接好行空板并准备好mind+软件。
2. 编写程序
(1) 要实现车辆检测的功能,需要提前加载车辆数据模型。提前将汽车数据模型导入到文件系统中的“项目中的文件”,步骤如下:
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/629d9ba145dabb4f15ee966f16963623.png)
注意:可直接使用教程提供或者去网上查询下载汽车数据模型(后缀为 .xml 的文件),下载成功后,注意记录模型名称,如“haarcascade_car.xml”。
(2) 如何通过程序加载模型?利用“创建级联分类器(casecadeCar)”指令创建一个空的级联分类器对象。由于创建的级联分类器对象是空的,无法进行物体检测。需要通过“对象名(casecadeCar)加载 [汽车数据模型] 模型”指令加载一个训练好的汽车检测模型文件。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/2e990733ffa98e884a13e602816bad92.png)
(3) 如何确保模型加载成功呢?利用“对象名(casecadeCar)是否加载完成”指令来检查分类器是否已经加载了一个训练好的分类器模型。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/3003f24517ccdf8e7cf5630a9a2f53fd.png)
(4) 获得识别结果,使用“对象名(casecade)输入检测图像(img)返回检测结果信息”指令完成对‘img’变量里的图像中的物体检测。为了方便后续处理和分析,我们需要创建变量“ car ”用来存储检测结果。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/1752279165cd328c2fbd8c21fcac1bc1.png)
(5) 运行步骤(4)的代码,观察终端区域的运行结果你会发现,当摄像头检测到汽车时,会输出一串数字类型的数据,未检测到汽车时,输出的是一个“()”。因为检测到汽车,输出的是一串数字,所以我们可以通过判断变量car数据的长度,来判断画面中是否有汽车。当变量car数据的长度>0时,说明画面中检测到汽车了,这时终端区域就输出“检测到车辆”。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/ad14359a270780417bfaa6f22292c057.png)
(6) 如何抓拍并保存图片?利用 保存图片(img_src)到(“Mind+.png”)指令就可以将图片保存下来,当然我们也可以使用变量,给不同的图片起不同的名字。完整参考程序如下:
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/bc8eb22cb73e0c24ecf0a1f0ed7f8513.png)
3. 程序运行
点击右上角的运行按钮,程序运行成功后,你会看见,当摄像头检测到是汽车时,终端区域输出“检测到有车辆”。
![截屏2024-05-16 上午10.20.15.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/ecdaf05cd7934d5833f87d883d90e3df.png)
如何查看行空板中存的图片呢?
连接行空板10.1.2.3远程终端后,可以看到在文件系统的文件目录下,会多出一个名为“行空板中的文件”。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/a84d74a53bb6f84d95f9a245d6555ef0.png)
点击目录中的mindplus文件夹,然后再点击cache文件夹,找到对应的Mind+文件,如“车辆检测.mp”文件的保存位置。点击“车辆检测.mp”,可以看到抓拍的图片文件分别为:1.png、2.png、3.png......。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/421ee0139bd7a1954714b99984fb99a4.png)
其中1.png、2.png、3.png......就是从摄像头中获取的图片。右击“xx.png”,选择“下载文件到电脑”,将图片下载到电脑上。记住保存的路径,通过电脑就可以查看摄像头拍摄的图片了。
![image.png](https://makelogimg.dfrobot.com.cn/makelog/652ce4c9f6f6eea679b51bc3/57caf12765bf3fbf6e1aa9337567bb6e.png)
附件
评论