所有分类
主题 主题
平台 平台
我的工作台
userHead
注册时间 [[userInfo.create_time]]
创造力 [[userInfo.creativity]]
[[userInfo.remark]]
[[d.project_title]]
articleThumb
[[d.material_name]]
timelineThumb
进入工作台
折叠
所有分类 我的工作台
展开
【智控万物】懒人系列之视控灯
云天 云天 2020-05-05 17:20:38
1
2
简单

【智控万物】懒人系列之视控灯

projectImage

(演示:视频识别控制Microbit) 


【项目背景】

     "视控灯"(个人造词)这个名字来自“声控灯”,在公共场所,有人需要临时开灯。如楼道、卫生间等等(从前都是手动开关,人懒,就出现了声控灯)。声控灯实现起来很简单,应用比较普遍。

    声控是它的优势但也存在一个很大的问题。因为只有声音超过一定响度时,灯才亮。这也就出现了有人在楼门口大声咳嗽,使劲跺脚。同时也发生在楼道里,不方便自己的同时,也产生了噪音,尤其是在深夜,你的大呵一声,惊扰四邻。 

【设计方案】

 1、现在使用的是电脑作为识别工具,后期条件成熟准备使用树莓派,因Python在树莓派也能实现相应功能。

 2、使用Python来处理摄像头图像,代码简单,本地运行速度快。识别响应阈值可自定义。

 3、CodeLab Scratch3+CodeLab Adapter+Python完美搭配。以前我要实现类似功能,要通过一个中间者MQTT,比如本地的像Siot。

【准备工作】

 可参考:http://adapter.codelab.club/dev_guide/Adapter-Node/ 

【制作过程】

 1、只使用Python进行测试 《演示视频》

代码 代码
	                    					#识别画面异动
import imutils,cv2,time
 
camera = cv2.VideoCapture(0)
framefirst=None
avg=None
num=0
j=0
while True:
    (grabbed, frame) = camera.read()
    # 如果不能抓取到一帧,说明我们到了视频的结尾
    if not grabbed:
        break
  
    # 调整该帧的大小,并且对其进行高斯模糊
    frame = imutils.resize(frame, width=500)
    imageold=frame.copy()
    #转换为灰阶图像
    gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
  
    #高斯模糊 这里(21, 21)表示高斯矩阵的长与宽都是5,
    #标准差取0时OpenCV会根据高斯矩阵的尺寸自己计算。概括地讲,高斯矩阵的尺寸越大,标准差越大,处理过的图像模糊程度越大。
    gray = cv2.GaussianBlur(gray, (21, 21), 0)
    if framefirst is None :
       framefirst=gray
       continue
    if avg is None:
       avg = gray.copy().astype("float")
       continue
    #图像叠加or图像混合加权实现
    #cv2.addWeighted(src1, alpha, src2, beta, gamma[, dst[, dtype]]) → dst
    #dst = src1 * alpha + src2 * beta + gamma;
    cv2.accumulateWeighted(gray, avg, 0.5)
    gray = cv2.absdiff(gray, cv2.convertScaleAbs(avg))
  
    # 二值化处理,即黑白的(不是灰度图),所以读取的图像要先转成灰度的,再转成二值图 ,
    #像素高于阈值时,给像素赋予新值,否则,赋予另外一种颜色。函数是cv2.threshold() 
    ret, binary = cv2.threshold(gray,5,255,cv2.THRESH_BINARY)
    #学习不同的形态学操作,例如腐蚀,膨胀,开运算,闭运算等
    #我们要学习的函数有:cv2.erode(),cv2.dilate(),cv2.morphologyEx()等
    #与卷积核对应的原图像的像素值中只要有一个是1,中心元 素的像素值就是1。所以这个操作会增加图像中的白色区域(前景)。
    #一般在去噪声时先用腐蚀再用膨胀。因为腐蚀在去掉白噪声的同时,也会使前景对象变小。
    #所以我们再对他进行膨胀。这时噪声已经被去除了,不会再回来了,但是前景还在并会增加。膨胀也可以用来连接两个分开的物体。
    thresh = cv2.dilate(binary, None, iterations=2)
    #binary:寻找轮廓的图像
    #轮廓的检索模式:cv2.RETR_EXTERNAL表示只检测外轮廓
                    #cv2.RETR_TREE建立一个等级树结构的轮廓。
                    #cv2.CHAIN_APPROX_SIMPLE压缩水平方向,垂直方向,对角线方向的元素,只保留该方向的终点坐标,例如一个矩形轮廓只需4个点来保存轮廓信息
    contours, hierarchy = cv2.findContours(thresh, cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE) 
    #第一个参数是指明在哪幅图像上绘制轮廓;
    #第二个参数是轮廓本身,在Python中是一个list。
    #第三个参数指定绘制轮廓list中的哪条轮廓,如果是-1则绘制其中的所有轮廓。
    #thickness表明轮廓线的宽度,如果是-1(cv2.FILLED),则为填充模式。
    #
    cv2.drawContours(frame,contours,-1,(0,0,255),3)  
  
    for c in contours:
        # if the contour is too small, ignore it
        if cv2.contourArea(c) < 5000:
            continue
  
        # 计算轮廓线的外框, 在当前帧上画出外框,
        # 并且更新文本
        (x, y, w, h) = cv2.boundingRect(c)
        cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
     
        num+=1
        if num>20 :
           print('有异动')
           num=0
    cv2.imshow("contours", frame)
    #cv2.imshow("Gray", gray)
    
    #cv2.imshow("binary", binary)
    key = cv2.waitKey(1) & 0xFF
  
    # 如果q键被按下,跳出循环
    if key == ord("q"):
        break
  
# 清理摄像机资源并关闭打开的窗口
camera.release()
cv2.destroyAllWindows()
	                    				

2、CodeLab Scratch3+CodeLab Adapter+Python,暂未控灯 

《演示视频》


代码 代码
	                    					import time
import imutils,cv2
from loguru import logger
from codelab_adapter_client import AdapterNode
 
 
class EIMNode(AdapterNode):
    def __init__(self):
        super().__init__()
        self.NODE_ID = "eim"
 
    def send_message_to_scratch(self, content):
        message = self.message_template()
        message["payload"]["content"] = content
        self.publish(message)
 
    def extension_message_handle(self, topic, payload):
        self.logger.info(f'the message payload from scratch: {payload}')
        content = payload["content"]
        if type(content) == str:
            content_send_to_scratch = content[::-1]  # 反转字符串
            self.send_message_to_scratch(content_send_to_scratch)
 
    def run(self):
        camera = cv2.VideoCapture(0)
        framefirst=None
        avg=None
        num=0
        j=0
        while self._running:
                (grabbed, frame) = camera.read()
                # 如果不能抓取到一帧,说明我们到了视频的结尾
                if not grabbed:
                    break
  
                # 调整该帧的大小,并且对其进行高斯模糊
                frame = imutils.resize(frame, width=500)
                imageold=frame.copy()
                #转换为灰阶图像
                gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
  
                #高斯模糊 这里(21, 21)表示高斯矩阵的长与宽都是5,
                #标准差取0时OpenCV会根据高斯矩阵的尺寸自己计算。概括地讲,高斯矩阵的尺寸越大,标准差越大,处理过的图像模糊程度越大。
                gray = cv2.GaussianBlur(gray, (21, 21), 0)
                if framefirst is None :
                   framefirst=gray
                   continue
                if avg is None:
                   avg = gray.copy().astype("float")
                   continue
                #图像叠加or图像混合加权实现
                #cv2.addWeighted(src1, alpha, src2, beta, gamma[, dst[, dtype]]) → dst
                #dst = src1 * alpha + src2 * beta + gamma;
                cv2.accumulateWeighted(gray, avg, 0.5)
                gray = cv2.absdiff(gray, cv2.convertScaleAbs(avg))
  
                # 二值化处理,即黑白的(不是灰度图),所以读取的图像要先转成灰度的,再转成二值图 ,
                #像素高于阈值时,给像素赋予新值,否则,赋予另外一种颜色。函数是cv2.threshold() 
                ret, binary = cv2.threshold(gray,5,255,cv2.THRESH_BINARY)
                #学习不同的形态学操作,例如腐蚀,膨胀,开运算,闭运算等
                #我们要学习的函数有:cv2.erode(),cv2.dilate(),cv2.morphologyEx()等
                #与卷积核对应的原图像的像素值中只要有一个是1,中心元 素的像素值就是1。所以这个操作会增加图像中的白色区域(前景)。
                #一般在去噪声时先用腐蚀再用膨胀。因为腐蚀在去掉白噪声的同时,也会使前景对象变小。
                #所以我们再对他进行膨胀。这时噪声已经被去除了,不会再回来了,但是前景还在并会增加。膨胀也可以用来连接两个分开的物体。
                thresh = cv2.dilate(binary, None, iterations=2)
                #binary:寻找轮廓的图像
                #轮廓的检索模式:cv2.RETR_EXTERNAL表示只检测外轮廓
                #cv2.RETR_TREE建立一个等级树结构的轮廓。
                #cv2.CHAIN_APPROX_SIMPLE压缩水平方向,垂直方向,对角线方向的元素,只保留该方向的终点坐标,例如一个矩形轮廓只需4个点来保存轮廓信息
                contours, hierarchy = cv2.findContours(thresh, cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE) 
                #第一个参数是指明在哪幅图像上绘制轮廓;
                #第二个参数是轮廓本身,在Python中是一个list。
                #第三个参数指定绘制轮廓list中的哪条轮廓,如果是-1则绘制其中的所有轮廓。
                #thickness表明轮廓线的宽度,如果是-1(cv2.FILLED),则为填充模式。
                #
                cv2.drawContours(frame,contours,-1,(0,0,255),3)  
  
                for c in contours:
                    # if the contour is too small, ignore it
                    if cv2.contourArea(c) < 5000:
                        continue
              
                    # 计算轮廓线的外框, 在当前帧上画出外框,
                    # 并且更新文本
                    (x, y, w, h) = cv2.boundingRect(c)
                    cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
     
                    num+=1
                    if num>20 :
                       self.send_message_to_scratch('有异动')
                       print('有异动')
                       num=0
                cv2.imshow("contours", frame)
                #cv2.imshow("Gray", gray)
    
                #cv2.imshow("binary", binary)
                key = cv2.waitKey(1) & 0xFF
  
                # 如果q键被按下,跳出循环
                if key == ord("q"):
                    break
        # 清理摄像机资源并关闭打开的窗口
        camera.release()
        cv2.destroyAllWindows() 
 
 
if __name__ == "__main__":
    try:
        node = EIMNode()
        node.receive_loop_as_thread()
        node.run()
    except KeyboardInterrupt:
        node.terminate()  # Clean up before exiting.
	                    				

3、CodeLab Scratch3加入Usb Microbit控制

projectImage
附件 附件

演示视频(不接电磁继电器和灯),直接用Microbit点阵灯演示

(晚上在楼道里拍的,光线不好。)

演示视频(接电磁继电器和灯)

Makelog作者原创文章,未经授权禁止转载。
1
2
评论
[[c.user_name]] [[c.create_time]]
[[c.parent_comment.count]]
[[c.comment_content]]