【LattePanda Mu 开发套件】AI 视觉应用开发——人脸检测 简单

【LattePanda Mu 开发套件】AI 视觉应用开发——人脸检测

本文介绍了 LattePanda Mu 开发套件实现 AI 视觉应用开发——人脸检测，包括项目介绍、环境部署、板端推理、动态识别等。

项目介绍

环境部署：包括 Python 安装、OpenCV 库安装、工具链安装等；

模型训练：包括预训练 ONNX 模型、YuNet 模型、置信度显示等；

板端推理：包括流程图、关键代码、本地人脸图片的板端推理等；

实时监测：连接 USB 摄像头捕捉实时画面，并实现人脸动态检测。

环境搭建

包括 Python 安装、OpenCV 库安装、工具链安装等。

Python 安装

下载并安装最新版 Python 软件，勾选添加路径至系统环境变量选项；

安装完成后，Win + R 输入 CMD 回车，进入终端命令行界面；

执行 python --version 指令，获取当前版本信息，验证安装是否完成；

终端执行 pip --version 获取相应的版本号；

OpenCV 部署

终端执行 pip install opencv-python 安装 OpenCV 库；

YuNet 模型

YuNet 是一种轻量级、高效且准确的人脸检测模型，专为边缘设备设计，能够在毫秒级完成推理。该模型采用无锚点（Anchor-free）机制，并优化了损失函数和样本匹配策略，显著提升了检测性能，同时保持了极小的参数量。

YuNet 广泛应用于人脸识别、表情分析、视频监控等领域，尤其适合资源受限的边缘设备。其高效性还可用于服务器端批量处理，节省计算资源。

详见：YuNet: A Tiny Millisecond-level Face Detector .

板端推理

介绍了基于 OpenCV 的人脸检测项目的实现。

调用训练好的模型实现人脸检测，并标注相应的置信度。

使用 ONNX 模型，下载 并将模型文件置于 model 文件夹路径下；

YuNet 是 Anchor-Free 人脸检测器。

详见开源项目：face_detection_yunet | GitHub .

流程图

代码

新建 face_detection_confidence.py 文件，添加如下代码

import cv2
​
def detect_faces_yunet(image_path: str,
conf_threshold: float = 0.8,
model_path: str = "models/face_detection_yunet_2023mar.onnx") -> None:
img = cv2.imread(image_path)
if img is None:
raise FileNotFoundError(image_path)
h, w = img.shape[:2]
​
# 初始化 YuNet
detector = cv2.FaceDetectorYN_create(
model=model_path,
config="",
input_size=(w, h),
score_threshold=conf_threshold,
nms_threshold=0.4,
top_k=5000
)
detector.setInputSize((w, h))
​
faces = detector.detect(img)[1] # shape: (N, 15) x,y,w,h,x_reye,...,score
if faces is None:
faces = []
​
for face in faces:
x, y, w, h, *_ = face[:4]
score = face[-1]
x, y, w, h = map(int, (x, y, w, h))
​
cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)
label = f"{score:.2f}"
label_size, _ = cv2.getTextSize(label, cv2.FONT_HERSHEY_SIMPLEX, 0.5, 1)
cv2.rectangle(img, (x, y - label_size[1] - 4),
(x + label_size[0], y), (0, 255, 0), -1)
cv2.putText(img, label, (x, y - 2), cv2.FONT_HERSHEY_SIMPLEX,
0.5, (0, 0, 0), 1, cv2.LINE_AA)
​
# ========== 显示部分开始 ==========
window_name = "YuNet Face Detection"
​
h_img, w_img = img.shape[:2] # 原图尺寸
max_h = 500 # 限制最大高度
​
if h_img > max_h: # 缩放
scale = max_h / h_img
new_w = int(w_img * scale)
show_img = cv2.resize(img, (new_w, max_h))
else: # 无需缩放
show_img = img
​
cv2.namedWindow(window_name, cv2.WINDOW_AUTOSIZE) # no resize frame
cv2.imshow("YuNet Face Detection", show_img)
cv2.waitKey(0)
cv2.destroyAllWindows()
​
if __name__ == "__main__":
detect_faces_yunet(r".\img\friends.jpg")

右键该文件，选择使用 IDLE 编辑；

菜单栏选择 Run - Run Module 选项，运行程序；

或终端执行指令 python E:\Code\fd\face_detection_confidence.py 、双击 *.py 文件运行也可；

效果

运行程序后弹出人脸检测结果，并标注人脸置信度

调用 ONNX 模型实现人脸检测的方案相对于 Haar 特征识别方案具有更高的精度和置信度，同时提供更多可调控的信息；

可见该方案在整体识别效果方面有显著提升；

对于图像分辨率较为一般的场景，也能准确识别人脸；

动态检测

调用本地 USB 摄像头资源，实时跑 YuNet 模型；

人脸框 + 置信度；

按 q 键退出；

首次运行自动下载 YuNet 权重文件；

流程图

代码

新建 face_detection_CamUSB.py 并添加如下代码

import cv2
from pathlib import Path
import urllib.request
import sys
​
# ---------- 1. 模型路径 & 下载 ----------
MODEL_URL = (
"https://github.com/opencv/opencv_zoo/raw/main/models/face_detection_yunet/"
"face_detection_yunet_2023mar.onnx"
)
MODEL_PATH = Path("models/face_detection_yunet_2023mar.onnx")
​
if not MODEL_PATH.exists():
print("首次使用，正在下载 YuNet 权重...")
urllib.request.urlretrieve(MODEL_URL, MODEL_PATH)
print("下载完成.")
​
# ---------- 2. 初始化摄像头 ----------
cap = cv2.VideoCapture(0, cv2.CAP_DSHOW) # CAP_DSHOW 仅 Windows 可删
if not cap.isOpened():
sys.exit("无法打开摄像头")
​
# 读取一帧拿到分辨率
ret, frame = cap.read()
if not ret:
sys.exit("无法读取画面")
h, w = frame.shape[:2]
​
# ---------- 3. 初始化 YuNet ----------
detector = cv2.FaceDetectorYN_create(
model=str(MODEL_PATH),
config="",
input_size=(w, h),
score_threshold=0.7,
nms_threshold=0.4,
top_k=5000
)
​
# ---------- 4. 主循环 ----------
print("按 q 退出")
while True:
ret, frame = cap.read()
if not ret:
break
​
# 检测
detector.setInputSize((w, h))
faces = detector.detect(frame)[1] # shape: (N, 15)
if faces is None:
faces = []
​
for face in faces:
x, y, w_box, h_box = map(int, face[:4])
score = float(face[-1])
​
# 画框
cv2.rectangle(frame, (x, y), (x + w_box, y + h_box), (0, 255, 0), 2)
# 写置信度
label = f"{score:.2f}"
cv2.putText(frame, label, (x, y - 5),
cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2)
​
# 显示
cv2.imshow("YuNet USB Camera", frame)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
​
# ---------- 5. 清理 ----------
cap.release()
cv2.destroyAllWindows()

右键该文件，选择使用 IDLE 编辑；

菜单栏选择 Run - Run Module 选项，运行程序；

或双击 *.py 文件运行。

效果

运行程序后弹出摄像头实时采集画面，自动标注人脸选框和置信度

动态演示

总结

本文介绍了 LattePanda Mu 开发套件实现 AI 视觉识别类的相关应用，包括环境搭建、模型训练、板端推理、摄像头实时检测和推理识别等，为该产品在 AI 视觉领域的快速开发和应用提供了参考。