【灵感数字组】AI“眼”中的小恐龙：Mind+ V2 目标检测训练自动玩Chrome断网游戏 简单

开始 → 加载模型 → 打开显示窗口 → 进入循环
    ↓
截取屏幕 → 模型推理 → 检测仙人掌
    ↓
找到最靠近恐龙的仙人掌（左边缘最小）
    ↓
计算左边缘与恐龙的距离
    ↓
距离≤阈值 → 模拟按空格 → 跳跃冷却
    ↓
显示检测结果 → 按ESC退出

# -*- coding: UTF-8 -*-
# 自动跳跃小恐龙（Chrome Dino Game）
# 使用Mind+ V2目标检测模型

import cv2
import numpy as np
import time
import pyautogui
from PIL import ImageGrab

# Mind+ V2 模型训练推理库导入
from model_mp_io import IO_Windows, ImageWriter
from model_mp_core import ObjectDetectionInference

# ================== 可调参数 ==================
DINO_X = 150               # 恐龙在图像中的固定X坐标（需实际测量）
JUMP_DISTANCE = 40         # 跳跃触发距离（像素）
JUMP_COOLDOWN_MS = 500     # 跳跃冷却（毫秒）
SCREEN_REGION = None       # 全屏截图，也可裁剪游戏区域
DEBUG = True
# ==============================================

# 加载模型
inference = ObjectDetectionInference(
    get_asset_path_by_name("best.onnx"),
    get_asset_path_by_name("data.yaml")
)

# 初始化显示窗口
windows_name = IO_Windows()
detection_img_output = ImageWriter()
WINDOW_TITLE = "Dino Auto Jump"
cv2.namedWindow(WINDOW_TITLE, cv2.WINDOW_NORMAL)

print("请将恐龙游戏窗口置于前台，按ESC退出")

debug_printed = False
last_jump_time = 0

while True:
    # 1. 截图
    screen_pil = ImageGrab.grab(bbox=SCREEN_REGION)
    img = cv2.cvtColor(np.array(screen_pil), cv2.COLOR_RGB2BGR)

    # 2. 推理
    result_output = inference.inference(img)

    # 3. 处理检测结果（找最靠左的仙人掌）
    cactus_detected = False
    closest_x1 = float('inf')

    if len(result_output['result']) > 0:
        img = detection_img_output.draw(img, result_output)

        for det in result_output['result']:
            if DEBUG and not debug_printed:
                print("检测项字段:", det.keys())
                debug_printed = True

            class_name = det.get('class_name', '')
            bbox = det.get('bbox', det.get('box', None))
            if bbox is None:
                continue

            if class_name.lower() in ['cactus', '仙人掌']:
                x1 = bbox[0]   # 左边缘
                if x1 < closest_x1:
                    closest_x1 = x1
                    cactus_detected = True
                    if DEBUG:
                        conf = det.get('confidence', det.get('score', 'N/A'))
                        print(f"检测到 {class_name}，置信度 {conf}，左边缘 X={x1}")

    # 4. 跳跃控制
    current_time = time.time() * 1000
    if cactus_detected and closest_x1 != float('inf'):
        distance = closest_x1 - DINO_X
        if distance <= JUMP_DISTANCE and (current_time - last_jump_time) > JUMP_COOLDOWN_MS:
            pyautogui.press('space')
            last_jump_time = current_time
            if DEBUG:
                print(f"   → 跳跃！距离={distance} 像素")

    # 5. 显示画面
    cv2.imshow(WINDOW_TITLE, img)

    # 6. ESC退出
    if cv2.waitKey(1) & 0xFF == 27:
        break

cv2.destroyAllWindows()