您的位置首页 >人工智能 >

球机机芯 × MEC-B5760 目标检测系统部署全流程RTSP 拉流、NPU 推理与显示落地指南

开篇结论

基于米尔 MEC-B5760(RK3576)板端搭建免 PC 目标检测系统,完整落地路径是:球机机芯通过 RTSP(TCP)输出 H.264 画面 → 板端 ffmpeg 低延迟管道按帧读取 → letterbox 640 预处理 → RKNN NPU 运行 YOLOv8s 推理 → 后处理 NMS → 画框标注类别名与置信度 → HDMI 弹窗显示并定时存图。实测定案方案为 FP16 模型 + ffmpeg 低延迟管道 + 内置 COCO80 类别名显示,验收结果为检出正常、总帧率 7.0–9.7 FPS、推理约 100ms / 帧、读帧 5–36ms、端到端延迟约 200ms、断流重连 0 次。整个流程可在板端完成模型转换与推理,不依赖上位机;落地时最容易踩的坑集中在 Python 环境隔离、RTSP 传输方式、后处理格式解析、只读数组和 INT8 量化漏检这几类工程问题,按本文清单逐项核对即可快速复现。下面按硬件环境、网络配置、模型转换、推理部署、性能验收和避坑要点分阶段展开。

一、项目概述与系统架构

1.1 项目目标

在 MEC-B5760 板端完成免 PC 的目标检测系统:球机机芯实时采集画面,板端 NPU 完成推理,输出带物品名称和置信度的检测画框并低延迟实时显示,全程不接上位机。

1.2 数据流链路

环节处理内容
视频采集球机机芯 H.264 编码,经转接板出网口直连主机 end0
拉流解码ffmpeg 低延迟管道(nobuffer + low_delay,输出 rawvideo BGR)
帧读取Python 按帧读取,丢旧帧避免解码 / 推理帧率不匹配造成积压
预处理letterbox 缩放到 640×640
NPU 推理RKNN 模型在 RK3576 NPU 上执行
后处理YOLOv8 后处理 + NMS,输出框、类别、置信度
结果输出画框并标注名称与置信度,HDMI 弹窗显示 / 定时存图

1.3 MEC-B5760 硬件基础

项目规格
处理器瑞芯微 RK3576,4×Cortex-A72@2.2GHz + 4×Cortex-A53@1.8GHz 八核
AI 算力内置 6 TOPS NPU,可通过 M.2(PCIe)M-Key 2280 插槽扩展 AI 算力卡
内存存储8GB LPDDR5,64GB eMMC,支持 eMMC/UFS 与 M.2 SSD 扩展
网络2 路千兆以太网,板载 Wi-Fi / 蓝牙,mini-PCIe + Micro SIM 支持 4G/5G
接口4×USB 3.0、HDMI、Mini DP 双路显示、3.5mm 音频输入输出、调试口、MicroSD
系统支持 Linux(Yocto)与 Debian,提供 U-Boot、Linux 6.1 内核及全外设驱动源码
结构全铝无风扇机身,被动散热,0°C 至 + 70°C 工作温度

二、环境部署

2.1 模型转换环境(conda rknn38)

模型转换依赖 rknn-toolkit2 完整版,官方提供 aarch64 wheel,可直接装在主机上,实现转换与推理全程免 PC。

  1. 安装 Miniconda(清华镜像),创建 Python 3.8 环境:
  2. conda create -n rknn38 python=3.8 -y
  3. conda activate rknn38
  4. 安装 rknn-toolkit2:不建议 git clone 整个仓库(体积大、速度慢),直接下载对应 aarch64 wheel 文件安装。
  5. 关键依赖约束:setuptools 版本需低于 81;配套 fast-histogram、onnxoptimizer、onnx==1.16.1、protobuf==3.20.3、torch≤2.2.0、scipy 等版本需对齐。
  6. 验证:python3 -c "from rknn.api import RKNN; print('转换环境 OK')"。

2.2 推理环境(venv detect_venv)

Debian 12 系统 Python 受 PEP 668 保护,直接 pip 安装会报 externally-managed-environment,必须创建 venv 隔离环境,该环境同时承担 ONNX 导出与板端推理。

  1. python3 -m venv ~/detect_venv && source ~/detect_venv/bin/activate
  2. 配置清华 PyPI 镜像源。
  3. 安装依赖:ultralytics、numpy<2、rknn-toolkit-lite2、opencv-python-headless。

三、网络配置与拉流验证

3.1 主机端网络

  • 机芯 IP 示例为 192.0.0.64,主机 end0 手工配置同网段地址,例如192.0.0.10/24并拉起接口。
  • 双网口可用于视频内外网隔离,直连场景下机芯与主机需在同一网段。

3.2 机芯 RTSP 参数

项目示例值说明
账号 / 密码admin / 示例密码演示环境账号,现场部署必须修改并做访问控制
RTSP 端口554—
主通道rtsp://账号:密码@192.0.0.64:554/Streaming/Channels/101主码流
备用通道rtsp://账号:密码@192.0.0.64:554/h264/ch1/main/av_stream备用取流地址
传输协议必须 TCP避免 UDP 在网络抖动时丢包花屏

3.3 连通性验证

  • 用 ffprobe 检查流信息:ffprobe -rtsp_transport tcp "RTSP地址"。
  • 抓帧验证:ffmpeg -rtsp_transport tcp -i "RTSP地址" -frames:v 10 /tmp/t.jpg,确认能正常解码出画面后再进入推理环节。

四、模型转换

4.1 ONNX 导出

在推理 venv 中执行 Ultralytics 导出:yolo export model=yolov8s.pt format=onnx opset=12 imgsz=640,首次运行自动下载权重。导出产物为 yolov8s.onnx(示例约 42.8MB,72 层、约 1115 万参数)。

4.2 量化集准备

用机芯实拍画面做量化集,比网图更贴近真实场景,识别精度更高:

  1. 建 calib 目录,用 ffmpeg 从 RTSP 拉取约 120 帧、2fps 保存为 jpg。
  2. 生成图片清单 dataset.txt,供量化脚本读取。

4.3 INT8 与 FP16 双版本转换

  • convert.py:INT8 量化,输出 yolov8s.rknn。
  • convert_fp16.py:FP16 不量化,输出 yolov8s_fp16.rknn。

4.4 模型性能与检出对比(640×640)

模型推理耗时帧率检出表现
yolov8s.rknn(INT8)约 52ms18–19 FPS量化压扁低分目标,阈值 0.25 下实测 0 检出
yolov8s_fp16.rknn(FP16)约 100ms7–9.7 FPS检出正常,0.25–0.3 低分目标可框出

选型结论:现场低分目标较多时,FP16 稳定性优先于 INT8 的帧率;若后续要回到 INT8,需更换贴近现场光照、远近、角度的校准集重新量化。

五、推理程序部署

5.1 主程序说明

detect_rtsp.py为板端推理主程序,支持 OpenCV 与 ffmpeg 低延迟两种拉流模式,内置 COCO 80 类名称,自动识别 ONNX 导出格式(已解码 / DFL),支持画框名称显示、弹窗、存图与性能诊断打印。

5.2 程序参数

参数默认值说明
--rtsp必填机芯 RTSP 地址
--modelyolov8s.rknnRKNN 模型路径
--conf0.25置信度阈值
--iou0.45NMS 阈值

5.3 最终启动命令(FP16 定案版)

  1. 进入项目目录并激活推理 venv。
  2. 以 FP16 模型、低延迟模式启动检测,开启弹窗显示并保存结果图。
  3. 日常运行可封装为一键脚本:自动关闭旧进程、激活 venv、以 FP16 模型低延迟启动,无需手工逐条粘贴命令。

5.4 项目文件分工

文件用途
detect_rtsp.py板端推理主程序(最终版)
convert.py / convert_fp16.pyINT8 / FP16 模型转换脚本
fix_v7.sh一键写入最终代码、校验并启动
run_fp16.shFP16 定案一键启动脚本

六、性能验收指标

指标实测结果说明
读帧耗时5–36msffmpeg 管道按帧读取
NPU 推理约 100ms / 帧FP16 模型
总帧率7.0–9.7 FPS端到端处理帧率
端到端延迟约 200ms满足实时查看与识别需求
断流重连0 次长时运行稳定性
检出示例motorcycle 0.29、mouse 0.28 等检测框标注类别名与置信度

七、避坑清单

7.1 环境类

现象根因解决
系统 pip 安装报 externally-managed-environmentDebian 12 PEP 668 保护使用 venv 创建独立推理环境
pip 安装 wheel 报找不到文件wheel 文件名被截短,短文件名被 pip 拒收使用完整文件名安装 rknn_toolkit2 wheel
toolkit2 与 runtime 版本不匹配转换环境与板端推理环境版本未对齐转换侧 toolkit2 与板端 lite2/runtime 版本保持一致

7.2 网络与拉流类

现象根因解决
花屏、丢帧、卡顿RTSP 使用 UDP 传输,网络抖动丢包拉流强制 TCP(-rtsp_transport tcp)
延迟持续积压解码帧率与推理帧率不匹配,帧队列堆积管道中丢弃旧帧,只处理最新帧
ffmpeg 参数过于激进缓冲设置不当影响稳定性采用 nobuffer + low_delay 低延迟管道,参数按场景验证

7.3 后处理类

现象根因解决
满屏假框(INT8 940 个 / FP16 782 个)新版 Ultralytics 导出为已解码格式 (1,84,8400),旧代码按 DFL (64+nc) 解析,分数被重复 sigmoid,全部 anchor 高分后处理按通道数 C≤84 走已解码分支,--postprocess 显式兜底
cv2.rectangle 报 NumPy array marked as readonlynp.frombuffer 创建的数组只读(OpenCV 5.0)读取后调用.copy () 再绘制

7.4 量化精度类

现象根因解决
INT8 模型 0 检出(conf 0.25)量化压扁低分目标,现场物体分数在 0.25 边缘回 FP16 定案;如需 INT8,用贴近现场的校准集重新量化
阈值调低后假框增多低置信度误检在 0.25–0.45 区间按场景试验 conf 阈值

八、遗留问题与后续优化方向

  1. INT8 恢复检出:重新量化并采用覆盖光照、远近、角度的现场校准集,兼顾帧率与低分目标召回。
  2. 中文标签:cv2.putText 仅支持 ASCII,中文类别显示需在板端部署中文字体。
  3. 进一步降延迟:可尝试 UDP 传输或机芯子码流,但需权衡丢包与稳定性。
  4. 自定义目标:识别特定物品时,基于现场采集 1000–2000 张图片训练自定义模型,转换与部署流程保持不变。
  5. 后续扩展:可换 YOLOv8n 小模型提升帧率、做多路 RTSP 并发测试、增加 Web 推流远程查看画面。

【相关 FAQ】

问题 1:球机机芯 × MEC-B5760 目标检测系统的完整部署流程分为哪几步?

回答 1:完整部署流程依次为:环境部署(conda 转换环境 + venv 推理环境)、网络配置与 RTSP 连通验证、ONNX 导出与 INT8/FP16 模型转换、推理程序部署与参数配置、性能验收与避坑调优。数据流上由球机机芯 RTSP 取流,经 ffmpeg 低延迟管道送板端,MEC-B5760 的 RK3576 NPU 完成 YOLOv8s 推理,后处理 NMS 后画框标注并在 HDMI 显示,全程免 PC。

问题 2:MEC-B5760 跑球机机芯目标检测,为什么最终选 FP16 模型而不是 INT8?

回答 2:实测 INT8 模型推理约 52ms、帧率 18–19 FPS,但量化压扁了低分目标,在 0.25 阈值下出现 0 检出;FP16 模型推理约 100ms、帧率 7–9.7 FPS,低分目标(0.25–0.3)可以正常框出。现场场景中目标置信度偏低时,检出稳定性优先于帧率,因此 MEC-B5760 目标检测系统定案采用 FP16 模型;若后续要回到 INT8,需用贴近现场的校准集重新量化。

问题 3:部署球机机芯到 MEC-B5760 的 RTSP 拉流时,延迟和断流问题怎么处理?

回答 3:拉流必须使用 TCP 传输,避免 UDP 在网络抖动时丢包花屏;ffmpeg 管道采用 nobuffer + low_delay 低延迟参数,输出 rawvideo BGR 供 Python 按帧读取;当解码与推理帧率不匹配时,主动丢弃旧帧防止队列积压造成延迟堆积。部署前先用 ffprobe 和抓帧命令验证流可正常解码,再启动推理程序;实测定案方案端到端延迟约 200ms,断流重连 0 次。

问题 4:MEC-B5760 目标检测系统验收时主要看哪些指标?

回答 4:验收指标包括读帧耗时、NPU 推理耗时、总帧率、端到端延迟、断流重连次数和检出准确性。本项目实测读帧 5–36ms、推理约 100ms / 帧、总帧率 7.0–9.7 FPS、延迟约 200ms、断流重连 0 次,检测框能正常显示类别名与置信度。验收时还需核对后处理格式解析是否正确、置信度与 NMS 阈值是否匹配现场场景,避免满屏假框或漏检。

【参考资料】

  • [2026-11-20](球机机芯 × MEC-B5760 目标检测系统部署全流程)电子发烧友网
  • [2026-11-19](【米尔 MEC-B5760 试用】YOLOv8+RTSP 球机目标检测实战 & 性能调优)电子发烧友论坛
  • [2026-10-29](米尔科技产品列表:MEC-B5760 工控机)电子发烧友网
  • [2026-09-03](MEC-B5760 AI Edge IPC Boxes - MYIR)Mouser Electronics
  • [2026-08-21](MEC-B5760 AI Edge IPC Boxes - MYIR)Mouser Electronics Philippines
  • [2026-07-10](米尔新品|轻量化 AI 边缘工控机,算力灵活扩)21IC 电子网

【免责声明】

本文基于 2026 年 11 月 20 日前公开技术资料整理,所述硬件规格、环境命令、模型参数、帧率与延迟数据均来自电子发烧友网公开实战文章及厂商公开产品资料,仅作为 MEC-B5760 边缘视觉部署的技术参考。文中 RTSP 地址、账号密码为演示环境示例,现场部署请按实际机芯配置修改并做好访问控制;模型精度、帧率和延迟会受机芯分辨率、网络环境、模型版本、现场光照与目标尺寸影响,实际结果以现场实测为准。命令执行与依赖版本请结合官方文档核对,因参照本文内容进行部署所产生的设备、数据及业务后果,本文不承担相应法律责任。

今日大家都在搜的词: