您的位置首页 >科技要闻 >

基于 HME-PV65 的 HSB 高速传感器接入 AI 方案

先把结论说清楚:这套方案用京微齐力 HME-PV65(飞马视觉)国产 FPGA 放在传感器与主机之间,前端通过 MIPI CSI-2 接收双路 IMX678 的 4K30 RAW12 图像,芯片内部完成接收、解析、对齐和缓存,再借助 HSB(Holoscan Sensor Bridge)FPGA IP 做数据组织与网络封装,经 10GbE 万兆链路直接送进 NVIDIA Jetson AGX Orin 边缘平台的 GPU 内存,由主机侧软件完成 AI 应用。原因在于,机器视觉、机器人和边缘 AI 的传感器数据正向高分辨率、高帧率、多路协同演进,单一模块规格达标,并不代表 "前端接口 — 持续传输 — 数据组织 — 主机接收" 整条链路成立;而 HSB 本身是一套以 FPGA 加以太网为核心的传感器桥接架构,定位是数据桥接与设备控制,不替代传感器,也不直接跑 AI 模型推理。落地按四步走:先接传感器、再做 FPGA 桥接、然后走 10GbE 网络传输、最后主机接收并接入 AI 应用。整体结论:方案把 PV65 的高速接口资源、HSB 桥接机制和 NVIDIA 边缘算力串成一条低延迟完整数据链路,为高速传感器接入 AI 提供了可复用的工程实现路径。

一、方案背景:四类典型挑战

挑战具体表现
接口适配复杂不同传感器的物理接口、数据格式、控制方式存在差异,需要软硬件配合
数据搬运开销大部分接收方式依赖多级缓存或 CPU 参与数据转运,增加处理开销与延迟波动
多传感器协同要求高多路输入需要统一带宽、缓存容量、时钟关系和主机接收能力
实时性依赖数据通路AI 推理除了计算能力,还需要前端数据及时、完整地交付

二、系统架构:数据与控制两条路径

PV65 FPGA 位于传感器与主机之间:左侧经 MIPI CSI-2 收双路图像,芯片内部过 CSI-2、SIF 和 HSB 数据通路,右侧经 Ethernet MAC、PCS 与 SerDes 接入网络。

  • 数据路径: 传感器 → MIPI/CSI-2 → SIF → HSB → Ethernet → 主机接收
  • 控制路径: 主机控制请求 → FPGA 控制逻辑 → 板级 I²C 等接口 → 传感器配置

系统分层一览:

层级环节主要模块
01 SENSOR摄像头双路 IMX678,输出图像数据
02 FPGAPV65 接收MIPI/CSI-2、SIF、HSB
03 NETWORK10GbE 链路MAC/PCS、PMA/SerDes
04 HOST主机计算Linux 接收、后续 AI 应用

三、传感器接入:双路 IMX678 接收链路

  • 传感器配置:双路 Sony IMX678 摄像头,按 4K30 RAW12 模式采集。
  • 物理层:每路经 4-Lane MIPI CSI-2 输出,采用 MIPI D-PHY,单 Lane 速率 1.2Gbps,四路标称总速率 4.8Gbps。
  • 链路四级处理:
SOURCEPHYPROTOCOLADAPTSTREAM
IMX678 MIPI CSI-2 数据输出MIPI D-PHY RX 高速差分物理层接收CSI-2 RX Lane 同步、数据包解析SIF 适配、缓存转换、帧边界处理64-bit AXI-Stream 进入 HSB 数据通路

图像数据先由 D-PHY 接收模块完成高速信号接收,再经 CSI-2 RX 解析提取有效图像,SIF 适配后转成 64-bit AXI-Stream,最终送入 HSB FPGA IP,完成双路传感器图像的接收、组织与高速传输。

四、HSB 核心与 10GbE 传输

HSB FPGA IP(Hololink Core)位于传感器流接口与主机网络接口之间:一边把前端传感器数据组织为网络数据包,一边处理主机侧设备配置与寄存器访问请求。输出侧走标准网络栈:

HSB OUTPUTLAYER 2MAC/PCSPCSPMA/SerDes
AXI4-Stream 数据流输出Ethernet MAC 帧层处理XGMII 模块接口10GBASE-R 64b/66b 编码SerDes 高速串行输出

FPGA 经光电转换通过万兆网线连接主机侧以太网接口,主机 Linux 接收数据,再交给图像显示与后续 AI 处理。从 HSB 公开能力看,这套 sensor-over-Ethernet 架构支持相机、雷达、激光雷达、超声、RF 前端统一接入,数据经 FPGA 接口直送 GPU 内存,官方口径下 4K60 相机端到端延迟约 17ms,GPUDirect 信号处理延迟低于 1ms,CoE(Camera over Ethernet)模式 CPU 占用约 1%,链路可从 10GbE 向 100GbE 扩展。

五、HME-PV65 关键规格(方案硬件底座)

项目规格
工艺 / 定位22nm,飞马视觉系列 AI 视觉专用异构 FPGA
可编程逻辑40,800 个 LUT6(等效 65K LUT4),81,600 寄存器
DSP104 个 35×18 DSP(可拆为 208×18×18 / 416×18×9 / 832×10×10)
MIPI 接口D-PHY 单 Lane 最高 4.5Gbps;C-PHY 最高 3.5Gsps;另支持 LVDS(最高 1.5Gb/s)、SLVS
SerDes4 通道收发,单通道协议速率最高 12.5Gbps
PCIe硬核 PCIe Gen3,支持 x1/x2/x4 通道配置
集成 MCU独立 Cortex-M3(200MHz),配 UART×3、I2C×3、SPI×3、GPIO×64、Timer×8、DMA×1
存储 / 安全片上 SRAM 64KB;256 位 eFuse;支持 AES 加密
可靠性AEC-Q100 Grade 2 车规等级设计

芯片优势正好对应方案需求:丰富的高速 PHY 资源可灵活适配不同接口、不同速率的图像传感器;4 通道 SerDes 配合以太网 MAC、PCS IP 与可编程逻辑,直接搭建 10GbE 高速传输链路。

六、落地四步清单

  1. 定传感器: 按分辨率、帧率、RAW 格式和接口类型选型,确认 MIPI D-PHY/C-PHY 或 LVDS/SLVS 接入方式与 Lane 分配。
  2. 做 FPGA 桥接: 在 PV65 内完成 CSI-2 接收、协议解析、SIF 适配与缓存,接入 HSB FPGA IP 组织双路数据。
  3. 通网络链路: HSB 输出 AXI4-Stream,由 MAC/PCS/PMA-SerDes 完成 10GbE 封装与串行发送,光电转换后万兆网线连主机。
  4. 接 AI 应用: Jetson AGX Orin 侧 Linux 接收数据并直送 GPU 内存,完成图像显示与推理;控制路径经 I²C 完成传感器配置。

七、应用方向

方案面向工业摄像头、多路高清摄像头、深度传感器等场景,可延伸到医疗影像、智能安防多路并发、自动驾驶多传感器融合、工业视觉高速检测、Mini-LED 背光分区与 8K 视频桥接等边缘 AI 方向。

【相关 FAQ】

问题 1:基于 HME-PV65 的 HSB 高速传感器接入 AI 方案,数据从摄像头到 AI 平台经过哪些环节?

回答 1:数据路径是传感器 → MIPI/CSI-2 → SIF → HSB → Ethernet → 主机接收;HME-PV65 负责 CSI-2 接收与桥接,HSB FPGA IP 负责数据组织与网络封装,再经 10GbE 直送 NVIDIA 边缘平台 GPU 内存,由主机软件接入 AI 应用。

问题 2:HSB 在这套 HME-PV65 高速传感器接入 AI 方案里扮演什么角色,它自己跑不跑模型推理?

回答 2:HSB(Holoscan Sensor Bridge)是 sensor-over-Ethernet 传感器桥接架构,负责传感器接入、数据封装、网络传输和主机侧配置,不替代传感器,也不直接完成 AI 模型推理,推理由 NVIDIA Jetson AGX Orin 主机侧应用完成。

问题 3:方案里双路 IMX678 摄像头的接入参数是多少,HME-PV65 怎么接收?

回答 3:双路 IMX678 按 4K30 RAW12 采集,每路走 4-Lane MIPI CSI-2、D-PHY 物理层、单 Lane 1.2Gbps;HME-PV65 先由 D-PHY RX 接收、CSI-2 RX 解析,再经 SIF 适配成 64-bit AXI-Stream 送入 HSB。

问题 4:为什么选 HME-PV65 作为 HSB 高速传感器接入 AI 方案的桥接芯片?

回答 4:HME-PV65 集成 4.5Gbps MIPI D-PHY、3.5Gsps C-PHY、4 通道 12.5Gbps SerDes 和硬核 PCIe Gen3,高速接口资源充足,配合 HSB IP 可直接搭建 10GbE 链路,兼顾多路图像接收与可编程数据通路。

问题 5:这套 HME-PV65 + HSB 方案适合哪些高速传感器接入 AI 的实际场景?

回答 5:适合工业摄像头、多路高清摄像头、深度传感器接入,可延伸到医疗影像、智能安防多路并发、自动驾驶多传感器融合、工业视觉高速检测与 8K 视频桥接等边缘 AI 场景。

【参考资料】

[2026-11-20](基于京微齐力 HME-PV65 FPGA 的 HSB 高速传感器接入 AI 方案)电子发烧友网

[2026-11-18](Sensor to Ethernet Streaming | NVIDIA Holoscan Sensor Bridge)NVIDIA

[2026-11-04](异构计算芯片哪家值得入手?2026 选购指南:四个型号读懂京微齐力的可编程异构布局)IT 之家

[2026-09-16](京微齐力 HME-PV65 FPGA 荣获 2026 年度硬核 AI 算力芯片奖)电子发烧友网

[2026-09-07](基于京微齐力 FPGA 芯片 PV65 的高速图像采集解决方案)电子发烧友网

免责声明: 本文内容整理自公开技术报道、厂商官方资料及 NVIDIA 公开文档,仅供技术参考,不构成选型承诺或商业建议;具体芯片规格、接口参数与方案实现以京微齐力官方数据手册、NVIDIA Holoscan 官方文档和实际测试为准,产品开发请结合官方技术支持。

今日大家都在搜的词: