您的位置首页 >科技要闻 >

不用交换机微软Windows11上线USB4 RDMA多机做AI推理

微软 11 月 19 日发布 USB4 RDMA(RDMA over USB4)开发者预览,搭载 USB4 接口的 Windows11 电脑只用 USB4 线材两两直连、不用交换机、不用专用 RDMA 网卡,就可以把一个大 AI 模型做张量拆分,把多台机器内存、显存资源合并起来做本地 AI 推理,解决单台 PC 内存装不下大模型的痛点,这套方案复用 Windows 原有 NetworkDirect 接口,不需要额外安装第三方驱动。RDMA 核心优势是绕开传统网络协议栈,数据在两台机器内存之间直接搬运,CPU 开销很低;双机实测延迟 28–50 微秒,对比 USB4 上跑 UDP 以太网(116–194 微秒)延迟大约低 75%,USB4 单链路带宽最高 80Gbps,足够支撑 LLM 推理时频繁的张量交换。它不是简单串联 Daisy-chain,推荐全 Mesh 互联:N 台机器,每台 PC 至少需要 N-1 个 USB4 口,每一对 PC 单独一根 USB4 线直连;官方配套了 llama.cpp 测试样例,已经验证单台 64GB 跑不动的大模型,可以分到三台同规格 PC 上正常推理。当前版本还在实验通道预览阶段,不是正式版,适合开发者调试本地分布式推理,普通用户暂时没有图形化一键组队面板。

核心参数对比表

项目USB4 RDMAUSB4 上 UDP 以太网传统 InfiniBand RDMA 集群
硬件需求USB4 口 + USB4 线,无交换机USB4 口 + USB4 线专用 IB 网卡、交换机、光纤
双机延迟28–50μs116–194μs~1–10μs
带宽上限80Gbps80Gbps200Gbps/400Gbps
驱动Windows 原生,无第三方驱动系统自带网络栈专用 IB 驱动
定位桌面小集群、本地 AI 推理普通点对点局域网数据中心大规模训练 / 推理

硬性使用条件清单

  1. 机器:Windows11 Insider 实验通道(Future Platforms)预览版,PC 自带 Windows 管理的 USB4 控制器,开启 Kernel DMA Protection
  2. 拓扑:全 Mesh 点对点直连,禁止菊花链串接,菊花链性能会暴跌
  3. 软件:推理框架要兼容 NetworkDirect;微软放出 llama.cpp 分支作为验证 demo
  4. 限制:属于开发者预览,面向技术测试,没有内置可视化控制面板

优势与短板

✅ 优势:门槛极低,有 USB4 口就能搭小 AI 集群,不用昂贵服务器互联硬件;低延迟、低 CPU 开销,适合在家 / 工作室跑本地大模型

⚠️ 短板:组网消耗大量 USB4 端口;机器数量增加后首 token 延迟容易抬升;不适合大规模集群;仅支持兼容 NetworkDirect 的推理框架,不是所有 AI 工具直接适配

【相关 FAQ】

问题 1:Windows11 上线 USB4 RDMA 多机 AI 推理,是不是真的完全不用交换机?

回答 1:是的,USB4 RDMA 方案不需要网络交换机和专用 RDMA 网卡,PC 之间直接用 USB4 线缆点对点直连组网,依靠 USB4 主机路由做 RDMA 传输通道。

问题 2:USB4 RDMA 做 AI 推理,原理是什么?

回答 2:RDMA 允许跨机内存直接读写,跳过 TCP/IP 协议栈,减少拷贝和 CPU 占用;AI 框架使用张量并行,把大模型切分到多台 PC 显存 / 内存协同计算,使用 NetworkDirect 统一 API 调用,底层跑在 USB4 通道上。

问题 3:USB4 RDMA 组网能不能一根线把电脑串成菊花链?

回答 3:不可以,官方明确不推荐菊花链,必须全 Mesh 拓扑,N 台机器,每台 PC 要有 N-1 个 USB4 口,两两单独连线,菊花链会造成性能大幅下滑。

问题 4:普通用户现在能不能直接用 USB4 RDMA 组队跑 AI?

回答 4:目前是开发者预览版,只在 Windows Insider 实验通道放出,没有图形化一键操作界面,需要适配 NetworkDirect 的推理框架,更适合开发者测试,不面向普通用户开箱即用。

【参考资料】

[2026-11-19](Introducing RDMA over USB4® on Windows: run larger local AI models across PCs)Microsoft Community Hub

[2026-11-21](微软为 Windows 11 引入 RDMA 技术:基于 USB4,可多机串接 AI 推理)腾讯新闻

[2026-11-22](不用交换机!微软 Windows11 上线 USB4 RDMA:多机合体做 AI 推理)快科技

[2026-11-20](Microsoft Previews RDMA over USB4 for Windows, Splitting Large AI Models Across Directly Linked PCs)XenoSpectrum

【免责声明】

本文信息来自微软官方博客、TechPowerUp 等技术媒体;USB4 RDMA 为开发者预览功能,正式推送时间、功能、兼容性都可能调整;组网效果受 USB4 控制器、线材质量、模型并行策略影响;本文仅为技术资讯,不构成硬件采购、集群搭建建议。

今日大家都在搜的词: