微软正式给 Windows11 带来基于 USB4 的 RDMA 远程直接内存访问开发者预览功能,普通用户只要用 USB4 线缆把多台带 USB4 接口的 Win11 电脑直连,不用额外买专业 RDMA 网卡、交换机,就能把多台机器的内存、GPU 算力合并在一起跑大模型 AI 推理,很多单台电脑内存装不下的巨型本地 AI 模型,靠张量并行拆分到多机运行,这套方案走的是 NetworkDirect 接口,绕开传统网络协议栈,传输延迟很低,现在只开放给开发者测试,普通正式版系统还没有推送这个能力。
一、USB4 RDMA 核心参数清单
- 传输带宽:USB4 链路支持 40Gbps、80Gbps
- 实测往返延迟:28–50 微秒
- 对比参考:同一条 USB4 线上跑 UDP 以太网延迟 116–194 微秒,RDMA 延迟大约只有四分之一
- 调用接口:NetworkDirect(Windows 原生 RDMA 接口)
- 依赖硬件:带 USB4 端口的 Windows11 主机、合规 USB4 数据线
- 运行版本:Windows Insider 实验通道预览版
- 配套框架:基于修改版 llama.cpp 做验证测试
二、技术原理简单说明
- Windows 的 USB4 连接管理器,在两台电脑之间建立点对点隧道通道
- RDMA 走 USB4 主机路由的 DMA 环,数据直接在两台电脑注册好的内存区域搬运
- 跳过网络协议栈、不需要 CPU 反复拷贝数据,CPU 占用更低
- AI 推理框架用张量并行,把同一个大模型拆分给多台 PC 分别计算,计算后汇总结果
- 微软推荐全网状直连拓扑,不建议菊花链串接,链式接法会明显掉性能
三、官方实测案例
- 三台 AMD Ryzen AI Max 主机,联合跑 Qwen3-235B 大模型,推理速度 18.5–21.98 token/s
- Intel 酷睿 Ultra 多机集群,跑 GPT-OSS-120B 模型,最高可达 54.2 token/s
- 原本 64G 内存单台 PC 装不下的大模型,多机组合之后可以正常加载推理
四、当前版本限制与前置条件
- 属于开发者预览版,还没有进入正式版 Windows11
- 需要切换到 Windows Insider 实验通道,开启测试签名,需要关闭安全启动 Secure Boot
- 每台机器都要有 USB4 接口,线缆要满足 USB4 规范
- 集群上限受电脑上 USB4 端口数量约束,端口越多,能接入的机器越多
- 只适合本地 AI 推理场景,不是用来替代机房 InfiniBand 大型集群
【相关 FAQ】
问题 1:Windows11 的 USB4 RDMA 技术,实现多机串接 AI 推理需要额外买网卡吗?
回答 1:Windows11 的 USB4 RDMA 技术实现多机串接 AI 推理,不需要额外购买专用 RDMA 网卡和交换机,只需要支持 USB4 的电脑和 USB4 数据线就可以搭建集群。
问题 2:微软 Windows11 USB4 RDMA 做多机 AI 推理,相比 USB4 以太网优势在哪?
回答 2:微软 Windows11 USB4 RDMA 做多机 AI 推理可以绕过传统网络协议栈,实测延迟只有 28–50 微秒,延迟大约是同链路 USB4 UDP 以太网方案的四分之一,CPU 开销更小,更适合大模型分布式推理。
问题 3:现在普通 Windows11 正式版能不能直接使用 USB4 RDMA 做多机串接 AI 推理?
回答 3:普通 Windows11 正式版暂时不能直接使用 USB4 RDMA 做多机串接 AI 推理,该功能目前仅在 Windows Insider 实验通道以开发者预览形式放出,正式推送时间还未公布。
问题 4:USB4 RDMA 多机串接 AI 推理,电脑连接方式推荐怎么接?
回答 4:使用 USB4 RDMA 做多机串接 AI 推理,微软推荐全网状直连拓扑,不推荐菊花链依次串接,菊花链的带宽和延迟衰减会严重降低 AI 推理性能。
【参考资料】
[2026-11-21](微软为 Windows 11 引入 RDMA 技术:基于 USB4,可多机串接 AI 推理)超能网
[2026-11-20](微软推 USB4 RDMA 预览版,多台 Win11 电脑协同运行大模型)DoNews
[2026-11-20](Microsoft Previews USB4 RDMA to Link Windows PCs for Local AI Inference)XenoSpectrum
[2026-11-19](Introducing RDMA over USB4® on Windows: run larger local AI models across PCs)Microsoft Community Hub
【免责声明】
本文仅整理公开技术预览信息,不构成硬件采购、系统刷机建议。Windows11 USB4 RDMA 属于开发者实验功能,存在稳定性、兼容性问题,功能、参数、推送计划微软都有可能调整;关闭安全启动会带来设备安全风险,操作前请自行评估风险。
