您的位置首页 >科技要闻 >

高通 Dragonfly AI200 推理加速器开放客户评估机架级大模型推理硬件进入实测阶段

高通在 11 月 17 日联合 Cirrascale 云服务,面向选定客户开放 Dragonfly AI200 推理加速器的云端评估通道,客户可以上传自家的大模型、多模态业务负载,在托管云环境里面完成跑分、压力测试和 POC 验证,验证通过之后可以直接切换到正式生产部署。这款 AI200 是高通首款机架级数据中心推理专用硬件,主打超大内存、低功耗、低总体拥有成本,目标瞄准云厂商和企业的大规模生成式 AI 推理需求,和通用 GPU 走差异化路线,重点解决大模型推理阶段显存不足、电费成本过高的痛点,评估不是对外开放,只有筛选后的客户才有资格接入测试。

AI200 核心参数对照表

项目详细参数
产品名称高通 Dragonfly AI200 推理加速器
单卡内存768GB LPDDR5X
整机机架配置单机架 56 张卡,总内存 43TB,液冷 ORv3 机架
机架功耗140kW
支持模型规模最高支持 10 万亿参数大模型,上下文最长 128K
互联方式PCIe Gen6 纵向扩展、RoCE 以太网横向扩展
散热方案直冷液冷,兼容风冷
配套软件高通 AI Inference Suite 推理套件、AI 管理平台
适用负载大语言模型、多模态、Agent 智能体、文生图、视频推理
评估渠道Cirrascale AI Innovation Cloud 云平台

客户评估能做哪些验证工作

  1. 负载适配测试:把客户自己的 LLM、多模态模型导入平台,检查模型转换、算子兼容情况。
  2. 性能基准测试:测并发、首 token 延迟、吞吐,对比现有推理硬件的单瓦性能、单位成本产出。
  3. 压力与稳定性测试:长时间高并发跑推理,观察散热、功耗、故障恢复能力。
  4. 部署流程验证:验证裸金属、虚拟机、公有云 IaaS 多种部署模式,完成 POC 方案输出。
  5. 成本测算:核算完整 TCO,评估大规模上线之后电费、硬件采购的综合成本优势。

AI200 的差异化特点

超大单卡内存是核心优势

单卡 768GB 内存,远高于主流 HBM GPU,很多超大参数模型不用做复杂分片、KV 缓存优化就能直接跑通,简化部署工作量,适合长上下文、RAG 检索增强生成业务。

硬件专为推理优化,不主打训练

定位清晰,只面向推理场景,架构、内存、互联都围绕推理优化,在推理场景下能效比更有优势,不适合大模型预训练。

配套完整软件生态

自带推理套件,兼容主流 AI 框架,支持机密计算,保障客户模型和业务数据安全,也提供机架级运维监控、负载调度工具。

迭代路线明确

属于高通数据中心推理产品线第一代,下一代 AI250 计划 2027 年初推出,主打近存计算,带宽和能效进一步提升。

市场竞争与落地节奏

  1. 赛道定位:和英伟达、AMD 的数据中心 GPU 形成竞争,主打推理场景的成本和功耗优势,给云厂商新增硬件备选方案。
  2. 商业化节奏:评估阶段先行,完成客户验证之后,正式机架产品 2026 年内陆续交付商用。
  3. 目标客户:公有云服务商、AI 原生企业、有自建大模型推理集群需求的中大型企业。
  4. 局限:目前评估名额受限,不是公开试用;训练能力偏弱,客户如果同时有训练 + 推理需求,还需要搭配其他算力硬件。

【相关 FAQ】

问题 1:高通 AI200 推理加速器开放客户评估,客户通过哪个平台开展评估?

回答 1:高通 AI200 推理加速器开放客户评估,客户通过 Cirrascale 的 AI Innovation Cloud 托管云平台开展评估,验证完成后可直接过渡到生产部署。

问题 2:高通 AI200 推理加速器开放客户评估,AI200 单卡内存和整机机架内存是多少?

回答 2:高通 AI200 推理加速器开放客户评估,AI200 单卡搭载 768GB LPDDR5X 内存,整套 56 卡机架总内存达到 43TB。

问题 3:高通 AI200 推理加速器开放客户评估,AI200 主要用来跑什么 AI 任务?

回答 3:高通 AI200 推理加速器开放客户评估,AI200 面向推理场景,支持大语言模型、多模态、Agent 智能体、文生图、视频推理等负载,不适合大模型预训练。

问题 4:高通 AI200 推理加速器开放客户评估,AI200 评估是所有人都能申请试用吗?

回答 4:高通 AI200 推理加速器开放客户评估,本次评估只面向选定客户开放,不是公开免费试用,需要经过筛选之后才能接入云测试环境。

【参考资料】

[2026-11-20](高通携手 Cirrascale,启动自家推理加速器 AI200 客户评估)IT 之家

[2026-11-17](Qualcomm and Cirrascale Collaborate to Advance Next-Generation, Energy-Efficient AI Inference)高通官网

[2026-11-19](Qualcomm AI200 Opens for Cirrascale Customer Trials)technovibes

[2025-10-28](高通技术公司发布 AI200 和 AI250,重新定义 AI 时代机架级数据中心推理性能)高通中国

【免责声明】

本文基于高通官方公告与行业资讯整理,高通 AI200 推理加速器目前处于客户评估阶段,硬件实测表现、量产交付时间、定价方案后续存在调整可能,内容仅作为行业资讯参考,不构成算力采购、技术选型建议。

今日大家都在搜的词: