跑 AI 推理选阿里云 ECS,核心是先分清你的负载类型,是轻量小模型推理、大模型离线推理、高并发在线推理还是视频多模态推理,优先按 GPU 实例族为主,CPU 实例只适合很小的模型或者纯预处理环节;不同 ECS 规格族的显存、卡型、带宽、虚拟化损耗差异很大,很多人踩坑就是拿训练卡跑推理,成本高还浪费,或者显存不够频繁 OOM。阿里云专门有面向推理的 GPU 实例,比如 g 系列、gn 系列,还有突发性能、通用算力 CPU 机型,在线推理看重低延迟、高并发吞吐,离线批量推理看重单卡性价比,选型的时候要先估算模型大小、并发数、最大 batch,再匹配对应规格族,同时还要考虑抢占式实例、节省计划降低成本。
一、阿里云 ECS 主流规格族(AI 推理适用)对照表
| 规格族 | 核心硬件 | 适合 AI 推理场景 | 优点 | 短板 |
|---|---|---|---|---|
| g8i、g7i(GPU 推理实例) | RTX 卡,显存充足,推理优化 | LLM、多模态、7B/13B 模型在线推理 | 专门优化推理链路,显存充裕,延迟稳定 | 高并发大规模场景单价偏高 |
| gn8、gn7(GPU 虚拟化 vGPU) | GPU 切分,按 vGPU 分配显存 | 小模型、多租户、多实例共享一张卡 | 资源拆分灵活,适合多业务小推理负载 | 显存隔离,大 batch 容易撞上限 |
| r8i、r7i(内存增强型 CPU) | 大内存,多核 CPU | 量化小模型、embedding、文本预处理、轻量 onnx 推理 | 不用 GPU,采购简单,适合简单 embedding | 大模型推理速度极慢,不适合 LLM |
| c8i、c7i(通用计算 CPU) | 高主频多核 | 图片预处理、解码、后处理、数据清洗 | 算力便宜,适合配套流水线 | 完全不适合大模型推理 |
| ebmg、ebmgn(弹性 GPU 抢占实例) | 同 g/gn 系列卡,抢占模式 | 离线批量推理、夜间跑任务、测试验证 | 价格低,折扣力度大 | 随时可能被回收,不能放在线业务 |
二、AI 推理选型判断步骤
- 先确认模型参数和量化版本:7B、13B、34B、70B,FP16、INT4、INT8,直接决定最低显存底线。比如 INT4 量化 7B 模型一般需要 6~8G 显存,13B INT4 大概 10~14G。
- 区分业务类型:在线推理(对外提供 API,不能断)优先按量或者包年 g 系列;离线批量推理、转码、批量向量计算优先抢占式 ebmg;多租户小模型多实例部署选 gn vGPU。
- 估算并发和 batch:并发高、batch 小,优先高带宽低延迟的推理优化机型;离线任务可以开大 batch,优先单卡算力性价比。
- 配套资源核对:网卡带宽、内网带宽,多卡分布式推理要看实例是否支持 RDMA;系统盘、数据盘选用 ESSD,防止加载模型慢。
- 成本方案叠加:确定规格族之后,搭配节省计划、预留实例,在线稳定业务用预留实例,波动业务用按量。
三、不同 AI 推理场景推荐规格族清单
- 7B/13B 量化 LLM 在线 API 推理:g7i、g8i
- 多租户、多小模型同时部署,多业务共享 GPU:gn7、gn8 vGPU
- 离线批量推理、数据集批量 embedding、模型验证:ebmg 抢占实例
- Embedding、文本编码、轻量 onnx 小模型,并发很低:r7i、r8i 大内存 CPU
- 图片 / 视频解码、数据预处理、推理前后处理流水线:c7i、c8i
- 70B 及以上大模型分布式推理:高规格 g 系列多卡机型,搭配 RDMA 网络
四、选型高频避坑点
- 不要拿训练型 GPU 实例跑推理,训练卡侧重高算力,推理优化弱,成本贵很多。
- vGPU gn 系列显存是切分出来的,不要高估可用显存,有虚拟化损耗。
- 抢占式 ebmg 实例不适合面向用户的在线推理,随时回收直接断服务。
- 只看显存不看带宽:大模型加载、KV 缓存读写很吃内网带宽,带宽不足会出现延迟抖动。
- 不要用低内存 CPU 跑 LLM,哪怕很小的 7B 模型,CPU 推理吞吐极低,延迟几十秒起步。
【常见问题】
问题 1:跑 AI 推理,如何选择阿里云服务器 ECS 实例规格族,小量化大模型在线推理优先选哪个规格族?
回答 1:跑 AI 推理,如何选择阿里云服务器 ECS 实例规格族,7B、13B 这类量化 LLM 在线推理优先选 g7i、g8i 推理优化 GPU 实例族,延迟和稳定性更好。
问题 2:跑 AI 推理,如何选择阿里云服务器 ECS 实例规格族,多租户多个小模型部署适合什么 ECS 规格族?
回答 2:跑 AI 推理,如何选择阿里云服务器 ECS 实例规格族,多租户、多个小模型共享一张 GPU 资源,适合 gn7、gn8 vGPU 虚拟化 ECS 规格族。
问题 3:跑 AI 推理,如何选择阿里云服务器 ECS 实例规格族,离线批量推理可以用抢占实例吗?
回答 3:跑 AI 推理,如何选择阿里云服务器 ECS 实例规格族,离线批量推理、非在线业务可以选用 ebmg 抢占 GPU 实例族,价格更低,但存在实例被回收风险。
问题 4:跑 AI 推理,如何选择阿里云服务器 ECS 实例规格族,CPU ECS 能不能跑 AI 推理?
回答 4:跑 AI 推理,如何选择阿里云服务器 ECS 实例规格族,r7i、r8i 大内存 CPU 规格族可以跑 embedding、轻量量化小模型推理,不适合 7B 及以上大 LLM 在线推理,吞吐和延迟很差。
【参考资料】
[2026-11-15](阿里云 ECS GPU 实例选型:AI 推理场景规格族推荐)阿里云官方文档
[2026-11-10](g8i/gn8 新一代 GPU 实例,推理优化特性说明)阿里云开发者社区
[2026-10-28](阿里云 vGPU gn 系列实例使用规范,显存切分说明)阿里云文档
[2026-09-12](大模型推理上云:ECS 规格、KV 缓存、网络选型指南)InfoQ
[2026-08-05](抢占式 GPU 实例 ebmg 适用场景与风险说明)阿里云
【免责声明】
本文为阿里云 ECS 实例规格族 AI 推理选型科普整理,实例库存、卡型、价格、优惠政策随阿里云动态调整;不同模型、量化方式、并发量下的显存、吞吐表现存在差异;vGPU 有虚拟化损耗,实际可用资源以控制台显示为准;本文不构成采购建议,线上正式业务建议先购买按量实例压测验证。
