单纯依靠 TFLOPS（浮点算力）评判 AI 芯片的时代正在走向尾声，TFLOPS 只是理论峰值算力，很难反映大模型、智能体、多模态场景下的真实运行表现，行业开始转向一套以模型实际吞吐、延迟、能效、访存能力为核心的综合评价体系。过去宣传芯片经常直接拿 TFLOPS 做核心卖点，但是 AI 计算大多不是单纯稠密矩阵运算，会受显存带宽、KV 缓存、数据搬运、算子调度、量化策略限制，经常出现峰值算力很高，跑大模型速度却上不去的情况。做芯片评估时，优先选定目标模型与业务负载，实测 token 吞吐、首 token 延迟、每瓦 token 数、显存容量与带宽，再搭配算子覆盖、软件栈适配、多卡扩展效率综合打分，而不是只对比纸面 TFLOPS，这套评价方式更贴合端侧、边缘、云端大模型落地的真实需求。
一、TFLOPS 和真实 AI 指标对比
| 指标 | 含义 | 局限性 | 适用场景 |
|---|---|---|---|
| TFLOPS | 理论浮点运算峰值 | 不考虑访存、缓存、调度、量化，纸面上限，和实际推理差距大 | 早期稠密矩阵、传统科学计算 |
| Token 吞吐 | 每秒生成 token 数量 | 反映大模型真实产出能力，是推理核心指标 | LLM、Agent 智能体 |
| TTFT（首 token 延迟） | 输入之后到第一个 token 输出耗时 | 直接影响人机交互体验 | 对话类 AI、端侧助手 |
| 能效（token/W） | 每瓦功耗产出 token 数 | 衡量算力利用效率，对电池设备、机房电费很关键 | 端侧、边缘、大规模集群 |
| 显存带宽 / 容量 | 片上显存大小、带宽 | KV 缓存、上下文窗口的核心瓶颈 | 长上下文大模型 |
| 多卡扩展效率 | 多卡联合推理时的性能缩放比 | 决定集群能不能堆卡线性提速 | 云端大模型训练、推理集群 |
二、AI 芯片核心评价指标清单
- 模型实测吞吐：固定模型、上下文长度、量化格式下的 token/s
- 首 token 延迟、token 生成间隔（ITL）
- 能效指标：每瓦吞吐、每美元吞吐
- 显存规格：容量、带宽、片上高速缓存
- 算子与量化支持：FP16、BF16、INT8、INT4、FP8 等原生支持
- 软件栈生态：编译器、框架适配、模型迁移成本
- 稳定性：长时间压测、上下文拉满后的掉速、OOM 概率
- 多卡互联带宽、扩展效率
三、AI 芯片标准化评估流程
- 锁定业务负载：确定是训练还是推理、模型大小、上下文长度、量化方案
- 固定测试基线：统一框架、编译选项、KV 缓存策略、batch 配置
- 采集核心指标：吞吐、TTFT、功耗、显存占用、多卡扩展效率
- 剔除纸面峰值算力，优先对比实测指标
- 叠加工程约束：成本、供货、工具链、运维难度综合评估
- 业务回归验证：在真实业务 prompt 分布下复测，避免干净测试集虚高
四、TFLOPS 的定位变化
TFLOPS 不是完全失效，只是降级为辅助参考指标。在纯稠密训练场景还有一定参考意义；但对于现在主流的大模型推理、长上下文、多模态、端侧智能体，访存瓶颈远大于算力瓶颈，TFLOPS 已经不再是决定性指标。
【常见问题】
问题 1：TFLOPS 时代正在结束吗？AI 芯片真正应该用什么指标评价？TFLOPS 以后完全不能看了吗？
回答 1：TFLOPS 时代正在结束吗？AI 芯片真正应该用什么指标评价？并不是完全不能看，只是不能作为核心评判标准。TFLOPS 适合稠密算力场景做辅助参考，大模型推理场景下显存、吞吐、延迟、能效优先级更高。
问题 2：TFLOPS 时代正在结束吗？AI 芯片真正应该用什么指标评价？为什么大模型场景下显存带宽经常比 TFLOPS 更关键？
回答 2：TFLOPS 时代正在结束吗？AI 芯片真正应该用什么指标评价？大模型推理需要反复读取 KV 缓存，属于访存密集型负载，大量时间消耗在数据搬运上，算力单元经常空闲，带宽瓶颈会直接限制 token 吞吐。
问题 3：TFLOPS 时代正在结束吗？AI 芯片真正应该用什么指标评价？端侧 AI 芯片重点关注哪几个指标？
回答 3：TFLOPS 时代正在结束吗？AI 芯片真正应该用什么指标评价？端侧优先看首 token 延迟、每瓦 token 吞吐、显存容量、算子支持，电池供电场景下能效比的优先级高于纸面 TFLOPS。
【数据来源】
[2026-08-12]（AI 芯片评测新范式：告别唯 TFLOPS，以 Token 指标为核心）新智元
[2026-08-20]（大模型芯片 Benchmark：访存、KV 缓存、扩展效率评估规范）MLPerf
[2026-09-05]（云端与端侧 AI 芯片评价体系白皮书）半导体行业观察
【免责声明】
本文指标体系为行业工程评估思路，不同厂商 Benchmark 测试条件差异较大；最终芯片选型需要匹配自身模型、量化方案、业务 SLA 实测验证，本文不构成芯片采购、方案选型决策建议。