阿里云放出一组对照压测数据，在相同上游服务、相同插件逻辑、相同压测工具的条件下，阿里云 AI 网关 Serverless 企业版对比原生部署的开源 Higress，在 1MB 请求、90 并发场景拿到最高 97.1% 的网关处理时延降幅，同时在 10MB 大报文长上下文场景最高降幅也达到 90.2%，这套差异不是简单替换底层内核，而是托管版针对 AI 流量做了报文零拷贝、Wasm 运行时优化、调度隔离、资源弹性调度、报文预解析等专项改造；开源 Higress 本身已经是基于 Envoy 的高性能云原生 AI 网关，很多企业自建 AI 代理、模型路由、Token 限流都会直接部署它，但自建模式要自己维护节点扩缩容、内核调优、插件运行时，一旦并发上涨、报文体积变大，延迟会快速抬升，而 Serverless 企业版依托平台托管，把这些底层优化打包，适合跑大模型长对话、多模态上传、流式 SSE 这类典型 AI 流量。AI 网关和普通业务网关不一样，大量请求是大体积上下文、图片文件、流式持续输出，插件还要做 Token 统计、协议转换、内容审核、模型故障转移，报文反复拷贝、Wasm 插件开销、资源争抢很容易放大延迟，这次压测就是专门瞄准这类 AI 场景，分成小报文和大报文两组，并发从 10 拉到 100，用来模拟从少量测试流量到企业业务高峰的变化。
核心压测数据汇总
| 请求规格 | 最优并发 | 开源 Higress 平均时延 | Serverless 企业版平均时延 | 时延降幅 |
|---|---|---|---|---|
| 1MB | 90 并发 | 446.2 ms | 12.7 ms | 97.1% |
| 10MB | 30 并发 | 1688.1 ms | 166.1 ms | 90.2% |
| 1MB（10～100 并发区间） | - | 随并发持续抬升 | 稳定维持 13～18 ms | 68.8%～97.1% |
| 10MB（10～100 并发区间） | - | 持续走高 | 最高 384.3 ms | 82.7%～90.2% |
造成性能差距的优化点清单
- 报文零拷贝链路：减少大上下文、多模态文件在网关内部多次内存复制，是大报文场景收益最大的优化。
- 定制 Wasm 运行时：针对 AI 网关高频插件（Token 统计、协议适配、鉴权）做 AOT 预编译，降低插件执行开销。
- 流量资源隔离：不同租户、不同路由的处理链路互相隔离，避免高并发任务抢占 CPU。
- Serverless 弹性调度：流量上涨时自动扩容，不用人工预留大量闲置资源，低峰期自动缩容。
- AI 专属负载均衡：支持感知 GPU 负载、前缀缓存路由，适配大模型 TTFT、Token 吞吐这类指标。
- 托管控制面：配置下发、路由更新、日志观测由平台接管，自建版本容易出现控制面与数据面争抢资源。
两套方案能力与适用场景
开源 Higress：Apache 2.0 开源，可私有化部署、本地 K8s 部署，插件自由度高，能够自定义 Wasm 逻辑；适合需要完全掌控基础设施、本地机房部署、深度二次开发、不想依赖公有云托管平台的团队；缺点是调优、扩缩容、故障运维全部由研发自己承担，并发和大报文场景需要持续做性能调优。
阿里云 AI 网关 Serverless 企业版：底层基于 Higress 内核，平台托管，按量付费，自带 AI 流量全套插件、观测大盘、SSE 流式优化；适合公有云上的大模型服务、Agent 平台、多厂商模型接入业务，团队不想投入人力长期维护网关集群；短板是托管形态，自定义底层内核改造空间有限，高度依赖阿里云环境。
压测实验基础说明
- 压测工具：k6，固定插件集，开启 AI 场景常用鉴权、Token 统计、协议转换插件。
- 变量控制：上游模型后端保持不变，仅切换网关组件。
- 观测指标：统计网关本身处理时延，不含后端大模型推理耗时。
- 测试对象：原生自建部署的开源 Higress，对比阿里云 AI 网关 Serverless 企业版。
- 流量类型：模拟长文本上下文上传、多模态文件上传，是生成式 AI 的典型流量。
选型落地参考步骤
- 先评估部署环境：私有机房、本地化部署优先选开源 Higress；全部跑在阿里云、希望免运维优先看 Serverless 企业版。
- 预判主流请求大小：业务以短 prompt 为主，两者差距会缩小；大量 10MB 级多模态、超长上下文，托管版时延优势更突出。
- 评估运维人力：团队有云原生运维、调优能力，可以自建开源版本；人手少、重心放在模型和业务层，托管方案更合适。
- 成本测算：稳定高流量场景对比包年预留实例；波动明显、潮汐流量大，Serverless 按量模式更划算。
- 业务验证：自己复现压测，重点观测 P99 时延、流式 SSE 稳定性，不要只看平均时延。
小结
这次对比的核心结论不是开源 Higress 性能弱，而是托管的 Serverless 企业版在 AI 典型流量上做了全套定向优化，在特定并发、报文规格下拿到最高 97.1% 的网关时延下降；开源 Higress 依旧是自由度很高的 AI 网关底座，托管版只是把大量底层性能优化、弹性、运维封装起来，选型的本质是在自主可控、二次开发空间，和免运维、低延迟弹性之间做取舍。
【常见问题】
问题 1：这份压测里阿里云 AI 网关 Serverless 企业版相对开源 Higress 时延降低 97.1%，是不是所有并发和报文都能达到这个降幅？
回答 1：不是，阿里云 AI 网关 Serverless 企业版相对开源 Higress 时延降低 97.1% 是限定条件结果，出现在 1MB 请求、90 并发场景；其他并发、10MB 大报文场景降幅会回落，10MB 最高降幅为 90.2%。
问题 2：阿里云 AI 网关 Serverless 企业版是完全独立的新产品，还是基于开源 Higress 改造出来的？
回答 2：阿里云 AI 网关 Serverless 企业版底层内核基于开源 Higress，在这个基础上针对 AI 流量做报文、Wasm 运行时、调度、弹性等专项优化，不是从零开发的全新网关。
问题 3：开源 Higress 在阿里云 AI 网关对比压测里延迟偏高，是不是代表它不适合做 AI 网关？
回答 3：不是，开源 Higress 本身就是面向 AI 原生的云原生网关，只是自建部署缺少平台层的弹性与专项性能优化；适合本地化私有化、深度二次开发场景，只是需要自己投入资源做性能调优与集群运维。
问题 4：阿里云 AI 网关 Serverless 企业版对比开源 Higress，时延优化主要针对哪一类业务流量？
回答 4：阿里云 AI 网关 Serverless 企业版对比开源 Higress 的时延优化，主要面向大模型长上下文、多模态文件上传、SSE 流式输出、Token 限流鉴权这类 AI 专属流量，这类场景报文拷贝、插件开销带来的延迟压力更大。
【参考资料】
[2026-11-11]（网关处理时延降低 97.1%：开源 Higress 与阿里云 AI 网关 Serverless 企业版性能对比）阿里云开发者社区
[2026-11-11]（阿里云 AI 网关 Serverless 企业版压测数据解读）阿里云云原生公众号
[2026-11-09]（Higress AI 网关：大模型前置代理、负载均衡、流式流量方案）Higress 官网博客
[2026-10-28]（Higress Wasm 运行时 AOT 编译性能优化实践）阿里云开发者社区
【免责声明】
本文整理的开源 Higress、阿里云 AI 网关 Serverless 企业版时延降低 97.1% 的数据来自官方对照压测，有固定并发、报文大小、插件组合、运行环境约束；实际业务时延受上游模型、网络带宽、请求混合比例、自定义插件、并发波动影响，不一定能复现报告中的降幅；开源 Higress 为 Apache 2.0 开源项目，托管企业版能力、定价、SLA、开放权限以阿里云官方文档为准；选型前建议基于自身业务流量做独立压测验证。