阿里云 FAQ 量化框架打通万亿级 MoE 混合专家模型私有化部署难题

万亿级混合专家 MoE 模型一直很难落地私有化部署,最大卡点就是模型体积太大,普通机房 GPU 显存不够装,传统量化方式还容易把模型能力