中科院自动化所副研究员王培松在科技沙龙上带来主题分享，核心观点是单纯靠模型压缩或者只升级芯片，都很难解决当下大模型在手机、机器人、嵌入式设备上跑不动、功耗高、延迟大的难题，端侧大模型想要真正可用，必须走软硬件协同这条路线，从模型算法、推理框架、指令集、硬件芯片一起联合优化，在算力、内存、功耗的严格约束里，把大模型高效计算能力释放出来。他在分享里拆解了现在端侧落地遇到的核心矛盾：大模型参数体量持续上涨，但端侧设备的内存带宽、供电、散热都有硬性天花板；很多直接从云端移植下来的模型，就算做了量化剪枝，也会因为硬件架构不匹配，出现带宽瓶颈、计算空转，最终速度和功耗达不到产品标准，软硬件协同就是用来打通这一层错位的整套方案。
讲者与报告基础信息
| 项目 | 详情 |
|---|---|
| 分享人 | 王培松，中科院自动化所副研究员、硕导 |
| 报告主题 | 基于软硬件协同的大模型高效计算 |
| 分享场合 | 2026 北京青年科技沙龙 |
| 核心研究方向 | 高效智能计算、神经网络压缩、多模态大模型加速、端侧部署 |
| 自研工具 / 芯片 | QEngine 推理框架、QNPU 极低比特量化神经处理芯片 |
| 典型落地硬件 | 手机、嵌入式模组、具身机器人、边缘网关 |
当前端侧大模型的核心瓶颈清单
- 内存带宽瓶颈：Transformer 架构需要反复读写 KV Cache，端侧内存带宽远低于云端显卡，大部分时间芯片不是在做计算，而是在等数据搬运。
- 功耗约束极强：电池供电设备，推理功耗过高会直接缩短续航，甚至带来发热、降频。
- 硬件碎片化：不同厂商 NPU、DSP、CPU 指令集不一样，一套模型很难直接跨设备跑通。
- 轻量化存在性能损耗：单独做剪枝、量化会带来模型精度下滑，如果不结合硬件特性做适配，精度损失很难控制。
- 推理框架适配不足：通用推理引擎没有针对端侧芯片做深度定制，无法充分利用硬件的专用计算单元。
软硬件协同四层优化路径
- 算法层轻量化改造：使用量化、稀疏、蒸馏、动态路由技术，降低参数量与计算量；不是无脑压缩，而是根据后端硬件支持的比特位、稀疏模式来设计模型结构，让模型天生适配硬件能力。
- 推理框架层调度优化：依托自研 QEngine 这类端侧推理平台，做 KV Cache 分页、算子融合、硬件亲和调度，减少内存读写开销，掩盖数据搬运延迟。
- 芯片指令与架构协同：面向低比特量化、稀疏计算定制硬件单元，也就是 QNPU 的设计思路，硬件原生支持模型的计算范式，而不是用通用硬件硬跑轻量化模型。
- 上层应用联合裁剪：根据端侧场景任务，裁剪模型上下文窗口、激活函数、输出头，在满足业务指标的前提下，进一步压低算力需求。
软硬件协同和传统方案的差异
传统方案大多是串行流程：先在云端训练好大模型，软件工程师单独压缩模型，再交给芯片厂商适配，各个环节独立，信息不通，压缩策略经常和硬件能力错配。软硬件协同是反向闭环，硬件的带宽、计算单元、支持的量化格式，提前给到算法团队，算法在设计、压缩阶段就对齐硬件约束；反过来硬件设计的时候，优先匹配端侧大模型高频算子，两边互相迭代，最终实现同等精度下延迟更低、功耗更小。
适合落地的端侧场景
- 智能手机、平板本地大模型对话、多模态理解；
- 人形、四足机器人本地具身智能感知与任务规划；
- 工业边缘网关、设备预测性维护、本地质检；
- 车载座舱本地语音、视觉大模型；
- 低功耗物联网设备、便携检测仪器的离线 AI 功能。
行业趋势判断
王培松在分享里提到，端侧大模型不会是云端大模型的简单缩小版，未来会分化出原生面向端侧的模型体系。短期行业重点是在现有商用 NPU 上，依靠协同优化把现有模型跑稳；中长期会走向模型、编译器、专用 NPU 一体化设计。只做模型压缩的团队，很容易遇到性能天花板，能够打通算法、框架、芯片的团队，才更容易拿到稳定落地的产品方案。
【常见问题】
问题 1：王培松解析大模型高效计算，软硬件协同支撑端侧部署到底是什么意思？
回答 1：王培松解析大模型高效计算，软硬件协同支撑端侧部署，就是算法、推理框架、芯片硬件不再分开独立开发，互相对齐约束联合优化，解决端侧设备带宽、功耗有限，大模型推理延迟高、跑不动的问题。
问题 2：王培松解析大模型高效计算，端侧大模型最主要的卡点是什么？
回答 2：王培松解析大模型高效计算，端侧大模型最大卡点不是单纯算力不足，而是内存带宽跟不上 KV Cache 的读写需求，同时硬件碎片化、轻量化压缩容易带来明显精度损失。
问题 3：王培松解析大模型高效计算，软硬件协同优化包含哪些关键环节？
回答 3：王培松解析大模型高效计算，软硬件协同包含四层，分别是面向硬件定制的模型轻量化算法、端侧推理框架调度、适配大模型算子的专用芯片架构，还有面向场景的应用侧裁剪。
【参考资料】
[2026-11-02]（2026 北京青年科技沙龙：具身智能与智能材料驱动的未来制造产学研用协同创新活动在京举办）北京科技报
[2021-12-22]（新一代 AI “轻” 装上阵）中国科学院官网
[2025-08-11]（大模型软硬协同压缩及高效部署技术进展）中国图象图形学学会
[2024-04-22]（王培松）中科院自动化研究所个人主页
【免责声明】
本文内容整理自沙龙公开报告、中科院及行业媒体公开报道，相关技术路线、性能效果来自科研阶段研究成果，不同端侧硬件实际落地效果存在差异；本文仅作为 AI 高效计算、端侧大模型行业资讯参考，不构成芯片选型、模型采购、项目落地的决策依据。