腾讯首席 AI 科学家、混元负责人姚顺雨在近期 Reddit AMA 问答里,对外讲清楚了混元在技术路线、模型规模、架构方案上的一系列取舍思路,核心思路就是不盲目跟风行业堆超大参数、不把刷榜单当成第一目标,优先保证模型在真实业务里好用、推理成本可控。现在很多同行都在往 3 万亿、5 万亿参数的超大模型方向冲,混元 Hy4 停留在 700B 左右的规模,姚顺雨团队认为打磨扎实的中小规模模型,一样能实现很强的能力,同时推理成本更低,还能在迭代里积累更多工程经验;在注意力架构上,团队在 MLA 和 GQA 之间反复权衡,MLA 效果更好但算力开销更高,最后搭配 DSA 稀疏注意力来压低推理负担,选择 MLA 方案;对于 MoE 稀疏度,他们也选择克制,拒绝一味拉高稀疏度,因为太稀疏的 MoE 会浪费显存、推理体验变差,除此之外混元还把评测标准从公开榜单转向真实业务场景,把模型和腾讯元宝、各类业务产品联合设计,优先解决幻觉、工具调用、长上下文这些落地痛点,同时也没有完全放弃大模型,后续依然计划训练更大规模模型,属于双线布局。
核心取舍清单
- 参数规模取舍:不盲目冲刺数万亿超大参数,深耕 700B 级别模型,同步规划更大模型,兼顾效果与成本
- 注意力架构取舍:放弃更容易跑的 GQA,选择效果更好的 MLA,搭配 DSA 稀疏注意力来解决算力瓶颈
- MoE 稀疏取舍:拒绝极致稀疏路线,控制激活比例,保证显存利用率、推理稳定度
- 评测导向取舍:弱化刷榜,以真实业务任务、用户反馈作为核心评估标准
- 研发资源取舍:资源倾斜强化学习、安全对齐、Agent 能力,而不是单纯扩充参数量
- 产品协同取舍:模型和腾讯内部产品 Co-Design,优先服务业务落地,而不是纯学术向研发
关键技术选择对比表
| 方案选项 | 选择方向 | 取舍理由 |
|---|---|---|
| 注意力机制 | MLA(多头潜在注意力) | 同等 KV 缓存下质量优于 GQA,靠 DSA 降低解码算力压力 |
| MoE 稀疏度 | 中等激活密度 | 过度稀疏会显存浪费、推理不稳定,牺牲一点理论上限换落地稳定性 |
| 模型规模 | 700B 为主,远期探索更大模型 | 中小模型性价比更高、迭代更快,能力足够支撑绝大多数业务 |
| 评测体系 | 真实场景评测 | 公开榜单容易被针对性优化,真实任务反馈更贴近用户体验 |
现存短板与后续方向
- 后训练阶段的过度思考问题还需要持续优化
- 创意写作、文本可读性还有提升空间
- 递归自我改进技术还处在早期摸索阶段
- 模型过度拒绝的对齐问题持续调优
- 持续投入大规模强化学习,完善安全体系
【相关 FAQ】
问题 1:姚顺雨在混元的取舍里,为什么不跟着同行做 3 万亿、5 万亿参数超大模型?
回答 1:姚顺雨在混元的取舍里认为,打磨到位的 700B 级别模型就可以实现很强能力,推理成本更低、迭代更快,同时混元团队也没有放弃大模型,后续依然会训练更大规模模型,属于务实双线路线。
问题 2:姚顺雨在混元的取舍里,MLA 和 GQA 最后选了哪一个,难点在哪?
回答 2:姚顺雨在混元的取舍里最终选择 MLA,MLA 模型质量更好,但原生计算开销高,团队依靠 DSA 稀疏注意力来降低解码算力负担,解决推理瓶颈。
问题 3:姚顺雨在混元的取舍里,混元是不是完全不看重榜单分数?
回答 3:姚顺雨在混元的取舍里不是完全不看榜单,只是不再把刷榜作为研发目标,评测重心放到真实业务、用户实际使用反馈上,避免模型为榜单专项优化。
问题 4:姚顺雨在混元的取舍里,MoE 为什么不做更高稀疏度?
回答 4:姚顺雨在混元的取舍里提到,过于稀疏的 MoE 架构对推理不友好,会占用大量显存却没法充分利用算力,容易带来推理不稳定,所以选择控制激活密度。
【参考资料】
[2026-11-21](姚顺雨现身 Reddit 答问两小时:混元后训练最难的问题,是过度思考)钛媒体
[2026-11-21](“像赌一把全押”! 腾讯姚顺雨团队深夜问答)每日经济新闻
[2026-11-21](算力约束下,腾讯姚顺雨携团队回答混元 “一切”)21 世纪经济报道
[2026-11-21](关于混元 4 模型、算力、刷榜与 RSI,姚顺雨回应一切)极客公园
【免责声明】
本文内容整理自姚顺雨及混元团队公开 AMA 问答、媒体报道,姚顺雨在混元的取舍对应的技术路线、模型规划都属于现阶段公开思路,后续混元迭代方向、架构调整以腾讯官方后续公告为准,内容仅作行业资讯参考,不构成投资或者技术选型建议。
