您的位置首页 >科技要闻 >

姚顺雨在混元的取舍

姚顺雨接手腾讯混元之后,在技术路线、组织架构、研发目标上做出了非常明确的取舍,没有跟着行业大流一味去冲击数万亿超大参数模型,而是选择把重心放在模型真实能力、推理性价比、业务落地这一块,同时完成语言和多模态团队合并,统一研发底座,重建预训练与强化学习基础设施。做出这个选择的核心原因是行业已经出现 “唯参数论” 的内卷,单纯堆参数会带来极高算力成本,同时很多大模型在真实 Agent 任务、业务场景里表现并不稳定;团队先做大量消融实验,对比不同注意力机制、MoE 稀疏度方案,优先保证模型在实际任务、产品调用里稳定好用,再去规划更大规模模型的训练;整套思路就是先把 Hy3、Hy4 这类中等规模模型打磨扎实,用可控成本拿到有竞争力的真实效果,再循序渐进向上探索更大模型上限,这套取舍也让混元在 Agent Arena 这类偏向真实任务的榜单拿到不错成绩。

一、姚顺雨在混元的核心取舍清单

  • 参数规模取舍:放弃盲目冲击 3 万亿、5 万亿超大参数,深耕 7000 亿级别模型,同时保留后续训练更大模型的计划,优先验证模型能力密度
  • 架构取舍:最终选用 MLA 多头潜在注意力方案,放弃 GQA,依靠 DSA 稀疏注意力缓解 MLA 推理算力高的短板,兼顾模型质量和推理成本
  • MoE 稀疏度取舍:拒绝过度稀疏,认为太稀疏的 MoE 不利于推理部署,在激活参数、显存占用、模型效果之间找平衡点
  • 研发目标取舍:弱化刷榜导向,把评测真实性、业务落地、Agent 智能体能力作为核心目标,优先供给元宝、CodeBuddy 等内部产品
  • 组织取舍:合并原大语言模型部、多模态模型部,成立统一基础模型部,打通语言、图像、视频、3D 多模态研发链路

二、关键时间线

  1. 2025 年 12 月:姚顺雨正式出任腾讯首席 AI 科学家,接手混元大模型研发
  2. 2026 年 2 月:启动混元预训练、强化学习基础设施全面重建
  3. 2026 年 7 月:混元语言、多模态团队合并,由姚顺雨统一管理
  4. 2026 年 11 月 4 日:Hy4 正式发布,Agent Arena 开源模型榜单表现突出
  5. 2026 年 11 月 21 日:姚顺雨团队在 Reddit AMA 公开回应混元的路线、架构取舍问题

三、两种路线对比表

路线方向跟风堆超大参数路线姚顺雨为混元选择的路线
核心目标冲刺榜单,追求参数规模数字真实 Agent 能力、落地性价比、可控迭代
算力开销极高,训练、推理成本昂贵中等算力,优先把单参数能力做扎实
迭代节奏周期长,试错成本高版本迭代快,业务反馈快速回流到模型优化
短板容易出现榜单好看、实际使用拉胯超大模型上限探索节奏会慢于同行

【相关 FAQ】

问题 1:姚顺雨在混元的取舍里,为什么不跟着同行去做几万亿参数的超大模型?

回答 1:姚顺雨在混元的取舍里,团队判断单纯堆参数性价比不高,Hy3、Hy4 已经证明打磨到位的中等规模模型可以追上更大模型效果,算力资源有限的情况下优先夯实模型真实能力,同时团队也没有完全放弃大模型,后续依然会规划更大规模模型训练。

问题 2:姚顺雨在混元的取舍里,注意力机制为什么最终选 MLA 而不是 GQA?

回答 2:姚顺雨在混元的取舍里,MLA 在同等 KV 缓存下模型质量更好,但推理算力开销更高,团队引入 DSA 稀疏注意力降低解码算力压力,平衡效果和推理成本之后,才敲定 MLA 方案。

问题 3:姚顺雨在混元的取舍里,组织层面做了什么调整?

回答 3:姚顺雨在混元的取舍里,把原来分开的大语言模型部门和多模态模型部门合并成基础模型部,统一调度研发资源,打通语言、图像、视频、3D 全模态研发,消除团队之间的协同壁垒。

问题 4:姚顺雨在混元的取舍里,混元现在还会看重模型榜单分数吗?

回答 4:姚顺雨在混元的取舍里,不再把刷榜当成核心目标,更看重评测真实性和真实业务场景表现,优先看 Agent、代码、长上下文这些产品实际要用的能力,榜单只是辅助参考。

问题 5:姚顺雨定下的这套混元取舍路线,落地成果怎么样?

回答 5:姚顺雨定下的这套混元取舍路线,落地后的 Hy4 在 Agent Arena 偏向真实任务榜单拿到全球开源模型前列成绩,同时在腾讯内部元宝、CodeBuddy 等产品规模化接入,调用量增长明显。

【参考资料】

[2026-11-21](腾讯姚顺雨首度公开问答:混元不迷信 “大即聪明”)南方 +

[2026-11-21](算力约束下,腾讯姚顺雨携团队回答混元 “一切”)21 世纪经济报道

[2026-11-02](腾讯混元阵痛期:当新帅降临,旧部退场)36 氪

[2026-07-24](姚顺雨,完成腾讯混元组织大一统)智东西

【免责声明】

本文关于姚顺雨在混元的取舍内容,仅基于公开 AMA 交流、行业报道做客观信息整理,混元后续技术路线、模型规划存在动态调整可能,不构成行业投资、技术选型、创业方向的指导建议。

今日大家都在搜的词: