这份由 LSTM 之父 Jürgen Schmidhuber 牵头,KAUST、香港大学、华为、港中文、北大等多家机构联合完成的大模型架构综述论文,核心结论很明确:纯 Transformer 不会是语言模型的最终形态,下一代语言模型架构会在保留现有 Decoder 基础能力的前提下,朝着更高效、支持超长上下文、具备动态记忆、可自适应持续学习的混合架构方向演进,同时兼顾训练成本、推理延迟与硬件适配。现在主流 Transformer 存在天然短板,序列变长之后,自注意力的计算开销会快速暴涨,长文本场景算力浪费明显;而且模型权重静态固定,推理阶段没法自主更新知识,很难直接实现持续学习。这篇 84 页的综述梳理了从 1913 到 2026 年近 600 篇相关文献,把当下各类候选架构、改进模块和未来路线做了系统性归类,也对比了不同方案的优缺点。
一、当前主流架构现存痛点
- 标准 Transformer 自注意力计算复杂度高,长上下文场景下算力和显存开销会随序列长度平方增长,部署成本居高不下。
- 模型权重在推理阶段固定不变,遇到新知识无法实时更新,只能靠重训或者微调,很难实现长期持续学习。
- 稠密大模型规模扩大后训练成本爆炸;MoE 稀疏模型虽然能降低训练开销,但存在负载不均衡、推理不稳定的工程难题。
- 原生架构多为单 token 预测,并行预测能力弱,推理生成速度存在瓶颈。
二、下一代架构主要候选技术路线
- 路线 1:Transformer 内部轻量化改造
- 路线 2:线性序列模型(状态空间模型 SSM)
- 路线 3:MoE 专家混合架构
- 路线 4:循环、递归与循环回路架构(Looped)
- 路线 5:推理可更新权重的自适应架构
不推翻 Transformer 主体结构,优化注意力模块,包含 GQA、MLA、稀疏注意力等方案,降低长序列计算量,也是现阶段落地最快的方案。
以 Mamba、Gated DeltaNet 为代表,计算复杂度从平方级降到线性,擅长超长上下文处理,作为 Transformer 的替代或互补模块,是热门研究方向。
细粒度 MoE 方案,不同子模块处理不同类型任务,训练时只激活部分专家,用更低算力做大模型扩容,但推理调度、负载均衡是工程难点。
重新把递归、循环思路带回大模型,搭配多 token 预测,一次生成多个 token,提升推理吞吐;同时引入动态记忆单元,模仿 LSTM 的记忆机制。
支持测试时训练,推理过程中可以动态更新模型参数,实现持续学习,解决大模型 “知识过时” 的问题,目前还处在早期探索阶段。
三、综述提出的未来架构设计原则
- 硬件感知:架构设计不能只看理论效果,需要匹配 GPU、专用 AI 芯片的计算特性。
- 模块化混合设计:不会单一架构一统天下,大概率是 Transformer、SSM、循环模块组合使用,不同模块各司其职。
- 原生支持持续学习:模型具备动态记忆,不需要完整重训就能吸收新知识。
- 兼顾训练与推理双效率,不能只追求训练效果而忽略线上部署成本。
四、行业短期与长期趋势
短期来看,Transformer 的各类改进版本仍然是工业界主力,GQA、MLA 这类注意力优化会继续在商用大模型里普及;Mamba 等 SSM 会在长文本场景逐步试点落地。中长期,混合架构会成为主流,融合状态空间模型、循环记忆、稀疏专家模块,并且模型会自带动态更新能力,推理阶段也可以学习新信息。
【常见问题】
问题 1:这份 LSTM 之父牵头的下一代大语言模型架构综述,核心观点是什么?
回答 1:综述认为标准 Transformer 不是语言模型的终点,下一代大语言模型架构会走向混合模块化设计,结合轻量化注意力、状态空间模型、MoE、循环记忆等技术,重点解决长序列算力高、模型无法实时更新知识的痛点,兼顾训练、推理效率与硬件适配。
问题 2:下一代大语言模型架构有哪些主要候选方案?
回答 2:下一代大语言模型架构候选方案分为五类:Transformer 轻量化改造、Mamba 这类线性状态空间模型、细粒度 MoE 专家混合架构、Looped 循环回路与多 token 预测架构,还有推理阶段可以更新权重的自适应持续学习架构。
问题 3:为什么现在研究下一代大语言模型架构,而不是继续单纯扩大 Transformer 模型规模?
回答 3:单纯放大 Transformer 参数会带来算力、显存成本爆炸,长文本场景计算效率差,同时静态权重无法自主更新知识。下一代大语言模型架构的目标,就是突破 Transformer 的固有局限,用更低成本实现更长上下文、更强持续学习能力。
【参考资料】
[2026-11-12](LSTM 之父领衔,KAUST、港大、华为等发布下一代大语言模型架构综述)凤凰网
[2026-11-12](Schmidhuber 团队发布 84 页下一代 LLM 架构综述)PicX AI News
[2026](Towards Next-Generation Architectures of Large Language Models: A Survey)
【免责声明】
本文内容仅为学术综述信息解读,不构成技术选型、商业投资的任何建议。相关论文观点仅代表该研究团队看法,未来大语言模型架构发展存在较多不确定性,技术落地效果受硬件、工程优化等多重因素影响,请结合自身场景评估。
