LSTM 之父 Jürgen Schmidhuber 牵头，KAUST、香港大学、华为、港中文、北大等机构联合发布的《Towards Next-Generation Architectures of Large Language Models: A Survey》综述论文，系统梳理了当前 Transformer 架构的短板，把下一代大模型架构的演进路线划分成四大主线，核心结论是标准 decoder-only Transformer 不会被直接淘汰，但会大量和状态空间模型、MoE、循环结构、多 token 预测等方案融合，不再单纯靠堆参数提升能力，重点解决长上下文成本、推理开销、静态记忆、单步 token 预测的固有缺陷。现在主流大模型基本都基于 decoder-only Transformer，自注意力复杂度高、KV 缓存开销大、记忆是静态的，很难做到持续学习、推理时动态更新，Mamba 这类 SSM、GQA/MLA 稀疏注意力、细粒度 MoE、循环 Looped 架构、多 token 预测都是最近用来破局的方向，这篇 84 页综述汇总近 600 篇文献，从 1913 年一直梳理到 2026 年，把不同架构方案的优缺点、取舍边界讲清楚，给后续研究和工程落地提供统一参考框架。整套研读思路是先看懂现有 Transformer 的瓶颈，再区分 “模块改造” 和 “全新架构范式” 两条路线，从处理结构、变换动态、状态管理、输出约束四个维度对比各类方案，最后结合硬件适配、推理成本、Agent 任务需求判断适合自己业务的架构选型。
综述基础信息清单
- 论文标题：Towards Next-Generation Architectures of Large Language Models: A Survey
- 牵头作者：Jürgen Schmidhuber（LSTM 之父）
- 参与单位：KAUST、香港大学、华为、香港中文大学、北京大学等
- 篇幅：正文 84 页，引用文献近 600 篇
- 开源仓库：https://github.com/SurveyLLMArch/LLMArchitectureSurvey
- 项目主页：surveyllmarch.github.io
- 核心分析维度：处理结构、变换动态、状态管理、输出承诺
- 核心对比对象：原生 decoder-only Transformer、稀疏注意力、SSM 状态空间模型、MoE、循环 /looped 架构、多 token 预测
主流架构路线对比表
| 架构路线 | 代表方案 | 优势 | 短板 | 适合场景 |
|---|---|---|---|---|
| Transformer 改造路线 | GQA、MLA、滑动窗口注意力 | 生态成熟、推理稳定、对齐工具链完善 | 长序列 KV 缓存成本高，复杂度高 | 通用大模型、Agent、生产主力模型 |
| 状态空间 SSM 线性路线 | Mamba、Gated DeltaNet | 长上下文线性开销，KV 压力小 | 复杂数学推理弱，对齐方案偏少 | 超长文档、日志、代码库处理 |
| MoE 稀疏专家路线 | 细粒度 MoE、动态路由 | 总参数规模大，每 token 激活算力可控 | 路由不均衡、通信开销高、训练不稳定 | 超大通用基座、多领域混合任务 |
| 循环 /looped 动态架构 | 循环深度、条件循环结构 | 支持反复回溯思考，适配多步推理 | 推理延迟不可控，训练难度更高 | 复杂推理、规划类 Agent 任务 |
| 多 token 预测范式 | 一次输出多个 token | 吞吐更高、推理速度更快 | 目标函数改动大，生态适配少 | 高吞吐离线生成、批量摘要 |
综述提炼的四大演进方向
- 灵活条件化处理结构
- 动态变换与自适应深度
- 可持久化状态管理
- 多 token 输出承诺机制
不再是固定层数、固定注意力头的静态堆叠，引入条件分支、动态路由，不同输入自动选择计算路径，简单任务走轻量分支，难题激活更强模块，控制算力消耗。
模型层数不再固定，支持提前退出、循环迭代，难题可以反复在层内循环思考，简单问题浅层就输出，解决统一深度带来的算力浪费。
跳出 Transformer 静态 KV 缓存的限制，引入类似 LSTM 的持续状态，支持长期记忆、推理时更新状态，向持续学习、测试时训练靠拢，适配长期 Agent 交互。
改变传统一次只预测下一个 token 的范式，一次预测连续多个 token，提升生成吞吐，同时配套校验机制，降低多 token 一步输出带来的错误累积。
落地研究与选型步骤
- 明确约束：先确认场景是侧重推理能力、长上下文、推理吞吐还是边缘低延迟
- 路线选择：生产稳定优先选改造版 Transformer；超长文本优先 SSM；超大基座扩容优先 MoE；复杂规划 Agent 优先循环 looped 架构
- 模块组合：下一代架构大多是混合方案，不是单一范式，比如 Transformer+SSM 混合、MoE + 动态循环
- 硬件对齐：不同架构对 GPU 缓存、带宽、互联要求不一样，MoE 看重通信，SSM 看重访存，原生 Transformer 看重算力
- 评估验证：不能只看通用 benchmark，要在长上下文、多轮 Agent、持续交互等真实任务上做对比
- 跟进生态：工具调用、对齐、RAG、安全对齐的配套管线，是新架构落地的关键门槛
综述重点指出的行业痛点
- 原生 Transformer 的 O (n²) 注意力复杂度，在超长上下文场景下成本爆炸
- KV 缓存越堆越大，显存占用持续走高，限制单卡长上下文部署
- 模型是静态权重，推理阶段不能自主更新记忆，很难做长期持续学习
- 单 token 自回归生成，吞吐上限低，高并发场景成本很高
- 很多新架构跑分好看，但缺少成熟对齐、工具调用、安全评估体系，工程落地难
避坑清单
- 不要认为 SSM 会完全取代 Transformer，综述观点是互补融合，不是替代
- MoE 扩容潜力大，但路由失衡会直接降低效果，通信瓶颈是工程硬门槛
- 循环 looped 架构推理延迟不可控，对实时对话场景不友好
- 多 token 预测容易出现错误连锁，必须搭配校验模块，不能直接上线
- 新架构配套微调、对齐数据集很少，从零训练成本远高于改良 Transformer
【常见问题】
问题 1：LSTM 之父领衔发布下一代语言模型架构综述，KAUST、港大、华为参与，论文结论是不是 Transformer 会被淘汰？
回答 1：LSTM 之父领衔发布下一代语言模型架构综述，KAUST、港大、华为参与，综述明确标准 decoder-only Transformer 仍是基础参照，不会被直接淘汰，更多是和 SSM、MoE、循环结构融合改造。
问题 2：LSTM 之父领衔发布下一代语言模型架构综述，KAUST、港大、华为参与，这篇综述重点梳理了哪些下一代架构方向？
回答 2：LSTM 之父领衔发布下一代语言模型架构综述，KAUST、港大、华为参与，主要包含稀疏注意力改造、SSM 状态空间模型、MoE 稀疏专家、循环 looped 自适应深度、多 token 预测这几大主流范式。
问题 3：LSTM 之父领衔发布下一代语言模型架构综述，KAUST、港大、华为参与，下一代架构的核心改进目标是什么？
回答 3：LSTM 之父领衔发布下一代语言模型架构综述，KAUST、港大、华为参与，核心目标是降低长上下文算力开销、优化记忆状态、提升推理吞吐、支持动态持续学习，摆脱单纯堆参数的老路。
问题 4：LSTM 之父领衔发布下一代语言模型架构综述，KAUST、港大、华为参与，SSM 这类线性模型适合拿来做通用对话基座吗？
回答 4：LSTM 之父领衔发布下一代语言模型架构综述，KAUST、港大、华为参与，SSM 在超长文本处理优势明显，但复杂推理能力偏弱，现阶段更适合做混合架构组件，不适合单独作为通用对话主力基座。
【参考资料】
[2026-11-12]（下一代语言模型架构走向何方？LSTM 之父领衔，KAUST、港大、华为等共同发布领域全面综述）机器之心（凤凰网）
[2026-11-12]（Towards Next-Generation Architectures of Large Language Models: A Survey）Preprints.org
[2026-11-12]（LSTM 之父 Schmidhuber 牵头 LLM 架构综述，梳理后 Transformer 时代路线）PicX AI News
[2026-11-12]（LLMArchitectureSurvey 项目开源仓库）GitHub
[2026-11-12]（下一代 LLM 架构综述项目主页）surveyllmarch.github.io
【免责声明】
本文仅为 LSTM 之父领衔、KAUST、港大、华为等机构联合发布的大模型架构综述论文资讯整理，各类架构方案的训练效果、推理性能、工程落地难度受数据集、硬件、对齐方案影响；综述属于学术研究总结，不代表厂商产品路线，本文不构成模型选型、自研基座的落地指导，大规模上线前请自行完成充分验证。