南洋理工 MMLab(S-Lab)联合商汤、Ropedia 推出原生视觉语言动作模型 NEO-VLA,它抛弃了主流 VLA 模型单独设置预训练视觉编码器的经典方案,原始像素经过轻量化卷积 Patch 嵌入层之后,直接和语言指令一起送入同一个主干网络同步计算,搭配 Flow-Matching 动作专家读取主干不同层级的特征,直接输出连续机器人控制动作,解决传统方案压缩图像时丢失局部几何、边缘、深度这类精细操控关键信息的痛点,在仿真和真机机械臂任务上,面对场景变化、物体扰动时稳定性更好。传统 VLA 流程是图像先交给独立视觉编码器提取固定特征,再传给语言模型做推理,底层细节在编码阶段就被丢失,哪怕后续微调大模型也很难完全弥补这个损失;而 NEO-VLA 采用 NEO-2B 原生主干,视觉 token 和文本 token 从第一层就联合建模,动作模块可以自由取用网络浅层、中层、深层的表征,实验也发现很多操控需要的关键视觉信号,在网络中间层就达到峰值,不是等到最后输出层。模型在超过 223 万条机器人轨迹数据集上训练,在 LIBERO 等主流机器人基准测试拿到不错成绩,单张 RTX3090 显卡就可以完成推理,延迟可控。目前相关论文已经上传 arXiv 公开,属于学术研究原型,还没有面向商用机器人产品落地,主要是给具身智能、机器人操控领域提供新的架构思路。
NEO-VLA 核心技术清单
- 核心架构:无独立预训练视觉编码器原生 VLA 架构,主干 NEO-2B
- 输入:原始像素图像 + 自然语言任务指令
- 视觉处理:轻量卷积 Patch 嵌入,不使用独立 ViT、VAE 编码器
- 动作模块:Flow-Matching 动作专家,跨层读取主干多深度特征
- 训练数据:223 万 + 机器人操作轨迹
- 推理硬件:单卡 RTX3090 即可部署
- 输出形式:连续机器人关节动作,适配机械臂抓取、摆放等操控任务
NEO-VLA 对比传统编码器式 VLA 对照表
| 对比项 | 传统编码器式 VLA | NEO-VLA 原生架构 |
|---|---|---|
| 视觉通路 | 图像→独立视觉编码器→固定特征→大模型 | 像素→轻量 Patch 嵌入,和文本一起进入统一主干 |
| 特征取用 | 只能拿到编码器输出后的最终特征 | 动作专家可读取主干任意层级中间表征 |
| 信息损失 | 压缩时容易丢失深度、边缘、微小形变信息 | 保留逐层演化的视觉细节,适合精细操作 |
| 泛化特点 | 分布偏移下容易失效 | 面对场景、物体变化鲁棒性更强 |
适合与不适合的使用方向
✅ 适配研究场景
- 机械臂精细抓取、摆放、堆叠等操控任务研究
- 具身智能 VLA 新架构、跨层特征利用方向实验
- 仿真机器人、真实桌面机械臂闭环控制算法验证
- 自然语言指令驱动机器人的策略学习研究
❌ 当前不适合的场景
- 工业机器人稳定量产商用方案
- 人形机器人大规模落地部署
- 高安全要求、零容错的自动化产线操控
【常见问题】
问题 1:MMLab@NTU 的原生具身模型 NEO-VLA,“像素直出动作” 到底是什么意思?
回答 1:MMLab@NTU 原生具身模型 NEO-VLA 的像素直出动作,就是不需要单独视觉编码器提前压缩图片,原始像素和语言指令共同进入主干网络,直接输出机器人连续控制动作。
问题 2:原生具身模型 NEO-VLA 和市面上其他 VLA 机器人模型最大差别在哪?
回答 2:原生具身模型 NEO-VLA 最大区别是去掉独立预训练视觉编码器,视觉和语言从网络首层就联合建模,动作模块可以读取多层中间特征,避免精细视觉信息被提前压缩丢失。
问题 3:原生具身模型 NEO-VLA 现在可以直接拿来做商用机器人吗?
回答 3:原生具身模型 NEO-VLA 目前是学术原型,论文在 arXiv 公开,主要用于具身智能科研实验,暂时没有成熟商用版本,不适合直接上线商用机器人。
问题 4:原生具身模型 NEO-VLA 为什么能提升机器人精细操作的鲁棒性?
回答 4:原生具身模型 NEO-VLA 可以读取主干网络不同深度的视觉表征,很多抓取、对位需要的几何细节在浅层就存在,不会被编码器一次性压缩过滤,在场景变化时控制更稳。
【参考资料】
[2026-11-16](NEO‑VLA 推出原生视觉‑语言‑动作机器人策略)凤凰网科技
[2026-11-16](MMLab@NTU 提出原生具身模型 NEO-VLA: 从像素直出动作)C114Pro
[2026-11-15](MMLab@NTU 提出原生具身模型 NEO-VLA:从像素直出动作)新浪财经
[2026-11-06](From Pixels to Actions – Towards Native Vision-Language-Action Policies)arXiv
【免责声明】
本文仅为 NEO-VLA 学术成果资讯整理,不构成机器人项目选型、产品落地建议;NEO-VLA 属于实验室研究原型,模型性能、部署能力、开源代码以 MMLab@NTU 项目主页、arXiv 论文原文为准。
