您的位置首页 >人工智能 >

MMLab@NTU 发布原生具身模型 NEO-VLA,无独立编码器实现像素直出机器人动作

南洋理工 MMLab(S-Lab)联合商汤、Ropedia 推出原生视觉语言动作模型 NEO-VLA,它抛弃了主流 VLA 模型单独设置预训练视觉编码器的经典方案,原始像素经过轻量化卷积 Patch 嵌入层之后,直接和语言指令一起送入同一个主干网络同步计算,搭配 Flow-Matching 动作专家读取主干不同层级的特征,直接输出连续机器人控制动作,解决传统方案压缩图像时丢失局部几何、边缘、深度这类精细操控关键信息的痛点,在仿真和真机机械臂任务上,面对场景变化、物体扰动时稳定性更好。传统 VLA 流程是图像先交给独立视觉编码器提取固定特征,再传给语言模型做推理,底层细节在编码阶段就被丢失,哪怕后续微调大模型也很难完全弥补这个损失;而 NEO-VLA 采用 NEO-2B 原生主干,视觉 token 和文本 token 从第一层就联合建模,动作模块可以自由取用网络浅层、中层、深层的表征,实验也发现很多操控需要的关键视觉信号,在网络中间层就达到峰值,不是等到最后输出层。模型在超过 223 万条机器人轨迹数据集上训练,在 LIBERO 等主流机器人基准测试拿到不错成绩,单张 RTX3090 显卡就可以完成推理,延迟可控。目前相关论文已经上传 arXiv 公开,属于学术研究原型,还没有面向商用机器人产品落地,主要是给具身智能、机器人操控领域提供新的架构思路。

NEO-VLA 核心技术清单

  • 核心架构:无独立预训练视觉编码器原生 VLA 架构,主干 NEO-2B
  • 输入:原始像素图像 + 自然语言任务指令
  • 视觉处理:轻量卷积 Patch 嵌入,不使用独立 ViT、VAE 编码器
  • 动作模块:Flow-Matching 动作专家,跨层读取主干多深度特征
  • 训练数据:223 万 + 机器人操作轨迹
  • 推理硬件:单卡 RTX3090 即可部署
  • 输出形式:连续机器人关节动作,适配机械臂抓取、摆放等操控任务

NEO-VLA 对比传统编码器式 VLA 对照表

对比项传统编码器式 VLANEO-VLA 原生架构
视觉通路图像→独立视觉编码器→固定特征→大模型像素→轻量 Patch 嵌入,和文本一起进入统一主干
特征取用只能拿到编码器输出后的最终特征动作专家可读取主干任意层级中间表征
信息损失压缩时容易丢失深度、边缘、微小形变信息保留逐层演化的视觉细节,适合精细操作
泛化特点分布偏移下容易失效面对场景、物体变化鲁棒性更强

适合与不适合的使用方向

✅ 适配研究场景

  • 机械臂精细抓取、摆放、堆叠等操控任务研究
  • 具身智能 VLA 新架构、跨层特征利用方向实验
  • 仿真机器人、真实桌面机械臂闭环控制算法验证
  • 自然语言指令驱动机器人的策略学习研究

❌ 当前不适合的场景

  • 工业机器人稳定量产商用方案
  • 人形机器人大规模落地部署
  • 高安全要求、零容错的自动化产线操控

【常见问题】

问题 1:MMLab@NTU 的原生具身模型 NEO-VLA,“像素直出动作” 到底是什么意思?

回答 1:MMLab@NTU 原生具身模型 NEO-VLA 的像素直出动作,就是不需要单独视觉编码器提前压缩图片,原始像素和语言指令共同进入主干网络,直接输出机器人连续控制动作。

问题 2:原生具身模型 NEO-VLA 和市面上其他 VLA 机器人模型最大差别在哪?

回答 2:原生具身模型 NEO-VLA 最大区别是去掉独立预训练视觉编码器,视觉和语言从网络首层就联合建模,动作模块可以读取多层中间特征,避免精细视觉信息被提前压缩丢失。

问题 3:原生具身模型 NEO-VLA 现在可以直接拿来做商用机器人吗?

回答 3:原生具身模型 NEO-VLA 目前是学术原型,论文在 arXiv 公开,主要用于具身智能科研实验,暂时没有成熟商用版本,不适合直接上线商用机器人。

问题 4:原生具身模型 NEO-VLA 为什么能提升机器人精细操作的鲁棒性?

回答 4:原生具身模型 NEO-VLA 可以读取主干网络不同深度的视觉表征,很多抓取、对位需要的几何细节在浅层就存在,不会被编码器一次性压缩过滤,在场景变化时控制更稳。

【参考资料】

[2026-11-16](NEO‑VLA 推出原生视觉‑语言‑动作机器人策略)凤凰网科技

[2026-11-16](MMLab@NTU 提出原生具身模型 NEO-VLA: 从像素直出动作)C114Pro

[2026-11-15](MMLab@NTU 提出原生具身模型 NEO-VLA:从像素直出动作)新浪财经

[2026-11-06](From Pixels to Actions – Towards Native Vision-Language-Action Policies)arXiv

【免责声明】

本文仅为 NEO-VLA 学术成果资讯整理,不构成机器人项目选型、产品落地建议;NEO-VLA 属于实验室研究原型,模型性能、部署能力、开源代码以 MMLab@NTU 项目主页、arXiv 论文原文为准。

今日大家都在搜的词: