智元正式推出 WITA-Omni,它是行业首个面向人形机器人的具身全模态端到端交互大模型,和普通多模态大模型不一样,它不是简单把语音、视觉、文本模块拼接在一起,而是一套原生端到端架构,统一处理感知、判断、动作、表情输出。传统机器人交互大多是分段处理,先语音转文字、文字再生成回复,中间会丢失语气、情绪、时序信息,而且一般需要唤醒词才能触发。WITA-Omni 直接接入机器人的视觉、音频、触觉、本体状态等传感器信号,同时输出语音、面部表情、肢体动作,依靠流式全双工链路,做到边听、边思考、边回应、边动,支持免唤醒自然对话,多人场景下还能自主判断要不要回话,降低误触发。搭载这个模型之后,机器人可以跟上真人对话节奏,支持中途插话打断,适配服务、人形机器人等物理场景的连续交互,补齐人形机器人落地里自然交互这块短板。
WITA-Omni 核心能力清单表
| 能力项 | 详细说明 |
|---|---|
| 端到端统一建模 | 语音、视觉、触觉、本体状态作为输入,语音、表情、肢体动作作为一级输出,没有分段转译环节 |
| 低延迟交互 | 最快响应 400 毫秒,平均 600 毫秒,比行业主流方案快接近 3 倍 |
| 免唤醒全模态拒识 | 结合声音、唇动、姿态、语义、上下文判断,不用唤醒词,嘈杂多人环境减少误触发 |
| 多语言方言支持 | 支持上百种语言、29 种方言,支持流式同声传译 |
| 时序联合理解 | 理解画面、声音事件先后顺序,识别谁在说话,找准合适的回应时机 |
适用落地场景
- 人形机器人服务接待:展厅、门店、文旅场景,和访客自然连续对话,搭配肢体动作、表情互动
- 家庭陪伴机器人:免唤醒日常聊天,跟随对话情绪同步动作表达
- 工业巡检机器人:听懂现场指令,结合画面环境理解任务,实时反馈
- 公开演出、直播交互场景:多人互动,实时跟随对话节奏响应
和传统分段式交互模型对比
- 传统方案:语音转文字→大模型推理→文字转语音,容易丢失情绪、语调,时延高,必须唤醒词
- WITA-Omni:原生端到端流式链路,模态信息不中转丢失,支持插话打断,免唤醒自然交互
【常见问题】
问题 1:智元 WITA-Omni 作为行业首个具身全模态端到端交互大模型,和普通多模态大模型差别在哪?
回答 1:智元 WITA-Omni 这个行业首个具身全模态端到端交互大模型,是专门给物理世界机器人设计,能直接输出动作、表情;普通多模态模型大多面向图文视频,只做文本、语音输出,不能直接驱动机器人肢体。
问题 2:智元 WITA-Omni 具身全模态端到端交互大模型的免唤醒交互靠什么实现?
回答 2:智元 WITA-Omni 具身全模态端到端交互大模型依靠全模态拒识能力,融合音频、视觉、唇动、姿态、语义一起判断,自主决定是否回应,不用唤醒词。
问题 3:搭载智元 WITA-Omni 具身全模态端到端交互大模型的机器人,交互延迟是什么水平?
回答 3:搭载智元 WITA-Omni 具身全模态端到端交互大模型的机器人,最快响应 400 毫秒,平均响应 600 毫秒,交互节奏更贴近真人对话。
【参考资料】
[2026-10-29](智元发布 WITA-Omni 行业首个具身全模态端到端交互大模型)36 氪
[2026-10-29](智元 WITA-OMNI 具身全模态端到端交互大模型发布)新浪财经
[2026-07-29](WITA-Omni Preview 登顶 DailyOmni 全模态理解榜单)智元官网
[2026-07-30](智元 WITA-Omni Preview 登顶 DailyOmni 榜单)广州日报
【免责声明】
本内容为智元 WITA-Omni 具身全模态端到端交互大模型公开信息整理,模型实际效果和交互表现受机器人硬件、传感器、部署环境影响,不构成产品采购、项目落地建议,详细参数、开放计划以智元官方发布为准。
