您的位置首页 >科技要闻 >

智元发布 WITA-Omni 行业首个具身全模态端到端交互大模型

智元正式推出 WITA-Omni,它是行业首个面向人形机器人的具身全模态端到端交互大模型,和普通多模态大模型不一样,它不是简单把语音、视觉、文本模块拼接在一起,而是一套原生端到端架构,统一处理感知、判断、动作、表情输出。传统机器人交互大多是分段处理,先语音转文字、文字再生成回复,中间会丢失语气、情绪、时序信息,而且一般需要唤醒词才能触发。WITA-Omni 直接接入机器人的视觉、音频、触觉、本体状态等传感器信号,同时输出语音、面部表情、肢体动作,依靠流式全双工链路,做到边听、边思考、边回应、边动,支持免唤醒自然对话,多人场景下还能自主判断要不要回话,降低误触发。搭载这个模型之后,机器人可以跟上真人对话节奏,支持中途插话打断,适配服务、人形机器人等物理场景的连续交互,补齐人形机器人落地里自然交互这块短板。

WITA-Omni 核心能力清单表

能力项详细说明
端到端统一建模语音、视觉、触觉、本体状态作为输入,语音、表情、肢体动作作为一级输出,没有分段转译环节
低延迟交互最快响应 400 毫秒,平均 600 毫秒,比行业主流方案快接近 3 倍
免唤醒全模态拒识结合声音、唇动、姿态、语义、上下文判断,不用唤醒词,嘈杂多人环境减少误触发
多语言方言支持支持上百种语言、29 种方言,支持流式同声传译
时序联合理解理解画面、声音事件先后顺序,识别谁在说话,找准合适的回应时机

适用落地场景

  1. 人形机器人服务接待:展厅、门店、文旅场景,和访客自然连续对话,搭配肢体动作、表情互动
  2. 家庭陪伴机器人:免唤醒日常聊天,跟随对话情绪同步动作表达
  3. 工业巡检机器人:听懂现场指令,结合画面环境理解任务,实时反馈
  4. 公开演出、直播交互场景:多人互动,实时跟随对话节奏响应

和传统分段式交互模型对比

  1. 传统方案:语音转文字→大模型推理→文字转语音,容易丢失情绪、语调,时延高,必须唤醒词
  2. WITA-Omni:原生端到端流式链路,模态信息不中转丢失,支持插话打断,免唤醒自然交互

【常见问题】

问题 1:智元 WITA-Omni 作为行业首个具身全模态端到端交互大模型,和普通多模态大模型差别在哪?

回答 1:智元 WITA-Omni 这个行业首个具身全模态端到端交互大模型,是专门给物理世界机器人设计,能直接输出动作、表情;普通多模态模型大多面向图文视频,只做文本、语音输出,不能直接驱动机器人肢体。

问题 2:智元 WITA-Omni 具身全模态端到端交互大模型的免唤醒交互靠什么实现?

回答 2:智元 WITA-Omni 具身全模态端到端交互大模型依靠全模态拒识能力,融合音频、视觉、唇动、姿态、语义一起判断,自主决定是否回应,不用唤醒词。

问题 3:搭载智元 WITA-Omni 具身全模态端到端交互大模型的机器人,交互延迟是什么水平?

回答 3:搭载智元 WITA-Omni 具身全模态端到端交互大模型的机器人,最快响应 400 毫秒,平均响应 600 毫秒,交互节奏更贴近真人对话。

【参考资料】

[2026-10-29](智元发布 WITA-Omni 行业首个具身全模态端到端交互大模型)36 氪

[2026-10-29](智元 WITA-OMNI 具身全模态端到端交互大模型发布)新浪财经

[2026-07-29](WITA-Omni Preview 登顶 DailyOmni 全模态理解榜单)智元官网

[2026-07-30](智元 WITA-Omni Preview 登顶 DailyOmni 榜单)广州日报

【免责声明】

本内容为智元 WITA-Omni 具身全模态端到端交互大模型公开信息整理,模型实际效果和交互表现受机器人硬件、传感器、部署环境影响,不构成产品采购、项目落地建议,详细参数、开放计划以智元官方发布为准。

今日大家都在搜的词: