您的位置首页 >科技要闻 >

豆包 AI 再进化SeedRealtime 全模态实时交互,能看会听还能主动开口

豆包这次进化的核心,是搭载了原生音视频全双工大模型 SeedRealtime:声音、画面、时序信息和语音表达被统一进同一个端到端模型,AI 在连续的多模态信息流里边看、边听、边说,不再只是等用户提问才被动回答,而是能持续感知场景变化,在合适的时机主动开口提醒、补充信息。2026 年 11 月 19 日,火山引擎正式上线豆包实时音视频通话模型 SeedRealtime 1.0 API 服务;该模型此前已于 8 月 5 日由字节跳动 Seed 团队发布,并在豆包 App 全量上线,属于业界较早实现音视频全双工技术规模化落地的产品。相比传统 "语音识别 ASR+视觉模型 VLM+语音合成 TTS" 多模块串联的级联方案,端到端统一建模减少了多阶段处理带来的延迟叠加和信息损耗,对话节奏更自然,打断、迟滞和被杂音误触发的情况明显减少。下面从技术架构、三项核心能力、典型场景、体验入口和后续方向分层说明。

一、版本与上线脉络

时间事件
2026-08-05字节跳动 Seed 团队正式推出原生音视频全双工大模型 SeedRealtime,已在豆包 App 全量上线
2026-08-20豆包视频通话功能升级,火山引擎多模态传输系统提供技术支撑
2026-11-19火山引擎上线豆包实时音视频通话模型 SeedRealtime 1.0 API 服务

体验入口:将豆包 App 更新至最新版本,在对话框内选择 "打电话",进入视频通话界面即可体验。

二、技术架构:端到端统一建模,替代级联串联

传统级联方案的问题

  • 语音先经 ASR 识别成文字,再交给 VLM 理解画面和上下文,最后由 TTS 合成语音输出。
  • 多个模块串联导致延迟层层叠加,信息在逐级转换中产生损耗。
  • 不少端到端方案仍依赖外置 VAD(语音活动检测)规则判断轮次,本质上接近一问一答的半双工交互。

SeedRealtime 的做法

  • 用统一架构原生融合音频、视频与文本,感知、理解、决策与表达同步进行。
  • 在连续音视频流上实时处理,"听到的" 和 "看到的" 共同参与每一次实时判断。
  • 原生支持全双工:用户不用等 AI 说完才能开口,模型可同时接收和处理音频、视频、文本三路输入。
  • 轮次判断由模型基于多模态信息持续决策,不再完全交给外部 VAD 规则。

三、三项核心突破

3.1 音视频联合理解

  • 原生支持声音、画面与时序信息的深度融合。
  • 结合场景消解同音词歧义;遇到模糊语音时,借助视觉场景完成消歧。
  • 准确理解视觉中的时序指代,例如用户说 "这个怎么弄" 时,结合画面、手势、视线和历史动作判断指向对象。
  • 在多人、嘈杂、开放环境中分清说话对象、理解上下文关系,把每个人的声音和身份对应起来。

3.2 主动交互能力

  • 持续进行环境感知,发现关键目标、画面变化或任务节点时主动提醒用户。
  • 可以把任务要求保存在上下文中,目标出现即介入,例如 "看到某件展品就提醒我"。
  • 能调用工具融入表达,例如联网查询航班信息、补充行李转盘位置。
  • 交互模式从被动响应的一问一答,升级为持续观察、适时介入的双向协作。

3.3 流畅的交互节奏

  • 实时感知用户对话状态和交流节奏,在适当时机自然接话、停顿和回应。
  • 抗干扰能力较强,能分辨旁人闲聊与背景噪声,不因干扰误触发。
  • 端到端人工评测显示:相比级联模型,音视频对话节奏问题减少一半;话未说完被抢断、话音已落回应迟缓、被背景杂音与闲聊误触发等现象显著减少,单次对话顺畅完整交流的概率明显提升。

四、典型场景对照

场景AI 表现
多人聚餐根据外形特征认人,把名字和人对上;分辨每句话出自谁,综合各人需求给出旅行方案
中餐厅面对外籍食客从画面认出菜品,用英语推荐,并解释 "鱼香肉丝里没有鱼"" 皮蛋怎么做 " 等文化背景;服务员顺带的评价也能结合画面理解并翻译
博物馆看展按预设目标留意镜头画面,扫到指定展品主动提醒,并结合画面细节讲解镇馆之宝和工艺
操作咖啡机看到把整粒咖啡豆直接倒进萃取手柄时及时纠错;萃取结束后根据油脂成色和液量给出缩短萃取时间的建议
阅读论文结合网络结构图讲解跳接原理;按要求在快速翻页中认出指定段落并主动叫停,报出学习率、动量、权重衰减等配置
嘈杂机场不被同伴随口闲聊触发;用户正式提问后,结合此前看到的大屏信息回答到达时间,并联网提供行李转盘位置;扫到网约车指示牌时自然给出上车点路线
陪学英语背景有其他人接电话、人声不断时,仍跟着女孩手指方向实时纠音、举例造句,不被带偏

五、配套能力与模型矩阵

实时音视频配套功能(火山引擎文档)

  • 声纹降噪:公测阶段,识别并保留目标用户(TargetUserID)声纹,抑制环境中其他无关人声,对远场人声屏蔽效果较好,可提升多人环境下的语音识别准确率。
  • 图片理解:对话过程中可通过客户端或服务端随时发送一张或多张图片提问,支持多图上传和图片分片上传。
  • 业务参数透传:支持为 Coze 智能体 Prompt 中定义的变量动态赋值,为对话附加业务标识(如订单号、用户来源),并向对话流起始节点传入自定义参数。

豆包大模型相关矩阵

模型类型定位
视觉理解模型识别视觉内容,提供理解、推理和较细腻的视觉描述能力
实时语音模型具备精细指令遵循的超拟人感对话体验
语音合成模型提供自然生动、可表达多种情绪的语音合成
视频生成模型支持多镜头叙事与多任务的 1080p 高清视频生成
UI-TARS 模型面向图形界面交互的 GUI Agent 大模型

六、后续演进方向

  • 更低延迟与更自然节奏:持续压缩 "听到 — 理解 — 回应" 的端到端时延,自然还原打断、抢话、附和与停顿等真实对话节奏。
  • 更主动的感知与决策:主动判断何时提醒、何时补充、何时递上用户正需要的信息,做到 "该出手时出手"。
  • 更稳健的多人复杂场景:在嘈杂环境、多人同框、多方对话中稳定识别 "谁在说话、在看什么、该回应谁"。
  • 从能对话到能行动:打通工具调用与现实世界连接,协助完成查询、预订和任务办理,把实时多模态理解转化为具体行动。

【常见问题】

问题 1:豆包 AI 这次 "能看会听还能主动开口" 具体指什么能力?

回答 1: 豆包搭载的 SeedRealtime 模型把声音、画面、时序和表达统一到同一个端到端模型中,AI 可以同时接收音频、视频、文本三路输入,看懂镜头里的内容、听清语音并理解上下文;同时具备持续环境感知能力,在发现关键目标、画面变化或任务节点时主动开口提醒,交互从一问一答变成边看边聊、双向协作。

问题 2:SeedRealtime 和传统语音 AI 级联方案相比,技术上有什么不同?

回答 2: 传统方案依赖 ASR 语音识别、VLM 视觉模型、TTS 语音合成多个模块串联,延迟叠加且信息逐级损耗;SeedRealtime 采用端到端统一建模,感知、理解、决策与表达同步进行,原生支持全双工对话,轮次判断由模型基于多模态信息持续决策;人工评测显示相比级联模型,对话节奏问题减少一半,抢断、迟滞和杂音误触发明显减少。

问题 3:豆包的主动开口会不会被旁边人说话或背景杂音带偏?

回答 3: 模型具备抗干扰和轮次判断能力,能分辨旁人闲聊与背景噪声,在多人同框环境中识别谁在说话、该回应谁;配套声纹降噪功能可保留目标用户声纹、抑制无关人声;在机场、家庭等嘈杂场景中,未被正式提问的闲聊不会触发回复,用户正式提问后仍能结合此前看到的画面信息作答。

问题 4:普通用户在哪里体验豆包能看会听的视频通话,API 能力如何获取?

回答 4: 普通用户把豆包 App 更新到最新版本,在对话框内选择 "打电话" 进入视频通话界面即可体验;开发者侧可通过火山引擎调用豆包实时音视频通话模型 SeedRealtime 1.0 API 服务,接入图片理解、声纹降噪、业务参数透传等配套能力,具体接口字段和公测状态以火山引擎官方文档为准。

【参考资料】

  • [2026-11-19](豆包实时音视频通话模型 1.0 API 全量上线,可实现边看边听边说全模态实时交互)IT 之家(今日头条)
  • [2026-11-19](豆包 AI 又进化了!实时音视频模型上线 能看会听还能主动开口)站长之家
  • [2026-11-19](火山引擎上线豆包实时音视频通话模型 API 服务)36 氪
  • [2026-11-19](发版说明 —— 实时音视频)火山引擎文档中心
  • [2026-08-20](豆包视频通话升级,火山引擎多模态传输系统提供技术支撑)字节跳动技术团队(今日头条)
  • [2026-08-06](豆包视频通话功能全量上线,AI 不再只听声音,还能看懂镜头里的世界)抖音
  • [2026-08-05](SeedRealtime 音视频全双工大模型发布:走向全模态自然交互)字节跳动 Seed
  • [2026-08-05](SeedRealtime:音视频全双工大模型)字节跳动 Seed

【免责声明】

本文内容基于字节跳动 Seed、火山引擎公开资料及媒体报道整理,所涉评测结论、场景表现、功能状态和模型能力均为对应版本下的公开信息;产品功能、支持机型、公测范围、接口字段与计费方式可能随版本迭代调整,实际体验以豆包 App 和火山引擎官方文档为准。文中场景案例来自官方演示,不代表所有环境下的稳定表现,本文不构成投资建议或采购承诺。

今日大家都在搜的词: