韩国科学技术院 KAIST 团队最新研发的视觉语音识别技术，只依靠摄像头捕捉唇部运动视频，不需要音频信号就能把说话内容转成文字，解决了传统唇读识别容易连续出错的痛点，在嘈杂环境、收音失效场景、辅助听障沟通场景都能用，在 LRS3 数据集测试下词错率降到 19.4%，拿到了 EMNLP 2026 杰出论文奖，是目前纯视觉唇读方案里性能靠前的版本。
传统视觉语音识别大多是从句子开头按顺序逐词解码，一旦前面某个单词识别错了，错误会一路往后扩散，很多发音对应的嘴型看着几乎一样，AI 很难分清。这次 KAIST 换成基于扩散大语言模型 DLLM 的灵活解码逻辑，优先把嘴型清晰、识别置信度高的词汇先确定下来，再用这些确定的词当作上下文线索，反向推理、补全那些嘴型模糊难分辨的片段，还会根据视频时长预估多种合理句子长度，多候选对比之后选出最靠谱的文本结果。
一、KAIST 视觉语音识别技术核心参数
| 项目 | 详情 |
|---|---|
| 研发主体 | KAIST 电气电子工程系 Noh Yong-man（卢永万）教授团队 |
| 技术名称 | DLLM-VSR 视觉语音识别（VSR） |
| 训练数据 | 433 小时唇部动作视频数据集 |
| 测试数据集 | LRS3 公开数据集 |
| 词错率 WER | 19.4% |
| 核心模型 | 扩散大语言模型 DLLM |
| 所获荣誉 | EMNLP 2026 杰出论文奖 |
| 输入条件 | 仅唇部视频，无需音频 |
二、技术运行流程
- 摄像头采集人脸唇部连续视频帧，提取唇部运动视觉特征；
- 模型识别全部片段，标记出置信度高、嘴型辨识度强的词汇；
- 以高置信度词汇为上下文，迭代去噪，补齐模糊、容易混淆的唇语片段；
- 结合视频时长生成多组句子长度候选，对候选文本做重排序；
- 输出最终识别文字结果。
三、适用场景与后续规划
- 听障人士辅助沟通：环境噪音大听不清、无音频输入时，实时把对方唇语转为字幕；
- 嘈杂工业、工地、机房：收音麦克风失效，依靠画面识别工作人员喊话；
- 静音通讯、涉密场景：不方便收录音频，仅用视频识别语音内容；
- 后续目标：压缩模型体积、降低算力消耗，适配智能眼镜、服务机器人等可穿戴设备，支持离线本地运行。
四、现存短板
- 纯视觉方案本身存在天然局限，部分不同读音的嘴型高度相似，依然会有识别错误；
- 对人脸角度、光照、遮挡比较敏感，侧脸、口罩遮挡嘴唇时识别效果大幅下滑；
- 目前还处在实验室研究阶段，没有正式商用产品落地。
综合来看，这套 KAIST 视觉语音识别技术改变了传统唇读顺序解码的缺陷，靠上下文双向推理压低识别错误率，给无音频环境下的语音转写提供了新方案，不过距离稳定大规模商用，还有轻量化、鲁棒性优化的工作要做。
【常见问题】
问题 1：KAIST 开发的视觉语音识别技术，是不是就是普通的唇语识别？
回答 1：KAIST 开发的视觉语音识别技术属于唇语识别方向，但和传统唇读 AI 不一样，它采用扩散大模型非顺序解码，先锁定清晰词汇再补全模糊部分，减少连锁错误，识别精度比老式顺序解码的唇读方案更高。
问题 2：KAIST 视觉语音识别技术必须要有音频才能工作吗？
回答 2：KAIST 视觉语音识别技术不需要音频信号，输入只有唇部动作视频，纯依靠视觉信息完成语音转文字，适合麦克风失效、噪音巨大或者不能采集声音的场景。
问题 3：KAIST 视觉语音识别技术现在可以直接买到、装在智能眼镜上用吗？
回答 3：KAIST 视觉语音识别技术目前是实验室研究成果，论文刚获奖，还没有商用版本；团队后续目标是缩小模型，未来才有可能集成到智能眼镜、机器人设备上。
【参考资料】
[2026-11-15]（KAIST 开发出视觉语音识别技术，唇语转写词错率降至 19.4%）IT 时代网
[2026-11-15]（KAIST Develops Visual Speech Recognition Technology That Decodes Ambiguous Lip Movements Through Context）Respecx
[2026-11-15]（KAIST, 소리 없이도 입 모양으로 읽는 AI 정확도 높여）elec4
[2026-11-15]（너의 입 모양만으로도 난 소통한다）iNews24
【免责声明】
本文仅对 KAIST 视觉语音识别技术的公开研究信息进行整理，该技术属于实验室科研成果，未正式商用；识别效果受光照、人脸角度、嘴唇遮挡、语种影响，不代表实际使用可以达到文中测试指标；不构成相关产品采购、技术落地的投资或选型建议，详细技术细节以 KAIST 研究团队、EMNLP 论文原文为准。