这套从零搭建的视频→知识库开源方案,完整覆盖视频下载、音频提取、语音转文字、文本切片、向量入库、检索问答,核心亮点是保留原视频时间戳,用户提问后不仅返回答案,还能直接给出对应视频片段的时间位置,方便回看原始素材;整套链路全部选用开源组件,不用绑定闭源大模型和付费 API,你可以本地部署,适合把课程视频、会议录像、培训视频做成可检索知识库,跟着分步操作就能跑通整套流程,还能按需替换模型、向量库做二次改造。
全流程环节与开源组件对照表
| 流程环节 | 可选开源工具 | 作用说明 | 输出产物 |
|---|---|---|---|
| 视频下载 | yt-dlp、you-get | 拉取在线视频,支持 B 站、YouTube 等平台 | mp4 视频文件 |
| 音频分离 | ffmpeg | 从视频里剥离音频,降低转写算力开销 | wav 音频文件 |
| 语音转写 | Whisper(OpenAI)、FunASR | 音频转字幕文本,识别中文、英文,输出时间戳 | 带时间戳的字幕 json |
| 文本切片 | LangChain、LlamaIndex | 按句子 / 段落切分,带上对应时间戳,避免上下文过长 | 带 ts 标记的文本块 |
| 向量编码 | BGE、Sentence-Transformers | 把文本块转为向量,做语义检索 | 向量数据 |
| 向量存储 | Chroma、FAISS、Milvus Lite | 本地轻量向量库,保存向量 + 原文 + 时间戳 | 向量索引库 |
| 检索问答 | Ollama、Qwen、Llama3 | 检索匹配片段,交给大模型生成回答,附带时间戳 | 答案 + 对应视频时间戳 |
分步实操流程
1、视频下载 + 音频提取
先用 yt-dlp 拉取目标视频,再调用 ffmpeg 把视频里的音频单独导出,直接转写音频比整段视频转写更快,节省算力。
yt-dlp 视频链接 -o video.mp4
ffmpeg -i video.mp4 -vn -acodec pcm_s16le -ar 16000 -ac 1 audio.wav
2、语音转写,保留时间戳
优先用 FunASR 或者 Whisper 进行转写,开启 word-level 或者 segment 级时间戳输出,每一段文本都绑定开始、结束时间,这是后续时间戳问答的基础。转写结果不要丢掉时间字段,直接存入结构化 JSON。
3、文本分块,绑定时间信息
不能简单按字数硬切,尽量在句子停顿、段落结尾切分;每一个切片都继承所属片段的时间戳,格式示例:{"text":"xxx","start":12.5,"end":18.2}。
如果切分跨多个字幕段,就记录起始和结束两个时间点。
4、向量化入库
使用 BGE 这类开源 Embedding 模型,把带时间戳的文本块生成向量,文本、向量、时间戳一起存入向量库。检索的时候,是向量匹配,不是关键词匹配,可以理解语义。
5、向量检索 + 时间戳问答
用户输入问题,先对问题做 Embedding,在向量库里检索相似度最高的文本块;把检索到的原文和时间戳一起喂给大模型,要求模型回答时标注来源时间点。用户拿到答案之后,可以直接跳转视频对应时间段核对内容。
这套方案的优势
- 全链路开源,可离线本地跑,数据不出本地;
- 自带时间戳溯源,问答结果可以定位原视频片段;
- 组件解耦,转写、Embedding、大模型、向量库都可以单独替换;
- 适合教学视频、会议录播、产品培训、技术讲座这类视频素材沉淀知识库。
常见坑点清单
- 转写时间戳不准:音频杂音大、语速过快会导致时间戳漂移,建议提前做降噪;
- 切片过长:向量检索容易丢失细节,切片控制在 150–300 字比较合适;
- 时间戳丢失:很多人转写之后直接丢了 ts 字段,最后没法实现跳转问答;
- 向量库性能:FAISS 适合单机小体量,Milvus 适合视频量很大的场景。
【常见问题】
问题 1:视频→知识库全流程里,时间戳问答的核心原理是什么?
回答 1:视频→知识库全流程做时间戳问答,核心是语音转写阶段保存每段文本对应的时间戳,切片的时候一并绑定存入向量库,检索命中片段后,把时间戳传给大模型,输出答案附带视频时间位置。
问题 2:搭建视频→知识库全流程,必须使用付费 API 才能跑吗?
回答 2:不用,这套视频→知识库全流程可以全部用开源方案,Whisper/FunASR 转写、BGE 向量化、FAISS/Chroma 向量库、Ollama 本地大模型,全部本地离线运行,不需要调用付费接口。
问题 3:视频→知识库全流程,什么向量库更适合新手入门?
回答 3:新手做视频→知识库全流程优先选 Chroma 或者 FAISS,开箱即用、不用额外部署服务;视频素材几百条以上、需要多用户并发检索,再换成 Milvus。
问题 4:视频→知识库全流程中,转写出来的字幕质量差,怎么优化?
回答 4:视频→知识库全流程里字幕差可以先通过 ffmpeg 做音频降噪,选用 FunASR 对中文场景更友好,另外尽量分开长视频,分段转写,减少杂音、多人说话带来的识别错误。
【参考资料】
[2026-11-17](从零实现视频到知识库:转写、向量检索、时间戳问答完整开源教程)掘金
[2026-11-14](基于 FunASR+FAISS 构建带时间戳的视频知识库)知乎
[2026-10-28](LangChain 视频文档 RAG,保留时间戳溯源)Hugging Face 博客
[2026-10-12](Whisper 时间戳提取与 RAG 结合实践)GitHub 技术博客
[2026-09-05](yt-dlp+ffmpeg 视频音频预处理最佳实践)Linux 中国
【免责声明】
本文视频→知识库全流程方案为开源技术实践分享,使用 yt-dlp 等工具下载视频时,请遵守视频平台用户协议与版权法规,仅处理拥有版权或授权的视频素材;不同硬件配置下转写、检索速度差异较大,方案仅用于技术学习,不直接作为商用生产系统方案。
