开发国学小程序的时候,最大难点就是海量古籍文本的检索和问答,通用检索、普通 RAG 直接上线效果很差,所以整套方案采用BM25 全文检索引擎 + 向量语义检索混合 RAG 架构,专门针对古籍繁体、异体字、无标点原文、注疏分离、四部分类的特点做预处理链路;这套架构一边提供古籍原文精确检索、繁简通搜、异体字归一的全文检索能力,一边基于古籍切块、古汉语 Embedding 做检索增强问答,支持原文定位、文白对照、注疏联动、典籍溯源,适合做古籍查阅、原文摘抄、义理问答、名句溯源类国学小程序,同时控制后端成本,适配小程序端低延迟访问。普通中文检索引擎和通用 RAG 放到古籍场景很容易踩坑:古籍大量无标点、不分句,异体字、通假字、古今字繁多,同一个字多种写法;通用分词器会把文言词汇切碎;直接按固定字数切块,很容易把一句义理、一段注疏拦腰切断;而且很多用户需求分两类,一类是精准找原文句子、卷次篇目,一类是问含义、背景、注解,单一向量检索要么找不到原文,要么容易脱离古籍原文自由发挥。这套方案把两个引擎拆开协同:全文检索引擎负责原文精准召回、定位卷次、繁简异体兼容;RAG 向量检索负责语义理解、义理问答、相关注疏联动,再通过重排序融合两路结果,同时绑定古籍元数据(经史子集、版本、作者、卷号)做过滤,保证回答有据可查,每一条结论都附带原文出处。下面整理预处理流水线、引擎架构、核心模块、开发步骤、踩坑清单。
一、古籍数据预处理流水线(入库前置)
| 步骤 | 处理内容 | 说明 |
|---|---|---|
| 原始文本清洗 | 去 OCR 噪点、脱符、去换行、区分正文 / 双行夹注 | 把注疏和原文分开存储,避免混在一起干扰检索 |
| 文字归一化 | 繁简转换、异体字 / 通假字映射表对齐 | 建立专用字表,兼顾检索兼容和原文保留,展示时还原原版字形 |
| 古文断句标点 | 古汉语专用断句模型,补充句读标记 | 解决古籍无标点问题,方便后续语义切块 |
| 实体标注 | 标注人名、地名、书名、朝代、术语 | 用于知识图谱辅助过滤、定向检索 |
| 语义切块 | 不以固定字符硬切,以句读、篇章边界切块 | 块长 300–600 字,重叠窗口 10%,保证一句义理不被截断 |
| 双索引写入 | 写入 ES/OpenSearch 全文索引;同时向量化写入向量库 | 每条 chunk 绑定唯一标识、典籍名、卷、版本、页码位置 |
二、全文检索引擎设计要点
- 分词器:不用通用中文分词,使用古汉语自定义分词词典,内置经史子集专有名词、训诂术语词表
- 检索模式:支持精准字符串检索、模糊检索、繁简异体字自动匹配检索
- 筛选维度:按四部分类、典籍、作者、朝代、版本做多条件过滤
- 召回输出:返回原文片段、卷次、页码、行号,支持原文高亮定位
- 性能优化:按典籍分索引,增量更新,避免全库重建索引
三、古籍 RAG 整体架构
用户提问 → 意图分类(原文查找 / 义理解答)
→ 查询改写:古文术语标准化、补全上下文、生成多个检索 query
→ 两路并行召回:
① BM25 全文检索(召回原文、名句)
② 向量检索(语义召回相关篇章、注疏)
→ 多路结果融合、Rerank 重排,优先保留出处可靠、版本权威的片段
→ 上下文组装:区分
【原文】
【古注】
【疏解】,给大模型限定 Prompt
→ LLM 生成回答:输出释义、出处、原文摘抄,禁止脱离材料编造
→ 小程序端返回:回答 + 原文跳转链接、典籍信息、版本标注
四、推荐技术栈清单
| 模块 | 选型参考 |
|---|---|
| 全文检索引擎 | Elasticsearch / OpenSearch,自定义古汉语分词插件 |
| 向量数据库 | Milvus / Qdrant,适合海量文本高并发检索 |
| Embedding 模型 | 古汉语专项 Embedding,优于通用 Embedding |
| 后端服务 | FastAPI,接口做缓存,适配小程序请求限流 |
| 前端小程序 | 微信小程序,支持原文分页、卷册导航、划词查字 |
| 附加能力 | 古汉语字典 API、文白翻译、知识图谱(人物、典籍关系) |
五、开发落地步骤
- 语料准备:整理古籍文本库,区分权威版本、校本,整理异体字、通假字映射表
- 预处理脚本开发:清洗、断句、实体识别、语义切块脚本
- 索引构建:搭建全文检索索引、向量库,完成基础检索测试
- RAG 链路开发:查询改写、多路召回、重排、Prompt 约束
- 小程序对接:开发检索页、典籍目录、问答页、原文阅读页
- 灰度测试:用经典名句、义理问题测试,优化分词、切块、重排权重
- 缓存与扩容:热门典籍、高频问答做缓存,降低检索和模型调用成本
六、高频踩坑清单
- 异体字只做单向转换:展示层要保留原版繁体异体字,检索层做归一匹配,不能全部强制转简体
- 硬切块:固定字数切块会把 “子曰” 这类独立语义拆碎,一定要基于句读边界切分
- Prompt 不约束:不加原文溯源约束,大模型容易输出自己编造的释义,和古籍原文冲突
- 正文注疏混在一起:检索时分不清原文和后人注解,溯源可信度下降
- 忽略版本差异:同一典籍不同校本文字不一样,RAG 回答必须标注版本来源
总的来说,国学小程序海量古籍场景,不能只做单纯向量 RAG 或者传统字符串检索,全文检索引擎负责 “找得到原文”,古籍 RAG 负责 “读得懂义理”,两者混合检索 + 古籍专属预处理,才可以兼顾原文检索精度和问答的准确性,同时满足国学用户查原文、读注解、问义理的核心需求。
【相关 FAQ】
问题 1:国学小程序开发实战,海量古籍资料的全文检索引擎和 RAG 架构是什么关系?
回答 1:全文检索引擎主要负责精准检索古籍原文、名句、卷次定位,解决 “找原文”;RAG 架构负责语义理解、义理问答、注疏联动,两路召回融合之后再交给大模型生成答案,二者互补。
问题 2:国学小程序开发实战,古籍 RAG 能不能直接用通用中文 Embedding?
回答 2:不推荐直接使用通用 Embedding,通用模型对古文、训诂术语、文言句式理解弱;优先选用古汉语专项 Embedding,古籍语义匹配效果更好。
问题 3:国学小程序开发实战,古籍全文检索引擎为什么不能直接用通用中文分词?
回答 3:通用分词会把文言专有名词、训诂术语错误切分,比如人名、典籍名、礼制词汇被切碎;需要搭配古汉语词典自定义分词器适配古籍。
问题 4:国学小程序开发实战,古籍 RAG 做文本切块为什么不按固定字数切割?
回答 4:古籍以句读、义理单元为边界,固定字数硬切很容易截断一句话、一段注疏,破坏语义;这套方案采用句读识别之后的语义切块,减少语义断裂。
问题 5:国学小程序开发实战,异体字、通假字在检索引擎里怎么处理?
回答 5:搭建异体字、通假字映射表,检索阶段做归一化匹配,保证简繁、异体可以互相搜到;页面展示的时候还原原始字形,不破坏古籍阅读原貌。
【参考资料】
[2026-11-20](基于 RAG 与向量数据库构建古籍知识库:文本处理到智能检索)腾讯云开发者社区
[2026-10-13](Classical-Tutor:面向古籍资源的双角色 RAG 架构)ACM Digital Library
[2026-03-17](中华古籍智慧化服务平台:古籍断句、繁简通检、智能问答)中国国家图书馆
[2025-07-22](Elasticsearch 构建敦煌文献古籍检索系统,古汉语分词方案)Elastic 官方博客
[2026-08-10](古籍数字化难点:异体字、OCR 混排、注疏分离处理)广东省情网
[2026-04-05](识典古籍平台技术方案:自动标点、实体识别、古籍检索)北京大学数字人文中心
【免责声明】
本文仅为国学科研类小程序技术方案科普,介绍海量古籍检索引擎与 RAG 架构开发思路;古籍文本版权、数字化授权需要单独确认;不同古籍版本、校勘差异会影响检索和问答结果,方案需要根据自有语料迭代优化,不构成上线交付标准。
