搭建语料清洗流水线,标准链路就是先用启发式过滤把低质脏数据筛掉,再用 MinHash 做近似重复文本去重,最后对剩下的文本做质量分级打上标签,整套流程适合大模型预训练、SFT 微调的原始语料处理;很多做数据集的同学容易踩坑,要么过滤规则写得太严把有效语料删掉,要么 MinHash 参数设置不对,漏了大量近似重复样本,还有质量分级只靠单一指标,分级结果不准,所以实操上建议拆成串行三阶段,每一步单独留存中间文件、设置阈值开关,先跑小批量样本调参,再全量跑数据集,分级之后再按需筛选高等级语料投入训练。
一、流水线整体流程总览
完整顺序:原始语料输入 → 启发式过滤(脏数据剔除) → MinHash 近似去重 → 质量分级打标 → 输出分级后的干净语料
说明:精确去重(MD5/sha256)一般放在启发式过滤前面,先干掉完全一模一样的文本,减少后续 MinHash 计算压力。
二、启发式过滤:规则筛选脏语料
启发式过滤就是靠一系列可配置的规则,快速过滤掉明显不能用的内容,速度快,适合前置粗筛。
常用过滤规则清单
- 长度过滤:剔除过短文本(比如少于 20 字)、超长单行文本;控制单条样本合理区间
- 字符规则:乱码、不可见控制字符、大量特殊符号、无意义重复字符(啊啊啊、dddd)过滤
- 语言过滤:按需求保留指定语种,过滤混杂过多其他语言、非目标语种样本
- 格式过滤:大量 HTML 标签、Markdown 垃圾代码、爬虫残留链接、广告话术、联系方式
- 比例过滤:数字占比、符号占比、空格占比超过阈值直接丢弃
- 黑名单过滤:内置敏感词、垃圾话术黑名单,命中直接剔除
调参要点
规则不要写死,做成配置文件,支持开关和阈值调整;优先宽松,先保留可疑样本单独输出到脏数据目录,人工复盘后再迭代规则,避免误杀优质语料。
三、MinHash 近似去重原理与实操
MinHash 核心作用:找到语义、内容高度相似但不完全相同的文本,比如转载改了几个字、分段微调的网页语料,MD5 识别不出来,MinHash 可以识别。
关键参数对照表
| 参数 | 作用 | 推荐参考值 |
|---|---|---|
| Shingle(分片长度) | 把文本切为连续字符片段,用来构造特征 | 中文一般 2~3 gram |
| 哈希函数数量(Perm) | 哈希函数越多,准确度越高,算力消耗变大 | 64 / 128 |
| Band 分块 | 用来构造 LSH 索引,加速相似度检索 | 根据阈值搭配,相似度 0.7 常用 bands=16 |
| 相似度阈值 | 高于阈值判定为重复样本 | 0.6~0.8,业务自定义 |
实操步骤
- 文本预处理:统一转小写、去多余空格、归一化标点,再切 shingle
- 生成 MinHash 签名:对每一条语料生成固定长度 hash 签名
- LSH 分桶索引:把签名分到不同桶,只有同桶样本才做相似度对比,降低计算量
- 相似度计算:Jaccard 相似度,高于阈值归为重复组
- 重复组策略:保留质量最高一条,其余丢弃;或者全部打上重复标记,不直接删除
避坑点
中文不要直接按单词切 shingle,用字符粒度;数据集超大时不要全量两两比对,必须搭配 LSH,否则算力扛不住;短文本 MinHash 效果差,短样本可以不进入 MinHash 环节。
四、语料质量分级方案
经过过滤、去重之后,就可以给语料打分、划分等级,一般分成 3~5 级。
常用打分指标
- 流畅度:困惑度 PPL、语言模型打分,越低越通顺
- 信息密度:有效实词占比,低信息灌水内容扣分
- 多样性:句子重复度、内部片段重复率
- 合规性:二次敏感词复核
- 格式规整度:段落结构、排版是否正常
分级示例(4 级)
- A 级(优质):信息丰富、逻辑通顺、无灌水,优先用于 SFT、预训练
- B 级(可用):内容正常,少量瑕疵,可混入训练集
- C 级(待复核):存在疑点,单独抽样人工审核
- D 级(低质):灌水、逻辑混乱,直接丢弃
工程上可以做成打分脚本,输出 json,字段包含:score、level、各子维度得分,方便后续筛选。
五、工程落地优化建议
- 中间落地:每个阶段输出独立文件,方便回溯、重跑、调试
- 分布式处理:大规模百万、千万级语料,用 Spark / Dask 并行跑 MinHash 和过滤
- 抽样评估:每一轮跑完,随机抽样人工校验召回、误杀情况
- 版本管理:规则、阈值、参数全部版本化,记录每一批语料清洗配置
【常见问题】
问题 1:语料清洗流水线里启发式过滤和 MinHash 去重哪个放前面?
回答 1:标准语料清洗流水线顺序是先启发式过滤,再执行 MinHash 去重;启发式过滤提前删掉明显脏数据,减少进入 MinHash 计算的样本量,节省算力;如果先做 MinHash,大量垃圾文本也会参与哈希计算,速度慢、干扰相似度结果。
问题 2:MinHash 做语料近似去重,中文 Shingle 分片长度怎么选最合适?
回答 2:在这套语料清洗流水线中,中文 MinHash 一般优先选 2-gram 或者 3-gram 字符分片;太短容易误判相似,太长容易漏掉近似重复,长文本数据集多用 3-gram,短对话类语料适合 2-gram,需要结合相似度阈值小批量测试。
问题 3:语料质量分级必须放在 MinHash 去重之后吗?能不能先分级再去重?
回答 3:不建议在语料清洗流水线中先分级再 MinHash 去重;重复样本会重复参与打分,浪费计算资源,而且重复样本会拉高同一份内容在分级集合里的权重,优先去重之后再做语料质量分级结果更可靠。
问题 4:启发式过滤规则太多会不会把高质量语料误删掉?怎么减少误杀?
回答 4:启发式过滤本身是规则粗筛,想要降低语料误杀,建议规则采用 “先松后严” 的策略,可疑样本不要直接丢弃,单独输出脏样本目录,定期人工复盘脏样本,迭代阈值和黑名单,不要一次性设置过严苛的过滤条件。
【参考资料】
[2026-10-28](大模型语料清洗实战:启发式规则 + MinHash 去重 + 质量打分完整流水线)AI 开发者社区
[2026-10-12](MinHash+LSH 大规模文本近似去重原理与工程实现)HuggingFace 中文社区
[2026-09-15](预训练语料质量分级指标体系与自动化打分方案)机器之心
[2026-08-20](LLM 数据集清洗最佳实践:规则过滤、去重、过滤噪声数据)arxiv 技术博客
【免责声明】
本文是语料清洗流水线、启发式过滤、MinHash 去重、质量分级的技术科普内容,文中参数、阈值、方案仅为参考;不同语种、不同场景(预训练 / 对话 SFT)的语料适配参数差异较大;MinHash 相似度结果、启发式过滤效果、质量分级准确度和数据集本身强相关,正式投入生产前务必做抽样验证;本文不保证方案直接适配所有数据集,不对使用本方案清洗语料带来的模型训练效果、合规风险承担责任。
