语料清洗流水线搭建启发式过滤、MinHash 去重、质量分级落地指南

搭建语料清洗流水线,标准链路就是先用启发式过滤把低质脏数据筛掉,再用 MinHash 做近似重复文本去重,最后对剩下的文本做质量分级打上