首页
科技要闻
互联网
手机
家电
机器人
5G/通信
数码
人工智能
硬件
IT
资讯
业界
科技金融
企业动态
半导体
iOS
Android
Mac
标签 >
语料清洗流水线的实现:启发式过滤、MinHash去重与质量分级
语料清洗流水线搭建启发式过滤、MinHash 去重、质量分级落地指南
搭建语料清洗流水线,标准链路就是先用启发式过滤把低质脏数据筛掉,再用 MinHash 做近似重复文本去重,最后对剩下的文本做质量分级打上
2026-11-18 08:38:25