首页
科技要闻
互联网
手机
家电
机器人
5G/通信
数码
人工智能
硬件
IT
资讯
业界
科技金融
企业动态
半导体
iOS
Android
Mac
标签 >
模型不识字:BPE 合并、中文多语言税、15 万词表的账,全部手算一遍
模型识字难题手算拆解 BPE 合并逻辑、中文多语言税与 15 万词表成本
很多大模型看着能读中文,本质上并不真正识字,靠的是 BPE 分词规则做字符片段合并,中文场景下还会出现大家常说的多语言税,我们可以手
2026-11-06 22:22:50