模型识字难题手算拆解 BPE 合并逻辑、中文多语言税与 15 万词表成本

很多大模型看着能读中文,本质上并不真正识字,靠的是 BPE 分词规则做字符片段合并,中文场景下还会出现大家常说的多语言税,我们可以手