腾讯混元 Hy4 flash 正式发布,主打高性价比稀疏 MoE 大模型

腾讯混元新推出 Hy4 flash 语言模型,是 Hy4 系列的轻量化版本,采用稀疏 MoE 架构,激活参数只有 12B,同时保留 100 万 token