腾讯混元 Hy4flash 模型正式发布,总参数量 224B、激活参数仅 12B

11 月 16 日腾讯混元推出全新 Hy4flash 模型,这款属于 MoE 架构的大模型总参数量 224B,里面包含 64B Engram 参数,每次推理只