腾讯混元 Hy4 flash 模型正式发布,激活参数 12B、支持 1M 超长上下文

腾讯混元最新 Hy4 flash 模型已经正式上线,它采用 MoE 稀疏架构,总参数 224B,激活参数只有 12B,同时支持 100 万 Token 上下