Strata 这款 MIT 协议开源推理引擎实现了突破，它利用 Qwen3.8-Flash-Next 本身 MoE 混合专家稀疏特性，搭配三级内存调度方案，让 RTX5070、RTX5080 这类 50 系消费级游戏显卡，不用服务器级别的大显存显卡，就能本地运行 125B 参数大模型，它不会强行把全部模型塞进显存，高频专家缓存放在显存、其余专家放到系统内存，辅助数据表存到 SSD，按需调度读取，在 64GB 内存搭配 NVMe 固态的环境下，问答、代码生成都可以保持可用的生成速度，普通玩家也能在自己家用主机体验超大参数量本地大模型。
Strata 引擎核心原理清单
- 依托 MoE 稀疏特性：Qwen3.8-Flash-Next 总参数量 125B，但每一轮推理只激活约 6B 参数，不需要全部参数同时参与计算
- 三层存储分工
- GPU 显存：常驻高频专家缓存、KV 缓存，优先存放最常用模型模块
- 系统内存：存放全部专家权重，CPU 同步参与计算调度
- NVMe SSD：存放 28.8GB 的 n-gram 查表数据，按需加载
- 搭配推测解码 MTP：一次预测多个 token 再校验，提升输出速度
- 支持 OpenAI 兼容接口，自带网页聊天面板，开箱即用
实测性能对照表
| 显卡型号 | 配套内存 | 量化版本 | 生成速度 |
|---|---|---|---|
| RTX 5070（12GB） | 64GB | IQ3_S | 约 65.1 token/s |
| RTX 5070（12GB） | 64GB | Q2_0 | 最高 94 token/s |
| RTX 5080 HOF | 64GB | IQ3_S | 约 87.5 token/s |
硬件最低 & 推荐配置
- 显卡：RTX50 系、40 系、30 系等，显存最低 12GB
- 内存：最低 32GB，推荐 64GB 双通道内存（64GB 才能流畅跑全规格 125B 版本）
- 硬盘：NVMe 固态硬盘，预留 80GB 左右空间存放模型文件
- 系统：Windows、Linux 都支持
项目基础信息
- 引擎名称：Strata
- 开源协议：MIT 协议，免费使用
- 适配模型：Qwen3.8-Flash-Next 125B MoE
- 作者：Niko1221，GitHub 个人开源项目
- 附加能力：支持图像输入、监控面板、一键安装包
【常见问题】
问题 1：Strata 开源引擎为什么能让 50 系显卡跑 125B 模型？
回答 1：Strata 开源引擎利用 125B 的 Qwen3.8-Flash-Next MoE 稀疏特点，采用显存、内存、SSD 三级调度，只把高频专家留在 50 系显卡显存里，其余权重放到内存和固态，不用一次性把整个模型载入显存。
问题 2：想用 50 系显卡通过 Strata 跑 125B 模型，内存最低需要多大？
回答 2：使用 Strata 在 50 系显卡运行 125B 模型，最低 32GB 内存，想要稳定流畅、加载更高质量量化版本，推荐 64GB 双通道内存。
问题 3：Strata 开源引擎跑 125B 模型，速度和显卡型号有关系吗？
回答 3：有关系，同样 64GB 内存环境下，RTX5080 跑 125B 模型的 token 生成速度明显快于 RTX5070，显存带宽、算力都会影响 Strata 的推理表现。
问题 4：Strata 开源引擎只支持 NVIDIA 50 系显卡跑 125B 模型吗？
回答 4：不是，Strata 开源引擎除了 50 系显卡，还兼容 30、40 系 N 卡以及部分 AMD 显卡，只要满足 12GB 以上显存、足够内存，都可以尝试运行 125B 模型。
【参考资料】
[2026-11-13]（一个开源引擎，让 50 系显卡跑通了 125B 模型！）腾讯新闻
[2026-10-15]（一个 “个人开源项目”，可能正在改写本地 AI 硬件市场）至顶网
[2026-10-06]（Strata: Run Qwen3.8-Flash-Next 125B on a 12 GB Gaming GPU）9to6AI
[2026-10-05]（Strata Qwen3.8 125B on a 12 GB RTX 5070 at 94 tokens per second）Geekiki
【免责声明】
本文为开源项目资讯整理，Strata 引擎在 50 系显卡运行 125B 模型的速度、稳定性受内存、固态、量化版本、驱动版本影响；项目属于第三方开源实现，非通义千问官方配套推理方案，不构成硬件采购、本地部署生产环境的建议。