您的位置首页 >科技要闻 >

国产 3D TPU 用 3D 堆叠破解大模型下沉的内存墙难题

大模型往终端、边缘设备下沉落地,最大拦路虎不是算力不够,而是大家常说的内存墙。传统芯片里计算单元和内存分开,数据来回搬运速度慢、耗电高,很多时候算力单元空转等数据,就算模型参数不大,端侧设备也跑不快、功耗压不住。这款国产 3D TPU 的解决思路很直白,不再单纯堆算力或者靠软件压缩模型,而是直接把 DRAM 内存垂直堆叠在 TPU 计算晶圆上方,用 3D 混合键合、TSV 互联缩短数据传输距离,拉高访存带宽,再搭配分级存储调度和自研 TPU 张量脉动架构,优先把高频访问的 KV 缓存、核心模型参数放在片上 3D 内存里,冷数据放到 SSD,用软硬件配合的方式,在国产成熟工艺下,让端侧设备可以稳定跑 7B、27B 甚至 35B 规模的大模型,不用全程依赖云端,兼顾低功耗、本地隐私推理。

一、先搞懂:什么是大模型下沉遇到的内存墙

  • 底层根源:冯诺依曼架构存算分离,计算速度提升远远快于内存带宽增长,数据搬运变成主要开销。行业数据显示,大模型推理环节,数据搬运会吃掉 80% 能耗、70% 成本,大量算力单元闲置等待数据读取。
  • 下沉场景痛点:AI PC、机器人、本地网关、智能盒子这类端侧设备,供电和散热空间有限,没法装 HBM 高带宽显存;普通外置内存带宽低,加载大模型之后 token 输出速度慢、延迟高,很多本地大模型只能做小参数模型,大模型只能丢给云端跑。
  • 传统优化手段局限:量化、剪枝、KV 缓存压缩会损失精度;普通 NPU、GPU 方案依然要走 PCIe、DDR 长链路,带宽利用率上不去,功耗降不下来。

二、国产 3D TPU 核心解法拆解

2.1 硬件层面:3D 垂直堆叠,缩短访存路径

  • 结构设计:存储晶圆直接叠在 TPU 计算晶圆上方,采用混合键合、TSV 硅通孔微米级互联,对比传统芯片之间毫米级传输路径,距离缩短两个数量级。
  • 带宽与功耗优势:迈特芯 MEGA188 这款国产 3D TPU 可以做到约 600GB/s 带宽,带宽利用率能稳定到 80% 以上;同等带宽指标下功耗仅几瓦,传统 2D 芯片方案功耗往往要 40 瓦以上,被动散热就能工作,不需要风扇。
  • 工艺路线:走全国产成熟制程路线,不依赖海外先进制程、海外 IP,内置 RISC-V 控制核,适配各类国产主控平台。

2.2 架构层面:张量脉动 TPU + 分级存储调度

  • 自研张量脉动 TPU 架构:专门针对 LLM、VLM、MoE 稀疏模型推理优化,推理时优先处理 token 解码环节,解码刚好是大模型推理里最吃带宽的部分。
  • “片上常驻 + SSD 冷存” 分级方案:
  • 高频数据:KV Cache、共享专家参数常驻片上 3D DRAM,每次推理直接本地读取,几乎没有等待延迟;
  • 低频专家参数:放到高速 SSD 做冷存储;
  • 智能预取调度:根据模型路由历史提前加载大概率需要的专家权重,预测没命中再从 SSD 调取,兼顾速度和能跑的模型规模,支持 35B、70B 这类稀疏 MoE 模型本地运行。

2.3 软件生态:配套编译栈,降低部署门槛

  • 自带适配 LLVM、Triton 的编译工具链,支持多精度动态切换;
  • 算子库原生适配主流开源大模型,Qwen、Llama 系列都可以做端侧部署,覆盖纯文本、多模态、具身智能 VLA 模型;
  • 支持模型能力逐级升级:从基础本地对话,到多模态图文理解,再到机器人闭环控制。

三、落地适用场景清单

  1. 本地 AI PC、信创终端,本地知识库问答、文档总结,数据不上云;
  2. 具身智能设备:机器狗、机械臂,本地实时视觉 + 动作生成,控制延迟低;
  3. 边缘网关、工业巡检设备,离线场景 AI 识别;
  4. 教育平板、本地医疗辅助终端,隐私敏感、不能上传原始数据的场景。

四、当前方案的短板和待解决问题

  • 3D 混合堆叠封装工艺难度高,多层晶圆对准、热管理、良率爬坡是量产难点,良品管控成本高于普通 2D 芯片;
  • 单芯片片上堆叠容量有限,超大模型还是要依赖外部 SSD 协同调度;
  • 生态还在建设阶段,适配工具链、第三方模型适配数量对比成熟 GPU 生态还有差距;
  • 现阶段主打推理场景,不适合大规模大模型训练任务。

【常见问题】

问题 1:国产 3D TPU 解决内存墙,和用 HBM 显存的方案有什么区别?

回答 1:HBM 属于 2.5D 封装,内存和计算芯片还是分开,靠中介层互联;国产 3D TPU 是存储晶圆垂直堆叠在 TPU 逻辑晶圆上方,互联密度更高、功耗更低,而且国产 3D TPU 走成熟工艺路线,不用依赖稀缺 HBM 供应链,更适合大模型下沉到端侧边缘场景,HBM 更多是给云端大算力卡使用。

问题 2:国产 3D TPU 跑大模型下沉,模型精度会不会下降?

回答 2:3D TPU 本身硬件不强制做大幅度量化剪枝,带宽充足之后,可以保留更高精度参数;精度损失只来自开发者选用的量化策略,3D TPU 的核心价值是提供足够带宽,让你在不严重压缩模型、不损失太多精度的前提下,在端侧跑更大参数的大模型。

问题 3:国产 3D TPU 只能跑大语言模型吗?

回答 3:不是,这款国产 3D TPU 架构同时支持大语言模型、多模态 VLM 模型,还有面向机器人的具身 VLA 世界模型;按照规划可以实现文本理解、图像识别、机器人动作生成,覆盖大模型下沉里多种 AI 任务。

问题 4:国产 3D TPU 什么时候量产,现在可以商用吗?

回答 4:迈特芯 MEGA188 国产 3D TPU 已经完成流片点亮,计划 2026 年第四季度量产;现阶段主要是样片测试、生态适配阶段,首批落地会优先给到机器人、信创终端、边缘 AI 设备厂商做方案开发。

【参考资料】

[2026-11-04](破局端侧 “内存墙” 瓶颈 迈特芯以全国产 3D-TPU 芯片筑牢 AI 算力底座)集微网

[2026-10-16](带宽利用率 80% 功耗 7 瓦;深圳 3D 芯片把端侧大模型盘活了)搜狐

[2026-10-15](超越 TOPS: 边缘大模型芯片的能效博弈)LTD 枢纽云数字化建站

[2026-07-29](东方算芯亮相 WAIC 2026:DF1000 全栈算力矩阵,以软件定义近存计算探索产业新路径)半导体芯科技

[2026-06-29](国产 AI 芯片,用 3D 堆叠 “弯道超车”)电子工程世界

免责声明:本文内容仅为行业资讯科普,不构成芯片采购、项目选型、投资相关建议;国产 3D TPU 相关产品性能、量产进度、生态适配情况以芯片厂商官方最新发布文档为准,不同终端硬件、模型版本、优化策略下实际运行效果存在差异。

今日大家都在搜的词: