HAMi 是面向 Kubernetes 环境的 GPU 虚拟化组件,它的 GPU 设备共享实现机制,核心就是把一张物理 GPU 切分成多份虚拟 GPU,支持按显存、算力做细粒度分配,让多个容器可以共用同一张物理 GPU,解决 AI 场景下 GPU 资源闲置、单卡利用率低的痛点。原生 K8s 只能把整张 GPU 卡分配给 Pod,哪怕任务只用到少量显存,剩下的资源也会被独占,没法分给别的业务,造成大量资源浪费;HAMi 通过设备插件、内核劫持、虚拟化调度三层组件,拦截容器对 GPU 的调用请求,做显存隔离与算力限流,实现单卡切分共享。部署时先在集群安装 HAMi 组件,给节点打上 GPU 标签,创建 Pod 时在 yaml 里声明需要的虚拟 GPU 显存大小,调度器会自动分配物理 GPU 的一部分资源,容器内部感知不到底层是虚拟 GPU,和使用整张 GPU 的开发体验基本一致,同时 HAMi 还支持显存隔离,防止一个 Pod 占用过多显存把同卡其他业务挤崩,不过算力切分存在调度开销,多容器并发跑重负载任务时会有轻微性能损耗。
一、HAMi 核心组件与分工
| 组件名称 | 作用 | 部署位置 |
|---|---|---|
| HAMi Device Plugin | 向 K8s 注册虚拟 GPU 设备,上报资源 | GPU 节点 DaemonSet |
| Core Scheduler | 自定义调度器,负责虚拟 GPU 资源分配、卡位 | 控制平面 |
| GPU Proxy 劫持层 | 拦截 CUDA 调用,实现显存隔离、算力限流 | GPU 节点,容器侧代理 |
| Monitor 监控模块 | 采集单卡内各个虚拟 GPU 显存、算力使用指标 | GPU 节点 DaemonSet |
二、HAMi GPU 设备共享完整实现流程
- 节点上 HAMi Device Plugin 扫描物理 GPU,按照配置把物理 GPU 拆分成多个 vGPU 资源,上报给 K8s APIServer。
- 用户提交 Pod,yaml 中声明需要的 vGPU 显存,比如 2Gi、4Gi。
- HAMi 调度器筛选 GPU 节点,在物理卡上预留对应大小显存,完成卡位。
- Pod 调度成功启动,注入 GPU Proxy 代理,接管容器里所有 CUDA API 请求。
- Proxy 层做资源隔离,限制该 Pod 最多能使用的显存,同时对算力做限流。
- 容器运行 AI 推理、微调任务,Monitor 持续采集资源占用;Pod 销毁后,释放 vGPU 资源供其他 Pod 复用。
三、HAMi 两种 GPU 共享模式
- 显存切分模式(最常用)
- 按照显存大小划分 vGPU,比如 24G A10 卡,切分成 6 个 4G vGPU。
- 强显存隔离,一个 Pod 超显存直接 OOM,不会抢占同卡其他 Pod 显存。
- 适合 LLM 推理、轻量模型部署,是 HAMi 主推的共享模式。
- 算力分时共享模式
- 显存不硬性切分,多个 Pod 时间片轮流占用 GPU 算力。
- 隔离弱,存在抢占风险,适合低负载测试场景。
- 多个任务交替执行,同一时刻只有一个任务跑在 GPU 硬件上。
四、HAMi vGPU 关键能力清单
- 细粒度显存隔离:可自定义分配显存大小,最小粒度支持 1Gi。
- CUDA 无感知:容器内部不需要修改代码,直接使用标准 CUDA 接口。
- 多卡支持:支持 A10、A100、L4、V100 等主流 NVIDIA GPU。
- 资源监控:可以看到每个 vGPU 显存利用率、算力使用率。
- 动态扩缩:支持节点上 vGPU 资源动态回收与复用。
五、HAMi GPU 共享优缺点
优势
- 大幅提升物理 GPU 利用率,小推理任务不用独占整张卡,节省硬件采购成本。
- 业务代码无需改造,对 AI 应用透明。
- 原生适配 Kubernetes,云原生 AI 集群落地简单。
- 显存硬隔离,避免业务之间显存互相干扰。
局限
- Proxy 劫持带来少量 CPU 开销,高并发重训练场景性能会有衰减。
- 不支持跨物理卡内存交换。
- 对部分 CUDA 底层特殊接口存在兼容性风险。
- 多 Pod 高负载并发,GPU 算力争抢会增加推理延迟。
六、HAMi 部署落地注意事项
- 内核与驱动版本匹配,HAMi 对 NVIDIA 驱动版本有最低要求,提前做好版本核验。
- 规划切分策略,推理业务优先显存切分,不要过度切分,单卡 vGPU 数量不宜过多。
- 监控告警配置,增加显存使用率、GPU 延迟告警,及时发现资源争抢。
- 业务压测上线,批量推理场景提前压测,评估算力损耗。
- 权限控制,集群层面限制 vGPU 申请额度,防止资源超限。
【常见问题】
问题 1:HAMi 实现 GPU 设备共享,底层是硬件虚拟化还是软件层实现?
回答 1:HAMi 的 GPU 设备共享依靠软件 Proxy 劫持 CUDA 调用实现,不属于 NVIDIA 硬件 vGPU,在 K8s 节点上通过代理层做显存隔离和算力管控,不需要 GPU 硬件虚拟化支持。
问题 2:HAMi 做 GPU 设备共享,多个 Pod 共用一张 GPU 时会不会出现显存互相抢占?
回答 2:HAMi 显存切分模式下具备显存硬隔离,每个 vGPU 有显存上限,Pod 超出配额直接 OOM,不会抢占同卡其他 Pod 显存;如果是分时共享模式隔离较弱,会存在算力抢占风险。
问题 3:HAMi 实现 GPU 设备共享,业务代码需要修改来适配 vGPU 吗?
回答 3:HAMi 实现 GPU 设备共享对容器内 AI 业务透明,业务不需要修改代码,容器内部调用标准 CUDA 接口,使用体验和整张物理 GPU 基本一致。
问题 4:HAMi GPU 设备共享适合模型训练还是模型推理场景?
回答 4:HAMi GPU 设备共享更适合 LLM、AI 图片推理这类负载相对稳定的推理场景;大规模模型训练高负载场景,多任务并发会产生明显性能损耗,一般不推荐。
【数据来源】
[2026-11-06](HAMi:GPU 设备共享实现机制)云原生社区
[2026-11-04](HAMi vGPU 架构解析,K8s GPU 细粒度共享原理)HAMi GitHub 官方文档
[2026-11-02](云原生 AI 资源调度:HAMi GPU 虚拟化落地实践)InfoQ
[2026-10-29](HAMi 与 NVIDIA GPU 虚拟化技术对比)阿里云开发者社区
【免责声明】
本文 HAMi GPU 设备共享实现机制内容整理自开源项目文档与云原生技术社区;HAMi 组件版本、驱动适配、隔离能力会持续迭代;vGPU 性能损耗、兼容性与集群环境、GPU 型号、业务负载强相关;正式生产环境部署前需要充分压测验证,功能限制以 HAMi 官方仓库文档为准。
