您的位置首页 >人工智能 >

HAMiGPU 设备共享实现机制详解

HAMi 是面向 Kubernetes 环境的 GPU 虚拟化组件,它的 GPU 设备共享实现机制,核心就是把一张物理 GPU 切分成多份虚拟 GPU,支持按显存、算力做细粒度分配,让多个容器可以共用同一张物理 GPU,解决 AI 场景下 GPU 资源闲置、单卡利用率低的痛点。原生 K8s 只能把整张 GPU 卡分配给 Pod,哪怕任务只用到少量显存,剩下的资源也会被独占,没法分给别的业务,造成大量资源浪费;HAMi 通过设备插件、内核劫持、虚拟化调度三层组件,拦截容器对 GPU 的调用请求,做显存隔离与算力限流,实现单卡切分共享。部署时先在集群安装 HAMi 组件,给节点打上 GPU 标签,创建 Pod 时在 yaml 里声明需要的虚拟 GPU 显存大小,调度器会自动分配物理 GPU 的一部分资源,容器内部感知不到底层是虚拟 GPU,和使用整张 GPU 的开发体验基本一致,同时 HAMi 还支持显存隔离,防止一个 Pod 占用过多显存把同卡其他业务挤崩,不过算力切分存在调度开销,多容器并发跑重负载任务时会有轻微性能损耗。

一、HAMi 核心组件与分工

组件名称作用部署位置
HAMi Device Plugin向 K8s 注册虚拟 GPU 设备,上报资源GPU 节点 DaemonSet
Core Scheduler自定义调度器,负责虚拟 GPU 资源分配、卡位控制平面
GPU Proxy 劫持层拦截 CUDA 调用,实现显存隔离、算力限流GPU 节点,容器侧代理
Monitor 监控模块采集单卡内各个虚拟 GPU 显存、算力使用指标GPU 节点 DaemonSet

二、HAMi GPU 设备共享完整实现流程

  1. 节点上 HAMi Device Plugin 扫描物理 GPU,按照配置把物理 GPU 拆分成多个 vGPU 资源,上报给 K8s APIServer。
  2. 用户提交 Pod,yaml 中声明需要的 vGPU 显存,比如 2Gi、4Gi。
  3. HAMi 调度器筛选 GPU 节点,在物理卡上预留对应大小显存,完成卡位。
  4. Pod 调度成功启动,注入 GPU Proxy 代理,接管容器里所有 CUDA API 请求。
  5. Proxy 层做资源隔离,限制该 Pod 最多能使用的显存,同时对算力做限流。
  6. 容器运行 AI 推理、微调任务,Monitor 持续采集资源占用;Pod 销毁后,释放 vGPU 资源供其他 Pod 复用。

三、HAMi 两种 GPU 共享模式

  1. 显存切分模式(最常用)
  • 按照显存大小划分 vGPU,比如 24G A10 卡,切分成 6 个 4G vGPU。
  • 强显存隔离,一个 Pod 超显存直接 OOM,不会抢占同卡其他 Pod 显存。
  • 适合 LLM 推理、轻量模型部署,是 HAMi 主推的共享模式。
  1. 算力分时共享模式
  • 显存不硬性切分,多个 Pod 时间片轮流占用 GPU 算力。
  • 隔离弱,存在抢占风险,适合低负载测试场景。
  • 多个任务交替执行,同一时刻只有一个任务跑在 GPU 硬件上。

四、HAMi vGPU 关键能力清单

  1. 细粒度显存隔离:可自定义分配显存大小,最小粒度支持 1Gi。
  2. CUDA 无感知:容器内部不需要修改代码,直接使用标准 CUDA 接口。
  3. 多卡支持:支持 A10、A100、L4、V100 等主流 NVIDIA GPU。
  4. 资源监控:可以看到每个 vGPU 显存利用率、算力使用率。
  5. 动态扩缩:支持节点上 vGPU 资源动态回收与复用。

五、HAMi GPU 共享优缺点

优势

  • 大幅提升物理 GPU 利用率,小推理任务不用独占整张卡,节省硬件采购成本。
  • 业务代码无需改造,对 AI 应用透明。
  • 原生适配 Kubernetes,云原生 AI 集群落地简单。
  • 显存硬隔离,避免业务之间显存互相干扰。

局限

  • Proxy 劫持带来少量 CPU 开销,高并发重训练场景性能会有衰减。
  • 不支持跨物理卡内存交换。
  • 对部分 CUDA 底层特殊接口存在兼容性风险。
  • 多 Pod 高负载并发,GPU 算力争抢会增加推理延迟。

六、HAMi 部署落地注意事项

  1. 内核与驱动版本匹配,HAMi 对 NVIDIA 驱动版本有最低要求,提前做好版本核验。
  2. 规划切分策略,推理业务优先显存切分,不要过度切分,单卡 vGPU 数量不宜过多。
  3. 监控告警配置,增加显存使用率、GPU 延迟告警,及时发现资源争抢。
  4. 业务压测上线,批量推理场景提前压测,评估算力损耗。
  5. 权限控制,集群层面限制 vGPU 申请额度,防止资源超限。

【常见问题】

问题 1:HAMi 实现 GPU 设备共享,底层是硬件虚拟化还是软件层实现?

回答 1:HAMi 的 GPU 设备共享依靠软件 Proxy 劫持 CUDA 调用实现,不属于 NVIDIA 硬件 vGPU,在 K8s 节点上通过代理层做显存隔离和算力管控,不需要 GPU 硬件虚拟化支持。

问题 2:HAMi 做 GPU 设备共享,多个 Pod 共用一张 GPU 时会不会出现显存互相抢占?

回答 2:HAMi 显存切分模式下具备显存硬隔离,每个 vGPU 有显存上限,Pod 超出配额直接 OOM,不会抢占同卡其他 Pod 显存;如果是分时共享模式隔离较弱,会存在算力抢占风险。

问题 3:HAMi 实现 GPU 设备共享,业务代码需要修改来适配 vGPU 吗?

回答 3:HAMi 实现 GPU 设备共享对容器内 AI 业务透明,业务不需要修改代码,容器内部调用标准 CUDA 接口,使用体验和整张物理 GPU 基本一致。

问题 4:HAMi GPU 设备共享适合模型训练还是模型推理场景?

回答 4:HAMi GPU 设备共享更适合 LLM、AI 图片推理这类负载相对稳定的推理场景;大规模模型训练高负载场景,多任务并发会产生明显性能损耗,一般不推荐。

【数据来源】

[2026-11-06](HAMi:GPU 设备共享实现机制)云原生社区

[2026-11-04](HAMi vGPU 架构解析,K8s GPU 细粒度共享原理)HAMi GitHub 官方文档

[2026-11-02](云原生 AI 资源调度:HAMi GPU 虚拟化落地实践)InfoQ

[2026-10-29](HAMi 与 NVIDIA GPU 虚拟化技术对比)阿里云开发者社区

【免责声明】

本文 HAMi GPU 设备共享实现机制内容整理自开源项目文档与云原生技术社区;HAMi 组件版本、驱动适配、隔离能力会持续迭代;vGPU 性能损耗、兼容性与集群环境、GPU 型号、业务负载强相关;正式生产环境部署前需要充分压测验证,功能限制以 HAMi 官方仓库文档为准。

今日大家都在搜的词: