您的位置首页 >人工智能 >

Ollama 装完拉不动模型网络不通与显存不足两类故障排查方案

安装好 Ollama 之后执行 ollama pull 拉取模型,出现卡住、超时、直接报错,绝大多数情况只对应两类问题:一类是网络连不上模型仓库,另一类是本地显存 / 内存容量不够承载模型。两类故障的报错表现、排查思路、修复手段完全不同,先区分故障类型再操作,能避免无效折腾。出现这类问题不是 Ollama 程序本身损坏,要么是本地网络无法访问 registry.ollama.ai,要么是模型体积、上下文占用超出显卡显存或者系统内存。先对照报错信息定位类别,再按对应步骤处理,大部分问题都能快速修复。

一、两类故障快速区分表

故障类型典型报错 / 现象核心原因
网络问题(缺网)卡在 pulling manifest 长时间不动;报错 max retries exceeded: i/o timeout;下载中途反复断开本地网络无法连通 Ollama 官方模型仓库,代理未被服务进程识别、防火墙拦截、DNS 异常
显存 / 内存不足报 CUDA error: out of memory;ggml_cuda_host_malloc failed;模型加载中途进程退出、自动崩溃模型权重 + KV 缓存 + 运行开销超出可用显存,后台其他程序占用显存,上下文窗口开得过大

二、网络故障(缺网)排查修复步骤

  1. 先验证连通性

执行命令测试仓库地址:

curl -I https://registry.ollama.ai

请求超时、无响应,就可以确定是网络不通。

2. 配置代理环境变量

Ollama 服务进程不会自动继承终端里的代理设置,需要单独给服务配置代理,Windows 示例:

setx HTTPS_PROXY http://127.0.0.1:7890

配置完成必须重启 Ollama 托盘服务,再重新执行拉取命令。

3. 备用方案:离线导入 GGUF 文件

网络始终不通,可以在其他设备下载对应 GGUF 模型文件,本地新建 Modelfile 导入:

FROM ./xxx.gguf

执行 ollama create 自定义模型名 -f Modelfile,完成后直接本地调用。

4. 补充检查

清理磁盘剩余空间,避免下载到一半因为磁盘满中断;确认没有只设置 HTTP_PROXY 漏掉 HTTPS_PROXY。

三、显存不足故障排查修复步骤

  1. 先查看显存占用

执行两条命令确认现状:

nvidia-smi

ollama ps

观察显卡剩余显存,以及当前模型是否已经切分到 CPU 运行。

2. 调低上下文长度 num_ctx

上下文窗口越大,KV 缓存占用显存越高,可在 Modelfile 中缩小上下文:

FROM 模型名

PARAMETER num_ctx 2048

重新创建模型后再运行。

3. 降低并发数量

设置并发数为 1,关闭多请求同时占用显存:

OLLAMA_NUM_PARALLEL=1

重启 Ollama 服务生效。

4. 更换更小量化版本 / 更小参数模型

同一模型选择 q3、q4 低量化档位,体积更小;显存实在不够,直接更换 3B 这类小参数模型。

5. 清理占用显存的后台程序

关闭浏览器多标签、其他 AI 工具、游戏等占用显卡显存的进程,释放显存。

6. 开启 KV 缓存量化

开启 Flash Attention 与 KV 缓存量化,压缩缓存占用:

OLLAMA_FLASH_ATTENTION=1

OLLAMA_KV_CACHE_TYPE=q8_0

四、常见误区提醒

  • 加大系统 swap 不能解决显存不足,swap 只是内存扩展,无法给显卡分配显存;
  • 不要盲目调高 num_gpu,该参数是卸载到显卡的层数,调高反而会占用更多显存;
  • 模型常驻显存(OLLAMA_KEEP_ALIVE 设为超长)会一直占用显存,切换模型前先执行 ollama stop 模型名。

【常见问题】

问题 1:Ollama 拉取模型卡在 pulling manifest 不动,属于什么故障?

回答 1:Ollama 卡在 pulling manifest 属于网络故障,也就是缺网,是本地无法连通模型仓库导致,需要配置代理或者使用离线导入 GGUF 文件的方式获取模型。

问题 2:执行 Ollama 拉取后报 CUDA error: out of memory,是缺网问题吗?

回答 2:不是,出现 CUDA error: out of memory 属于显存不足故障,不是缺网,需要降低上下文、降低并发、更换低量化模型来释放显存。

问题 3:给 Ollama 终端设置了代理,为什么还是拉不动模型?

回答 3:Ollama 服务进程不会继承终端代理变量,仅在终端设置无效,需要给服务单独配置 HTTPS_PROXY 环境变量,并且重启 Ollama 服务才能生效。

问题 4:Ollama 显存不足时,加大系统虚拟内存 swap 可以解决吗?

回答 4:不能,Ollama 显存不足是显卡显存不够,swap 只是系统内存扩展,无法分配给显卡,解决显存不足要靠缩小上下文、换小量化模型、清理后台占用。

【参考资料】

[2026-11-16](Error: llama runner process has terminated: CUDA error: out of memory 解决,附 ollama pull 卡住)CSDN 博客

[2026-10-13](Ollama 常见问题)菜鸟教程

[2026-10-14](Ollama 下载、安装、配置、使用保姆级教程 2026 图解)阿里云开发者社区

[2026-10-25](Troubleshooting)Ollama 官方文档

【免责声明】

本文为本地 Ollama 排障经验整理,仅作技术参考;不同显卡、操作系统、代理环境表现存在差异,模型参数、显存占用以实际运行结果为准,本文不构成任何硬件选购或技术决策建议。

今日大家都在搜的词: