您的位置首页 >科技要闻 >

Garlic LLM 开源项目落地越狱 PS4,可离线跑 9B 大模型,代码生成最高每秒 43 词元

开源项目 Garlic LLM 实现了一个很有意思的玩法,在已经越狱、安装 GoldHEN 的 PS4 主机上,不用外接电脑、不用联网,直接本地运行 9B 参数的 Qwen3.5-9B 大语言模型,代码生成场景最高可以跑到每秒 43 词元,普通文本对话速度稳定在每秒 31-39 词元,还自带语音识别、语音合成,能直接用手柄做离线语音对话。PS4 本身是 2013 年的老主机,搭载 AMD GCN 架构 GPU,官方没有开放通用 AI 计算接口,常规的深度学习框架没法直接跑,开发者没有走标准驱动,而是绕过原有图形驱动,直接给 GPU 下发底层 PM4 指令,自己写算子来做矩阵运算。为了适配 PS4 只有 8GB 统一内存的限制,项目把 Qwen3.5-9B 做 3 位或者 4 位量化,压缩之后模型包大概 4.5GiB,再搭配推测解码 MTP 技术提升推理速度,上下文窗口支持 16K 词元。这个项目属于爱好者自制的开源 Hack 项目,不是索尼官方功能,只能在越狱主机上使用,适合用来验证老旧 GPU 跑本地大模型的可行性,不能当成稳定商用推理设备。

一、Garlic LLM 核心参数表

项目详情
项目名称Garlic LLM
开发者Leonardo Alegria
运行硬件已越狱、搭载 GoldHEN 的 PS4 主机
基座模型Qwen3.5-9B
模型量化方式3bit / 4bit 量化
模型占用大小约 4.5GiB
推理速度普通文本:31~39 token/s;代码生成最高:43 token/s
上下文窗口16K 词元
运行条件离线运行,不需要联网、不需要外接 PC
开源协议GPLv3
配套语音模型Parakeet(语音识别)、Chatterbox(语音合成)

二、核心技术实现思路

  1. 底层直驱 GPU:跳过 PS4 官方图形驱动栈,手动构造 PM4 指令缓冲区,直接和 AMD GCN GPU 通信,自研计算算子,不依赖 OpenCL、Vulkan 标准加速库。
  2. 模型量化压缩:9B 原始模型体积很大,通过低位量化,把权重压缩到 4.5GiB 以内,适配 PS4 有限内存。
  3. 推测解码 MTP:推理时预先生成多组候选词元再校验,提升老硬件的生成速度。
  4. 语音链路整合:语音识别、大模型推理、语音合成全部在 PS4 本地完成,整套语音对话离线闭环。

三、支持的功能清单

  1. 离线文本对话、问答、文案创作。
  2. 代码编写、代码解释,该场景速度最高到 43 词元每秒。
  3. 离线语音输入、语音朗读输出,支持多语种。
  4. 手柄交互,按键触发录音,直接和 AI 对话。
  5. 支持 Hugging Face 下载打包好的部署包。

四、局限和风险说明

  1. 硬件前提:必须是越狱 PS4,正常未破解主机无法安装,越狱会失去索尼官方保修、联网服务,存在 ban 机风险。
  2. 性能上限:对比现代 PC、N 卡,整体推理速度、稳定性差距明显,只适合技术玩票,不适合长时间商用。
  3. 内存天花板:PS4 只有 8GB 统一内存,很难跑更大参数模型。
  4. 非官方项目:属于爱好者自制项目,没有长期维护保障,BUG、崩溃概率较高。

五、项目价值

  1. 证明老旧 AMD GCN 架构 GPU,在没有标准 AI 框架支持的情况下,依然可以通过底层指令改造跑大模型推理。
  2. 给低资源硬件离线 LLM 方案提供了新的参考思路。
  3. 演示了完整端到端离线语音 AI 在游戏主机上的落地形态。

【常见问题】

问题 1:Garlic LLM 在越狱 PS4 运行 9B 模型,最高每秒 43 词元是什么场景下的速度?

回答 1:Garlic LLM 在越狱 PS4 运行 9B 模型,最高每秒 43 词元是代码生成场景,普通文本对话速度为每秒 31~39 词元。

问题 2:Garlic LLM 让越狱 PS4 跑 9B 本地 AI 模型,需不需要联网或者外接电脑?

回答 2:Garlic LLM 让越狱 PS4 跑 9B 本地 AI 模型,全程离线运行,不需要联网,也不需要外接电脑,PS4 主机独立完成推理。

问题 3:Garlic LLM 在越狱 PS4 运行的 9B 大模型基座是哪一款?

回答 3:Garlic LLM 在越狱 PS4 运行的 9B 大模型基座是 Qwen3.5-9B,经过 3bit 或者 4bit 量化压缩之后部署。

问题 4:Garlic LLM 让越狱 PS4 运行 9B 模型,它是怎么绕过 PS4 限制调用 GPU 的?

回答 4:Garlic LLM 让越狱 PS4 运行 9B 模型,绕过 PS4 原有图形驱动,手动构造 PM4 指令缓冲区,直接向 AMD GCN 架构 GPU 下发底层计算指令,自研算子实现 AI 推理。

问题 5:Garlic LLM 可以在普通未破解 PS4 上运行 9B 本地 AI 模型吗?

回答 5:不可以,Garlic LLM 只能在已经越狱、安装 GoldHEN 的 PS4 主机上运行 9B 本地 AI 模型,未破解主机无法安装,越狱还会带来保修、ban 机风险。

【参考资料】

[2026-11-17](最高每秒 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型)IT 之家

[2026-11-17](Garlic LLM:Jailbroken PS4 runs 9B LLM up to 43 tokens per second)GIGAZINE

[2026-11-16](Jailbroken PS4 runs 9-billion-parameter AI model at up to 43 tokens per second)Tom's Hardware

[2026-11-16](Garlic LLM 开源项目介绍,Hugging Face)TweakTown

【免责声明】

文中 Garlic LLM、越狱 PS4 运行 9B 模型、43 词元推理速度等信息来自开源项目页面和海外科技媒体报道;PS4 越狱属于索尼禁止的非官方修改行为,会造成失去保修、PSN 账号封禁等风险;该项目仅为技术爱好者探索,不建议尝试破解主机,本文仅作为 AI 技术资讯参考,不构成硬件改造、越狱操作指引。

今日大家都在搜的词: