这个 DIY 项目把自研的 334 万参数小型 LLM 模型部署在 STM32H743 单片机上,全程不用联网,就能完成本地 AI 问答,还支持自然语言指令直接控制开发板外设,之所以能在资源紧张的 MCU 上跑起来,核心是模型本身参数量很小,再配合量化、剪枝、权重分片存 Flash、按需加载的优化手段,解决单片机内存不足的痛点,整套系统分成对话模式和硬件控制模式,对话模式用来问答、简单文本生成,控制模式接收英文自然语言指令,自动解析成 GPIO 控制指令,点亮 LED 这类外设;上手复刻的时候要注意,STM32H743 需要外接 PSRAM 来补足内存,模型推理速度不算快,而且它是小模型,知识储备有限,复杂问题容易答偏,硬件控制指令也以简单英文指令为主;综合来看,这个项目验证了超低资源 MCU 离线跑 LLM 的可行性,适合嵌入式爱好者学习边缘离线 AI、本地智能控制的思路,不适合拿来做需要强知识、高准确率的商用产品。
项目硬件与模型核心参数
- 主控 MCU:STM32H743
- 模型规模:334 万参数自研 LLM
- 运行方式:纯离线,无网络依赖
- 内存配套:外接 PSRAM,模型权重存 Flash 分片加载
- 量化方案:INT4/INT8 量化压缩
- 两大工作模式:本地问答模式、自然语言硬件控制模式
- 可控制外设:开发板 LED 指示灯,可扩展继电器、舵机等
- 指令特点:支持英文同义指令识别,多条句式都能触发同一个动作
两种工作模式对比表
| 模式 | 能力范围 | 适合场景 | 局限 |
|---|---|---|---|
| AI 问答模式 | 简单文本问答、短句生成 | 本地闲聊、简单常识提问 | 知识库很小,复杂问题容易出错、幻觉多 |
| 硬件控制模式 | 解析自然语言,输出 GPIO 指令 | 离线智能控制板载外设 | 目前以英文指令为主,仅支持简单控制动作 |
从训练到 MCU 部署完整步骤
- 模型训练:在 PC 端搭建训练框架,训练 334 万参数小 LLM,清洗精简训练数据集
- 模型压缩:做剪枝去掉冗余参数,再量化降低权重位宽,减小模型体积
- 格式转换:导出适配嵌入式推理框架的模型文件,分片拆分权重
- 固件移植:移植推理 runtime 到 STM32,配置 Flash、PSRAM 地址映射
- 指令解析开发:写规则模块,把 LLM 输出的文本转换成 GPIO 控制信号
- 功能调试:分别调试问答、硬件控制,优化推理速度、内存溢出问题
- 扩展外设:按需接入继电器、舵机、传感器,扩充控制对象
项目优缺点清单
✅ 亮点
- 完全离线不联网,隐私性好,没有网络延迟
- 普通中高端 MCU 就能跑,不需要昂贵 NPU
- 打通 LLM 语言理解和底层硬件控制,是边缘 AI Agent 简易原型
- 方案开源参考性强,适合嵌入式爱好者学习 TinyLLM 部署
- 模型参数量低,知识弱,幻觉问题明显
- 推理速度偏慢,不适合高频交互
- 控制指令简单,目前优先适配英文,扩展中文指令工作量大
- 对 MCU 的 Flash、PSRAM 资源有硬性门槛,低配单片机跑不动
❌ 不足
【常见问题】
问题 1:自研 334 万参数 LLM 部署 MCU,本地 AI 问答和硬件控制,需要一直联网吗?
回答 1:自研 334 万参数 LLM 部署 MCU,本地 AI 问答和硬件控制全程离线运行,模型已经烧录到单片机存储里,不需要网络。
问题 2:334 万参数 LLM 部署 MCU,随便一款单片机都能跑这个本地 AI 问答项目吗?
回答 2:334 万参数 LLM 部署 MCU,这个项目用的是 STM32H743,还需要外接 PSRAM,低配、内存很小的 MCU 无法承载这个小模型推理。
问题 3:334 万参数 LLM 部署 MCU,硬件控制模式支持中文自然语言指令吗?
回答 3:334 万参数 LLM 部署 MCU,当前演示版本以英文指令识别为主,想要中文控制,需要重新训练数据集、扩充指令解析模块。
问题 4:334 万参数 LLM 部署 MCU,这个本地 AI 问答模型能不能用来做商用智能家居?
回答 4:334 万参数 LLM 部署 MCU 属于爱好者 DIY 原型,模型知识有限、容易幻觉,只适合学习研究,稳定性和能力达不到商用智能家居标准。
【参考资料】
[2026-11-18](不联网,我把自己训练的 334 万参数的 LLM 模型部署到了 MCU,实现了本地 AI 问答,还能控制硬件)电子工程专辑
[2026-11-16](ESP32-S3 离线 TinyLLM 控制 LED 与舵机方案)Hackster.io
[2026-11-04](STM32 离线部署小参数 LLM 流式推理案例)与非网
[2026-10-13](Arduino 离线本地 LLM 边缘 AI 方案文档)Arduino 官方文档
【免责声明】
本文内容基于嵌入式爱好者 DIY 项目整理,334 万参数 LLM 部署 MCU 的本地 AI 问答、硬件控制方案属于原型实验,模型存在幻觉、识别不稳定问题;复刻项目需要具备嵌入式、模型量化相关开发基础,实操时注意硬件供电安全;本文仅技术科普,不构成项目落地、商用指导。
