您的位置首页 >人工智能 >

微软探索大模型手写权重,不靠反向传播从零搭建可用模型

微软这项新研究的核心思路,是让大模型直接编写神经网络权重代码,抛弃传统反向传播梯度训练方式,从零生成能正常运行的微型 Transformer 模型,这种方式最大优势是模型权重具备可解释性,每一组参数都有明确逻辑,不再是梯度拟合出来的黑盒;该方案不是用来做超大通用大模型,更适合小体量、高透明要求的专用模型,比如脑编码、小型科学计算模型,研究团队已经验证手写权重构建出来的模型可以完成对应任务,还能借此发现数据集里隐藏的漏洞,对 AI 可解释性方向有很大参考价值。

核心方案参数清单

项目说明
论文名称Interpretable Weight-Space Programming Builds Transparent Transformers and Brain Encoding Models
研究主体微软研究院、约翰霍普金斯大学、哥伦比亚大学联合研究
核心机制大模型直接硬编码权重,权重由逻辑规则生成,不使用反向传播、梯度下降
验证模型微型 Transformer、脑编码预测模型
核心优势权重可追溯、可检验,模型逻辑透明,方便发现数据作弊、数据偏差问题
当前局限仅适合小规模模型,暂时无法直接用于千亿参数大模型,整体性能上限低于梯度训练模型
适用场景脑科学实验、小型科学模型、需要审计溯源的 AI 任务
对比传统训练传统:数据喂入→梯度更新权重,黑盒;本方案:大模型输出权重代码,先有逻辑,再出模型

完整实现流程

  1. 设定任务目标:明确模型要解决的任务,比如脑信号预测、简单文本分类;
  2. 给大模型下达约束指令:要求模型用代码形式写出全部网络权重,不能依靠梯度拟合;
  3. 生成权重代码:大模型基于先验知识、任务逻辑编写权重参数代码;
  4. 实例化网络:把生成的权重代码加载进 Transformer 网络,得到完整模型;
  5. 测试与校验:在测试集上跑效果,同时核验权重逻辑,排查数据漏洞、模型捷径;
  6. 迭代优化:如果指标不达标,让大模型重新修改权重逻辑,而不是梯度微调。

技术亮点解读

  • 把权重生成当成 “编程”:权重不再是训练出来的数值,而是一套可阅读、可复现的逻辑代码,研究人员可以看懂每一组参数的作用;
  • 更容易发现模型作弊行为:在脑科学测试中,这套方案直接定位到模型是利用扫描仪时间漂移做预测,而不是真正理解脑信号;
  • 可解释性前置:传统可解释性是训练完成之后做分析,这个方案从生成阶段就强制透明;
  • 不替代现有预训练:研究定位是补充路线,不是取代现在主流的反向传播预训练大模型。

现阶段短板

  • 规模受限:只能稳定做微型模型,算力和推理效率不适合通用大模型;
  • 性能上限:同等参数量下,效果普遍弱于梯度训练模型;
  • 成本高:对大模型本身的推理能力、逻辑能力要求很高,生成权重的耗时更长;
  • 成熟度低:属于前沿实验室研究,没有开放商用工具链。

【常见问题】

问题 1:微软探索大模型手写权重不靠反向传播从零搭建可用模型,手写权重是什么意思?

回答 1:微软探索大模型手写权重不靠反向传播从零搭建可用模型,手写权重就是让大模型直接写出神经网络全部权重数值的代码,不靠梯度下降自动更新参数,每一份权重都有明确逻辑。

问题 2:微软探索大模型手写权重不靠反向传播从零搭建可用模型,手写权重模型和普通训练大模型差别在哪?

回答 2:微软探索大模型手写权重不靠反向传播从零搭建可用模型,普通模型依靠反向传播拟合数据,权重是黑盒;手写权重模型由大模型按规则写出参数,权重逻辑可读,方便审计和溯源。

问题 3:微软探索大模型手写权重不靠反向传播从零搭建可用模型,手写权重可以直接用来做 GPT 级别的超大模型吗?

回答 3:微软探索大模型手写权重不靠反向传播从零搭建可用模型,目前该方案只适合微型 Transformer 这类小模型,暂时无法支撑千亿参数级通用大模型。

问题 4:微软探索大模型手写权重不靠反向传播从零搭建可用模型,手写权重最大价值是什么?

回答 4:微软探索大模型手写权重不靠反向传播从零搭建可用模型,最大价值是实现原生可解释 AI,方便科研人员发现模型走捷径、数据集漏洞,适合脑科学、科学计算这类需要严谨核验的场景。

【参考资料】

[2026-11-15](微软新研究:大模型手写权重,无需反向传播构建透明 Transformer)爱可可 - 爱生活

[2026-11-14](Interpretable Weight-Space Programming 论文解读)ArXiv 中文解读站

[2026-11-02](AI 可解释性新方向:权重编程替代梯度训练)机器之心

[2026-10-20](反向传播训练和可解释权重路线对比)AI 研究评论

[2026-09-11](微软研究院可解释神经网络方向综述)微软研究博客

【免责声明】

本文内容整理自微软联合高校论文、前沿 AI 资讯解读;微软探索大模型手写权重不靠反向传播从零搭建可用模型属于实验室前沿研究,尚未商用;性能、规模限制来自论文当前实验结论,后续技术迭代会发生变化,本文不构成技术落地选型担保。

今日大家都在搜的词: