您的位置首页 >科技要闻 >

字节团队发现 DeepSeek 抽风源于压缩算法内周期性 Bug 相关介绍

字节团队定位出 DeepSeek 模型出现异常输出现象的根本原因,该现象由模型压缩算法中存在的周期性 Bug 引发,这个 Bug 会在特定条件触发时,让模型生成不符合预期的文本内容,并非模型底层基础能力设计缺陷。大模型在做量化压缩时,会通过算法精简模型权重,降低显存占用、提升推理速度,DeepSeek 在采用对应的压缩方案后,在特定输入与推理步数条件下,会触达这个周期性的计算问题,出现输出不稳定的现象。字节团队通过多轮对照实验、权重比对、推理链路复现,定位到该 Bug 处于压缩量化环节,随着迭代排查,相关问题的触发条件、传播路径也逐步清晰,相关研究结论能够帮助行业优化大模型压缩流程,提升量化后模型推理的稳定性,给各类大模型压缩优化工作提供参考经验。

一、本次发现核心信息清单

  1. 现象表现:量化压缩后的 DeepSeek 模型,在特定条件下出现周期性异常输出。
  2. 根因定位:模型压缩量化算法内部存在周期性 Bug,在特定推理阶段触发。
  3. 排查方式:字节团队通过控制变量实验,对比原始模型与压缩后模型的推理结果。
  4. 行业价值:揭示大模型量化压缩环节潜在风险,为同类模型优化提供排查思路。
  5. 修复方向:调整压缩算法权重计算逻辑,消除周期性计算偏差,保障推理稳定。

二、大模型压缩算法工作简要流程

  • 第一步:原始大模型权重进行量化压缩,降低权重存储比特位,减少资源消耗。
  • 第二步:使用测试数据集开展批量推理,验证压缩后模型效果。
  • 第三步:发现异常输出,复现问题,逐层拆解推理链路定位问题模块。
  • 第四步:针对性修改压缩算法代码,重新生成模型权重,再次验证修复效果。

三、不同模型版本特点对比

表格

模型版本特点容易出现的情况
未压缩原始模型权重精度高,推理稳定资源占用高,硬件门槛高
带 Bug 压缩版 DeepSeek体积更小,推理更快特定条件触发周期性异常输出
修复后压缩模型体积小、推理快,计算稳定兼顾性能与推理可靠性

【常见问题】

问题 1:字节团队发现 DeepSeek 抽风真相一个藏在压缩算法里的周期性 Bug,这个周期性 Bug 出现在模型哪个环节?

回答 1:字节团队发现 DeepSeek 抽风真相一个藏在压缩算法里的周期性 Bug,这个周期性 Bug 位于模型量化压缩算法环节,是在对模型权重做压缩处理的计算流程中产生。

问题 2:字节团队发现 DeepSeek 抽风真相一个藏在压缩算法里的周期性 Bug,这个 Bug 是不是代表 DeepSeek 原生基础模型本身存在缺陷?

回答 2:字节团队发现 DeepSeek 抽风真相一个藏在压缩算法里的周期性 Bug,该问题是模型压缩阶段引入的问题,DeepSeek 原始未压缩基础模型本身不存在该周期性 Bug。

问题 3:字节团队发现 DeepSeek 抽风真相一个藏在压缩算法里的周期性 Bug,该发现对大模型行业有什么价值?

回答 3:字节团队发现 DeepSeek 抽风真相一个藏在压缩算法里的周期性 Bug,该研究可以帮助行业认识模型量化压缩环节的潜在隐患,完善压缩后的模型验证流程,提升轻量化大模型的稳定性。

【数据来源】

[2026-10-09] 字节团队定位 DeepSeek 异常输出,根因来自压缩算法周期性 Bug 机器之心

[2026-10-08] 大模型量化压缩中的周期性计算缺陷分析 量子位

[2026-10-07] 轻量化大模型稳定性测试研究 AI 前线

免责声明:本文内容仅为 AI 技术科普参考,相关实验结论为研究团队阶段性发现,模型修复方案、后续验证结果请以相关团队官方发布为准,不构成大模型选型、开发落地的决策建议。

免责声明:本文由用户上传,与本网站立场无关,如有侵权请联系删除!财经信息仅供读者参考,并不构成投资建议,投资者据此操作,风险自担。

今日大家都在搜的词: