您的位置首页 >人工智能 >

阿里 Qwen 模型在 LastSecureCodeBench同时能跑又安全代码占比从 22.0% 提升至 31.8%,拆解剩余 68.2% 代码分类

阿里在 LastSecureCodeBench 评测基准上,Qwen 系列模型同时通过功能测试、安全测试的代码占比从 22.0% 提升到 31.8%,也就是说剩下 68.2% 的生成代码,无法同时满足 “功能可运行” 和 “无安全漏洞” 两个条件,这部分样本可以分成三类:代码能正常跑但是带安全漏洞、代码安全没有漏洞但是功能跑不起来、功能和安全两项测试全部失败,这个数据直观说明当前 AI 代码模型普遍存在功能正确性和安全性很难兼顾的痛点,很多 AI 写出来的代码虽然能实现业务逻辑,但自带注入、权限绕过、不安全配置等高危漏洞,直接上线会带来很大风险,阿里这次的优化,就是在模型训练阶段增加安全相关约束、过滤攻击类数据、增加代码安全校验环节,拉高双达标样本的比例。

很多大模型训练的时候优先学习功能实现逻辑,优先保证代码能跑,安全规则、漏洞边界、编码规范属于次要约束,很容易出现功能优先、安全让步的情况;LastSecureCodeBench 这个评测集专门针对 AI 编码安全设计,不是简单看语法能不能编译,而是同时跑功能用例和安全用例,哪怕代码能跑出预期结果,只要存在可被利用的安全缺陷,就判定不通过。这也是为什么哪怕模型生成代码大多语法没问题,双达标率依然偏低。

想要把双达标比例继续往上提,行业普遍做法是模型侧做安全对齐、增加安全偏好数据,搭配独立安全检查模型做交叉校验,再配合研发侧 SAST 扫描、人工代码评审,形成多层防护,而不是单纯依靠大模型一次性输出安全可用代码。

剩余 68.2% 代码三类情况清单

  • 类别 A:功能可运行,但是存在安全漏洞(占比最高)。代码可以完成业务逻辑,能跑通功能测试,但是存在 SQL 注入、XSS、命令注入、不安全反序列化、权限控制缺陷等安全问题,安全用例直接失败。
  • 类别 B:代码没有安全漏洞,但是功能无法正常运行。漏洞扫描没有问题,语法合规,但是逻辑写错、参数缺失、依赖不对,跑不出预期业务结果,功能测试不通过。
  • 类别 C:功能跑不通,同时自带安全漏洞。功能逻辑错误,安全缺陷同时存在,两项测试全部失败。

评测结果分布简表

分类占比特点上线风险
既能跑又安全31.8%功能用例、安全用例全部通过低,可进入后续评审
能跑但不安全占 68.2% 里的大头功能正常,含可利用漏洞极高,不能直接上线
安全但不能跑少量无高危漏洞,逻辑失效低,无法交付业务
既不能跑又不安全剩余部分逻辑错误 + 安全漏洞高,直接废弃

阿里提升双达标率的优化手段

  1. 训练数据筛选:保留漏洞检测、漏洞修复这类防御性安全数据,剔除攻击生成类数据
  2. 编码阶段增加安全校验分支,在模型输出时做安全约束
  3. 安全专家参与标注安全偏好样本,对齐模型输出倾向
  4. 搭配独立安全模型做交叉审计,也就是生成模型 + 安全校验模型配合工作

研发落地配套流程

  1. AI 生成代码之后,先跑功能测试,确认能不能正常运行
  2. 同步调用 SAST、SCA 工具扫描漏洞,做安全校验
  3. 对 “能跑但不安全” 的代码,由安全模型自动给出修复方案
  4. 修复完成后二次复测,功能、安全都达标再提交评审
  5. 高危场景强制人工复核,不依赖 AI 安全判断

【相关 FAQ】

问题 1:阿里 Qwen 模型在 LastSecureCodeBench 上,既能跑又安全的代码比例从 22.0% 提升到 31.8%,剩下 68.2% 是什么?

回答 1:剩下 68.2% 的 AI 生成代码分为三类,分别是能跑但是带安全漏洞、安全无漏洞但是功能跑不起来、功能和安全两项全部失败,其中能跑但不安全是占比最高的一类。

问题 2:LastSecureCodeBench 评测阿里代码,判断 “既能跑又安全” 的标准是什么?

回答 2:在 LastSecureCodeBench 评测里,阿里 Qwen 模型输出代码需要同时通过功能测试用例和安全测试用例,功能符合预期,同时不存在可利用安全漏洞,才算既能跑又安全。

问题 3:阿里把代码既能跑又安全比例从 22.0% 提升至 31.8%,主要做了哪些优化?

回答 3:阿里主要通过筛选训练数据、增加安全对齐样本、模型输出阶段增加安全校验、采用多模型交叉审计的方式,提升 Qwen 模型在 LastSecureCodeBench 上双达标代码占比。

问题 4:阿里这个 68.2% 的不合格代码里,哪一类对研发上线风险最大?

回答 4:阿里评测里 68.2% 不合格代码中,“能跑但不安全” 这一类风险最高,代码可以正常实现业务逻辑,但是藏有安全漏洞,开发者很容易忽略风险直接上线。

【参考资料】

[2026-11-18](Qwen4-Max 发布:代码安全评测从 22.0% 提升至 31.8%)软件网

[2026-10-15](LastSecureCodeBench:Is the Code You Vibe Secure?)arXiv

[2026-11-18](阿里 Qwen4-Max 编码安全解读:AI 代码 “能跑” 和 “安全” 很难兼得)机器之心

[2026-11-19](LastSecureCodeBench 基准解读:AI 代码安全评测为什么双通过率偏低)AI 前线

【免责声明】

本文数据来自阿里在 LastSecureCodeBench 公开评测结果,仅代表该基准下的模型表现,不代表模型在所有业务场景、所有编程语言下的真实代码安全通过率;AI 生成代码无论是否通过该评测,上线前都必须经过安全扫描、测试与人工评审,不能直接投入生产。

今日大家都在搜的词: