阿里在 LastSecureCodeBench 评测基准上,Qwen 系列模型同时通过功能测试、安全测试的代码占比从 22.0% 提升到 31.8%,也就是说剩下 68.2% 的生成代码,无法同时满足 “功能可运行” 和 “无安全漏洞” 两个条件,这部分样本可以分成三类:代码能正常跑但是带安全漏洞、代码安全没有漏洞但是功能跑不起来、功能和安全两项测试全部失败,这个数据直观说明当前 AI 代码模型普遍存在功能正确性和安全性很难兼顾的痛点,很多 AI 写出来的代码虽然能实现业务逻辑,但自带注入、权限绕过、不安全配置等高危漏洞,直接上线会带来很大风险,阿里这次的优化,就是在模型训练阶段增加安全相关约束、过滤攻击类数据、增加代码安全校验环节,拉高双达标样本的比例。
很多大模型训练的时候优先学习功能实现逻辑,优先保证代码能跑,安全规则、漏洞边界、编码规范属于次要约束,很容易出现功能优先、安全让步的情况;LastSecureCodeBench 这个评测集专门针对 AI 编码安全设计,不是简单看语法能不能编译,而是同时跑功能用例和安全用例,哪怕代码能跑出预期结果,只要存在可被利用的安全缺陷,就判定不通过。这也是为什么哪怕模型生成代码大多语法没问题,双达标率依然偏低。
想要把双达标比例继续往上提,行业普遍做法是模型侧做安全对齐、增加安全偏好数据,搭配独立安全检查模型做交叉校验,再配合研发侧 SAST 扫描、人工代码评审,形成多层防护,而不是单纯依靠大模型一次性输出安全可用代码。
剩余 68.2% 代码三类情况清单
- 类别 A:功能可运行,但是存在安全漏洞(占比最高)。代码可以完成业务逻辑,能跑通功能测试,但是存在 SQL 注入、XSS、命令注入、不安全反序列化、权限控制缺陷等安全问题,安全用例直接失败。
- 类别 B:代码没有安全漏洞,但是功能无法正常运行。漏洞扫描没有问题,语法合规,但是逻辑写错、参数缺失、依赖不对,跑不出预期业务结果,功能测试不通过。
- 类别 C:功能跑不通,同时自带安全漏洞。功能逻辑错误,安全缺陷同时存在,两项测试全部失败。
评测结果分布简表
| 分类 | 占比 | 特点 | 上线风险 |
|---|---|---|---|
| 既能跑又安全 | 31.8% | 功能用例、安全用例全部通过 | 低,可进入后续评审 |
| 能跑但不安全 | 占 68.2% 里的大头 | 功能正常,含可利用漏洞 | 极高,不能直接上线 |
| 安全但不能跑 | 少量 | 无高危漏洞,逻辑失效 | 低,无法交付业务 |
| 既不能跑又不安全 | 剩余部分 | 逻辑错误 + 安全漏洞 | 高,直接废弃 |
阿里提升双达标率的优化手段
- 训练数据筛选:保留漏洞检测、漏洞修复这类防御性安全数据,剔除攻击生成类数据
- 编码阶段增加安全校验分支,在模型输出时做安全约束
- 安全专家参与标注安全偏好样本,对齐模型输出倾向
- 搭配独立安全模型做交叉审计,也就是生成模型 + 安全校验模型配合工作
研发落地配套流程
- AI 生成代码之后,先跑功能测试,确认能不能正常运行
- 同步调用 SAST、SCA 工具扫描漏洞,做安全校验
- 对 “能跑但不安全” 的代码,由安全模型自动给出修复方案
- 修复完成后二次复测,功能、安全都达标再提交评审
- 高危场景强制人工复核,不依赖 AI 安全判断
【相关 FAQ】
问题 1:阿里 Qwen 模型在 LastSecureCodeBench 上,既能跑又安全的代码比例从 22.0% 提升到 31.8%,剩下 68.2% 是什么?
回答 1:剩下 68.2% 的 AI 生成代码分为三类,分别是能跑但是带安全漏洞、安全无漏洞但是功能跑不起来、功能和安全两项全部失败,其中能跑但不安全是占比最高的一类。
问题 2:LastSecureCodeBench 评测阿里代码,判断 “既能跑又安全” 的标准是什么?
回答 2:在 LastSecureCodeBench 评测里,阿里 Qwen 模型输出代码需要同时通过功能测试用例和安全测试用例,功能符合预期,同时不存在可利用安全漏洞,才算既能跑又安全。
问题 3:阿里把代码既能跑又安全比例从 22.0% 提升至 31.8%,主要做了哪些优化?
回答 3:阿里主要通过筛选训练数据、增加安全对齐样本、模型输出阶段增加安全校验、采用多模型交叉审计的方式,提升 Qwen 模型在 LastSecureCodeBench 上双达标代码占比。
问题 4:阿里这个 68.2% 的不合格代码里,哪一类对研发上线风险最大?
回答 4:阿里评测里 68.2% 不合格代码中,“能跑但不安全” 这一类风险最高,代码可以正常实现业务逻辑,但是藏有安全漏洞,开发者很容易忽略风险直接上线。
【参考资料】
[2026-11-18](Qwen4-Max 发布:代码安全评测从 22.0% 提升至 31.8%)软件网
[2026-10-15](LastSecureCodeBench:Is the Code You Vibe Secure?)arXiv
[2026-11-18](阿里 Qwen4-Max 编码安全解读:AI 代码 “能跑” 和 “安全” 很难兼得)机器之心
[2026-11-19](LastSecureCodeBench 基准解读:AI 代码安全评测为什么双通过率偏低)AI 前线
【免责声明】
本文数据来自阿里在 LastSecureCodeBench 公开评测结果,仅代表该基准下的模型表现,不代表模型在所有业务场景、所有编程语言下的真实代码安全通过率;AI 生成代码无论是否通过该评测,上线前都必须经过安全扫描、测试与人工评审,不能直接投入生产。
