这篇弱监督与半监督语义分割方法综述,核心目标就是解决语义分割里像素标注太贵、耗人力的痛点,不用大量精细像素标签,依靠图片级标签、点标注、少量像素标注搭配海量无标注图片,完成像素级语义分割预测,同时梳理清楚这条方向从传统 CAM 方案到 SAM、CLIP 这类基础模型融合方案的完整发展路线,把两类方法的分类、优缺点、现存瓶颈和未来方向整理出来,给做低标注成本分割任务的研发人员提供完整参考。全监督语义分割需要逐像素打标签,一张图标注耗时很久,在自动驾驶、遥感影像、医疗影像场景里,大批量标注几乎很难落地,弱监督、半监督语义分割就是用来降低标注门槛的,二者监督形式不一样,对应的技术路线、缺陷也不一样,这篇综述把两类方法放在同一个体系里对比归纳,还点明了当前主流方案的短板:传统 CAM 容易出现目标区域激活不全,ViT 引入之后又容易背景误激活,而现在新的方向是结合基础模型的语义和几何先验,来改善伪标签质量。
一、弱监督语义分割(WSSS)
弱监督语义分割,全部训练数据只用低成本粗标注,比如图像级类别标签、框标注、涂鸦标注、单点标注,没有任何完整像素掩码。
- 主流路线 1:CAM 类激活图分支。先用分类网络生成类别热图,再通过多种后处理、迭代优化把热图转成分割掩码,是最早、应用最多的弱监督方案;短板是物体覆盖不全,小目标容易丢失。
- 主流路线 2:约束优化类。利用像素相似性、跨图像语义关系等先验,添加约束损失生成伪掩码。
- 主流路线 3:基础模型融合方案。接入 SAM、CLIP,借助基础模型自带的分割、语义对齐能力生成掩码,大幅提升边界和类别识别效果,但推理开销更高。
二、半监督语义分割(SSSS)
半监督语义分割是一小部分图片带有完整像素掩码,剩下绝大部分图片完全没有标注,核心是用好无标注数据提升分割效果。
- 伪标签自训练路线:用标注数据训好教师模型,给无标注图生成伪掩码,筛选置信度高的伪标签放进训练集,再迭代更新模型;风险是伪标签自带噪声,噪声会不断累积,让模型跑偏。
- 一致性正则路线:对同一张无标注图做图像扰动、特征扰动,强制模型多次预测结果保持一致,不用强依赖伪标签;是现在半监督分割里的热门方案。
- 对抗学习、对比学习路线:用对抗网络对齐特征空间,或者对比学习拉近同类像素特征、推开异类像素,提升特征区分度。
三、两类方法核心差异对比表
| 项目 | 弱监督语义分割 | 半监督语义分割 |
|---|---|---|
| 标注形式 | 全部是低成本粗标签,无完整像素掩码 | 少量图片带完整像素掩码,大量无标注图 |
| 标注成本 | 最低 | 中等,比弱监督高、比全监督低很多 |
| 精度上限 | 整体偏低,依赖伪标签优化 | 上限更高,少量高质量标签兜底 |
| 主要难题 | 激活区域不全、定位不准 | 伪标签噪声累积、类别不平衡 |
四、整体研究演进步骤
- 奠基阶段:CNN+CAM 方案,只靠分类热图定位目标,实现弱监督分割,效果有限。
- 优化细化阶段:增加后处理、EM 迭代、像素相似度约束,缓解 CAM 覆盖不足问题。
- Transformer 阶段:ViT 带来全局注意力,定位能力提升,但背景过激活问题凸显,引入对比学习降噪。
- 基础模型融合新阶段:SAM、CLIP 等大模型接入,把外部强先验引入弱监督、半监督语义分割,成为现在主流创新方向。
五、现存挑战与后续研究方向
现在弱监督与半监督语义分割还有几个没解决好的难点:伪标签噪声难以根除、复杂场景下目标边界模糊、长尾类别识别差、遥感 / 医疗等特殊域泛化弱、大模型方案算力开销大。后续研究大多围绕:不确定性感知的伪标签筛选、边界感知正则、跨域自适应、轻量化基础模型融合、3D 多模态约束这几个方向展开。
总的来说,弱监督和半监督语义分割是标注高效分割领域里两大核心分支,弱监督主打极致降标注成本,半监督主打用少量高质量标签换取更高分割精度;随着视觉基础模型持续发展,二者的边界也在慢慢融合,很多新框架会同时混合弱监督线索 + 少量像素标注,兼顾成本和效果。
【相关 FAQ】
问题 1:弱监督语义分割和半监督语义分割最核心的区别是什么?
回答 1:弱监督语义分割全程没有完整像素掩码,只用图像级、点、框这类低成本弱标签;半监督语义分割是一小部分样本带有完整像素掩码,搭配大量无标注样本训练,二者的监督来源不一样,也是这篇弱监督与半监督语义分割方法综述重点区分的内容。
问题 2:弱监督与半监督语义分割方法综述里提到的 CAM 是什么,在弱监督语义分割里起到什么作用?
回答 2:CAM 是类激活图,是弱监督语义分割早期最经典的技术,通过分类网络反向传播得到目标位置热图,再转化成伪分割掩码,不过存在目标覆盖不全的缺陷,也是这篇弱监督与半监督语义分割方法综述梳理的早期主流方案。
问题 3:半监督语义分割里的伪标签训练会有什么风险?
回答 3:半监督语义分割依靠模型生成伪标签训练无标注数据,伪标签自带错误噪声,噪声会在迭代训练里不断累积,降低分割精度,这是弱监督与半监督语义分割方法综述重点指出的半监督方向痛点。
问题 4:现在弱监督与半监督语义分割的最新趋势是什么?
回答 4:最新趋势是把 SAM、CLIP 这类视觉基础模型引入弱监督与半监督语义分割,利用基础模型强大的语义、几何先验提升伪掩码质量,不再只依靠人工设计的 CAM 细化策略。
【参考资料】
[2026-11-22](A Survey of Weakly and Semi-Supervised Semantic Segmentation Methods|弱监督与半监督语义分割方法综述)阿里云开发者社区
[2026-11-04](PixCon: Clean-Positive Contrastive Learning for Foundation-Model Semi-Supervised Segmentation)arXiv
[2026-05-15](A Survey on Deep Learning-Based Semi-Supervised Semantic Segmentation)ACM Computing Surveys
[2023-08-01](A Survey on Label-Efficient Deep Image Segmentation: Bridging the Gap Between Weak Supervision and Dense Prediction)IEEE Computer Society
【免责声明】
本文内容仅基于公开文献与综述材料整理解读,弱监督与半监督语义分割相关技术效果受数据集、骨干网络、训练策略影响,不构成工程落地、算法选型的直接方案建议,相关技术实现请以原论文、官方开源代码为准。
