这篇 arXiv 综述文章梳理了激光雷达点云感知领域主流深度学习方案,把点云数据的特点、各类学习范式、典型感知任务、现有局限和未来研究方向做了系统性汇总,适合自动驾驶、机器人、遥感方向的研发人员快速摸清该领域技术全貌。激光雷达输出的点云是无序、稀疏、非结构化的三维数据,和图像这种规整网格数据差别很大,普通二维卷积网络没法直接拿来处理,所以学术界专门发展了适配点云结构的学习方法,用来完成目标检测、语义分割、实例分割、分类、定位跟踪这些感知任务。随着自动驾驶落地推进,大家不光追求精度,还开始关注推理速度、算力开销、恶劣天气鲁棒性、跨场景泛化能力,很多新方法围绕轻量化、弱监督、自监督、多模态融合这些方向迭代。
一、激光雷达点云数据的特点
- 无序性:点和点之间没有固定顺序,打乱点的排列顺序不改变场景本身。
- 稀疏性:远距离物体返回点数量很少,近处点密度高,密度分布不均匀。
- 几何优先:自带精准三维坐标,自带强度信息,缺少图像的纹理色彩信息。
- 易受干扰:雨、雾、雪、反光物体、遮挡都会带来噪声点或者丢失点。
二、主流点云学习方法分类
- 基于原始点的方法:直接对点集做特征提取,代表网络是 PointNet、PointNet++、DGCNN、KPConv。优势是完整保留几何信息,缺点是计算量大,对大规模室外场景推理偏慢。
- 体素化方法:把三维空间切分成立方体网格,把点云转成规整体素,再用 3D 卷积处理,代表方案 VoxelNet、SECOND。优点是可以复用卷积算子加速,缺点是量化会丢失细节,分辨率越高显存占用越高。
- 柱体 / 鸟瞰图投影方法:PointPillars 这类,沿着高度方向压缩,把点云转为柱体特征再投影到 BEV 平面,兼顾速度和精度,是自动驾驶工程里最常用的路线。
- 多视图投影方法:把三维点投影到球面、圆柱面或者多个二维图像视角,用 2D 网络提取特征,代表 SqueezeSeg,适合轻量化场景,但是投影过程会损失三维结构。
- 混合与多模态融合方法:激光雷达点云搭配相机图像做融合,弥补纹理缺失的短板,现在很多 bev 感知方案都属于这个路线。
三、核心感知任务说明
| 任务 | 目标 | 常用评价指标 |
|---|---|---|
| 点云分类 | 给一整个点云场景或者物体输出类别标签 | Accuracy、F1 |
| 3D 目标检测 | 定位物体,输出三维包围框 + 类别 | AP、mAP |
| 语义分割 | 给每一个点打上语义类别标签 | mIoU |
| 实例分割 | 区分同类别不同物体,同时完成语义标注 | mIoU、AP |
| 目标跟踪 | 连续帧里维持同一个物体的 ID,跟踪运动状态 | MOTA |
四、当前技术存在的痛点
标注成本很高,逐点标注、三维框标注都要消耗大量人力;远距离稀疏目标检测效果下滑明显;雨雪雾等恶劣环境下点云噪声激增,模型性能跳水;不同激光雷达线束、不同采集场景之间域偏移严重,模型迁移困难;高精度模型算力需求高,车载端芯片很难做到低延迟实时推理。
五、后续研究方向
弱监督、自监督预训练,减少对昂贵标注数据的依赖;基础大模型适配点云输入,构建通用三维感知模型;轻量化算子、量化蒸馏,适配车载边缘硬件;时序点云学习,利用连续多帧信息提升动态目标感知;雷达、相机、毫米波多模态统一表征学习。
整体来看,激光雷达点云感知学习方法已经形成清晰的技术分支,工程落地优先 BEV 柱体方案,学术前沿更多在探索原始点方法和点云预训练,后续突破重点集中在低成本标注和恶劣环境鲁棒性上。
【相关 FAQ】
问题 1,激光雷达点云感知里基于原始点的学习方法有什么优缺点?
回答 1,激光雷达点云感知里基于原始点的学习方法可以完整保留点云三维几何信息,细节表达能力强,但是计算开销偏大,处理大规模室外激光雷达点云的时候推理速度慢,在车载实时感知场景落地难度更高。
问题 2,BEV 投影类激光雷达点云学习方法为什么在自动驾驶里广泛使用?
回答 2,BEV 投影类激光雷达点云学习方法将点云转为鸟瞰平面特征,平衡了激光雷达点云感知任务的精度和推理速度,算子友好、显存可控,方便和图像特征融合,适配自动驾驶车载芯片的实时性要求。
问题 3,激光雷达点云感知任务常见的难点是什么?
回答 3,激光雷达点云感知任务常见难点是点云稀疏无序、远距离目标点太少、恶劣天气带来大量噪声,同时激光雷达点云标注成本高、跨设备跨场景域偏移会降低学习模型泛化能力。
问题 4,弱监督学习对激光雷达点云感知研究有什么价值?
回答 4,弱监督学习可以降低激光雷达点云感知任务对点级三维标注的依赖,只用粗略标签就能训练点云学习模型,降低数据集制作成本,方便拓展大规模激光雷达场景感知研究。
【参考资料】
[2026-08-07](Synthetic LiDAR Data Generation and Deterministic Downsampling for Point Cloud Classification on the Edge)arXiv
[2025-12-24](Forging Spatial Intelligence: A Roadmap of Multi-Modal Data Pre-Training for Autonomous Systems)arXiv
[2025-03-18](LiDAR Remote Sensing Meets Weak Supervision: Concepts, Methods, and Perspectives)arXiv
[2020-05-09](Deep Learning for LiDAR Point Clouds in Autonomous Driving: A Review)arXiv
【免责声明】
本文内容仅为学术综述信息整理,仅供技术学习参考,不构成工程落地方案、产品开发指导,相关算法落地需要结合硬件、数据集、安全规范单独验证;文中引用 arXiv 相关论文观点归属原作者,不代表平台立场。
