这份 LiDAR 3D 目标检测综述,核心就是梳理激光雷达点云做 3D 目标检测的整套技术路线,它和纯视觉方案最大区别是直接拿到真实三维坐标,不受光照影响,是自动驾驶感知的核心模块,但点云天生稀疏、远距离点位变少、雨雪雾环境容易失效,所以综述会按照点云表达形式拆分算法,对比不同方案的精度、速度、落地难度,同时汇总主流数据集、评估指标以及还没解决的痛点,方便新人快速看懂这个领域,也给后续研究做方向参考。激光雷达输出的是点云,不是图像,没法直接用传统卷积,所以研究重点就是怎么把无序、稀疏的点云转成适合神经网络学习的特征,不同表达方式就分出了几大主流路线;整个任务最终输出目标的类别、三维框位置、尺寸、朝向,而不是 2D 图片里的平面框。下面我们分算法分类、主流数据集对比、评价指标、现存痛点这几块拆开讲清楚。
一、LiDAR 3D 目标检测主流算法分类
| 类别 | 原理 | 代表模型 | 优点 | 短板 |
|---|---|---|---|---|
| 基于点(Point-based) | 直接在原始点上采样、分组,提取逐点特征 | PointNet、PointNet++、3DSSD | 保留完整几何细节,定位精度高 | 计算量大,推理慢,很难上车实时跑 |
| 基于体素(Voxel-based) | 把点云切成立方体网格,网格内点做特征聚合 | VoxelNet、SE-SSD、CIA-SSD | 适合卷积加速,速度均衡,工业落地多 | 体素划分会丢失细节,分辨率固定 |
| 基于柱体(Pillar) | 在 BEV 鸟瞰视角,按高度方向压缩成柱,属于体素轻量化 | PointPillars | 速度快,显存占用低,量产常用 | 垂直方向信息压缩,小目标容易丢 |
| 距离视图(Range-view) | 把点云转成距离图像,用 2D 卷积处理 | RangeDet | 推理速度极快 | 投影带来遮挡,空间畸变 |
| 多模态融合 | LiDAR + 相机,图像补语义,点云补深度 | PV-RCNN、FusionPainting | 精度上限最高 | 需要标定、时间同步,工程复杂 |
二、行业常用开源数据集清单
- KITTI:经典老牌数据集,城市道路为主,标注车辆、行人、骑行者,适合入门,缺点场景单一、恶劣天气样本少
- nuScenes:360 度全视角,6 相机 + 激光雷达 + 毫米波雷达,场景丰富,国内自动驾驶公司用得很多
- Waymo Open Dataset:规模大、标注精细,覆盖城市、高速、乡村,包含昼夜、不同天气,对鲁棒性测试友好
- ApolloScape:百度推出,国内城市场景占比高,适合国内路况验证
三、常用评估指标
- 3D mAP:3D 平均精度,最核心指标,衡量三维框检测准不准
- BEV AP:鸟瞰视角下的检测精度,自动驾驶里很看重
- 3D IoU:预测框和真实框三维空间重合度
- 推理 FPS:每秒处理帧数,决定能不能满足车载实时要求(一般需要≥10FPS)
四、LiDAR 3D 目标检测目前主要痛点
- 远距离稀疏问题:离雷达越远,点云越少,小目标、行人很容易漏检
- 恶劣天气鲁棒性差:雨、雪、雾会散射激光,产生大量噪声点
- 标注成本极高:3D 框标注比 2D 图像标注慢很多,人力成本贵
- 虚实迁移、域 gap:数据集训练好的模型,换到陌生路况直接掉点
- 对抗攻击风险:少量点扰动,就会让模型误检、漏检
【相关 FAQ】
问题 1:LiDAR 3D 目标检测综述主要梳理哪些内容?
回答 1:LiDAR 3D 目标检测综述会梳理激光雷达点云 3D 检测的算法分类、点云表达方案、主流数据集、评价指标、工程落地难点和未来研究方向,是这个方向的领域总览文档。
问题 2:LiDAR 3D 目标检测和相机 2D 检测最大差别是什么?
回答 2:LiDAR 3D 目标检测依靠激光雷达点云直接获取真实三维坐标,输出三维 bounding box,不受光照明暗影响;相机 2D 检测只能拿到平面信息,深度需要推算,夜晚、逆光容易失效。
问题 3:LiDAR 3D 目标检测里 PointPillars 属于哪一类方法?
回答 3:PointPillars 属于 LiDAR 3D 目标检测里的柱体(Pillar)方法,是体素方案的轻量化版本,推理速度快,是自动驾驶量产感知里很常用的基线模型。
问题 4:LiDAR 3D 目标检测的核心难点是什么?
回答 4:LiDAR 3D 目标检测最大难点是点云稀疏无序,远距离目标点太少,雨雪雾环境噪声干扰大,同时 3D 标注成本高,模型跨场景鲁棒性很难做好。
问题 5:LiDAR 3D 目标检测多模态融合方案是怎么做的?
回答 5:LiDAR 3D 目标检测多模态融合方案,把激光雷达点云的几何信息和相机图像的纹理语义信息结合,弥补点云缺少颜色、语义的短板,代价是传感器标定、时间同步的工程难度更高。
【参考资料】
[2026-09-14](激光雷达三维目标检测算法研究进展 (特邀))光子学报
[2026-07-02](Comprehensive Robustness Analysis of LiDAR-based 3D Object Detection in Autonomous Driving)arXiv
[2025-02-08](A Comprehensive Review on LiDAR Based 3D Deep Learning Object Detection Algorithms)IEEE ICCECE
[2024-07-10](激光雷达 3D 目标检测算法)应用技术学报
[2024-05-20](Deep 3D object detection networks using LiDAR Data: A Review)IEEE Sensors Journal
【免责声明】
本文为 LiDAR 3D 目标检测综述内容整理,算法效果、指标表现随数据集、训练策略、硬件平台存在差异;相关学术观点仅为综述文献归纳,不代表技术落地承诺,不构成项目选型建议。
