三维点云分割综述

三维点云的语义分割3D Point Cloud Semantic Segmentation (PCSS)在计算机视觉以及机器人领域广泛的应用，随着深度学习技术的发展在点云的语义分割领域提供了新的可能性，并受到越来越多的关注，本文将着重的介绍这一主题的相关研究，首先从遥感领域和计算机视觉的角度概述三维点云的分割，并且结合已经发表的PCSS相关的文章作为研究基础，进行总结和比较，并且对传统的以及最新的点云分割技术进行回顾和比较，最后讨论了PCSS研究中重要的问题和有待解决的问题。

分割、分类和语义分割概念区分

点云语义分割是具有很长的研究历史，这里将点云分割，分类，以及语义分割做一个简短的概念区别，点云语义分割在计算机视觉领域中是广泛的使用，尤其是在深度学习的应用中。在遥感领域PCSS通常被称之为“点云分类”，在某些情况下，也可以理解为“点云标记”，在本文中是指点云的每个点与语义的标签关联起来的任务称为PCSS。

在基于监督学习的方法中广泛的使用在语义分割领域之前，对2.5D/3D的点云数据的非监督分割是指在不考虑语义信息的情况下，对具有相似的几何或者光谱特征的点云进行分类，所以在PCSS中，PCS（点云分割）可以作为一个预分割的步骤，并且影响着最终的语义结果。所以本文也包含了关于PCS方法的讨论。这部分内容将再在接下来的文章中发布。

我们知道单个的物体的结构不能直接通过一帧的原始点云获取，比如城市规划和建筑信息建模（BIM）需要参考建筑物或者人造物，森林的遥感监测需要基于树木的几何结构信息，机器人的应用如同时构建地图与定位（SLAM）需要室内环境来绘制地图，在自动驾驶，目标检测，分割与分类是构建高精地图所必须的，所以点云的分割以及语义分割是3D视觉领域基本且关键的任务。

点云的获取

在计算机视觉和遥感领域，点云可以通过四种主要的技术获得，

（1）根据图像衍生而得，比如通过双目相机，

（2）基于光探测距离和测距系统比如lidar,

（3）基于RGBD相机获取点云

（4）Synthetic Aperture Radar (SAR)系统获取，基于这些不同的原理系统获取的点云数据，其数据的特征和应用的范围也是多种多样。下面将要介绍这些技术。

图像衍生点云

概括起来就是通过双目采集的图像，根据摄影测量学或者计算机视觉理论原理，自动或者半自动的计算出三维的点云信息，根据不同的平台，立体和多视角的图像衍生系统可以分为机载，卫星，以及无人机等。传统的摄影测量计算中采用半自动人机交互方式生成三维点，具有严格的几何约束和较高的测量精度。由于许多人工操作，生成这种类型的点数据非常耗时。因此，用这种方法生成大面积密集点是不可行的。在测量和遥感行业中，这些早期形成的“点云”被用于绘制和生成数字地表模型（DSM）和数字高程模型（DEM）。由于图像分辨率的限制和多视点图像处理能力的限制，传统的摄影测量只能从航空/卫

星平台获取接近最低点的视图，建筑立面很少，只能生成2.5D的点云，而不是全三维点云，摄影测量原理也可以应用于近景摄影测量，以便从某些物体或小区域场景中获取点云，但在点云生成过程中也需要手动编辑。

稠密匹配法、多视角立体视觉（MVS）和运动恢复结构（SfM）改变了图像衍生的点云，开启了多视角立体视觉的时代。SfM可以自动估计相机的位置和方向，使其能够同时处理多视图图像，而稠密匹配法和MVS算法提供了生成大量点云的能力。近年来，基于SfM和MVS的摄影技术可以很容易地获得城市尺度的全三维密集点云。然而，SfM和MVS的点云质量不如传统摄影测量或LiDAR 技术生成的点云质量好，对于大区域尤其不可靠。

在空间分辨率方面，卫星摄影测量的空间分辨率较低。然而，卫星相机能够在短时间内以相对较低的成本绘制大区域的地图。此外，由于新的稠密匹配技术及其空间分辨率的提高，卫星图像正成为图像衍生点云的重要数据源。

雷达生成点云

激光雷达（LiDAR）是一种测量和遥感技术。顾名思义，激光雷达利用激光测量传感器和被测物体之间的距离。大多数激光雷达系统都是基于脉冲的。基于脉冲的测量的基本原理是发射激光脉冲，然后测量该激光到达目标物体所需的时间。根据传感器和平台的不同，从每平方米不到10个点到每平方米数千个点，点云密度或分辨率差异很大。根据平台的不同，将激光雷达系统分为机载激光雷达扫描（ALS）、地面激光雷达扫描（TLS）、移动式激光雷达扫描（MLS）和无人激光雷达扫描（ULS）系统。

机载激光雷达扫描ALS

在机载平台上运行。早期的ALS-LiDAR数据是2.5D点云，与传统的摄影测量点云相似。由于机载平台到地面的距离很大，所以ALS点的密度通常较低。与传统的摄影测量相比，ALS点云的获取成本更高，而且通常不包含光谱信息。Vaihingen点云语义标注数据集是典型的ALS基准数据集。多光谱机载激光雷达是ALS系统的一种特殊形式，它利用不同的波长获取数据。多光谱激光雷达在提取水、植被和阴影方面表现良好，但数据不易获得。

TLS，也称为静态激光雷达扫描，使用安装在三脚架上的固定传感器进行扫描。由于它用于中、近距离环境，点云密度非常高。它的优势是能够提供真实、高质量的三维模型。到目前为止，TLS通常用于小型城市或森林的建模，以及遗产或艺术品文档。

MLS在地面上的移动车辆上运行，最常见的平台是汽车。目前，自主驾驶的研究与开发是一个热门话题，高清地图是必不可少的。因此，高清地图的生成是MLS最重要的应用。多个主流点云基准数据集属于MLS。

ULS系统通常部署在无人机或其他无人飞行器上。由于它们相对便宜，而且非常灵活，这种最近加入到LiDAR家族中的产品目前正变得越来越受欢迎。与平

台在物体上方工作的ALS相比，ULS可以提供较短距离的激光雷达测量应用，以更高的精度收集更密集的点云。由于其平台体积小、重量轻，ULS具有很高的操作灵活性。因此，除了传统的激光雷达任务（例如，获取DSM），ULS在农林测量、灾害监测和采矿测量方面具有优势。

在激光雷达扫描中，由于系统始终随平台运动，需要将点云的位置与全球导航卫星系统（GNSS）和惯性测量单元（IMU）数据相结合，以保证高质量的点云匹配。迄今为止，激光雷达一直是点云研究中最重要的数据源，并被用来提供地面真实情况来评估其他点云的质量。

RGB-D 点云

RGB-D相机是一种可以同时获取RGB和深度信息的传感器。有三种基于不同原理的RGB-D传感器：

（a）结构光；

（b）立体；

（c）飞行时间。

与LiDAR类似，RGB-D相机可以测量相机到物体之间的距离，但是像素级的。然而，RGB-D传感器比激光雷达系统便宜得多。在RGB-D相机中，不同传感器之间或传感器之间的相对方位元素被标定并已知，因此可以很容易地获得共配准的同步RGB图像和深度图。显然，点云并不是RGB-D扫描的直接产物。但是由于摄像机中心点的位置是已知的，因此可以很容易地获得深度图中每个像素的三维空间位置，然后直接用于生成点云。RGB-D相机有三个主要应用：目标跟踪、人体姿势或特征识别以及基于SLAM的环境重建。由于主流的RGB-D 传感器距离较近，甚至比TLS近得多，因此通常用于室内环境。几种主流的室内点云分割基准是RGB-D数据。

SAR点云

干涉合成孔径雷达（InSAR）是一种对遥感至关重要的雷达技术，它根据多个SAR图像对的比较生成地表变形或数字高程图。

点云特性

从传感器发展和各种应用的角度出发，我们将点云分类为：

（a）稀疏（<20pts/m^2）

早期由于受匹配技术和计算能力的限制，摄影测量点云稀疏且体积小。当时，激光扫描系统的类型有限，并没有得到广泛的应用。ALS激光点云数据，也是稀疏的。由于受点云密度的限制，该阶段的点云无法覆盖目标的表面。因此，对精确的PCS或PPCS没有具体的需求。研究者主要集中在三维制图（DEM 生成）和简单的目标提取上

（b）密集（数百pts/m2）

由于稠密匹配等计算机视觉算法，以及各种激光雷达系统和RGB-D传感器等高质量点云获取传感器的发展，开启了稠密点云的大数据时代。稠密的大规模点云为三维应用创造了更多的可能性，但同时也对实用算法有了更强烈的需