基于无人机重建点云与影像的城市植被分类

基于无人机重建点云与影像的城市植被分类
李莹;于海洋;王燕;吴建鹏;杨礼
【摘要】针对以往无人机遥感用于城市植被分类时多利用影像光谱、纹理和形状
等特征,影像重建点云数据未能充分利用的问题,提出一种综合影像重建点云与光谱
信息的城市植被分类方法.首先,基于运动恢复结构(structure from motion,SFM)、多视图聚簇(cluster multi view stereo,CMVS)和基于面片模型的密集匹配(patch based multi view stereo,PMVS)算法重建研究区密集点云;然后,经滤波、插值生
成研究区数字高程模型(digital elevation model,DEM)和归一化数字表面模型(normalized digital surface model,nDSM),同时结合影像光谱信息对不同高度的城市植被进行分类提取;最后,采用面向对象的影像分析方法,根据nDSM信息与归
一化绿红差异指数(normalized green-red difference index,NGRDI)及可见光波段差异植被指数(visible-band difference vegetation index,VDVI)等光谱信息,分别建立了水生植被、草地、灌木、小乔木和乔木等不同植被的分类规则.实验结果
表明综合利用影像重建点云得到的nDSM信息与影像光谱信息提取不同高度的植
被是可行的,总体分类精度达到92.08％.该方法可为城市植被分类与制图提供理论
支持和应用参考.
【期刊名称】《国土资源遥感》
【年(卷),期】2019(031)001
【总页数】7页(P149-155)
【关键词】无人机;重建点云;nDSM;城市植被分类
【作者】李莹;于海洋;王燕;吴建鹏;杨礼
【作者单位】河南理工大学矿山空间信息技术国家测绘地理信息局重点实验室,焦
作 454000;河南理工大学矿山空间信息技术国家测绘地理信息局重点实验室,焦作454000;河南理工大学矿山空间信息技术国家测绘地理信息局重点实验室,焦作454000;河南理工大学矿山空间信息技术国家测绘地理信息局重点实验室,焦作454000;河南理工大学矿山空间信息技术国家测绘地理信息局重点实验室,焦作454000
【正文语种】中文
【中图分类】TP79
0 引言
植被是城市生态系统中重要的组成部分[1]，具有吸收噪音、减少雾霾和减轻城市
热岛效应的功能。

研究并准确掌握城市植被的类型、面积及空间分布可为城市规划者优化城市空间利用提供可靠依据，利于提高城市宜居指数、促进城市发展。

传统的植被调查多采用人工方法，虽然调查详细、准确率高，但人力、财力耗费大且周期长，无法满足植被信息快速更新的需求。

无人机遥感具有客观、高效等特点，可在短期内获取较大范围地面信息，加之其影像空间分辨率高，在信息的分类与快速更新方面具有很大优势。

近年来很多学者利用无人机数据进行了植被信息提取的相关研究，如田振坤等[2]利用无人机影像，基于农作物波谱特征及归一化差分植
被指数(normalized difference vegetation index，NDVI)变化阈值对农作物进行快速分类提取，其结果表明该方法有较高的正确率及普适性；王小钦等[3]利用基于无人机影像生成的可见光波段差异植被指数(visible-band difference vegetation index，VDVI)和归一化绿红差异指数(normalized green-red difference index，NGRDI)等提取植被信息，发现VDVI适用于仅含可见光波段
无人机遥感影像的健康绿色植被信息提取；杨柳等[1]利用NDRGI提取无人机影
像城市绿地信息，精度达到80.23%；井然等[4]从微型无人机数据生成的可见光
植被指数中选取最优植被指数提取研究区水生植被，取得较好效果，证明了其可行性；周在明等[5]利用无人机影像构建基于可见光波段的改进型土壤调整植被指数，实现了对入侵物种互花米草植被信息的有效提取，总体精度达到89%。

传统的植
被提取方法充分利用影像的光谱、纹理等信息，能较好地提取某一类植被，而无法很好地从植被这一大类中根据高度信息对不同类型植被进一步提取。

在植被提取时结合运动恢复结构[6](structure from motion，SFM)点云得到的归一化数字表面模型[7](normalized digital surface model，nDSM)信息，便能根据不同类型植被的高度信息从垂直方向上对植被进行细分。

本文利用无人机遥感获取的高空间分辨率影像，采用SFM、多视图聚簇(cluster multi view stereo，CMVS)[8]和基于面片模型的密集匹配(patch based multi view stereo，PMVS)[9] 方法重建研究区密集点云，经滤波获取地面点，通过插
值生成研究区的数字高程模型(digital elevation model，DEM)、数字表面模型(digital surface model，DSM)和nDSM，采用面向对象的分类方法综合利用植
被光谱特征及nDSM信息进行植被提取，并对提取效果进行评价分析。

1 研究区概况及数据源
本文以无人机低空遥感获得的影像为数据进行实验，研究区为河南省焦作市某区域，地理范围在E113°4′～113°26′，N35°10′～35°21′之间，属于暖温带亚湿润季风
气候。

研究区的植被主要有水生植被、草地、灌木及长势较高的乔木，其他地物类型有裸地、水体、建筑物和水泥硬化地面等，对于分层次提取植被信息和地物信息具有代表性。

研究选用的遥感平台是北方天途TTA八旋翼无人机M8，搭载FUJIFILM X-M1数码相机，传感器类型为X-Trans CMOS。

影像的拍摄时间为2016年7月12日，数据获取时天气微风多云，拍摄影像几乎不受大气影响，拍
摄高度为230 m。

研究区无人机正射影像如图1。

图1 研究区无人机正射影像Fig.1 UAV orthophoto image of study area
2 研究方法
2.1 基于SFM与CMVS/PMVS的无人机影像点云重建
研究区三维稠密点云的重建需要2个步骤，一是利用SFM完成点云的稀疏重建，二是通过多视角密集匹配(CMVS/PMVS)建立研究区的密集点云。

SFM是一种相机标定方法，它可在相机参数及场景中三维信息未知的情况下，通过迭代方式求解出相机矩阵和三维点坐标[10],其中每次迭代均先恢复相机运动(即计算投影矩阵)，再采用三角测量的方法恢复场景结构[11-12]。

SFM的理论基础是透视投影几何原理，基于照片之间特征点的匹配关系，借助投影模型采用非线性的优化方法回算相机参数，从而建立起二维与三维之间的对应关系，再根据该对应关系生成稀疏的三维点云。

若有m幅影像，空间中有n个点，则有
xij=XjPi i=1,…,m；j=1,…,n，
(1)
式中: xij为第i幅影像中第j个点的二维信息； Xj为第j个点的三维位置信息； Pi 为第i幅图像的投影矩阵。

由m×n个二维信息，估算m个投影矩阵以及n个点的三维位置信息[13]，从而得到稀疏点云。

稀疏点云无法较好表达地表物体信息，因此研究采用CMVS/PMVS方法进一步将稀疏点云扩展为密集点云。

由于SFM得到的影像有大量重叠，为减少数据量、提高密集匹配效率，采用CMVS方法对影像进行聚簇分类，在减少数据量的同时提高运算速度；聚簇后采用PMVS方法，经匹配、扩散和过滤完成密集匹配，生成研究区密集且带有真实颜色的三维点云；在此基础上通过克里金插值生成研究区格网，进而生成纹理，最后获得研究区的正射影像。

2.2 基于点云数据的nDSM生成
由点云生成nDSM需经过滤波和插值2个步骤。

首先对研究区的DSM点云进行滤波处理，即根据地面与地物的高程不连续性从海量DSM点云中滤除非地貌特征点，以得到研究区的DEM数据。

本文中采用自适应不规则三角网(triangulated irregular network，TIN)点云滤波算法，其基本思想是通过反复建立地面三角网模型的方式分离出地面上的点。

在滤波过程中，假定局部区域内地面是平坦的，先选取局部最低点构建TIN模型，预先设定阈值条件，然后计算目标点到TIN模型中相应三角形顶点角度和该目标点到三角形面的距离与设定的阈值条件进行比较。

如果目标点的距离和角度小于预先定义的阈值，该点将被加入到地面点集，再用地面点集构建一个新的TIN模型，不断重复上述过程。

滤除地面点后，对余下的地物点进行插值生成DEM和DSM格网。

克里金插值算法是一种以空间结构分析为基础的插值方法，重点考虑的是离散点及所有对插值点有影响的临近点的空间特征和属性。

周围离散点的权值与插值点间的距离成反比，距离越近权值越大，根据权重来确定待插值点能消除由于离散点分布不均带来的误差。

实验中利用DEM点云和DSM点云基于克里金插值生成研究区的DEM和DSM格网，对2格网进行求差分析，获得研究区的nDSM信息。

2.3 可见光植被指数
植被分类时综合利用了影像的光谱信息和重建点云获取的DEM和nDSM信息。

实验选择的无人机影像仅含可见光波段，无法计算NDVI，因此研究中选用NGRDI[14-15]和VDVI区分植被与非植被。

计算公式分别为[3]
，
(2)
，
(3)
式中G，R，B，分别为绿、红和蓝3个波段的反射率或像元值。

VDVI与NGRDI
的值域均为[-1，1]，值越大表示植被的覆盖度越高。

2.4 技术流程
基于无人机重建点云与影像的植被分类方法的具体技术流程图如图2所示。

图2 技术流程Fig.2 Technical flow chart
3 实验与分析
3.1 数据预处理
利用无人机影像完成对研究区密集点云的重建与正射影像的生成，点云密度达到1 900个/m2，正射影像的空间分辨率为0.05 m。

为方便后续实验数据的处理，对密集点云进行抽稀，抽稀后点云密度约为22个/m2。

点云经滤波获得研究区DEM点云数据，通过插值生成研究区的DEM和nDSM网格(图3)，网格大小为0.2m×0.2 m。

(a) DEM(b) nDSM
图3 研究区DEM和nDSM
Fig.3 DEM and nDSM of study area
影像分割时使用尺度参数估计软件确定影像的最优分割尺度。

其基本原理是计算影像分割生成的影像对象的局部方差(local variance，LV)和局部方差随分割尺度变化的变化率(rate of change，ROC)，最后给出LV随尺度参数的变化曲线和该曲线的ROC(图4)。

图4 局部方差及变化率曲线Fig.4 local variance and rate of change curve
尺度越小，LV越小，分割后对象的异质性越小。

ROC曲线上峰值处对应的分割尺度则表示该尺度下影像中某类对象的分割效果较好。

综合考虑LV曲线和ROC曲线，发现若固定紧凑度为0.5，形状因子为0.1，当尺度为22，26和33时，植被类型的整体分割效果较好。

经目视判读，尺度为22
时分割得到的对象较破碎而无法很好提取较大的地物(如图5(a))；尺度为33时，灌木的边缘与其周围阴影部分融合，不利于地物细节部分的提取(如图5(c))；尺度为26时则能较好地兼顾二者(如图5(b))。

(a) 尺度为22(b) 尺度为26(c) 尺度为33
图5 不同尺度分割效果
Fig.5 Effect of different scales segmentation
3.2 植被分类规则的建立
实验中，选用VDVI辅助水生植被类别的提取。

通过分析，VDVI>0.168时，水生植被提取效果最佳。

此外根据研究区的水生植被(如芦苇和荷花等)特点设置
nDSM<1.6。

水生植被通常生长于地势最低处，因此其DEM阈值选择区域DEM
的最低值加上水体起伏值，实验中设置DEM<94.1。

草地、灌木及乔木利用NGRDI进行提取，经目视判读，当NGRDI>0.2时，植被与非植被分类效果最佳。

同时根据三者生长高度不同，设置草地nDSM<0.26,灌
木0.26≤nDSM≤1.5，乔木nDSM>1.5。

由于水生植被中芦苇、荷花等长势较高，因此草地及灌木另设置DEM>94.1以区分于水生植被。

研究区内存在少量小乔木(紫叶李，叶片常年为紫红色)，由于其叶片颜色特殊，其光谱特征与建筑物、水泥硬化地面等地物的光谱特征相似，水泥硬化地面
nDSM=0，易于区分，而建筑物有一定高度，因此小乔木与建筑物无法通过nDSM进行区分。

分析可知，建筑物顶部较平坦，小乔木具有参差不齐的特征，
因此可利用标准差(Standard deviation nDSM，Std. nDSM)区分二者。

小乔木
规则设置为NGRDI<0.2，Std. nDSM>0.1，2<nDSM<9。

除提取植被信息外，实验同时提取了研究区内的建筑物、水泥硬化地面和水体信息。

建筑物和水泥硬化地面的光谱特征相同，设置NGRDI<0.2，根据nDSM不同设
置道路 nDSM<0.055,建筑物nDSM>5。

此外，水泥地面与水体虽均表现为非植被特征，但其高程大于水体，因此另设置DEM>94.1以区分于水体；建筑物另设置Std. nDSM<0.1以区分于小乔木。

水体提取时，设置VDVI<0.168且nDSM<0.01，以区分于水生植被。

此外由于水体分布于地势最低处，设置DEM<94.1。

各类别分类规则见表1。

表1 分类规则Tab.1 Rules of classification类型规则乔木
NGRDI>0.2nDSM>1.5草地NGRDI>0.2nDSM<0.26DEM>94.1水生植被VDVI>0.168nDSM<1.6DEM<94.1小乔木NGRDI<0.22<nDSM<9Std. nDSM>0.1灌木NGRDI>0.20.26≤nDSM≤1.5DEM>94.1水泥地面
NGRDI<0.2nDSM<0.055DEM>94.1建筑物NGRDI<0.2nDSM>5Std. nDSM<0.1水体VDVI<0.168nDSM<0.01DEM<94.1
3.3 结果分析与评价
依据以上规则对不同高度的植被进行提取，实验结果如图6所示。

图6 分类结果Fig.6 Classification result
为评价本文提出的分类方法的提取效果，研究选取大量检验样本，对实验结果进行精度评价，混淆矩阵见表2，各地物类型生产精度及用户精度见表3。

由混淆矩阵发现，草地错分至灌木较多，同时灌木也有部分错分至草地，这主要是由于研究区内部分区域草地长势较高，导致提取时2类出现错分现象。

此外还发现建筑物和小乔木有部分错分至乔木类，水泥地面则有部分错分至草地，这是因为当某2类地物类型高度相近，同时2类距离较近甚至出现交错现象(如小乔木与乔木，建筑物与其周围的乔木等)时，密集点云进行三维建模时在2类边界部分不够精细，致使生成的正射影像在地物边界部分不够准确，从而造成局部错分现象。

表2 混淆矩阵Tab.2 Confusion matrix类别乔木草地水生植被小乔木灌木水泥地面建筑物水体总计乔木18 12050146006018 205草地158 20340021700858
560水生植被091 7460300151 770小乔木4400445034710963灌木127351901 9310002 418水泥地面0490005 2620115 322建筑物260036009 67709 739水体05700500234296未分类8223735323661 626432 268总计18 4148 6451 8755482 2105 68111 780388—
表3 分类精度Tab.3 Classification accuracy精度乔木草地水生植被小乔木灌木水泥地面建筑物水体生产精度/%98.4094.8993.1281.2087.3892.6282.1560.31用户精度/%99.5395.8398.6442.2179.8698.8799.3679.05总体精度
/%92.08Kappa=0.897 2
由表3可以看出小乔木(紫叶李)的分类精度较低，这主要由于其叶片颜色特殊(呈紫红色)而导致其光谱特征在可见光波段接近非植被类型的光谱特征，在提取时无法与建筑物较好区分，实验中虽设置了Std. nDSM阈值来区分二者，但是由于研究区内存在仿古建筑以及部分建筑顶部有特殊构造，使得上述类别的建筑顶部的Std. nDSM值偏大，从而降低了小乔木与建筑物的分类精度。

此外，由于水体部分重建点云的精度较低，导致后续该部分生成的DEM精度降低，造成水体与岸边地势较低的草地无法较好区分，从而影响了水体与草地的分类精度。

总体来看，除小乔木外，其他植被的生产精度均达到87%以上，而非植被地物信息提取除水体外生产精度均达到82%以上，同时，实验的总体精度也达到了92.08%，Kappa系数则达到0.897 2。

整体来看，植被分层次提取精度较高。

本文实验证明，将重建点云获得的nDSM信息结合光谱信息用于不同高度的城市植被的提取是可行的。

4 结论
本文综合利用无人机影像SFM重建点云和数字正射影像数据，对城市植被类型精细制图方法进行了研究。

主要研究结论如下：
1)无人机影像SFM重建点云能够有效地区分乔木、灌木、草地和水生植被等不同
高度的植被类型，结合nDSM与NGRDI，VDVI等影像光谱特征能够得到较高的城市不同类型植被分类精细度和制图精度。

2)本文建立的基于面向对象的城市植被精细分类方法能够有效融合点云构建的nDSM所提供的植被高度信息和影像光谱特征，实现不同植被类型的精确制图。

研究区植被分类精度达到81.20%，地表覆被分类总体精度达到92.08%，表明技术方法是有效的，可为城市植被分类与制图提供参考。

但本文实验中还存在如下不足之处：
1)实验选用的无人机影像仅含可见光波段信息，不利于植被与非植被的区分，从而影响了小乔木和水体2类的提取精度。

2)SFM与CMVS/PMVS算法重建研究区密集点云时，水体部分的点云精度较低，对于后续DEM的生成精度以及水体与岸边草地的分类精度造成了较大影响。

参考文献( References)：
【相关文献】
[1] 杨柳，陈延辉，岳德鹏，等.无人机遥感影像的城市绿地信息提取[J].测绘科学.2017，42(2):59-64.
Yang L,Chen Y H,Yue D P,et rmation extraction of urban green space based on UAV remote sensing image[J].Science of Surveying and Mapping,2017,42(2):59-64.
[2] 田振坤，傅莺莺，刘素红，等.基于无人机低空遥感的农作物快速分类方法[J].农业工程学
报.2013，29(7):109-116.
Tian Z K,Fu Y Y,Liu S H,et al.Rapid crops classification based on UAV low-altitude remote sensing[J].Transactions of the Chinese Society of Agricultural Engineering,2013,29(7):109-116.
[3] 汪小钦，王苗苗，王绍强，等.基于可见光波段无人机遥感的植被信息提取[J].农业工程学
报.2015，31(5):152-159.
Wang X Q,Wang M M,Wang S Q,et al.Extraction of vegetation information from visible unmanned aerial vehicle images[J].Transactions of the Chinese Society of Agricultural
Engineering,2015,31(5):152-159.
[4] 井然，邓磊，赵文吉，等.基于可见光植被指数的面向对象湿地水生植被提取方法[J].应用生态学报.2016，27(5):1427-1436.
Jing R,Deng L,Zhao W J,et al.Object-oriented aquatic vegetation extracting approach based on visible vegetation indices[J].Chinese Journal of Applied Ecology,2016,27(5):1427-1436.
[5] 周在明，杨燕明，陈本清．基于可见光波段无人机影像的入侵物种互花米草提取研究[J]．亚热带资源与环境学报.2017，12(2):90-95．
Zhou Z M,Yang Y M,Chen B Q.Study on the extraction of exotic species Spartina alterniflora from UAV visible images[J].Journal of Subtropical Resources and Environment,2017,12(2):90-95.
[6] Wu C C.VisualSFM: A visual structure from motion
system[EB/OL].http://ccwu.me/vsfm/.
[7] 苏伟，李京，陈云浩，等.基于多尺度影像分割的面向对象城市土地覆被分类研究——以马来西亚吉隆坡市城市中心区为例[J].遥感学报.2007，11(4):521-530.
Su W,Li J,Chen Y H,et al.Object-oriented urban land-cover classification of multi-scale image segmentation method——A case study in Kuala Lumpur City
Center,Malaysia[J].Journal of Remote Sensing,2007,11(4):521-530.
[8] 何豫航，岳俊.基于CMVS/PMVS多视角密集匹配方法的研究与实现[J].测绘地理信息.2013，38(3):20-23.
He Y H,Yue J.Research and implementation based on multi-view dense matching by applying CMVS/PMVS[J].Journal of Geomatics,2013,38(3):20-23.
[9] Furukawa Y,Ponce J.Accurate camera calibration from multi-view stereo and bundle adjustment[J].International Journal of Computer Vision,2009,84(3):257-268.
[10]李俊利，李斌兵，柳方明，等.利用照片重建技术生成坡面侵蚀沟三维模型[J].农业工程学报，2015，31(1):125-132.
Li J L,Li B B,Liu F M,et al.Generating 3D model of slope eroded gully based on photo reconstruction technique[J].Transactions of the Chinese Society of Agricultural Engineering,2015,31(1):125-132.
[11]方磊.基于特征的图像序列三维场景重建技术研究[D].武汉:华中科技大学，2006.
Fang L.Research on Feature Based 3D Scene Reconstruction Techniques from Image Sequence[D].Wuhan:Huazhong University of Science and Technology,2006.
[12]戴嘉境.基于多幅图像的三维重建理论及算法研究[D].上海:上海交通大学，2012.
Dai J J.Research on the Theory and Algorithms of 3D Reconstruction from Multiple Images[D].Shanghai:Shanghai Jiao Tong University,2012.
[13]张平，王山东，黄瑾娉，等.基于SFM和CMVS/PMVS的建筑物点云重构方法研究[J].苏州科技学院学报(自然科学版).2015，32(3):60-64.
Zhang P,Wang S D,Huang J P,et al.Research on building point cloud reconstruction method based on SFM and CMVS/PMVS[J].Journal of Suzhou University of Science and Technology(Natural Science),2015,32(3):60-64.
[14]傅银贞，汪小钦.基于北京一号CCD数据的植被指数特性分析[J].测绘科学，2010，35(6)：35-38.
Fu Y Z,Wang X Q.Analysis of vegetation indices based on the CCD data of BJ-1[J].Science of Surveying and Mapping,2010,35(6):35-38.
[15]Meyer G E,Neto J C.Verification of color vegetation indices for automated crop image application[J].Computers and Electronics in Agriculture,2008,63(2):282-293.。