基于高光谱遥感的土壤有机质反演模型研究进展

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

设施农业2023-07
27
农业工程技术(设施农业)
基于高光谱遥感的土壤有机质反演模型研究进展
*
摘要:利用高光谱遥感反演土壤有机质与传统的化学分析方式有很大的优势,促进现代农业的发展。

国内外利用高光谱反演土壤有机质含量模型进行了大量的研究,从最初的线性回归模型发展到如今较为复杂的非线性模型,该文总结了常见的高光谱对有机质含量建模方法与模型特点。

通过分析总结前人的研究发现,目前土壤有机质含量模型研究进展主要有运用的模型复杂化、反演模型的评价方法多样化、多种建模方法综合应用及深度学习大数据分析新技术更加普遍。

关键词: 高光谱遥感;土壤有机质含量;反演模型
土壤有机质是衡量土壤肥力的重要指标,是维持农业健康发展、土地质量评价的重要考虑因素[1]。

传统的土壤有机质化学测定方法试剂消耗量大、具有一定危险性、对操作人员有专业性要求等原因,难以做到迅速、大规模和周期性地土壤有机质含量测定[2]。

而高光谱遥感可以快速地进行大范围、周期性、快速的特点受到人们的关注。

利用高光谱反演土壤有机质含量最重要的是建立土壤高光谱信息与有机质含量之间的联系。

目前利用高光谱遥感反演土壤有机质含量的模型中,大体可以分为两大类。

一类是线性模型。

例如:偏最小二乘法,多元线性回归模型;另一类是非线性模型。

例如:反向神经网络,随机森林,支持向量机等。

根据目前的研究进展,总结了现阶段利用高光谱遥感反演土壤有机质含量方法和模型的特点。

1 土壤有机质的高光谱反演模型发展历程
1965年,Bowers 等[3]开始研究土壤与光谱反射之间的关系时就发现土壤有机质含量与光谱反射之间存在负相关的关系。

21世纪前,主要是研究土壤有机质与高光谱反射率之间的定性关系上的研究,处于探索阶段,研究样本数量较少,使用的模型主要以多元线性回归,偏最小二乘回归等线性方法为主[4]。

近年来随着研究的深入与研究工具的进步,更多的模型方法,研究方式的
韦森超1,梁立恒1,董炜华1**,李晓强1,邓守奇1,2
(1.长春师范大学地理科学学院,吉林 长春 130123;2.长春文理高中,吉林 长春 130062)
改进,比如机器学习与深度学习[5]。

2 土壤高光谱建模方法
在利用线性与非线性的模型反演中,不同类型的模型在建模的时候,发挥出不同的优点,适用于不同特性的样本特性。

2.1 线性模型2.1.1 多元线性回归
多元线性回归的思路是把所有的变量根据重要性对其重新导入到回归方程中建立回归模型的方法。

综合了多元逐步回归向前和向后法的特点,根据自变量对因变量的影响权重大小,逐个按权重大小的顺序引入回到回归方程当中并剔除对因变量
影响不显著的变量,如此反复引入、检验、删除直至无新的变量可以引入或删除[6]。

其建模方法是把土壤有机质作为因变量,土壤光谱反射作为自变量进行多元回归分析,利用F 显著水平值作为逐步回归方法的准则,判定光谱数据及其逆的与因变量土壤有机质的关系。

多元线性模型虽简单易解释,但也有不足。

首先它是一种线性模型,对数据之间的多重线性和非线性问题无法很好地处理,据现有的研究发现土壤光谱与土壤属性之间具有非线性关系[7]。

多元线性回归对异常值较敏感,若数据中出现异常值会对预测结果影响较大。

2.1.2 偏最小二乘回归
偏最小二乘回归是一种基于线性回归的多元分析方法模型,综合了典型相关性分析、主成分分析和线性回归分析的优点[8]。

该算法建立回归模型过程中既考虑了尽量提取和中的主成分,同时也考虑了分别从中提取出的主成分之间的相关性最大化,剔除无解释作用的信息,强化对因变量的解释能力,不仅解决了自变量之间多重相关的问题,克服了在主成分分析中对自变量解释能力较强但对因变量解释能力较弱的缺点。

但偏最小二乘回归模型也有一定的局限性。

例如在建模过程中很难把控主成分的数目,如果在建模过程中主成分数目过少则不能较完整反应未知样本的光谱变化,出现欠拟合。

若主成分数目
DOI:10.16815/ki.11-5436/s.2023.21.005
设施农业2023-07
28
过多则可能把带有较多噪声或无关的主成分加入模型中,导致预测能力下降[9]。

土壤类型较多的情况下偏最小二乘方法建模效果不理想[10]。

2.2 非线性模型2.2.1 BP 神经网络
BP 神经网络是一种模拟动物神经网络的数字模型,于1986年由Rumelhart 提出[11],是多层前馈式、误差反向传播的多层映射神经网络。

模型由输入层、隐藏层与输出层构成。

在模型训练过程包括信号的正向传播与误差的反向传播,正向传播即信号依次通过输入层、隐含层和输出层,把得到的输出结果与期望值相对比,如果与期望值不符合就会进入误差的反向传播过程,即把正向传播过程中得到的误差按照误差梯度下降的方式修正各层权值再反向传输到隐藏层内,经由隐藏层传输到输入层,利用梯度下降法进行权值修正、调整网络权重,使得训练集样本预测值与真实值之间的均方差最小。

其特点是非线性处理能力、容错性、抗噪声能力与抗干扰能力较强[12]。

但BP 神经网络也有一些缺陷,因为BP 神经网络的核心是基于梯度的最速下降算法,在模型训练过程中可能陷入到局部最小值而无法找到全局最优解;模型训练的收敛速度比较慢,训练的时间过长[13]。

2.2.2 随机森林
随机森林是基于Bagging 集成的机器学习算法,以决策树为基础对数据进行分类或预测,具有抗噪声能力强、对数据完整性要求较低与精度较高等优点。

基本思路是通过Bootstrap 重采样方式有放回地重复从原始样本中随机抽取个样本训练集,对抽取到的子样本进行建模,每个子样本都得到一个预测结果,最终把所有的预测结果进行取平均得到最终预测结果,未被抽取的样本作为预测集。

不过随机森林模型受到抽取的子样本建模的影响。

当抽取次数过少时,某种类型特征的样本可能被重复抽到,而另一些类型的向量和特征则可能很少被抽到,导致子样本间的数据特征重合度过高,模型的整体泛化能力降低[14]。

2.2.3 支持向量机
支持向量机是统计学中的一种机器学习算法,其基本原理是当样本数据为线性可划分的时候,在空间内搜寻可以准确划分样本的最优超平面;当样本数据为非线性不可分时,把低维空间的样本以非线性的方式映射到高维空间中,并在高维空间中找到最优的超平面,使得所有训练的样本距离该最优平面的误差最小[15]。

支持向量机应用在回归分析时,其基本的思想不是寻找一个最优的平面进行两类样本的分开,而是寻找一个最优平面使得所有训练的样本距离该最优平面的误差最小。

它的特点是不需要做任何的前提假设,在解决小样本、非线性以及局部极小点问题有良好的效果。

但支持向量机是一种基于小样本统计理论的机器学习方法,使用核函数把数据映射到高维空间,数据集大的情况下需要计算大量的距离与核函数值,导致训练需要大量的算力与时间,降低数据处理效率[16]。

噪声与异常值可能会对超平面的划分产生较大的影响,从而影响模型整体结果。

3 模型评价指标与影响因素
3.1 常用模型评价指标
模型建立之后需要对模型的预测能力与预测精度进行评估以确定模型的好坏。

主要评估方法包括:①验证模型的决定系数是计算实际观测值与模型预测值的离差平方和与总离差平方和的比值得到[17]。

②均方根误差是计算预测值与真实值偏差的平方与观测次数比值的平方根而得到,对数据中的异常值较敏感,通常用于在回归类型的模型之中用于评估模型的预测精度[18]。

③相对分析误差是一种作为判别验证模型预测能力的重要指标,通常应用于测量结果之间的相对偏差大小[19]。

3.2 模型评价指标的发展
随着机器学习与深度学习的发展,更多的评价指标也开始出现。

例如:①损失函数是在机器学习与深度学习中用于评价样本经计算后输出的预测值和真实值之间的不一致程度[20]。

②平均绝对百分比误差是通过计算预测值与相应实际值之间的百分比误差来评估预测模型的性能,具有尺度独立性、可解释性及对预测结果中的异常值能够进行有效地处理[21]。

3.3 影响土壤有机质含量反演精度的因素
利用高光谱反演土壤有机质含量的过程中,可能因为一些外界因素与仪器本身的原因影响准确性,这些影响因素可以通过对光谱的处理与测定条件的控制减小影响。

土壤中的一些理化参数,例如氧化铁与有机质对高光谱的响应关系的近似而产生重叠谱区而影响反演精度[22-23]。

受到土壤成分与结构和对光谱反射具有复杂性的特点,在建模反演时候需要更多地考虑土壤理化性质对有机质反演的影响,针对性地选择更优的分析处理方法。

设施农业2023-0729
农业工程技术(设施农业)
4 结论与展望
利用高光谱技术对土壤有机质含量定量研究经过六十多年的发展,应用的模型和方法也多元化,促进了利用高光谱估测土壤有机质含量研究的发展。

不过,在获取土壤有机质高光谱信息中,受到土壤质地、土壤水分、其他土壤元素的影响以及测试环境条件不一等诸多因素的影响,目前没有统一的土壤有机质高光谱反演的标准流程,不同学者研究得到的最佳建模方法不一。

目前土壤有机质高光谱反演模型主要有以下趋势:①运用的模型趋向于复杂化。

从最起初的多元线性回归等线性模型发展到如今的随机森林,BP神经网络等非线性模型,效果和性能上也取得了一定的提升。

②机器学习与深度学习的模型的大量应用,更多的模型评价指标,能全面的了解模型反演的精度和泛化能力。

③多种建模方法的结合使用增加。

建模中利用不同方法的结合,达到模型优势互补,从而提升模型的整体预测能力与泛化能力。

参考文献
[1] 郑建乐. 基于高光谱遥感的太行山区土壤有机质反演研究[D]. 保
定: 河北农业大学, 2022.
[2] Tittonell P, Zingore S, Wijk M T -van, et al. Nutrient use
efficiencies and crop responses to N, P and manure
applications in Zimbabwean soils: Exploring management
strategies across soil fertility gradients[J]. Field Crops
Research, 2007, 100 (2-3): 348-368.
[3] S A Bowers, R J Hanks. Reflection of radiant energy from
soils[J]. Soil Science, 1965, 100(2): 130-138.
[4] 谭洋. 高光谱土壤有机质含量反演精度影响因素分析及模型优
化[D]. 长春: 吉林大学, 2022.
[5] 张东辉,赵英俊,秦凯. 一种新的光谱参量预测黑土养分含量模
型[J]. 光谱学与光谱分析, 2018, 38(9): 2932-2936.
[6] 王延仓, 安健, 顾晓鹤, 等. 利用模拟宽波段数据定量反演关中平
原土壤有机质含量研究[J]. 安徽农业科学, 2016, 44(14): 240-
244.
[7] Lark R M. Soil–landform relationships at within-field
scales: An investigation using continuous classification[J].
Geofisiza Zaternacional, 1999, 92(3-4): 141-165.
[8] 于雷, 洪永胜, 耿雷, 等. 基于偏最小二乘回归的土壤有机质含量
高光谱估算[J]. 农业工程学报, 2015, 31(14): 103-109.
[9] 姜庆虎. 基于高光谱数据的滨湖土壤组分信息反演建模及优化[D].
武汉: 武汉大学, 2014.
[10]陈颂超, 冯来磊, 李硕, 等. 基于局部加权回归的土壤全氮含量可
见-近红外光谱反演[J]. 土壤学报, 2015, 52(2):312-320.
[11] David E Rumelhart, Geoffrey E Hinton, Ronald J. Williams.
Learning representations by back-propagating errors[J].
Nature, 1986, 323(6088): 533-536.
[12]于雷,洪永胜,周勇,等. 连续小波变换高光谱数据的土壤有机质
含量反演模型构建[J]. 光谱学与光谱分析, 2016, 36(5): 1428-
1433.
[13]尤晓东,苏崇宇,汪毓铎. BP神经网络算法改进综述[J]. 民营科技,
2018(4):146-147.
[14] 马晓东. 基于加权决策树的随机森林模型优化[D]. 武汉: 华中师
范大学, 2017.
[15]邹慧敏. 基于灰色区间的土壤有机质高光谱PSO-BPNN估测模
型[D]. 泰安: 山东农业大学, 2019.
[16]王涛, 李艾华, 蔡艳平, 等. 基于核的学习机研究综述[J]. 计算机
应用研究, 2010, 27(6): 2011-2015.
[17]胡国田, 尚会威, 谭瑞虹, 等. 不同土壤类型的有机质含量的可见-
近红外光谱检测模型传递方法研究[J]. 光谱学与光谱分析, 2022,
42(10): 3148-3154.
[18]尚天浩. 基于高光谱遥感的银川平原土壤有机质定量反演[D]. 银
川: 宁夏大学, 2022.
[19]谢树刚. 基于高光谱的黄河三角洲土壤有机质含量估测模型研究
[D]. 泰安: 山东农业大学, 2021.
[20]邓建国, 张素兰, 张继福, 等. 监督学习中的损失函数及应用研
究[J]. 大数据, 2020, 6(1): 60-80.
[21]Sungil Kim,Heeyoung Kim. A new metric of absolute
percentage error for intermittent demand forecasts[J].
International Journal of Forecasting, 2016(32) : 669-679.
[22]李曦. 基于高光谱遥感的土壤有机质预测建模研究[D]. 杭州: 浙
江大学, 2013.
[23]尚璇. 有机质与含水量对土壤高光谱的交互影响及其估测模型[D].
泰安: 山东农业大学, 2018.
*项目支持:吉林省黑土有机质含量高光谱反演及空间变化分析(YDZJ202201ZYTS563)。

作者简介:韦森超(1993-),男,研究方向:自然地理学与高光谱遥感。

**通信作者:董炜华,女,教授。

研究方向:从事自然地理及土壤动物生态研究。

[引用信息]韦森超,梁立恒,董炜华,等.基于高光谱遥感的土壤有机质反演模型研究进展[J].农业工程技术,2023,43(21):27-29.。

相关文档
最新文档