高光谱数据降维与可分性准则

6
一、高光谱数据的降维问题
1.2高维特征带来的新问题 1.信息冗余大 波段数量多，但并非每个波段在任何时候 都是有用信息。波段之间的相关性导致信息冗 余很大，尤其是相邻波段之间的相关性很强。
例如：对于有 N个波段的高光谱数据来讲，当前 应用需求是区分w1类和w2类。
如果利用任意一个波段都能达到这个 目的，那么，仅取一个波段就包含了足够 信息，其余N-1维特征就是多余的。
低
高光谱图像
15
一、高光谱数据的降维问题
1.2高维特征带来的新问题 5.高阶统计特性 在高维数据空间中，除了数据点分布的绝 对位置以外，数据分布的形状和方向对于分类 具有更加重要的影响作用。
16
一、高光谱数据的降维问题
1.2高维特征带来的新问题 5.高阶统计特性
17
一、高光谱数据的降维问题
1.2高Βιβλιοθήκη Baidu特征带来的新问题 5.高阶统计特性
在低维空间，只使用均值向量进行分类的结果 比只使用方差信息得到的结果的精度高，说明在此 种情况下，在分类过程中数据分布的位置比分布的 形状和方向作用要大的多，这也是人们通常遇到的 情况。
但是，当维数增加时，只考虑均值信息进行 分类的精度并不再增加，而考虑方差信息的分类 精度却随着特征维数的增加而继续增加。
空间的维数呈平方关系。
14
一、高光谱数据的降维问题
1.2高维特征带来的新问题 4.高维空间中的参数估计问题
因此，“维数灾难”现象可以从样本数量与数据复杂度关系理论来解释
分类精度较高
模式识别的类别统计信息 向量均值和方差等
分类精度较低
参数估计较准确 根据训练样本估算出来 参数估计不准确
多光谱图像
高
训练样本的数目相对于 特征空间的维数的比例
一、高光谱数据的降维问题 二、类别可分性准则 三、基于几何距离的可分性准则 四、基于类的概率密度的可分性准则
3
一、高光谱数据的降维问题
1.1高光谱数据的高维特征 • 高光谱分辨率的影响
在给定的波长区间内，高的光谱分辨率导致影 像波段数众多、连续。
一方面，高光谱遥感的核心优势是反映光谱特 征的细微差异；另一方面众多的波段数目给数据处 理带来新的问题。
18
一、高光谱数据的降维问题
1.2高维特征带来的新问题 综上所述，高维特征引起了多种问题
• 信息冗余大 • 超维几何体体积 • “维数灾难”问题 • 高维空间中的参数估计问题 • 高阶统计特性
因此，在高光谱数据应用的特定阶段，可 以对高维数据进行降维处理，得到具有代表意 义的低维光谱特征，并在低维光谱空间中进行 相应分析（聚类分析）。
11
一、高光谱数据的降维问题
1.2高维特征带来的新问题 3.“维数灾难”问题
12
一、高光谱数据的降维问题
1.2高维特征带来的新问题 3.“维数灾难”问题 这说明高光谱数据区分地类之间的能力极大 地受到训练样本的限制，在分析高光谱影像时， 要获得好的分类精度就需要更多的训练样本。
如果训练样本不足时，往往会出现在样本点 数目一定的前提下，分类精度随着特征维数的增 加“先增后降”的现象，这就是所谓的Hughes”维 数灾难”现象。
1.2高维特征带来的新问题
2.超维几何体体积
例如：密度分析GRID算法
由于体积因素 影响，高维空间 中数据的分布呈 现出稀疏、严重 不规则等特点， 使得常规的分析 算法效果不佳。
10
一、高光谱数据的降维问题
1.2高维特征带来的新问题 3.“维数灾难”问题 思考：既然不同波段包含了不同光谱信息， 那么，在利用遥感影像分类时，是否波段越多， 分类越精确？ 研究表明，事实并非如此
1.3高光谱降维
注意不要走向另一个极端：降维绝对不是 对高维光谱信息的舍弃，而是立足于高维数据， 针对不同的使用目的得到相应低维数据。
图书馆的书种类繁多，不同专业的同 学各取所需，只选一小部分，但并不意味 着其它的书是多余的。
21
一、高光谱数据的降维问题
1.3高光谱降维
高光谱数据降维的方法
• 波段选择 • 特征变换
13
一、高光谱数据的降维问题
1.2高维特征带来的新问题 4.高维空间中的参数估计问题
随着空间维数的增加，要得到同样精度的估 计值将需要更多的样本数。
研究表明，对于监督分类而言，若要得到比较 满意的分类结果：
• 线性分类器需要 的样本数与空间的
维数呈线性关系。
• 对于基于二次估计量的 分类器，所需的样本数与
4
一、高光谱数据的降维问题
1.1高光谱数据的高维特征 • 波谱空间与光谱空间 波段数众多导致波谱曲线信息的丰富
灰
度 值
多光谱
灰
度 值
高光谱
波段数众多导致光谱空间维数的增多 “维数”是指光谱空间的维数
5
一、高光谱数据的降维问题
1.1高光谱数据的高维特征 高光谱影像属于高维空间数据，已有的研究结
果表明，这种数据有许多不同于低维数据的分布特 性，这些特性决定了人们在对高光谱影像分析时应 采用不同策略和方法。
7
一、高光谱数据的降维问题
1.2高维特征带来的新问题 2.超维几何体体积 根据超维立方体的体积公式，随着空 间维数的增加，超立方体的体积急剧增加， 并且向角部分布。
8
一、高光谱数据的降维问题
1.2高维特征带来的新问题 2.超维几何体体积
伽马函数
超立方体中内切求的体积 与超立方体之比
9
一、高光谱数据的降维问题
《高光谱遥感》第四章 高光谱数据处理
第四章 《高光谱数据处理》主要内容
• 高光谱数据的特征选择与提取 • 高光谱特征参量化 • 高光谱遥感影像分类与光谱匹配 • 混合光谱
1
《高光谱遥感》第四章 高光谱数据处理
第1节 高光谱数据降维与可分性准则
武汉大学遥感信息工程学院 龚龑
2
第四章 第1节 高光谱数据降维与可分性准则
19
一、高光谱数据的降维问题
1.3高光谱降维
若
{xn
}N n1
R D为D维空间中的一个容量为
N的数据集合，假设其来自于维数为D的某一
数据集的采样。降维的目标是探求数据集合适
的低维坐标描述，将原数据集合投影到低维空
间，获得原数据集合的低维简洁表示。
方法：
• 波段选择 • 特征变换
20
一、高光谱数据的降维问题
具体内容在下一讲中介绍
降维后得到的低维特征空间是否 有效进行类别区分？
22
第四章 第1节 高光谱数据降维与可分性准则
一、高光谱数据的降维问题 二、类别可分性准则 三、基于几何距离的可分性准则 四、基于类的概率密度的可分性准则