高光谱数据降维与可分性准则

10
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 3.“维数灾难”问题 思考：既然不同波段包含了不同光谱信息， 那么，在利用遥感影像分类时，是否波段越多， 分类越精确？ 研究表明，事实并非如此
11
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 3.“维数灾难”问题
15
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 5.高阶统计特性 在高维数据空间中，除了数据点分布的绝 对位置以外，数据分布的形状和方向对于分类 具有更加重要的影响作用。
16
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 5.高阶统计特性
12
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 3.“维数灾难”问题 这说明高光谱数据区分地类之间的能力极大 地受到训练样本的限制，在分析高光谱影像时， 要获得好的分类精度就需要更多的训练样本。 如果训练样本不足时，往往会出现在样本点 数目一定的前提下，分类精度随着特征维数的增 加“先增后降”的现象，这就是所谓的Hughes”维 数灾难”现象。
23
武汉大学 龚龑
《高光谱遥感》
二、类别可分性准则
2.1高光谱数据降维与类别可分性判据的关系 降维得到低维特征
指导降维
形成特征空间 分布不同 可分性存在差异 衡量可分性？
定量化的指标
可分性判据
24
武汉大学 龚龑
《高光谱遥感》
二、类别可分性准则
2.2可分性准则基本概念 • 可分性准则 概念：从高维数据中得到了一组用来分类的特征， 需要一个定量的标准来衡量特征对分类的有效性。 特点：通过已知类别先验知识，衡量当前特征空间 对类别的区分效果。 可分性准则的主要类型： • 基于几何距离的可分性准则 • 基于概率密度的可分性准则
13
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 4.高维空间中的参数估计问题 随着空间维数的增加，要得到同样精度的估 计值将需要更多的样本数。 研究表明，对于监督分类而言，若要得到比较 满意的分类结果： • 线性分类器需要 的样本数与空间的 维数呈线性关系。 • 对于基于二次估计量的 分类器，所需的样本数与 空间的维数呈平方关系。
d (a,b) [(a - b)(a - b) ] 2 = (a k - b k ) k=1
n
T 1/ 2 1/ 2
28
武汉大学 龚龑
《高光谱遥感》
三、基于几何距离的可分性准则
3.2几何距离可分性准则原理 2.点与点集的距离
当前点与点集中每个点逐个计算距离
29
武汉大学 龚龑
8
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 2.超维几何体体积
超立方体中内切求的体积 与超立方体之比
伽马函数
9
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 2.超维几何体体积
例如：密度分析GRID算法
由于体积因素 影响，高维空间 中数据的分布呈 现出稀疏、严重 不规则等特点， 使得常规的分析 算法效果不佳。
41
武汉大学 龚龑
《高光谱遥感》
四、基于概率密度的可分性准则
4.1基本概念回顾
• 先验概率
在样本集中，预先已知的某一类出现的概率P(Wi)
25
武汉大学 龚龑
第四章 第1节 高光谱数据降维与可分性准则
《高光谱遥感》
一、高光谱数据的降维问题 二、类别可分性准则 三、基于几何距离的可分性准则 四、基于类的概率密度的可分性准则
26
武汉大学 龚龑
《高光谱遥感》
三、基于几何距离的可分性准则
3.1基本思想
• 不同的类别 不同的分布区域
• 类别可分性 区域可分性
A类
B类 Y1 Y2
X1 X2 X3
两类样本之间的距离
两两之间
33
武汉大学 龚龑
《高光谱遥感》
三、基于几何距离的可分性准则
3.2几何距离可分性准则原理 7.各类总的均方距离 总的样本距离
两类样本之间的距离
取欧氏距离时，总的均方距离为
类与类两两求和
34
武汉大学 龚龑
《高光谱遥感》
三、基于几何距离的可分性准则
《高光谱遥感》
《高光谱遥感》第四章 高光谱数据处理
第四章 《高光谱数据处理》主要内容 • • • • 高光谱数据的特征选择与提取 高光谱特征参量化 高光谱遥感影像分类与光谱匹配 混合光谱
1
武汉大学 龚龑
《高光谱遥感》
《高光谱遥感》第四章 高光谱数据处理
第1节 高光谱数据降维与可分性准则
武汉大学遥感信息工程学院 龚 龑
21
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.3高光谱降维
高光谱数据降维的方法
• 波段选择
具体内容在下一讲中介绍
• 特征变换 降维后得到的低维特征空间是否 有效进行类别区分？
22
武汉大学 龚龑
第四章 第1节 高光谱数据降维与可分性准则
《高光谱遥感》
一、高光谱数据的降维问题 二、类别可分性准则 三、基于几何距离的可分性准则 四、基于类的概率密度的可分性准则
2
武汉大学 龚龑
第四章 第1节 高光谱数据降维与可分性准则
《高光谱遥感》
一、高光谱数据的降维问题 二、类别可分性准则 三、基于几何距离的可分性准则 四、基于类的概率密度的可分性准则
3
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.1高光谱数据的高维特征 • 高光谱分辨率的影响 在给定的波长区间内，高的光谱分辨率导致影 像波段数众多、连续。 一方面，高光谱遥感的核心优势是反映光谱特 征的细微差异；另一方面众多的波段数目给数据处 理带来新的问题。
14
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 4.高维空间中的参数估计问题
因此，“维数灾难”现象可以从样本数量与数据复杂度关系理论来解释
模式识别的类别统计信息 分类精度较高 参数估计较准确 多光谱图像 高 向量均值和方差等 根据训练样本估算出来 训练样本的数目相对于 低 特征空间的维数的比例 分类精度较低 参数估计不准确 高光谱图像
19
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.3高光谱降维
N D R 若 {xn }n 为D维空间中的一个容量为 1 N的数据集合，假设其来自于维数为D的某一 数据集的采样。降维的目标是探求数据集合适 的低维坐标描述，将原数据集合投影到低维空 间，获得原数据集合的低维简洁表示。
• 区域可分性 通过几何距离来度量
27
武汉大学 龚龑
《高光谱遥感》
三、基于几何距离的可分性准则
3.2几何距离可分性准则原理
1.点与点的距离
T a ( a , a ,..., a ) 在 n 维特征空间中，特征点 1 2 n T 与特征点 b (b1 , b2 ,..., bn )
之间的欧氏距离为：
17
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 5.高阶统计特性 在低维空间，只使用均值向量进行分类的结果 比只使用方差信息得到的结果的精度高，说明在此 种情况下，在分类过程中数据分布的位置比分布的 形状和方向作用要大的多，这也是人们通常遇到的 情况。 但是，当维数增加时，只考虑均值信息进行 分类的精度并不再增加，而考虑方差信息的分类 精度却随着特征维数的增加而继续增加。
离 差 矩 阵
类内离差矩阵Sw
越小越好 越大越好 情况复杂
类间离差矩阵SB
降维方案1
总体离差矩阵ST
样本的散布程度
降维方案2
武汉大学 龚龑
样本越分散 矩阵数值越大
39
《高光谱遥感》
三、基于几何距离的可分性准则
3.3判据构造 2.依据可分性准则构造判据
原则：数值的大小直接体现降维后特征空间的类别可分性。 常见判据：
三、基于几何距离的可分性准则
3.2几何距离可分性准则原理 7.多类情况离差矩阵
C.总体离差矩阵
ST E{( x m)( x m)T }
任一样本 • • 总体样本均值
实质是样本总体的协方差矩阵 不涉及类的概念
ST SW SB
37
武汉大学 龚龑
《高光谱遥感》
三、基于几何距离的可分性准则
3.3判据构造 1.离差矩阵分析
如何通过几何距离衡量可分性？
点与点的距离
点到点集 类内的均值矢量 类内距离 类内均方距离 总体的均值矢量 两类之间的距离 各类模式之间总的均方距离
类内离差矩阵
武汉大学 龚龑
总体离差矩阵
38
《高光谱遥感》
三、基于几何距离的可分性准则
3.3判据构造 1.离差矩阵分析
样 本 的 类 别 信 息 已 知 • 类的内部越紧密越好 • 类之间越分散越好
4
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.1高光谱数据的高维特征 • 波谱空间与光谱空间 波段数众多导致波谱曲线信息的丰富
灰 度 值 多光谱
灰 度 值
高光谱
波段数众多导致光谱空间维数的增多 “维数”是指光谱空间的维数
5
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.1高光谱数据的高维特征
《高光谱遥感》
三、基于几何距离的可分性准则
3.2几何距离可分性准则原理 3.类内及总体的均值矢量
类内的均值矢量
总体的均值矢量
30
武汉大学 龚龑
《高光谱遥感》
三、基于几何距离的可分性准则
3.2几何距离可分性准则原理 4.类内距离
类内均方欧氏距离定义为：
先求出各自到 类心的距离的 平方，再求和
类内均方距离也可定义为：
1 J1 Tr[ S w SB ]
SB J2 Sw
特点:可分性判据是S B的单调增函数
Tr[ S B ] 是Sw的单调减函数. J3 Tr[ S w ] Sw SB ST J4 Sw Sw
40
武汉大学 龚龑
第四章 第1节 高光谱数据降维与可分性准则
《高光谱遥感》
一、高光谱数据的降维问题 二、类别可分性准则 三、基于几何距离的可分性准则 四、基于类的概率密度的可分性准则
方法： • 波段选择 • 特征变换
20
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.3高光谱降维
注意不要走向另一个极端：降维绝对不是 对高维光谱信息的舍弃，而是立足于高维数据， 针对不同的使用目的得到相应低维数据。
图书馆的书种类繁多，不同专业的同 学各取所需，只选一小部分，但并不意味 着其它的书是多余的。
两两运算，不 涉及类心
31
武汉大学 龚龑
《高光谱遥感》
三、基于几何距离的可分性准则
3.2几何距离可分性准则原理 5.类内离差矩阵
类内离差矩阵，反映类内部样本在均值周 围的Hale Waihona Puke Baidu布情况。
与类内均方欧氏距离的关系：
（矩阵的迹）
32
武汉大学 龚龑
《高光谱遥感》
三、基于几何距离的可分性准则
3.2几何距离可分性准则原理 6.两类之间的距离
例如：对于有 N个波段的高光谱数据来讲，当前 应用需求是区分w1类和w2类。
如果利用任意一个波段都能达到这个 目的，那么，仅取一个波段就包含了足够 信息，其余N-1维特征就是多余的。
7
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 2.超维几何体体积 根据超维立方体的体积公式，随着空 间维数的增加，超立方体的体积急剧增加， 并且向角部分布。
3.2几何距离可分性准则原理 7.多类情况离差矩阵
A.总的类内离差矩阵
第i类的比例 第i类的离差矩阵
35
武汉大学 龚龑
《高光谱遥感》
三、基于几何距离的可分性准则
3.2几何距离可分性准则原理 7.多类情况离差矩阵
B.类间离差矩阵
总体样本均值
第i类样本均值
每一类只有一个代表
36
武汉大学 龚龑
《高光谱遥感》
18
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 综上所述，高维特征引起了多种问题 • • • • • 信息冗余大 超维几何体体积 “维数灾难”问题 高维空间中的参数估计问题 高阶统计特性
因此，在高光谱数据应用的特定阶段，可 以对高维数据进行降维处理，得到具有代表意 义的低维光谱特征，并在低维光谱空间中进行 相应分析（聚类分析）。
高光谱影像属于高维空间数据，已有的研究结 果表明，这种数据有许多不同于低维数据的分布特 性，这些特性决定了人们在对高光谱影像分析时应 采用不同策略和方法。
6
武汉大学 龚龑
《高光谱遥感》
一、高光谱数据的降维问题
1.2高维特征带来的新问题 1.信息冗余大 波段数量多，但并非每个波段在任何时候 都是有用信息。波段之间的相关性导致信息冗 余很大，尤其是相邻波段之间的相关性很强。