利用SVM_CRF进行高光谱遥感数据分类
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
马尔 柯 夫 随 机 场 ( Markov random f ields, MRF) 是传统的描述上下文信息 的概率模型, 它 认为类别的分布满足 G ibbs 分布[ 6] 。但是, 基于 计算可行性考虑, M RF 假定观测数据是条件独立 的。对于遥感数据而言, 相邻像素之间的观测数 据并不独立, 存在很强的相关性, 特别是高光谱遥 感数据。因此, 对于遥感数据而言, MRF 条件独 立的假设太强。为了解决这个问题, 一种新的概 率 模 型 条 件 随 机 场 ( condit io nal random fields, CR F) 得到了越 来越多的关注[ 7 10] 。CRF 是一种判别式概率模型, 直接把后验概率建模为 Gibbs 分 布, 放 宽 了 M RF 的 条 件。但 是, 传 统 CRF 模型定义的简单一阶势能项( 特征的简单线 性组合) , 不适合高光谱遥感数据分类。首先, 由 于高光谱数据维度很高而且样本有限, 因此, 传统
( 4)
式中, f^ 为决策分类值, 采用 SVM 获得。 在 MRF 模型中, 常采用 Ising 模型作为描述
类别上下文信息的二阶势能项。但是, Ising 模型
忽视了观测数据的上下文信息。为了能同时捕获
类别和观测数据的上下文信息, SVM CRF 模型 采用一种改进的 Ising 模型[ 13] 。
1 SVM CRF
SVM 是一种基于结构风险最小的小样本统 计学 习方法, 非常适合于高 光谱遥感数据分类。 因此, SVM CRF 采用 SVM 作为一阶势能项, 采 用 CRF 的方法描述上下文信息。因此, SVM CRF 结合了 SVM 和 CRF 的优点。根据 CRF 的 定义, SVM CRF 的定义为:
GP
G rass/ pas tu re
497 250
SC
So y be ans cl ean
614
310
GT
G rass/ tree
747 374 WD W oods 1 294 650
由于遥感数据以及类别空间都比较大, 计算
分割函数 Z 是一个 NP 难问题, 因此, 本文采用分 片学习[ 14] 的方法估计模型参数。采用式( 1) 的对
数形式进行 M AP 估计, SVM CRF 分片 学习的 目标函数可以写为:
L pw ( v) = { lg ex p{ SP i ( y i , x i ) } } +
# # i ∃ Ci
ex p{ SP i ( y i , x i ) }
xi
{
lg
# # ( i, j) ∃ C2
exp{ I ij ( yi , y j, , v } } ex p{ I ij ( y i , y j, , v }
vT v 22
( 6)
x i, xj
式中, SPi ( y i , x i ) 通过目标函数式( 2) 和约束条件
CRF 模型对! 维度灾难∀问题敏感。此外, 高光谱 遥感数据特征空间极其复杂, 一般线性不可分, 通 过简单的一阶势能项不能得到理想分类结果[ 11] 。 针对这些问题, 本文提出了一种改进的适用于高 光谱遥感数据分类的随机场模型 支持向量机 条件随机场( support v ect or m achine co ndit ional random field, SVM CRF ) 。
I ij ( y i , yj , x , v ) =
#v
T kl
ij ( x )
k, l ∃ { 1, %, L}
( y i = k) ( y j = l)
( 5)
式中, v 表示模型的参数; v kl = [ v kl1 v kl 2 %
v klN !kl ] T ( 其中, !kl 是偏移量) ; ( y i = k) 为冲击
对于随机场概率模型, 根据学习的模型参数 找到输 入新数 据的最 优类别 是一 个推理 过程。
LBP 是一种高效的 推理算法, 本文 采用 L BP 的 max pr oduct 算法获取新数据的最优类别值[ 16] 。 在 LBP 的推理过程中, 模型可以写成:
# P ( y | x ) ) ex p{ ( SP i ( y i , x i ) ) + i∃ S
LL
# # ex
p
(
v
T kl
ij ( x ) ) /
ex
p
(
v
T mn
ij ( x ) )
( 8)
m= 1 n= 1
由于类别上的上下文信息是鼓励相同类别的
出现, 压制不同类别, 最终达到平滑的目的, 因此, 当点对 的 类 别 不 相 同 时, vkl 设 置 为 0。 最 终, 式( 7) 可以写成[ 15] :
高光谱遥感数据包含丰富的光谱信息, 能够 对目标进行精细分类。传统的基于像元的高光谱 遥感数据分类方法, 如支持向量机( support v ec t or machine, SV M ) [ 1] , 假定 数据是 独立同 分布 的[ 2, 3] 。但是, 遥 感数 据, 特 别是 高 光谱 遥 感数 据, 在类别和观测数据上存在很强的相关性, 即所 谓的上下文信息, 不满足独立同分布的假设[ 4, 5] 。 同时, 如果能有效利用这些上下文信息, 可以有效 地提高分类精度。
推理和学习过程用 M at lab 编程实现。SVM 选用 LIBSV M 软件包[ 18] , SV M 的核函数选择径
30 8
武 汉 大学 学报 信息 科 学版
2011 年 3 月
向基函数。通过交叉 验证和格网搜 索方法获取 SVM 的最优模型参数, 以总精度作为分类结果的 精度评价标准。
图 1 实验数据集与地面真实数据 Fig . 1 Ex per imenta l Data Sets and Gr ound T ruth
2. 2 SVM CRF 实验分析 由于有些类别像素个数比较少, 因此, 选择样
本数最多的 9 个类别进行实验, 每个类别随机选 择一半作为训练数据, 剩余部分作为验证数据, 如 表 1 所示。为了满足训练二阶势能项的需要, 在 选择训练样本的过程中, 把所选择的点以及四邻 域相同类别的点都选上。
表 1 类别及样本
# P ( y | x ) =
1 Z
exp{
i∃
S
SPi ( y i ,
x
i)
+
# # I ij ( y i, y j , x , v) }
( 1)
i∃ S j∃ i
式中, SPi ( y i , x i ) 表示点 i 只考虑当前观测值的后
验概率。
SVM 是一种判别式分类器, 最终的输出结果 不带后验概率。但是, 可以通过组合所有的二类
可以通过格网搜索和交叉验证的方法获取 #的最
佳值。
2 实验与分析
2. 1 实验数据集 本文选择 的实 验 数据 集 为 1992 年 获 取的
AVIRIS 高光谱遥感影像, 它是高光谱数据分类 方法研究中常用的数据集。实验区位于 Indiana 西北部地区的一个农业与森林混合地区, 拍摄时 间在 作物 生长 季节。 数据大 小为 145 行 ∗ 145 列, 共有 220 个波段, 空间分辨率为 30 m。把水 吸收和噪声波段( 104~ 108、150~ 163、200) 去掉, 最终剩下 200 个波段。实验数据集的假彩色合成 影像和地面真实数据如图 1( a) 、1( b) 所示。
文献标志码: A
利用 SVM CRF 进行高光谱遥感数据分类
李祖传1, 2 马建文1 张 睿2, 3 李利伟1
( 1 中国科学院对地观测与数字地球科学中心, 北京市中关村北一条 9 号, 100190) ( 2 中国科学院研究生院, 北京市玉泉路甲 19 号, 100049)
( 3 中国科学院遥感应用研究所, 北京市大屯路甲 20 号, 100101)
P ( ( y i , y j ) = k | ij ( x ) , v) =
L
# ex
p(
v
T kk
ij ( x ) ) / ( ∀+
ex
p(
v
T nn
ij ( x ) ) ) , k (
L
n= 1
L
# ∀/ ( ∀+
ex
p(
v
T nn
ij ( x ) ) ) , k =
L+ 1
n= 1
( 9) 式中, k ( L 表示 y i = y j = k; k = L + 1 表示 y i & y j , ∀= L ( L - 1) 为常数项。采用拟牛顿法 BFG S 可以求解等式( 7) , 最终获得 v 的最优值 v^ 。
摘 要: 提出了一种改进的随机场模型 SV M CRF , 它以支持向量机作为条件 随机场的一 阶势能项, 结合了 支 持向量机和条件随机场的优点。采用 A V IRIS 高光谱 遥感数 据进行 实验, 对 SV M CRF 模型 进行了 分析, 结 果表明, 在分类精度上 SV M CRF 优于支持向量机和传统条件随机场模型。 关键词: 支持向量机; 条件随机场; 高光谱数据 中图法分类号: P237. 4; T P753
# # #(
I ij ( y i , y j , x , v^ ) ) }
( 10)
i∃ S j ∃ i
由于本文采用一阶势能项和二阶势能项分开
学习的方法, 因此, 在推理过程中很难确定它们的
权重, 很容易导致某一项权重过高的问题[ 17] 。因
此, 在模型中引入常数项 #, 用于调节上下文信息
在 SVM CRF 模型中的权重。在分类的过程中,
30 7
分类结果来获取多类分类的后验概 率[ 12] 。这种
方法通过二类分类的条件概率 ij = P ( y = i | y = i or j , x ) 的估计值 rij 估计后验概率 p i = P ( y = i | x ) , i = 1, %, L ( 其中 L 表示类别数) 。本文的后 验概率通过优化如下目标函数获取[ 12] :
收稿日期: 2011 01 27。 项目来源: 国 家 自 然 科 学 基 金 资 助 项 目 ( 40901234 ) ; 中 国 科 学 院 知 识 创 新 工 程 青 年 人 才 领 域 前 沿 项 目 专 项 资 助 项 目
( O8S01100CX) 。
第 36 卷第 3 期
李祖传等: 利用 SVM CRF 进行高光谱遥感数据分类
式( 7) 获得; 第三项为二阶势能项参 数的高斯先
验; 为规划常数; C1 为只有一个结点的派系; C2
为有两个结点的派系。二阶势能项参数估计的目
标函数可以写成:
# IP =
lgP ( y i , y j | ij ( x ) , v ) - vT v/ ( 2 2 )
i, j ∃ C2
( 7)
P( y i = k, yj = l | uij ( x ) , v) =
第 36 卷 第 3 期 2011 年 3 月
百度文库
武汉大学学 报 信息科学版 Geo matics and Info rmat ion Science of W uhan U niver sity
V ol. 36 N o. 3 M ar ch 2011
文章编号: 1671 8860( 2011) 03 0306 05
响应函数( 当 y i 为 k 时, 函数值为 1, 其他为 0) ;
ij ( x ) 表示点对( i , j ) 的特征。 ij ( x ) 可以采用点
对特征向量差值的绝对值, 或者是点对( i , j ) 的特
征在特征空间上的连接, 由于后者在分类精度上 优于前者, 因此本文选择后者[ 10] 。最终, ij ( x ) 表 示为 ij = [ x i1 % x in x j 1 % x jn 1] , 其 中, 常数 1 是为了考虑偏移量。
# # min
( r ji p i - rij p j ) 2
P i= 1 j : j & i
( 2)
L
# subject t o p i = 1, p i ∋ 0, i ( 3) i= 1
其中,
rij = P ( y = i | y = i or j , x ) = 1/ ( 1 + eAf^ + B )
T ab. 1 Classes and Samples
类名
描述
样本 训练样 类名 总数 本数
描述
样本 训练样 总数 本数
C N Corn 1 434 718 not ill
CM Corn min 834 418
S N Soybeans 968 484 not ill
So y be ans
SM
min 2 468 1 235
( 4)
式中, f^ 为决策分类值, 采用 SVM 获得。 在 MRF 模型中, 常采用 Ising 模型作为描述
类别上下文信息的二阶势能项。但是, Ising 模型
忽视了观测数据的上下文信息。为了能同时捕获
类别和观测数据的上下文信息, SVM CRF 模型 采用一种改进的 Ising 模型[ 13] 。
1 SVM CRF
SVM 是一种基于结构风险最小的小样本统 计学 习方法, 非常适合于高 光谱遥感数据分类。 因此, SVM CRF 采用 SVM 作为一阶势能项, 采 用 CRF 的方法描述上下文信息。因此, SVM CRF 结合了 SVM 和 CRF 的优点。根据 CRF 的 定义, SVM CRF 的定义为:
GP
G rass/ pas tu re
497 250
SC
So y be ans cl ean
614
310
GT
G rass/ tree
747 374 WD W oods 1 294 650
由于遥感数据以及类别空间都比较大, 计算
分割函数 Z 是一个 NP 难问题, 因此, 本文采用分 片学习[ 14] 的方法估计模型参数。采用式( 1) 的对
数形式进行 M AP 估计, SVM CRF 分片 学习的 目标函数可以写为:
L pw ( v) = { lg ex p{ SP i ( y i , x i ) } } +
# # i ∃ Ci
ex p{ SP i ( y i , x i ) }
xi
{
lg
# # ( i, j) ∃ C2
exp{ I ij ( yi , y j, , v } } ex p{ I ij ( y i , y j, , v }
vT v 22
( 6)
x i, xj
式中, SPi ( y i , x i ) 通过目标函数式( 2) 和约束条件
CRF 模型对! 维度灾难∀问题敏感。此外, 高光谱 遥感数据特征空间极其复杂, 一般线性不可分, 通 过简单的一阶势能项不能得到理想分类结果[ 11] 。 针对这些问题, 本文提出了一种改进的适用于高 光谱遥感数据分类的随机场模型 支持向量机 条件随机场( support v ect or m achine co ndit ional random field, SVM CRF ) 。
I ij ( y i , yj , x , v ) =
#v
T kl
ij ( x )
k, l ∃ { 1, %, L}
( y i = k) ( y j = l)
( 5)
式中, v 表示模型的参数; v kl = [ v kl1 v kl 2 %
v klN !kl ] T ( 其中, !kl 是偏移量) ; ( y i = k) 为冲击
对于随机场概率模型, 根据学习的模型参数 找到输 入新数 据的最 优类别 是一 个推理 过程。
LBP 是一种高效的 推理算法, 本文 采用 L BP 的 max pr oduct 算法获取新数据的最优类别值[ 16] 。 在 LBP 的推理过程中, 模型可以写成:
# P ( y | x ) ) ex p{ ( SP i ( y i , x i ) ) + i∃ S
LL
# # ex
p
(
v
T kl
ij ( x ) ) /
ex
p
(
v
T mn
ij ( x ) )
( 8)
m= 1 n= 1
由于类别上的上下文信息是鼓励相同类别的
出现, 压制不同类别, 最终达到平滑的目的, 因此, 当点对 的 类 别 不 相 同 时, vkl 设 置 为 0。 最 终, 式( 7) 可以写成[ 15] :
高光谱遥感数据包含丰富的光谱信息, 能够 对目标进行精细分类。传统的基于像元的高光谱 遥感数据分类方法, 如支持向量机( support v ec t or machine, SV M ) [ 1] , 假定 数据是 独立同 分布 的[ 2, 3] 。但是, 遥 感数 据, 特 别是 高 光谱 遥 感数 据, 在类别和观测数据上存在很强的相关性, 即所 谓的上下文信息, 不满足独立同分布的假设[ 4, 5] 。 同时, 如果能有效利用这些上下文信息, 可以有效 地提高分类精度。
推理和学习过程用 M at lab 编程实现。SVM 选用 LIBSV M 软件包[ 18] , SV M 的核函数选择径
30 8
武 汉 大学 学报 信息 科 学版
2011 年 3 月
向基函数。通过交叉 验证和格网搜 索方法获取 SVM 的最优模型参数, 以总精度作为分类结果的 精度评价标准。
图 1 实验数据集与地面真实数据 Fig . 1 Ex per imenta l Data Sets and Gr ound T ruth
2. 2 SVM CRF 实验分析 由于有些类别像素个数比较少, 因此, 选择样
本数最多的 9 个类别进行实验, 每个类别随机选 择一半作为训练数据, 剩余部分作为验证数据, 如 表 1 所示。为了满足训练二阶势能项的需要, 在 选择训练样本的过程中, 把所选择的点以及四邻 域相同类别的点都选上。
表 1 类别及样本
# P ( y | x ) =
1 Z
exp{
i∃
S
SPi ( y i ,
x
i)
+
# # I ij ( y i, y j , x , v) }
( 1)
i∃ S j∃ i
式中, SPi ( y i , x i ) 表示点 i 只考虑当前观测值的后
验概率。
SVM 是一种判别式分类器, 最终的输出结果 不带后验概率。但是, 可以通过组合所有的二类
可以通过格网搜索和交叉验证的方法获取 #的最
佳值。
2 实验与分析
2. 1 实验数据集 本文选择 的实 验 数据 集 为 1992 年 获 取的
AVIRIS 高光谱遥感影像, 它是高光谱数据分类 方法研究中常用的数据集。实验区位于 Indiana 西北部地区的一个农业与森林混合地区, 拍摄时 间在 作物 生长 季节。 数据大 小为 145 行 ∗ 145 列, 共有 220 个波段, 空间分辨率为 30 m。把水 吸收和噪声波段( 104~ 108、150~ 163、200) 去掉, 最终剩下 200 个波段。实验数据集的假彩色合成 影像和地面真实数据如图 1( a) 、1( b) 所示。
文献标志码: A
利用 SVM CRF 进行高光谱遥感数据分类
李祖传1, 2 马建文1 张 睿2, 3 李利伟1
( 1 中国科学院对地观测与数字地球科学中心, 北京市中关村北一条 9 号, 100190) ( 2 中国科学院研究生院, 北京市玉泉路甲 19 号, 100049)
( 3 中国科学院遥感应用研究所, 北京市大屯路甲 20 号, 100101)
P ( ( y i , y j ) = k | ij ( x ) , v) =
L
# ex
p(
v
T kk
ij ( x ) ) / ( ∀+
ex
p(
v
T nn
ij ( x ) ) ) , k (
L
n= 1
L
# ∀/ ( ∀+
ex
p(
v
T nn
ij ( x ) ) ) , k =
L+ 1
n= 1
( 9) 式中, k ( L 表示 y i = y j = k; k = L + 1 表示 y i & y j , ∀= L ( L - 1) 为常数项。采用拟牛顿法 BFG S 可以求解等式( 7) , 最终获得 v 的最优值 v^ 。
摘 要: 提出了一种改进的随机场模型 SV M CRF , 它以支持向量机作为条件 随机场的一 阶势能项, 结合了 支 持向量机和条件随机场的优点。采用 A V IRIS 高光谱 遥感数 据进行 实验, 对 SV M CRF 模型 进行了 分析, 结 果表明, 在分类精度上 SV M CRF 优于支持向量机和传统条件随机场模型。 关键词: 支持向量机; 条件随机场; 高光谱数据 中图法分类号: P237. 4; T P753
# # #(
I ij ( y i , y j , x , v^ ) ) }
( 10)
i∃ S j ∃ i
由于本文采用一阶势能项和二阶势能项分开
学习的方法, 因此, 在推理过程中很难确定它们的
权重, 很容易导致某一项权重过高的问题[ 17] 。因
此, 在模型中引入常数项 #, 用于调节上下文信息
在 SVM CRF 模型中的权重。在分类的过程中,
30 7
分类结果来获取多类分类的后验概 率[ 12] 。这种
方法通过二类分类的条件概率 ij = P ( y = i | y = i or j , x ) 的估计值 rij 估计后验概率 p i = P ( y = i | x ) , i = 1, %, L ( 其中 L 表示类别数) 。本文的后 验概率通过优化如下目标函数获取[ 12] :
收稿日期: 2011 01 27。 项目来源: 国 家 自 然 科 学 基 金 资 助 项 目 ( 40901234 ) ; 中 国 科 学 院 知 识 创 新 工 程 青 年 人 才 领 域 前 沿 项 目 专 项 资 助 项 目
( O8S01100CX) 。
第 36 卷第 3 期
李祖传等: 利用 SVM CRF 进行高光谱遥感数据分类
式( 7) 获得; 第三项为二阶势能项参 数的高斯先
验; 为规划常数; C1 为只有一个结点的派系; C2
为有两个结点的派系。二阶势能项参数估计的目
标函数可以写成:
# IP =
lgP ( y i , y j | ij ( x ) , v ) - vT v/ ( 2 2 )
i, j ∃ C2
( 7)
P( y i = k, yj = l | uij ( x ) , v) =
第 36 卷 第 3 期 2011 年 3 月
百度文库
武汉大学学 报 信息科学版 Geo matics and Info rmat ion Science of W uhan U niver sity
V ol. 36 N o. 3 M ar ch 2011
文章编号: 1671 8860( 2011) 03 0306 05
响应函数( 当 y i 为 k 时, 函数值为 1, 其他为 0) ;
ij ( x ) 表示点对( i , j ) 的特征。 ij ( x ) 可以采用点
对特征向量差值的绝对值, 或者是点对( i , j ) 的特
征在特征空间上的连接, 由于后者在分类精度上 优于前者, 因此本文选择后者[ 10] 。最终, ij ( x ) 表 示为 ij = [ x i1 % x in x j 1 % x jn 1] , 其 中, 常数 1 是为了考虑偏移量。
# # min
( r ji p i - rij p j ) 2
P i= 1 j : j & i
( 2)
L
# subject t o p i = 1, p i ∋ 0, i ( 3) i= 1
其中,
rij = P ( y = i | y = i or j , x ) = 1/ ( 1 + eAf^ + B )
T ab. 1 Classes and Samples
类名
描述
样本 训练样 类名 总数 本数
描述
样本 训练样 总数 本数
C N Corn 1 434 718 not ill
CM Corn min 834 418
S N Soybeans 968 484 not ill
So y be ans
SM
min 2 468 1 235