最大似然分类算法原理及实现

算法网格实现 算法优化调整 遥感野外调查
4
1.项目背景及进展
多源遥感影像 数据预处理
Alos 高分辨率影像分类
分类系统的确定
Spot5
TM
中分辨率影像分类
研究尺度逐渐扩大
分类
分类方法的优选 外业调查验证
MODIS 低分辨率影像分类
算法优 化调整
林地信息提取
技术路线之分类
沙地信息提取
5
1.项目背景及进展
项目进展
10
2.最大似然分类算法原理
2.1算法基本思想
最大似然法将遥感影像多波段数据的分布作为多维正态分布来构造判别 分类函数。基本思想是：各类的已知像元的数据在平面或空间中构成一定的 点群；每一类的每一维数据都在自己的数轴上形成一个正态分布 ，该类的多 维数据就构成该类的一个多维正态分布；各类的多维正态分布模型在位置、 形状、密集或者分散程度等方面不同。以三维正态分布为例，每一类数据都 会形成近似铜钟形的立方体。
p(x)dx 1
概率密度函数
1
0.95
2
X
2
16
2.最大似然分类算法原理
2.3像元值的概率密度函数
❖ 针对只有一个波段的影像，X k1 {xk1, xk2 ,..., xki}，它的 正态分布密度函数，又称高斯分布密度函数为：
P(x)
1
2
exp
1 2
x
2
N(, 2)
P(xki / Gk )
已实现
1.基本功能：影像信息获取、影像缩放、影像裁剪与合并、影像输出等 2.样本库的建立、管理与应用 3.最大似然分类 4.最小距离分类 5.NDVI提取，植被覆盖度提取
待实现
1.变化检测——差值法部分移植；分类后比较独立实现 2.纹理分析——嵌入 3.SVM分类——嵌入 4.特征优选——嵌入
项目进展
数据资源、程序资源等继续研究？如何依托“三北”防 护林五期工程开展的契机与其能继续开展合作？
k1i k 2i
概率密度函数
18
2.最大似然分类算法原理
2.3像元值的概率密度函数
❖ 针对m维，即有m个波段的影像，第k类对应的正态分
布密度函数为：
1
P(x
/ Gk
)
S 1 2 k
2
m 2
exp
1 2
x
k
S' 1 k
x
k
注释： x1
x
x2
...
xm
k
k1
k
2
...
k
m
xk1
2.4贝叶斯公式的化简
P(Gk
/
x)
P(Gk )P(x / Gk ) P(x)
不考虑P(x)
P(Gk / x) P(Gk )P(x / Gk )
代入公式，两边取对数
1
P(x / Gk
)
S 1 2 k
2
m 2
exp
1 2
x
k
S' 1 k
x
k
推导过程
21
2.最大似然分类算法原理
2.4贝叶斯公式的化简
1
exp
1
21 2
xki
X k1
12
2
第K类中出现 xki 的概率
概率密度函数
17
2.最大似然分类算法原理
2.3像元值的概率密度函数
❖ 针对有两个波段的影像，X k1 {xk11, xk12 ,..., ， xk1i} X k 2 {xk 21, xk 22 ,..., xk 2i } 它的第K类的二维正态分布密度函数为：
在得到各类的多维分布模型后，对于未知类别的数据向量，便可通 过贝叶斯公式计算它属于各个类别的概率大小，比较这些概率，属于哪 一类的概率大，就把该数据向量或者像元归到这类中。
算法基本思想
12
2.最大似然分类算法原理
2.2贝叶斯公式的引入 ❖ 以具体问题为例：
池塘里有两种鱼，鲤鱼和草鱼；我们 下一条钓到的鱼是哪类鱼呢？？？
多时相遥感影像 数据预处理
变化信息提取
多时相TM遥感影像
长时间序列MODIS 遥感影像
比值法 插值法 分类后比较法 中分辨率尺度变化检测
植被指数插值法 低分辨率尺度变化检测
变化检测
外业调查验证 造林信息提取
算法优 化调整
……林地
技术路线之变化检测
……沙地
6
1
2345
4
项目进展
7
1.项目背景及进展
程序实现
k 1
推导过程
27
3.最大似然分类算法先验概率
3.1先验概率的解释
P(Gk
/
x)
P(Gk )P(x P(x)
/ Gk
)
❖ 贝叶斯公式的核心在于概率密度函数和先验概率。
❖ 概率密度函数=遥感影像的波谱信息
❖ 先验概率=遥感影像中地物的空间分布信息
❖ 令各个类别的先验概率相等，便忽略了地理分布信息； 分类精度会受到影响；尤其对于光谱特征相似但是分布 面积差距很大的类别。
❖ 如果考虑先验概率，那么x将归为类1；因为类1面 积的1/3要大于类2面积的1/2；
先验概率解释
30
3.最大似然分类算法先验概率
3.2先验概率的获取方法
❖ 土地利用类型统计数据获取各个地类面积的比率 ❖ 矢量化土地利用现状图获取各个地类面积的比率 ❖ 非监督分类初步获取各个地类面积的比率 ❖ 初次最大似然分类获取各个地类面积的比率 ❖ 利用地物的几何空间特征、情景特征、邻近像素的 空间自相关定律、景观参数等，基于最小距离分类获 得的先验知识，来调整先验概率
xk2
...
xkm
S k 是第k类m个波段值的协方差矩阵
Sk
1 nk 1Wk
概率密度函数
19
2.最大似然分类算法原理
2.3像元值的概率密度函数
❖ 假设影像可以分为g个类别，由前面我们可以得到g个概率分布密度函数， 可以计算g个类别中m维随机变量x，即m个波段的像元x，出现各类值的概 率；那么现在对于一个已知的m维随机变量x，我们就可以反过来算它属 于g个类别中第k类的概率，由贝叶斯公式得：
x'Sk1k
1 2
k
' S k1 k
Pk *
1 ln 2
S
1 2
x'S 1x
x
'
S
1 k
1 2
k
'
S
1 k
fk
•x
'S
1 k
1 2
k
'S
1 k
推导过程
25
2.最大似然分类算法原理
2.4贝叶斯公式的化简
fk
x'
S
1 k
1 2
k
'
S
1 k
ck
S
1 k
矩阵 OR 常数？
c0k
1 2
k
j 1
p(w2 | x)
P(w2 ) p(x | w2 )
2
P(wj ) p(x | wj )
j 1
p(wj
|
x)
P(wj ) p(x | wj ) 贝叶斯公式
P(x)
X存在的总的可能性
贝叶斯公式
posterior likehood prior evidence
15
2.最大似然分类算法原理
2.3像元值的概率密度函数
❖ 概率分布函数：设X为ቤተ መጻሕፍቲ ባይዱ续型随机变量，定义分布函数；F(x) = P(X≤x)；
❖ 概率密度函数：如果存在一个非负函数p(x)使得下式成立，则p(x)称为
的概率密度函数：
F
x
x
p
t
dt
F x px P X x pxdx
❖ 概率密度函数应该满足以下条件，
P(x)
p(x) 0, ( x )
2
xk1i X k1
xk 2i X k 2 2 212 xk1i X k1
xk 2i X k 2
P(xk1i , xk2i / Gk )
1
2
12 2
11 22
122
1 2
exp
1 2
11
22
11 22
1 12 11 22
x , x 第K类中出现 (
) 的概率
林业生态工程遥感监测子课题项目小结
最大似然分类算法原理及实现
Reporter：孙家波 Date: 2010-12-15
中国农业大学
内容提要 项目背景及进展 最大似然分类算法原理 最大似然分类算法先验概率 下一步工作计划
2
1.项目背景及进展
项目来源：国家高新技术研究发展(863)计划——信息技术 领域高效能计算机及网络服务环境题 项目名称：基于多源数据的国家林业生态工程监测与评价网
ln P(Gk / x) ln P(Gk ) ln P(x / Gk )
1
ln
P(Gk
/ x)
ln
P(Gk ) ln
S 1 2 k
2
m 2
1 2
x
k
'
Sk1
x
k
最终公式
Pk
*
1 2
ln
Sk
1 2
x
k
'
Sk1
x
k
推导过程
22
2.最大似然分类算法原理
2.4贝叶斯公式的化简
假设1：假设各个类别的各个特征之间是相互独立的，并且每个特征具有相
p(x | wj )
鲤鱼
草鱼
贝叶斯公式
14
2.最大似然分类算法原理
2.2贝叶斯公式的引入
❖ 已知两类鱼的先验概率 P(wj ) ,和类条件概率密度 p(x | w j ) ,下一条钓
到的鱼是鲤鱼或者草鱼类别的概率分别可以表示为：
p(w1 | x)
P(w1) p(x | w1)
2
P(wj ) p(x | wj )
先验概率解释
29
3.最大似然分类算法先验概率
2
1
5
4
3
不考虑先验概率，像 元x归属取决于它在各个 类别中出现的概率；
考虑先验概率，像元x 归属取决于它在各个类别 中出现的绝对数！
❖ 地类1和地类2，光谱特征相似；
❖ 不考虑先验概率，假设像元x属于类1的概率为1/3， 属于类2的概率为1/2，那么x将归为类2；
1 Sk nk 1Wk
Sk (nk 1) Wk
g
S (n1 n2 ... nk ... ng g *1) Wk k 1
推导过程
S 1 W Ng
1 Ng
g
Wk
k 1
S 代入概率计算公式取代 S k
24
2.最大似然分类算法原理
2.4贝叶斯公式的化简
Pk
*
1 2
ln
Sk
1 2
x'Sk1x
算法基本思想
11
2.最大似然分类算法原理
2.1算法基本思想
根据训练样本，可以构造出各类的多维正态分布模型，实际就是各类出 现各种数据向量的概率，即概率密度函数或者概率分布函数或概率函数。
x1
X
x2
...
xn
特征向量
g1(x)
g2.(.x).
gn(x)
判别计算
Maxg(x)
x i
最大值选择器 决策
下一条钓到的鱼其类别状态为W W=w1，鲤鱼； W=w2，草鱼
下一条鱼是鲤鱼的先验概率为P(w1) 下一条鱼是草鱼的先验概率为P(w2)
只利用先验概率的信息来判断类别 P(w1)>P(w2)——鲤鱼 P(w1)<P(w2)——草鱼
贝叶斯公式
13
2.最大似然分类算法原理
2.2贝叶斯公式的引入
❖ 先验概率只是作为类别判断信息之一；实际情况下，会加入其它信息作 为判别的依据。例如，鱼的光泽度x，是一个连续的随机变量，它的分 布取决于类别的状态，称为类条件概率密度，表示为p(x|w) ,即在类别 为w的时候x的概率密度函数。如下图所示，鲤鱼和草鱼的光泽度的区别：
在获取或者改进了先验概率的基础上，进行迭代最大似然分类。计算当前分类 结果各地物类型的面积比例，作为下一次最大似然分类的先验概率；直到相邻 两次分类各地物面积比例变化率接近0或者分类精度趋于稳定为止。
先验概率获取方法
31
4.下一步工作计划
❖ 文章写作——基于TM影像的沙地提取。 ❖ 系统完善——基于本项目设计的各个功能。 ❖ 持续研究——在哪些点可以利用本项目已收集和积累的
8
最
最
大
小
似
距
然
离
分
分
类
类
9
1.项目背景及进展
待完善
1.样本库 (1)样本库的管理与样本选择功能整合； (2)样本选择的动态显示； (3)项目提交TM数据的各县规范样本库的建立，利用ERDAS的 样本纯化功能。
2.分类 (1)分类阈值设置——单机系统要求必须有； (2)决策树分类，针对MODIS数据； (3)分类结果评价功能； (4)分类后统计功能——结合需求。
'
S
1 k
1 2
k
'ck
fk x'ck c0k
推导过程
26
2.最大似然分类算法原理
2.4贝叶斯公式的化简
fk x'ck c0k
e fk
e fk
P(Gk / x)
g
e fk
e f1 e f2 ... e fg
k 1
P(Gk / x)
e( fk maxfk )
g
e( fk maxfk )
P(Gk
/
x)
P(Gk )P(x / Gk P(x)
)
P(B / A) P( AB) P( A)
P( A / B) P( AB) P( A)P(B / A)
P(B)
P(B)
概率密度函数
P(Gk / x) ??? P(Gk ) ??? P(x / Gk ) ???
P(x) <=1???
20
2.最大似然分类算法原理
格应用系统 课题名称：网格环境下林业生态工程多源遥感监测关键技术
研究 合作单位：三北局，林科院，清华大学，林大
项目背景
3
1.项目背景及进展
研究区选择
技术路线
数据收集与整理 遥感影像预处理 分类系统确定
核心
土地覆盖分类
林地现状信息 沙地现状信息
土地覆盖变化监测
林地变化信息 沙地变化信息
整体技术路线
造林工程遥感 监测
同的方差 2 ，这种情况下，协方差矩阵是对角阵，且仅仅是 2 与单位阵
I的乘积。因此，公式化简为：
Pk
*
1 2
x
k
'
Sk1
x
k
Pk
*
1
2
2
x k
2
最小距离分类
Pk * x k 2
推导过程
23
2.最大似然分类算法原理
2.4贝叶斯公式的化简
假设2：假设各个类别的协方差矩阵都相等，称其为总的协方差矩阵。