多特征融合的遥感图像分类

•
开始
测试图像
如Label12=Label3，且 Label2+Label3>Label1
Y
输出 Label2
SVM1 BOVW
P1,Label1
SVM2 Color
P2,Label2
SVM3 Gabor
P3,Label3
N
输出 Label1
输入Label1,Label2,Label3, 分别对应P1,P2,P3中最 大，次大，最小值所对应 的Label
Assign sift features into clusters
R1 R2
R1 R2
Compute the frequency of each cluster within an image
R3
R3
BoW histogram representations
高分遥感图像的图像特征-视觉词袋

视觉词袋的计算过程
融合多特征的高分遥感图像特征分类 测试数据集


优点：避免了图像分割过程
在局部图像块表示中，词包模型
(Bag-of-Word, BOW)受到了大量的关注
高分遥感图像的图像特征-视觉词袋
•
Works pretty well for whole-image classification
Csurka et al. (2004), Willamowski et al. (2005), Grauman & Darrell (2005), Sivic et al. (2003, 2005)
（1）利用SIFT算法，从每类图像中提取视觉词汇，将所有的视觉 词汇集合在一起
高分遥感图像的图像特征-视觉词袋

第二步是利用K-Means算法构造单词表。K-Means 算法是一种基于样本间相似性度量的间接聚类方法， 此算法以K为参数，把N个对象分为K个簇，以使簇内 具有较高的相似度，而簇间相似度较低。SIFT提取的 视觉词汇向量之间根据距离的远近，可以利用KMeans算法将词义相近的词汇合并，作为单词表中的 基础词汇，假定我们将K设为4，那么单词表的构造过 程如下图所示：
融合多特征的高分遥感图像特征分类 测试数据集

采用了文献Bag-Of-Visual-Words and Spatial Extensions for Land-Use Classification 中的数据集 文献中描述为国际上第一个大型的遥感图像分类公共测试数据 集，共21类，每类100幅图像，均为快鸟高分辨率遥感图像， 大小为256*256，均从美国地质勘探局下载，包括：农田、飞 机、棒球内场、海滨、建筑物、灌丛、稠密居住区、森林、高 速公路、高尔夫球场、海港、十字路口、中等稠密居住区、活 动房区、立交桥、停车场、河流、机场跑道、稀疏居住区、储 油罐和网球场
高分遥感图像的图像特征-视觉词袋
高分遥感图像的图像特征-视觉词袋

第三步是利用单词表的中词汇表示图像。利用SIFT算 法，可以从每幅图像中提取很多个特征点，这些特征 点都可以用单词表中的单词近似代替，通过统计单词 表中每个单词在图像中出现的次数，可以将图像表示 成为一个K=4维数值向量。
高分遥感图像的图像特征-视觉词袋
•
测试过程 待分类图像的BOVW,HLS和Gabor特征 用三个分类器分类，得到三 个概率 P1,P2,P3（按从大到小排序）,对应三个标签Label1，Label2，Label3 标记结果 采用投票的方式 由于次显著特征和最不显著特征组合可能要比显著 特征好，如果Label2=Label3，且之和大于Label1，则最终标记为Label2，或者 为Label1

改进的视觉词袋

原始的视觉词袋——仅包含单幅图像的特征，而缺乏对同类图像的类型 特征的统计分析 当同一场景图像之间差异大时，图像词袋表示差异也大，会影响分类精度
•
一类场景中所共有的特征往往出现在词频考前的单词上，对这些单词进 行加权标识，分类时会对待分类图像加入所属类的共有特征，提高分类 精度
高分遥感图像的图像特征-纹理特征
Gabor滤波器
使用5个尺度，6个方向的Gabor滤波器对原始图像进行
Gabor变换，形成30幅纹理图像，再计算这30幅纹理图像 的均值和方差，形成一个60维的特征向量
融合多特征的高分遥感图像特征分类 算法步骤

•
步骤
训练过程 将标记好的训练样本提取局部特征，得到BOVW表示，在提取全局的 HLS和Gabor纹理特征，分别训练SVM1,SVM2,SVM3三个分类器
高分遥感图像的图像特征-视觉词袋

•
改进步骤
类总体词袋表示：统计每一类场景所有视觉词袋单词词频，得到类别总体词袋
•
确定单词权重：从统计结果中取前N名单词，对这N个单词词频进行归一化，以 词频的倒数来表示单词对应的权重，对权重进行归一化，使权重值在0到1之间。 再对权重值加1操作，使权重值量化到1到2之间
•
挑选每类重要单词加权：图像的特征向量词袋分配后，将单幅图像中所属类的 前N名单词的权重值乘以该权重值对应的单词在这幅图像出现的词频
高分遥感图像的图像特征-颜色直方图

采用亮度饱和度HLS色彩空间
图像中的每一像素，将其H,L,S分量化为8等分，HLS直
方图就有256个间隔，然后统计所有直方图，最后归一 化，以消除图片大小的影响
多特征融合的遥感图像分类
2014年9月11日
目录

高分遥感图像的图像特征
视觉词袋特征 改进的视觉词袋特征 颜色直方图
纹理特征

融合多Biblioteka Baidu征的高分遥感图像特征分类算法
算法流程 测试集
高分遥感图像的图像特征-视觉词袋

提取图像中大量局部的小块，通过判定每个图像块可能的语义 信息，统计整幅图像中各个语义信息出现的频次，最终得到该 图像的描述。