20.ENVI4.3 支持向量机分类原理、操作及实例分析

ENVI4.3 支持向量机分类原理、操作及实例分析

一、支持向量机算法介绍

1.支持向量机算法的理论背景

支持向量机分类（Support Vector Machine或SVM）是一种建立在统计学习理论（Statistical Learning Theory或SLT）基础上的机器学习方法。

与传统统计学相比，统计学习理论（SLT）是一种专门研究小样本情况下及其学习规律的理论。该理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将许多现有方法纳入其中，有望帮助解决许多原来难以解决的问题，如神经网络结构选择问题、局部极小点问题等；同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机（SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术的重大发展。

支持向量机方法是建立在统计学习理论的VC维（VC Dimension）理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。

支持向量机的几个主要优点有：

（1）它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值；

（2）算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题；

（3）算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较

好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关；

2.支持向量机算法简介

通过学习算法，SVM可以自动寻找那些对分类有较大区分能力的支持向量，由此构造出分类器，可以将类与类之间的间隔最大化，因而有较好的推广性和较高的分类准确率。

最优分类面（超平面）和支持向量

SVM的主要思想是针对两类分类问题，在高维空间中寻找一个超平面作为两类的分割，以保证最小的分类错误率。而且SVM一个重要的优点是可以处理线性不可分的情况。

用SVM实现分类，首先是要从原始空间中提取特征，将原始空间中的样本映射为高维特征空间中的一个向量，以解决空间中线性不可分的问题。

3.支持向量机算法的应用现状和前景

目前，SVM算法在模式识别、回归估计、概率密度函数估计等方面都有应用。例如，在模式识别方面，对于手写数字识别、语音识别、人脸图像识别、文章分类等问题，SVM 算法在精度上已经超过传统的学习算法或与之不相上下。

由于SVM方法较好的理论基础和它在一些领域的应用中表现出来的优秀的推广性能，近年来，许多关于SVM方法的研究，包括算法本身的改进和算法的实际应用，都陆续提了出来。目前，SVM 方法在分类方面的应用比较多，ENVI4.3首开先河，在其丰富的分类方法中又引入了SVM方法，成为同类遥感软件的领头羊。

二、在ENVI4.3中实现支持向量机分类的操作过程及实例分析

在ENVI4.3中进行支持向量机（SVM）分类操作简单、便于掌握。“打开待分类的影像-> 选择感兴趣区-> 设置SVM参数-> 进行分类”，分类只需进行这几个简单步骤。

1)打开影像

在ENVI4.3中打开影像。此测试影像为1200*1200的整型四波段QuickBird数据。

2)在原始影像上手工选取感兴趣区

建筑物（buildings）、裸土（soil）。

3)运用支持向量机（SVM）方法进行分类

在ENVI主菜单下选择Classification > Supervised > Support Vector Machine。

输入待分类的影像，随即弹出“Support Vector Machine Classification Parameters”对话框，用户可以根据自己的实际需要在此对话框中设置分类参数，以达到最优的分类效果。

分类效果如下图所示：

上图为添加了图例的分类结果图，未经过任何分类后处理。

上图为将未经过任何分类后处理的分类结果图与原始影像部分链接显示的结果。

分类效果及评价

1)比较其它分类方法得到的结果

分类采用同一原始影像和相同的感兴趣区（ROIS），比较结果如下图：

原始影像

支持向量机分类结果

最大似然法分类结果

最小距离法分类结果

下图为分类结果相同区域的Zoom 窗口比较：

注：以上分类结果均未进行任何分类后处理。

2) 总结

比较常用的最小距离法、最大似然法分类结果，可以看出支持向量机（SVM ）分类具有以下优点：

● 分类后的类别完整，未经过任何后处理就可以得到比较完整的类别

● 分类准确度高，误分、错分现象相对较少

尽管SVM 算法的性能在许多实际问题的应用中得到了验证，但是该算法在计算上存在着一些问题，包括训练算法速度慢、算法复杂而难以实现以及检测阶段运算量大等等。经验证，使用SVM 方法进行分类耗时约为一般分类方法的4-5倍（QuickBird2000*8000整型四波段影像耗时约2小时）。

best wishes!

--------------

仰满荣 (Miss Yang) 支持向量机分类结果

最小距离法分类结果 最大似然法分类结果