模式识别课程报告

模式识别课程报告什么是模式识别引用Anil K. Jain的话对模式识别下定义：Pattern recognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns.什么是Pattern 呢，Watanabe defines a pattern “as opposite of achaos; it is an entity, vaguely defined, that could be given a name.”比如说一张指纹图片，一个手写的文字，一张人脸，一个说话的信号，这些都可以说是一种模式。

识别在现实生活中是时时刻刻发生的，识别就是再认知(Re-Cognition),识别主要做的是相似和分类的问题，按先验知识的分类，可以把识别分为有监督的学习和没有监督的学习，下面主要介绍的支持向量机就是属于一种有监督的学习。

模式识别与统计学、人工智能、机器学习、运筹学等有着很大的联系，而且各行各业的工作者都在做着识别的工作，一个模式识别系统主要有三部分组成：数据获取和预处理，数据表达和决策。

模式识别的研究主要集中在两方面，一是研究生物体( 包括人)是如何感知对象的，二是在给定的任务下，如何用计算机实现模式识别的理论和方法。

前者是生理学家、心理学家、生物学家、神经生理学家的研究内容，属于认知科学的范畴；后者通过数学家、信息学专家和计算机科学工作者近几十年来的努力，已经取得了系统的研究成果。

模式识别的方法介绍：模式识别方法(Pattern Recognition Method)是一种借助于计算机对信息进行处理、判决分类的数学统计方法。

应用模式识别方法的首要步骤是建立模式空间。

所谓模式空间是指在考察一客观现象时,影响目标的众多指标构成的多维空间。

每个指标代表一个模式参量。

假设一现象有几个事件(样本) 组成,每一个事件都有P个特征参量(X1 , X2 ,. . . Xp ),则它就构成P维模式空间,每一个事件的特征参量代表一个模式。

模式识别就是对多维空间中各种模式的分布特点进行分析,对模式空间进行划分,识别各种模式的聚类情况,从而做出判断或决策。

分析方法就利用“映射”和“逆映射”技术。

映射是指将多维模式空间进行数学变换到二维平面,多维空间的所有模式(样本点) 都投影在该平面内。

在二维平面内,不同类别的模式分布在不同的区域之间有较明显的分界域。

由此确定优化方向返回到多维空间(原始空间) ,得出真实信息,帮助人们找出规律或做出决策,指导实际工作或实验研究。

针对不同的对象和不同的目的,可以用不同的模式识别理论、方法，目前主流的技术方法是:统计模式识别、句法模式识别、模糊模式识别、神经网络法、逻辑推理法。

(1)统计模式识别统计模式识别方法也称为决策论模式识别方法,它是从被研究的模式中选择能足够代表它的若干特征(设有d个) ,每一个模式都由这d个特征组成的在d维特征空间的一个d维特征向量来代表,于是每一个模式就在d维特征空间占有一个位置。

一个合理的假设是同类的模式在特征空间相距较近,而不同类的模式在特征空间则相距较远。

如果用某种方法来分割特征空间,使得同一类模式大体上都在特征空间的同一个区域中,对于待分类的模式,就可根据它的特征向量位于特征空间中的哪一个区域而判定它属于哪一类模式。

这类识别技术理论比较完善。

方法也很多,通常较为有效,现已形成了完整的体系。

尽管方法很多,但从根本上讲,都是直接利用各类的分布特征,即利用各类的概率分布函数、后验概率或隐含地利用上述概念进行分类识别。

其中基本的技术为聚类分析、判别类域界面法、统计判决等。

1)聚类分析在聚类分析中,利用待分类模式之间的“相似性”进行分类,更相似的作为一类,更不相似的作为另外一类。

在分类过程中不断地计算所分划的各类的中心,下一个待分类模式以其与各类中心的距离作为分类的准则。

聚类准则的确定,基本上有两种方式。

一种是试探方式。

凭直观和经验,针对实际问题定义一种相似性测度的阈值,然后按最近邻规则指定某些模式样本属于某一聚类类别。

例如欧氏距离测度,它反映样本间的近邻性,但将一个样本分到两个类别中的一个时,必须规定一距离测度的阈值作为聚类的判别准则,按最近邻规则的简单试探法和最大最小聚类算法就是采用这种方式。

另一种是聚类准则函数法。

定一种准则函数,其函数值与样品的划分有关。

当取得极小值时,就认为得到了最佳划分。

实际工作中采用得最多的聚类方法之一是系统聚类法。

它将模式样本按距离准则逐步聚类,类别由多到少,直到合适的分类要求为止。

2)判别类域界面法判别类域界面法中,用已知类别的训练样本产生判别函数，这相当于学习或训练。

根据待分类模式代入判别函数后所得值的正负而确定其类别。

判别函数提供了相邻两类判决域的界面，最简单、最实用的判别函数是线性判别函数。

线性判别函数的一般表达为下述矩阵式:01()()t n d x w x w +=+其中，012(,,...,)t n w w w w =，称为权向量，12(,,...,)t n x x x x =为n 维特征向量的样本，1n w +为阈值权。

()d x 判别函数是n 维特征空间中某个x 点到超平面的距离。

若以p x 表示x 到超平面H 的投影向量;r 为到超平面H 的垂直距离;0||||w 为权向量0w 的绝对值;0/0||||w w 为0w 方向上的单位向量, 则有'0001000,()()p p n w w x x d x w x w w w w γγγ+=+=++= 利用线性判别函数进行决策就是用一个超平面对特征空间进行分割。

超平面H 的方向由权向量决定,而位置由阈值权的数值确定,H 把特征空间分割为两个决策区域。

当()0d x >时,x 在H 的正侧;()0d x <时,x 在H 的负侧。

3)统计判别在统计判决中,在一些分类识别准则下严格地按照概率统计理论导出各种判决准则,这些判决准则要用到各类的概率密度函数、先验概率或条件概率,即贝叶斯法则。

贝叶斯判别原则有两种形式, 一种是基于最小错误率, 即若(|)(|),(,1,2,...,;)i j i p w x p w x x w i j n i j >∀∈=≠则但,换言之,要求最小错误率,就是要求(|)i p w x 为最大。

另一种是基于最小风险,对于某个x 取值采取决策所带来的风险定义为:i i j 1R(|x)=E (,w )(,)(|)ni j i i w P w x αλαλα=⎡⎤=⎣⎦∑,其中(,)i j w λα表示对于某一样品j x w ∈,而采取决策i α时的损失。

基于最小风险的贝叶斯规则为:若(|)min (|)k i R x R x αα=,则k αα=。

也就是说,对于所有x 取值的条件风险(|)i R x α,最小风险(损失) 的决策是使(|)i R x α取得最小值时的决策。

4)支持向量机统计学习理论是一种专门的小样本统计理论，为研究有限样本情况下的统计模式识别和更广泛的机器学习问题建立了一个较好的理论框架，同时也发展了一种新的模式识别方法——支持向量机，能够较好的解决小样本学习问题。

基于数据的机器学习是现代智能技术中的重要方面, 研究从观测数据(样本)出发寻找规律,利用这些规律对未来数据或无法观测的数据进行预测。

包括模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。

传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设，但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。

与传统统计学相比, 统计学习理论(Stat ist ical L earn ing Theo ry 或SL T ) 是一种专门研究小样本情况下机器学习规律的理论. V . V apn ik 等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视，统计学习理论是建立在一套较坚实的理论基础之上的, 为解决有限样本学习问题提供了一个统一的框架。

它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题(比如神经网络结构选择问题、局部极小点问题等)，同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机(Support Vector Machine 或SVM )，它已初步表现出很多优于已有方法的性能。

一些学者认为，SL T 和SVM 正在成为继神经网络研究之后新的研究热点，并将有力地推动机器学习理论和技术的发展我国早在八十年代末就有学者注意到统计学习理论的基础成果，但之后较少研究，目前只有少部分学者认识到这个重要的研究方向。

本文旨在向国内介绍统计学习理论和支持向量机方法的基本思想和特点，以使更多的学者能够看到它们的优势从而积极进行研究。

支持向量机基本过程：（基于LIBSVM 工具箱）一、支持向量机是解决数据分类问题的一种流行技术，甚至有人认为它用起来比神经网络还要好用，但是，使用者对SVM 不熟悉常常得到不理想的结果，这里我们介绍一下如何使用支持向量机来得到较理想的结果。

我们介绍的主要是对SVM 研究者的一个指导，并不是说要得到最好的精度，我们也没有打算解决什么有挑战或者有难度的问题，我们的目的是让SVM 研究者们掌握一个能有快又好的得到可行解得秘诀。

尽管使用者不用彻底理解SVM 的理论，但是，我们简要介绍SVM 的基础，因为这些东西对于后面的解释是有必要的。

一项分类工作通常包含训练数据和测试数据，这些数据就是一些例子，每个例子又包括它的类别和它的一些特性。

建立SVM 的目的就是建立一个模版，这个模版可以预测训练数据集中的数据属于哪一类。

给定一组训练数据(,),1,...,,,{1,1}n l i i i x y i l x R y =∈∈-，SVM 需要解决下面的最优化问题：这里i x 通过φ函数影射到了一个高维或者无穷维的空间，SVM 找到一个线性可分的超平面，使得这个超平面在高维空间有最大的边界值。

C>0是对于错误部分的惩罚参数。

此外，被称作核函数，尽管研究者不断的提出新的核函数，初学者可以在介绍SVM 的课本上找到四个基本的核函数：这里,,r γd 都是核函数的参数。