精品课件-模式识别导论-第9章

第9章 模式分析的核方法
定义9.1 希尔伯特空间F是一个具备可分性和完备性的 严格内积空间。完备性是指F中的元素的每一柯西序列 {hn}n≥1都收敛于元素h∈F。这里，柯西序列是满足性质
sup hn hk 0, n
k n
(9-2)
的序列。可分性是指空间F中有一组可数元素h1，…，hi，…，
在现实生活中，很多问题都不能用线性函数来表示，但是 如果改变其表达形式，则有可能用线性函数来描述。下面以物 理学中的万有引力定律为例进行说明。
第9章 模式分析的核方法
图9.1 低维空间中的线性不可分数据映射到 高维空间后变成线性可分
第9章 模式分析的核方法 例9.1 牛顿万有引力定律是解释物体之间的相互作用的 引力定律，其表达式为
第9章 模式分析的核方法 第9章 模式分析的核方法
9.1 核函数 9.2 核HCM算法 9.3 核FCM算法 9.4 核离散K-L变换 9.5 核Fisher线性判别 9.6 支持向量机
第9章 模式分析的核方法 现实世界存在的数据是复杂的，传统的线性学习器一般很 难适用于线性不可分数据的划分问题，为此人们需要利用比线 性函数更富有表达能力的假设空间。核方法提供了一种很好的 解决途径，它利用特征映射将低维输入空间中的线性不可分数 据映射到高维特征空间(一般来说，该高维特征空间是一个希 尔伯特空间)，使其在该空间中变得线性可分。该方法使得数 据在高维空间中易于处理，同时又避免了高维空间带来的维数 灾难问题，大大提升了传统线性学习器的计算能力。对核方法
本章首先介绍核函数的基本理论，然后对模式识别领域中
第9章 模式分析的核方法
9.1 核 函 9.1.1
给定l维输入空间X上的一个模式x=(x1，x2，…，xq)T，采 用一种非线性特征映射函数Φ(·)将x从q维原模式特征空间 映射到Q维变换特征空间，即
: x X Rq (x) RQ
(9-1)
: x (x1, x2) x x12, x22, 2x1x2 R
第9章 模式分析的核方法 那么，F中的线性函数的假设空间将是
g(x) w11x12 w22x22 w12 2x1x2 通过上面这样一种特征映射方式，输入空间中的数据从二维空 间被映射到三维空间。在特征空间中，利用给出的特征映射结 果和内积操作，可以得到
使得对于所有的h∈F和ε>0
i满足
||hi－h||<ε
(9-3)
第9章 模式分析的核方法
如果直接在映射后的特征空间进行分类，则存在确定非线 性映射函数的形式和参数以及特征空间维数等问题。此外，在 高维空间进行运算存在“维数灾难”问题。有时候我们可以把 内积作为输入特征的直接函数来更高效地计算内积，而不用显 式地计算映射函数Φ(·)。我们把这种直接计算内积的技术称
f
(m1
,
m2
,
r
)
C
m1m2 r2
其中,m1和m2为两个物体的质量，r为它们之间的距离。很明显，
传统的线性学习器是不能表达这种关系的。我们按照如下方式
对坐标进行变换；
可以得到新(m的1,表m2达, r方) 式；(, , ) (ln m1, ln m2, ln r)
该g(表, 达,式) 可ln以f通(m过1, m一2,个r)线 l性n C学习ln器m1进 l行n m学2 习 2。ln r c 2
第9章 模式分析的核方法
根据模式识别理论，低维空间线性不可分的模式可以通过 非线性映射将其映射到高维特征空间来实现线性可分，此高维 特征空间应该是完备且可分的内积空间。所谓内积空间是指， 在向量空间X上，如果存在一个实值对称的双线性(对于每个自 变量来说都是线性的)映射〈·，·〉(这一映射也被称为内 积)，该映射满足〈x，x〉≥0，则该向量空间是一个内积空 间。此外，如果当且仅当x=0时〈x，x〉=0，则称内积是严格 的。严格内积空间也被称为希尔伯特空间，下面给出其正式的
第9章 模式分析的核方法
定义9.2 对于所有的x，z X Rq ，若函数K
K(x，z)=〈Φ(x)，Φ(z)〉
(9-4)
则称函数K是核函数，其中Φ是从输入空间X到特征空间F的一
个映射(见式(9-1))，〈·，·〉
下面给出一个核函数的例子来说明非线性特征映射和核函
例9.2 考虑一个二维输入空间z X Rq ，假设通过特 征映射得到
第9章 模式分析的核方法 其中，Φ(x)=(Φ1(x)，Φ2(x)，…，ΦQ(x))T。Φ(·)表示一 个从低维特征空间到高维特征空间的非线性映射，映射的目的 是将非线性可分的样本在变换特征空间中线性可分。以图9.1 中左侧的数据为例，对其进行非线性映射，得到图9.1中右侧 的数据，可以明显看出，数据在新特征空间中是线性可分的。
: x (x1, x2 ) ( x) (x12 , x22 , x1x2 , x2 x1) R4
第9章 模式分析的核方法 9.1.2
定义9.2中给出了核函数K与映射Φ之间的关系。在实际 应用中，非线性映射Φ的具体表达式是很难直接给出的，我们 可以通过核函数的构造和确定来隐式地定义特征空间，避免对 原数据进行映射。下面给出几个与核函数相关的概念和性质。
( x), (z) x12 , x22 , 2x1x2 , z12, z22, 2z1z2 x12 z12 x22 z22 2x1x2 z1z2 (x1z1 x2 z2 )2 x, z2
第9章 模式分析的核方法 因此，函数K(x，z)=〈x，z〉2就是一个核函数。这意味 着我们可以计算两个点在原输入特征空间上的内积，而不用显 式地求出它们在新特征空间F的坐标。此外，〈x，z〉2也可以 是下面给出的四维特征映射
定义9.3(Gram矩阵) 给定一个向量集合X={x1，x2，…， xn}，Gram矩阵G为n×n的矩阵，其矩阵元素Gij=〈xi，xj〉。
第9章 模式分析的核方法
定义9.4(核函数矩阵) 给定输入空间的向量集合X={x1， x2，…，xn}，核函数矩阵K被定义为n×n的矩阵，且其矩阵元 素为Kij=〈Φ(xi)，Φ(xj)〉=K(xi，xj)。其中，K为核函数。