模式识别-第9章 核方法概要
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
称与之相关的L × L Gram矩阵为核矩阵 ，其元素为
Kij (xi ),(x j ) (xi , x j )
核矩阵可写作：
K XXt
基本运算
• 如果 1,2是核，B是一个半正定矩阵，p( x )是一
个正系数多项式，那么下面都是核:
(x,z) 1(x,z) 2 (x,z) (x,z) p1(x,z)
考虑一个二维输入空间 X 2 同时考虑特征映射：
: x (x1, x2 ) (x) (x12, x22, 2x1x2 ) F 3
那么，F中的线性函数为：
g(x) w11x12 w22 x12 w12 2x1x2
将特征空间中的线性 关系与输入空间中的 二次关系相对应：
(x, z) (x),(z) (x12, x22, 2x1x2 ),(z12, z22, 2z1z2 )
x12 z12 x22z12 2x1x2z1z2 x1z1 x2z2 2 x, z 2
不用显式计算特征空 直接计算特征空间中 特征空间并不由核
间中的坐标
的内积
函数唯一确定
(x, z) x, z 2 也可计算如下映射空间的内积
: x (x1, x2 ) (x) (x12, x22, x1x2, x2x1) F 4
L(w, S) 2Xty 2Xt Xw 0 w Xt Xw Xty
如果 Xt X 可逆 w (Xt X)1 Xty
9.1核方法概述——线性回归
• 给定n维空间中训练集合 S (x1, y1), ,(x , y ) ，寻
n
找齐次线性函数 g(x) w, x wtx wi xi 使其为
n
n
n
xi x j zi z j xi zi x j z j x, z 2
i, j1
i1
j 1
9 模式识别中的核方法
• 9.1核方法概述 • 9.2核方法基础 • 9.3凸优化与SVM
核矩阵
考虑 l 个训练样本在 N 维特征空间中映射，记为 l × N 矩阵
X (x1), ,(xl )t
(x,z) 1(x, z) (x, z) 1(x, z)2 (x, z) (x, z) xt Bx
(x,z) exp1(x,z)
9.1核方法概述——核函数举例
考虑一个 n 维输入空间 X n ，那么函数 (x, z) x, z 2
是一个核函数，对应的特征映射为：
: x (x1, x2 )
因为：
(x) (xi x j )in, j1 F 3
(x), (z) (xi x j )in, j1, (zi z j )in, j1
数据 核函数
核矩阵
PA算法
模式函数
• 核方法的4个关键：
– 数据嵌入特征空间
从基于线性函数类的模式 中抽取出来的模式函数
– 在特征空间中寻找线性模式
– 在嵌入空间中，不需要计算点的坐标，只用两两内积
– 利用核函数，可以直接从初始数据高效地计算内积。
9.1核方法概述——线性回归
• 给定n维空间中训练集合 S (x1, y1), ,(x , y ) ，寻
添加某种条件（或偏置），限制函数的选择（正则化）
L(w, S) 2 w 2
选择范数较小的w
2
范数与损失之间的相对权衡
L(w, S) 2Xty 2Xt Xw 2w 0
w
Xt X In w Xty In 是一个 n 阶单位阵， 0 时总可逆
w Xt X In 1 Xty
i 1
S 的最优插值
如果 Xt X 可逆 w (Xt X)1 Xty
w (Xt X)(Xt X)2 Xty Xt
yi
i
xi
=
i1
i
xi
训练点的线性组合
如果 Xt X 不可逆：伪逆——岭回归
9.1核方法概述——岭回归
如果 Xt X 不可逆：数据不够，或存在噪声 ——没有足够信息，精确指明解法（不适定ill-posed）
n
找齐次线性函数 g(x) w, x wtx wi xi 使其为
i 1
S 的最优插值
令 X (x1t , , xtl ), y ( y1, , yl )t
y g(x) w, x y Xw
yi
i
xi
通过给定的n维点，拟 合一个超平面
L(w, S) 2 (y Xw)t (y Xw) 2
g(x) w,x ytX
XtX In
1
x
9.1核方法概述——对偶岭回归
L(w, S) 2Xty 2Xt Xw 2w 0
w
训练点的线性组合
w 1Xt (y Xw) Xtα
α ：对偶变量
α 1(y Xw)
α (y Xw)
来自百度文库
α (y XXtα)
α (XXt I )1y
考虑一个嵌入映射 : x n (x) F N
将 x n 上的非线性关系转化为 N 高维空间上的线性关系
f (x, y) y g(x) y w,(x)
直接法：N 很大时，w (Xt X)1Xty 解N × N 的方程组代价过大 对偶法：需要的所有信息为特征空间 F 中的内积
Gi, j (xi ),(x j ) ki (xi ),(x)
第9章 模式识别中的核方法
9 模式识别中的核方法
• 9.1核方法概述 • 9.2核方法基础 • 9.3凸优化与SVM
9.1核方法概述
• 模式识别的核方法：
– 首先把数据嵌入到合适的特征空间 – 然后采用基于线性代数、几何、统计学算法，
发现嵌入数据的模式
9.1核方法概述
k(x, z)
K
A
ik(xi , z)
称 G XXt ,Gi, j xi ,x j 为Gram 矩阵 ki xi , x
g(x) w, x ixi , x i xi , x iki
i1
i1
i1
g(x) α,k yt G I 1 k
G:训练点对间的内积
k：训练点和测试点之间的内积
9.1核方法概述——核函数
跳过显式计算 (xi ) 直接计算 (xi ),(x) ——核函数： 核（kernel）是一个函数 ( , )，对于所有 x, z X 满足：
(x,z) (x),(z)
其中 是从 X 到（内积）特征空间 F 的一个映射 ：指至数无维限，维甚特
: x (x) F
征空间。
9.1核方法概述——核函数举例
Kij (xi ),(x j ) (xi , x j )
核矩阵可写作：
K XXt
基本运算
• 如果 1,2是核，B是一个半正定矩阵，p( x )是一
个正系数多项式，那么下面都是核:
(x,z) 1(x,z) 2 (x,z) (x,z) p1(x,z)
考虑一个二维输入空间 X 2 同时考虑特征映射：
: x (x1, x2 ) (x) (x12, x22, 2x1x2 ) F 3
那么，F中的线性函数为：
g(x) w11x12 w22 x12 w12 2x1x2
将特征空间中的线性 关系与输入空间中的 二次关系相对应：
(x, z) (x),(z) (x12, x22, 2x1x2 ),(z12, z22, 2z1z2 )
x12 z12 x22z12 2x1x2z1z2 x1z1 x2z2 2 x, z 2
不用显式计算特征空 直接计算特征空间中 特征空间并不由核
间中的坐标
的内积
函数唯一确定
(x, z) x, z 2 也可计算如下映射空间的内积
: x (x1, x2 ) (x) (x12, x22, x1x2, x2x1) F 4
L(w, S) 2Xty 2Xt Xw 0 w Xt Xw Xty
如果 Xt X 可逆 w (Xt X)1 Xty
9.1核方法概述——线性回归
• 给定n维空间中训练集合 S (x1, y1), ,(x , y ) ，寻
n
找齐次线性函数 g(x) w, x wtx wi xi 使其为
n
n
n
xi x j zi z j xi zi x j z j x, z 2
i, j1
i1
j 1
9 模式识别中的核方法
• 9.1核方法概述 • 9.2核方法基础 • 9.3凸优化与SVM
核矩阵
考虑 l 个训练样本在 N 维特征空间中映射，记为 l × N 矩阵
X (x1), ,(xl )t
(x,z) 1(x, z) (x, z) 1(x, z)2 (x, z) (x, z) xt Bx
(x,z) exp1(x,z)
9.1核方法概述——核函数举例
考虑一个 n 维输入空间 X n ，那么函数 (x, z) x, z 2
是一个核函数，对应的特征映射为：
: x (x1, x2 )
因为：
(x) (xi x j )in, j1 F 3
(x), (z) (xi x j )in, j1, (zi z j )in, j1
数据 核函数
核矩阵
PA算法
模式函数
• 核方法的4个关键：
– 数据嵌入特征空间
从基于线性函数类的模式 中抽取出来的模式函数
– 在特征空间中寻找线性模式
– 在嵌入空间中，不需要计算点的坐标，只用两两内积
– 利用核函数，可以直接从初始数据高效地计算内积。
9.1核方法概述——线性回归
• 给定n维空间中训练集合 S (x1, y1), ,(x , y ) ，寻
添加某种条件（或偏置），限制函数的选择（正则化）
L(w, S) 2 w 2
选择范数较小的w
2
范数与损失之间的相对权衡
L(w, S) 2Xty 2Xt Xw 2w 0
w
Xt X In w Xty In 是一个 n 阶单位阵， 0 时总可逆
w Xt X In 1 Xty
i 1
S 的最优插值
如果 Xt X 可逆 w (Xt X)1 Xty
w (Xt X)(Xt X)2 Xty Xt
yi
i
xi
=
i1
i
xi
训练点的线性组合
如果 Xt X 不可逆：伪逆——岭回归
9.1核方法概述——岭回归
如果 Xt X 不可逆：数据不够，或存在噪声 ——没有足够信息，精确指明解法（不适定ill-posed）
n
找齐次线性函数 g(x) w, x wtx wi xi 使其为
i 1
S 的最优插值
令 X (x1t , , xtl ), y ( y1, , yl )t
y g(x) w, x y Xw
yi
i
xi
通过给定的n维点，拟 合一个超平面
L(w, S) 2 (y Xw)t (y Xw) 2
g(x) w,x ytX
XtX In
1
x
9.1核方法概述——对偶岭回归
L(w, S) 2Xty 2Xt Xw 2w 0
w
训练点的线性组合
w 1Xt (y Xw) Xtα
α ：对偶变量
α 1(y Xw)
α (y Xw)
来自百度文库
α (y XXtα)
α (XXt I )1y
考虑一个嵌入映射 : x n (x) F N
将 x n 上的非线性关系转化为 N 高维空间上的线性关系
f (x, y) y g(x) y w,(x)
直接法：N 很大时，w (Xt X)1Xty 解N × N 的方程组代价过大 对偶法：需要的所有信息为特征空间 F 中的内积
Gi, j (xi ),(x j ) ki (xi ),(x)
第9章 模式识别中的核方法
9 模式识别中的核方法
• 9.1核方法概述 • 9.2核方法基础 • 9.3凸优化与SVM
9.1核方法概述
• 模式识别的核方法：
– 首先把数据嵌入到合适的特征空间 – 然后采用基于线性代数、几何、统计学算法，
发现嵌入数据的模式
9.1核方法概述
k(x, z)
K
A
ik(xi , z)
称 G XXt ,Gi, j xi ,x j 为Gram 矩阵 ki xi , x
g(x) w, x ixi , x i xi , x iki
i1
i1
i1
g(x) α,k yt G I 1 k
G:训练点对间的内积
k：训练点和测试点之间的内积
9.1核方法概述——核函数
跳过显式计算 (xi ) 直接计算 (xi ),(x) ——核函数： 核（kernel）是一个函数 ( , )，对于所有 x, z X 满足：
(x,z) (x),(z)
其中 是从 X 到（内积）特征空间 F 的一个映射 ：指至数无维限，维甚特
: x (x) F
征空间。
9.1核方法概述——核函数举例