再生核

再生核

定义：H是一个定义在一抽象集合B的实值或复值的Hilbert函数空间，对任意f(x)属于H，x属于B，若存在二元函数K(x,y)，满足：

(1)对任意固定y属于B，K(x,y)作为x的函数属于H；

(2)对任意f(x)属于H，有f(y)=(f(x),K(x,y))H(H为下标)。

则称K(x,y)为H的再生核，H是以K(x,y)为再生核的Hilbert空间，简称再生核Hilbert空间，简记为RKHS(Reproducing Kernel Hilbert Space)。

通常称(2)为再生性质。

性质：

(1)唯一性：如果Hilbert空间有再生核K(x，y)，则再生核唯一(如果内积不同，也可能有不同的再生核)；

(2)存在性：Hilbert空间H有再生核=所有的泛函et(t为下标)，t∈E在H上连续；

(3)全空间与子空间核的关系；参考《以{EI}I^N=1为正交基的再生核HILBERT空间》--李莎莎，郭锐

(4)正定性：任何一个再生核都是正定矩阵(对应的二次型)。

数学解释

定义：

H是一个定义在一抽象集合B的实值或复值的Hilbert函数空间，对任意f(x)属于H，x属于B，若存在二元函数K(x,y)，满足：(1)对任意固定y属于B，K(x,y)作为x的函数属于H；(2)对任意f(x)属于H，有

f(y)=(f(x),K(x,y))H(H为下标)。则称K(x,y)为H的再生核，H是以K(x,y)为

再生核的Hilbert空间，简称再生核Hilbert空间，简记为RKHS(Reproducing Kernel Hilbert Space)。通常称(2)为再生性质。

性质：

(1)唯一性：如果Hilbert空间有再生核K(x，y)，则再生核唯一(如果内积不同，也可能有不同的再生核)；(2)存在性：Hilbert空间H有再生核=所有的泛函et(t为下标)，t∈E在H上连续；(3)全空间与子空间核的关系；参考《以{EI}I^N=1为正交基的再生核HILBERT空间》--李莎莎，郭锐(4)正定性：任何一个再生核都是正定矩阵(对应的二次型)。

我们知道对于一个连续函数，用紧支撑的频率范围在[-oimga，omiga]内,也就是带限的傅立叶表示,这样的要完全重构的函数系数，即傅立叶变换系数是有界的就可以得出函数本身可以表示成函数的抽样值得叠加。就是

f(x)=sum(f(n*pi/omiga)*sin(omiga*x-n*pi))/(omiga*x-n*pi)).只要采样速率取到omiga/pi这个那奎斯特速率上就可以，但是为了使sinc衰减更快些，可使用大于1倍的那奎斯特速率去采样。当然，如果小于1的话，肯定会产生频谱混叠了。这样函数就可以由其抽样f(n.)和sinc函数的线性组合来表示，这是在指时域的表示。这里sinc就相当于一个再生核函数，说明白些，这其实就相当于希尔伯特空间基的概念。只是这其中的理论很复杂，小波在希尔伯特空间中相当于再生核，所有的函数都是投影在小波上的。虽然小波系数积分为零，而函数的积分不为零。

统计学习理论的本质正在读(2人)，已读过(6人)放入书架分享到：开心网|人人网

当当价：￥25.90

定价：￥32.00折扣：81折

顾客评分：已有6人评论

作者：(美)瓦普尼克著，张学工译

出版社：清华大学出版社

出版时间：2000-9-1

本书是在前一版的基础上修订而成的，书中主要介绍了统计学习理论和支持向量机的关键思想、结论和方法，以及该领域的最新进展。全书增加了关于SVM方法的三章新内容，其中包括把SVM方法推广到用于估计实值函数，基于(用SVM方法)求解多维积分方程的直接方法，以及经验风险最小化原则的扩展及其在SVM中的应用。该书可供各大专院校作为教材使用，也可供从事相关工作的人员作为参考用书使用。

内容简介

统计学习理论是针对小样本情况研究统计学习规律的理论，是传统统汁学的重要发展和补充，为研究有限样本情况下机器学习的理论和方法提供了理论框架，其核心思想是通过控制学习机器的容量实现对推广能力的控制。在这一理论中发展出的支持向量机方法是一种新的通用学习机器，较以往方法表现出很多理论和实践上的优势。本书是该领域的权威著作，着重介绍了统计学习理论和支持向量机的关键思想、结论和方法，以及该领域的最新进展。本书的读者对象是在信息科学领域或数学领域从事有关机器学习和函数估计研究的学者和科技人员，也可作为模式识别、信息处理、人工智能、统计学等专业的研究生教材。

目录

译序

第二版前言

第一版前言

0引论：学习问题研究的四个阶段

0.1 Rosenblatt的感知器(60年代)

0.1.1感知器模型

0.1.2对学习过程分析的开始

0.1.3对学习过程的应用分析与理论分析0.2学习理论基础的创立(60-70年代) 0.2.1经验风险最小化原则的理论

0.2.2解决不适定问题的理论

0.2.3密度估计的非参数方法

0.2.4算法复杂度的思想

0.3神经网络(80年代)

0.3.1神经网络的思想

0.3.2理论分析目标的简化

0.4回到起点(90年代)

第一章学习问题的表示

1.1函数估计模型

1.2风险最小化问题

1.3三种主要的学习问题

1.3.1模式识别

1.3.2回归估计

1.3.3密度估计(Fisher-wald表示)

1.4学习问题的一般表示

1.5经验风险最小化归纳原则

1.6学习理论的四个部分

非正式推导和评述--1 1.7解决学习问题的传统模式1.7.1密度估计问题(最大似然方法)

1.7.2模式识别(判别分析)问题

1.7.3回归估计模型

1.7.4最大似然法的局限

1.8密度估计的非参数方法

1.9用有限数量信息解决问题的基本原则

1.10基于经验数据的风险最小化模型

1.11随机逼近期间

第二章学习过程的一致性

2.1传统性的一致性和非平凡一致性概念

2.2学习理论的关键定理

2.3一致双边收敛的充分必要条件

2.4一致单边收敛的充分必要条件

2.5不可证伪性理论

2.6关于不可证伪性的这定理

2.7学习理论的三个里程碑

非正式指导和评述--2 2.8概率论和统计学的基本问题