智能传感器系统支持向量机技术在智能传感器系统中的应用
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
支持向量机技术在智能传感器 系统中的应用
统计学习理论与 支持向量机的基础知识
• 统计学习理论是一种专门研究小样本数据 量情况下机器学习规律的理论。针对小样 本统计问题建立了一套新的理论体系，在 这种体系下的统计推理规则不仅考虑了对 渐近性能的要求，而且追求在现有有限信 息的条件下得到最优结果。
• 统计学习理论研究的内容包括经典统计 学中很多重要问题，特别是模式识别、 回归分析和密度估计。 • 统计学习理论是一种研究小样本估计和 预测的理论，研究基本内容包括： 1）学习过程一致性理论； 2）学习过程收敛速度的非渐近理论； 3）控制学习过程推广能力的理论； 4）构造学习算法理论
(h / l )
h(ln(2l / h 1) ln( / 4) l
h是函数H=f(x, w)的VC维, l是样本数.
一般的学习方法(如神经网络)是 基于 Remp(w) 最小,满足对已有训练数 据的最佳拟和,在理论上可以通过增加 算法（如神经网络）的规模使得 Remp(w) 不断降低以至为0。 但是,这样使得算法（神经网络）的 复杂度增加, VC维h增加,从而φ(h/l)增 大,导致实际风险R(w)增加,这就是学习 算法的过度拟和(Overfitting).
根据统计学习理论中关于函数集的 推广性的界的结论，对于两类分类问 题中的指示函数集f(x, w)的所有函数(当 然也包括使经验风险员小的函数)，经 验风险Remp(w)和实际风险R(w)之间至 少以不下于1-η(0≤η≤1)的概率存在这样 的关系:
R(w) Remp (w) (h / l )
学习到一个假设H=f(x, w) 作为预测函数, 其中w是广义参数.它对P(X,Y)的期望风险 R(w)是(即统计学习的实际风险)：
E( yi f ( x, w) [( yi f ( x, w)] P( X , Y yi )
i 1 n
1 R ( w) y f ( x, w) dP ( X , Y ) 2
而对train set上产生的风险Remp(w)被称 为经验风险(学习的训练误差):
1 Remp ( w) 2l
y
i 1
liΒιβλιοθήκη f ( xi , w)首先Remp(w)和R(w)都是w的函数，传统 概率论中的定理只说明了(在一定条件下) 当样本趋于无穷多时Remp(w)将在概率意义 上趋近于R(w)，却没有保证使Remp(w)最小 的点也能够使R(w) 最小(同步最小)。
• 统计学习理论是小样本统计估计和预测 学习的最佳理论。 • 假设输出变量Y与输入变量X之间存在某 种对应的依赖关系,即一未知概率分布 P(X,Y)，P(X,Y)反映了某种知识。学习问题 可以概括为:根据l个独立同分布 ( independently drawn and identically distributed )的观测样本train set，
统计学习理论与 支持向量机的基础知识
• 统计学习理论是一种专门研究小样本数据 量情况下机器学习规律的理论。针对小样 本统计问题建立了一套新的理论体系，在 这种体系下的统计推理规则不仅考虑了对 渐近性能的要求，而且追求在现有有限信 息的条件下得到最优结果。
• 统计学习理论研究的内容包括经典统计 学中很多重要问题，特别是模式识别、 回归分析和密度估计。 • 统计学习理论是一种研究小样本估计和 预测的理论，研究基本内容包括： 1）学习过程一致性理论； 2）学习过程收敛速度的非渐近理论； 3）控制学习过程推广能力的理论； 4）构造学习算法理论
(h / l )
h(ln(2l / h 1) ln( / 4) l
h是函数H=f(x, w)的VC维, l是样本数.
一般的学习方法(如神经网络)是 基于 Remp(w) 最小,满足对已有训练数 据的最佳拟和,在理论上可以通过增加 算法（如神经网络）的规模使得 Remp(w) 不断降低以至为0。 但是,这样使得算法（神经网络）的 复杂度增加, VC维h增加,从而φ(h/l)增 大,导致实际风险R(w)增加,这就是学习 算法的过度拟和(Overfitting).
根据统计学习理论中关于函数集的 推广性的界的结论，对于两类分类问 题中的指示函数集f(x, w)的所有函数(当 然也包括使经验风险员小的函数)，经 验风险Remp(w)和实际风险R(w)之间至 少以不下于1-η(0≤η≤1)的概率存在这样 的关系:
R(w) Remp (w) (h / l )
学习到一个假设H=f(x, w) 作为预测函数, 其中w是广义参数.它对P(X,Y)的期望风险 R(w)是(即统计学习的实际风险)：
E( yi f ( x, w) [( yi f ( x, w)] P( X , Y yi )
i 1 n
1 R ( w) y f ( x, w) dP ( X , Y ) 2
而对train set上产生的风险Remp(w)被称 为经验风险(学习的训练误差):
1 Remp ( w) 2l
y
i 1
liΒιβλιοθήκη f ( xi , w)首先Remp(w)和R(w)都是w的函数，传统 概率论中的定理只说明了(在一定条件下) 当样本趋于无穷多时Remp(w)将在概率意义 上趋近于R(w)，却没有保证使Remp(w)最小 的点也能够使R(w) 最小(同步最小)。
• 统计学习理论是小样本统计估计和预测 学习的最佳理论。 • 假设输出变量Y与输入变量X之间存在某 种对应的依赖关系,即一未知概率分布 P(X,Y)，P(X,Y)反映了某种知识。学习问题 可以概括为:根据l个独立同分布 ( independently drawn and identically distributed )的观测样本train set，