第一讲 分类与回归问题-PPT精选文档

n
f( x ):C У的连续化方法（值得研究）
回归问题的类型
线性回归问题 非线性回归问题
回归问题的求解方法
• 插值方法 • 曲线拟合方法 最小二乘法： 偏差平方和最小 最小ε 带：偏差最大最小（可以变为两 类问题求解）
插值与拟合
图6插值:精确通过给定点;拟合:不需精确通过给定点
图7 最小ε带：偏差最大最小
分类问题：根据给定的训练集， T ( x , y ), , ( x , y ) 1 1 l l 其中
1 , 2 , ,l У{ 1 , 2 , , m } i xi C Rn y i
要求寻找C 上的决策函数
f( x ):C У
以便能用决策函数 f ( x ) “较好地”推断任一模 y 值。 x 式相对应的
从数学的角度看分类问题
• • • • 已知： （1）函数的值域为有限个离散点 （2）函数在某些点上的函数值。 求解：寻找一个函数能较好地预测其他点 上的函数值
注记
如何选择可选的函数类？ 丰富与简单之间的权衡 如何定义“较好地”？ 经验风险与置信风险的折中 n f(x ):C У 是连续函数吗？定义域 C 如果不是 R 空间呢？比如 Z n ；值域 У 取不同的值会否影响解？ 比如 У { 1 , 2 , 4 , , 2} m f( x ):C У的连续化方法（值得研究） 比如首先求一个从 C ( C )到 У ( У ) 的连续函 数 g ( x ) ,然后再对其离散化，得到不连续的分类函 数：f() x l a b e lg ( () x )
分类问题的类型
• 从类的多少角度：一类，二类，多类，可 列无穷类;其中一类、二类是最基本的问题， 因为其他可以通过它们来处理。 • 从类的线性可分角度：线性可分，线性不 可分。 • 从类之间序关系的角度：有序分类，无序 分类。
分类问题的求解方法
• 寻找每个类固有的特征：更适合于一类、 多类问题。如大部分的图像识别技术。 • 寻找类之间的差异：更适合于两类问题。 如支持向量机技术。 • 一点想法：从类的分布角度出发，可以考 虑从概率密度函数来选择分类函数，也可 以考虑从势函数和混沌吸引子来选择分类 函数。
{ 1 ,2 , ,m } • 分类： У 回归： У R • 因此回归可以看成是分类问题的推广，可 以看成是类别数为不可数时的分类问题。 但我们不能以此简单地认为回归问题比分 类问题难，事实上由于回归问题的值域为 整个实数域，常常更好处理。
注记
如何选择可选的函数类？ 丰富与简单之间的权衡 如何定义“较好地”？ 经验风险与置信风险的折中 定义域 C 如果不是 空间 R n 呢？比如 Z
第一讲 分类与回归问题
第一部分 分类问题 第二部分 回归问题
第一部分 分类问题
• 分类问题的描述 • 分类问题的类型 • 分类问题的求解方法
分类问题的描述
图1线性可分的两类问题
分类问题的描述
图2线性不可分的两类问题
分类问题的描述
图3 三类问题（1）
分类问题的描述
图4
三类问题（2）
分类问题的描述
要求寻找 C 上的决策函数
f( x ):C У
以便能用决策函数 f ( x ) “较好地”推断任一模 y 值。 x 式相对应的
从数学的角度看分类问题
已知： （1）函数的值域为整个实数域； （2）函数在某些点上的函数值。 求解： 寻找一个函数能较好地预测其他点上的函 数值。
回归问题与分类问题的关系
第二部分 回归问题的求解方法
回归问题的描述
图5 线性回归问题
回归问题的描述
图6 非线性回归问题
回归问题的描述
回归问题：根据给定的训练集， T ( x , y ), , ( x , y ) 1 1 l l 其中
n x C R , y У R , i 1 , 2 ,, l i i
图8 最小ε带 转换为两分类问题
结束