DM 3-4 预测方法及评价 QBai 21-08-2006PPT教学课件

y的平均值
(3-9.1)(30-55.4)…(16-9.1)(83-55.4)
=
=3.5
(3 9.2 1.).. .( ..1 6 9.2 1)
=55.4-(3.5)(9.1)=23.6
如预测10年工龄则：X=10
Y=23.6+3.5X=58.6
2020/12/10
10
回归曲线表示
年 薪 千 元
20
预测方法
Dr. Qingyuan Bai School of Computer Science Faculty of Mathematics and Computer Science,
Fuzhou University Email:
2020/12/10
1
预测方法
如何预测未知的数据的类?
--用前面的分类方法先学习模型
X1X X2 X2 X3 X3 将非线性回归化成多元回归
Y 1 X 1 2 X 2 3 X 3
2020/12/10
13
分类与预测方法的评价
准确度
速度 强壮性 可伸缩性 可解释性 灵敏性、特效性和精度
2020/12/10
14
分类、预测方法的准确度
➢ 影响2/10
11
2） 多元回归
多元回归（ Multiple regression） Y = 0 + 1X1 +…+ nXn. 可以根据X1….Xn 取值 计算出相应的系数 0 …… n
2020/12/10
12
3） 非线性回归
非线性回归 Y 1 X 2 X 2 3 X 3
学习的模型 评估的精度
16
2. K-折交叉确认
数据集 S 将S划分为k个互不相交的子集(折)S1, S2,…… Sk,每个折大小大致相等，取 S2, S3,…… Sk做训练，S1做测试；S1, S3,… Sk， 做训练，S2做测试；进行k次，k次正确 之和除以样本总数，就估计出准确率。
2020/12/10
17
提高准确度的方法
1.Bagging （装袋） 2.Boosting（推进） 这 2 种方法称组合学习方法
2020/12/10
18
1 Bagging(装袋）（1/3）
由于分类方法使用样本集来学习，由于样本 的分布问题和不完备问题，选择样本的方法 与数量不同，使学到的分类模型不唯一。
为了提高分类精度，人们提出组合学习方法 和多策略方法。
2020/12/10
7
1） 线性回归
线性回归是用直线对数据建模，变量X，Y呈线性关 系 Y=+X， ，为回归系数，一般用最小二乘 法来求解，系数，用数据可计算出来。
S为样本{ (x1,y1)(x2,y2)……(xs,ys)}
is1(xx)(yy) is1(xx)2
= y - x
x 是（x1,x2,…xs) 的平均值, y 是（y1,y2,…ys) 的平均值
对于连续值，投票组合可
以是平均，也可加权平均，
准确率高的权重大些
20
1 Bagging（装袋）（3/3）
优点: 并行性
Ci 分类器可并行进行，取样是取出放回
策略。 抗噪声
简单一次移动平均预测法
设{yt}为时间序列，序列有N个原始数据。
取n个项数为移动平均项数
yt是第t 时刻的实际值，求(t+1) 时刻的预测值，
yt + yt-1 + ……+ yt-n+1
ŷt+1 = n
一般 t n, n大 敏感性差，n小 受随机变影响大。
n
( yt 1 ^yt 1 )2
S t1
n1
2020/12/10
……预测的标准误差
4
2）加权一次移动平均预测法
简单一次移动平均预测法中把参与平均的数同等 看待，但实际应用中参与平均各时刻的数据在预 测中的作用是不一样的，为此需要加权平均。
ŷt+1=
w1 yt + w2 yt-1 +…+ wn yt-n+1 w1+w2+…wn
预测的标准误差与简单一次移动平均预测法一样
Bagging方法是一种组合方法,其基本思想是 用对样本集中不同样本取样进行学习，得到 多个分类器，然后对多个分类器的结果组合， 组合的结果为最终结果。
2020/12/10
19
1 Bagging(装袋）（2/3）
数据样本集S，分别取出样本子集Si ，(i=1,2,…T)
学习一个分类器Ci , 学习一次后，再把Si 放回样
◆学习方法有缺欠；
◆过拟合。
➢ 评估准确率的方法 ◆ 保持（Holdout)方法
◆ K-折交叉确认(K-fold cross-validation）
2020/12/10
15
1 保持（Holdout)方法
将已有标记的数据随机分为 2 部分 训练集和测试集。看测试集准确率。
训练集
数据集
测试集
2020/12/10
--然后预测未知的数据的类
预测的目的是从历史数据中自动推导出给 定数据的推广描述，从而能对未来数据进 行预测。
1. 时间序列预测模型
2. 回归方法
2020/12/10
2
1. 时间序列预测模型
1) 简单一次移动平均预测法 2) 加权一次移动平均预测法 3) 指数平滑预测法
2020/12/10
3
1）简单一次移动平均预测法
本集S中，S中的样本有的用多次，有的一次没用。
学T次，得C1,…,CT分类器，把C1,…,CT 用组合投票
形成C*,给一个要分类的数据X, 将X分别送到
C1,…,CT ，组合投票结果确定的类。
新的数据样本
C1
对于类别值，投票组合 以多数类为准
C2
训练数据样本
…
组合得票
预测的类
CT
2020/12/10
2020/12/10
8
线性回归例子
线性回归只能解决一个自变量和一个因变量的关
系，如工作年限和工资的关系
X 工作年限
Y
年 薪(千元）
3
30
8
57
9
64
13
72
3
36
6
43
11
59
21
90
1
20
16
83
2020/12/10
9
求系数，
is1(xx)(yy) is1(xx)2
x=9.1 x的平均值, y=55.4
2020/12/10
5
3）指数平滑预测法
一次指数平滑
对时间序列{yt } 加权，权的选择是一次的
yt 权为 α, yt-1 权为 α(1-α) , yt-2 权为 α(1- α)² ，（0<α<1）。
显然ŷt+1 值受yt 影响大些，以后依次减弱。
2020/12/10
6
2. 回 归 方 法
回归方法是预测的主要方法，有 1)线性回归 2)多元回归 3)非线性回归