单变量线性回归课件

.
➢代价函数
建模误差：选择的参数决定了得到的直线相对于训练集 的准确程度模型所预测的值与训练集中实际值之间的差 距。目标：是选择出可以使得建模误差的平方和能够最 小的模型参数，即使得代价函数最小。
J(0,1)
1 2m
m i1
(h
(x(i)
)
y(i)
2
)
h0 0 1 x
.
➢代价函数
以 0 1 J (0,1)
一种可能的表达式为：
h x 单变量线性回归问题
0
0
1
表示式只含有一个特征/输入变量
.
➢代价函数（平方误差函数，平方误差代价函数）
线性函数形式：
h0 0 1 x
训练集
核心：确定 0 1
模型选择合适的参数，在房价问题便是直 接的斜率和y轴上的截距。
定义代价函数，有助于我们弄清楚如何把最有可能 的直线与数据相拟合。
到达最低点，所以如果太小的话，可能会很慢，因为它
会一点点挪动，它需要
。
，梯度下降法可能会越过最低点，甚至可能无法收
敛，下一次迭代又移动了一大步，越过一次，一次次越
过最低点，直到你发现实际上离最低点越来越远，所以，
太大，它会导致
，.
。
：代表训练集中实例的数量 ：代表特征/输入变量 :代表目标变量/输出变量
：代表训练集中的实例 :代表第i个观察实例
：代表学习算法的解决方案或函数也称为假设
房价预测中，输入变量 为房屋尺寸大小；输出变量 为对
应房子的价格， 为一个
，
。
.
要解决房价预测问题，是将训练集数据进行学习得到一 个假设h，然后将预测的房屋的尺寸x作为输入变量输入 给h，预测出该房屋的交易价格y作为输出变量输出结果。
.
监督学习--教计算机如何去完成任务
• 亦称监督训练、有教师学习。是利用已知类别的样 本（即有标记的样本 labeled sample，已知其相应 的类别），调整分类器的参数，训练得到一个最优 模型，使其达到所要求性能，再利用这个训练后的 模型，将所有的输入映射为相应的输出，对输出进 行简单的判断，从而实现分类的目的，这样，即可 以对未知数据进行分类。
监督学习和无监督学习的区别 ： 监督学习则只利用标记的
样本集进行学习，而无监督学习只利用未标记的样本集。
监督学习主要是根据已有标记，进行分类，区分---
问题；
无监督学习主要是用相似度，进. 行 ， ；
问题，
➢模型表示
俄勒岗州波特兰市住房价格
：根据之前的数据预测一个准确的输出值
.
以房屋交易数据为基础，假定回归问题训练集：
➢代价函数
函数： h0 0 1 x
参数： 0 1
代价函数：
J(0,1)
1 2m
m i1
(h
(x(Βιβλιοθήκη Baidu)
)
y(i)
2
)
目标：
min imize
0 ,1
.
J
(
0
,1
)
➢梯度下降
梯度下降是一个用来
，使用梯度
下降算法来求出代价函数的最小值。梯度下降背后的
：开始，随机选择一个参数的组合
，
计算(代0 , 价1 , ..函., 数n ) ，然后寻找下一个能让代价函数下降最 多的组合。持续直至到一个局部最小值。因为没有尝
• 用一句话概括就是：用一部分已知分类、有标记的 样本来训练机器后，让它用学到的特征，对没有还 分类、无标记的样本进行分类、贴标签。
给学习算法一个数据集，数据集由“正确答案”组成
.
无监督学习--让计算机自己进行学习
• 无监督学习：即非监督学习，是实现没有有标记的、 已经分类好的样本，需要我们直接对输入数据集进 行建模，例如聚类，最直接的例子就是我们常说的 “人以群分，物以类聚”。我们只需要把相似度高 的东西放在一起，对于新来的样本，计算相似度后， 按照相似程度进行归类就好。至于那一类究竟是什 么，我们并不关心。
为坐标绘制一个等高线
可以看出在三维空间中
存在一个使得J (0 ,1)
最小的点。
J (0 ,1)
1 2m
m i 1
(h (x(i) )
2
y(i) )
代价函数也被称为平方误差函数，有时也被称为平方误差代价 函数，之所以要求出误差的平方，是因为误差平方代价函数， 对于大多数问题，特比是回归问题，都是一个合理的选择。还 有其他的代价函数也能很好地发挥作用，但是平方误差函数可 能是解决回归问题最常用的手段了. 。
试完所有的参数组合，不能得到局部最小值是否是全
局最小值，选择不同初始参数组合，可能会找到不同
的局部最小值。
.
➢梯度下降
批量梯度下降算法的公式：
repeat until convergence
j
:
j
j
J (0,1)
其中 是学习率，决定沿着能让代价函数下降程度最
大的方向向下迈出的步子有多大，在批量梯度下降中，
单变量线性回归 多变量线性回归
参考资料：
机器学习个人笔记完整版V4.0（斯坦福大学机器学习） 机器学习基础教程（英 Simon Rogers Mark Girolami 著，郭 茂祖译） 统计学习方法（李航著）
.
（Linear Regression with One Variable）
➢模型表示 ➢代价函数 ➢梯度下降
我们每一次都同时让所有的参数减去学习率乘以代价
函数的导数。
.
➢梯度下降
梯度下降算法的公式：
j
: j
j
J (0,1)
描述：对 赋值，使得 按梯度下降最快方向进
行，一直迭代下去，最终得到局部最小值。
同步更新
.
➢梯度下降
j
: j
j
J (0,1)
，即学习速度太小，结果就只能像小宝宝一点
点地挪动，去努力接近最低点，这样就需要很多步才能