机器学习笔记（一）——代价函数

机器学习笔记（⼀）——代价函数
在线性回归中我们有⼀个像这样的训练集，m代表了训练样本的数量，⽐如 m=47。

⽽我们的假设函数，也就是⽤来进⾏预测的函数，是这样的线性函数形式：hθ(x)=θ0+θ1x。

接下来我们会引⼊⼀些术语我们现在要做的便是为我们的模型选择合适的参数（parameters）θ0和θ1，在房价问题这个例⼦中便是直线的斜率和在y轴上的截距。

我们选择的参数决定了我们得到的直线相对于我们的训练集的准确程度，模型所预测的值与训练集中实际值之间的差距（下图中蓝线所指）就是建模误差（modeling error）。

我们的⽬标便是选择出可以使得建模误差的平⽅和能够最⼩的模型参数。

即使得代价函数J(θ0,θ1)=
1
2m∑m
i=1
(h theta(x(i))−y(i))2最⼩。

我们绘制⼀个等⾼线图，三个坐标分别为θ0和θ1和J(θ0,θ1)：
则可以看出在三维空间中存在⼀个使得J(θ0,θ1)最⼩的点。

代价函数也被称作平⽅误差函数，有时也被称为平⽅误差代价函数。

我们之所以要求出误差的平⽅和，是因为误差平⽅代价函数，对于⼤多数问题，特别是回归问题，都是⼀个合理的选择。

还有其他的代价函数也能很好地发挥作⽤，但是平⽅误差代价函数可能是解决回归问题最常⽤的⼿段了。

Processing math: 100%。