正规方程法——精选推荐

正规⽅程法
正规⽅程法
1.⽅法介绍
对于⼀个凸优化问题，梯度下降法是采⽤不断迭代的算法逐步得到最优解，⽽正规⽅程法是通过求解代价函数的导数为0的点得到最优解。

假设学习过程中的预测函数只有⼀个θ参数，损失函数是⼀个⼆次⽅程：
J(θ)=aθ2+bθ+c
若采⽤正规⽅程法求解是该⽅程最下的θ值，只需要令损失函数对θ求导，并令导数为0即可。

该例⼦中的未知参数是⼀个标量，若θ是⼀个n 维向量，对应的损失函数可表⽰为：
J(θ0,θ1,...,θm)=
1
2m
m
∑
i=1(hθ(x(i))−y i)2hθ(x)=θT X=θ0x0+θ1x1+...+θn x n
对于这样⼀个函数，我们仍采⽤求偏导的⽅法来得到最优解，即分别对θi求偏导，并且令偏导为00.得到n个⽅程组，这样联⽴⽅程组在计算时是⽐较复杂的，于是引⼊矩阵向量进⾏计算。

2.公式推导
假设有m个训练实例，每个实例n个特征，则训练实例集⽤矩阵表⽰为：
X=x10...x1n ......... x m0...x m n
其中，x(i)j表⽰第i个实例的第j个特征。

特征参数为：
θ=[θ0,θ1,...,θn]T 输出变量：
Y=y(1),y(2),...,y(m)代价函数⽤矩阵表⽰为：
J(θ0,θ1,...,θn)=
1
2m(X∗θ−Y)T(X∗θ−Y)
=
1
2m(θT X T−Y T)(Xθ−Y)
=
1
2m(θT X T Xθ−θT X T Y−Y T Xθ+Y T Y)
对θ求导，可得：
∂J ∂θ=
1
2m(
∂θT X T Xθ
∂θ−
∂θT X T Y
∂θ−
∂Y T Xθ
∂θ+
∂Y T Y
∂θ)
其中，
∂Y T Y
∂θ=0∂θT X T Xθ
∂θ=2X T Xθ
∂θT X T Y
∂θ=X T Y
∂Y T Xθ
∂θ=X T Y
综上，正规⽅程为：[] []
1
2m(−2X T Y+2X T Xθ)=0θ=(X T X)−1X T Y Processing math: 100%。