最小二乘法和线性回归的公式推导

最⼩⼆乘法和线性回归的公式推导
⼀、⼀维线性回归
⼀维线性回归最好的解法是：最⼩⼆乘法
问题描述：给定数据集D=x1,y1,x2,y2,⋯,x m,y m，⼀维线性回归希望能找到⼀个函数f x i，使得f x i=wx i+b能够与y i尽可能接近。

损失函数：
L(w,b)=
m
∑
i=1f x i−y i2
⽬标：
w∗,b∗=argmin
w,b
m
∑
i=1f x i−y i2=
argmin
w,b
m
∑
i=1y i−wx i−b2
求解损失函数的⽅法很直观，令损失函数的偏导数为零，即：
∂L(w,b)
∂w=2
m
∑
i=1y i−wx i−b−x i=2
m
∑
i=1wx2i−y i−b x i=2w
m
∑
i=1x2i−
m
∑
i=1y i−b x i=0
∂L(w,b)
∂b=2
m
∑
i=1wx i+b−y i=2mb−
m
∑
i=1y i−wx i=0
解上⼆式得：
b=1
m
m
∑
i=1y i−wx i
w
m
∑
i=1x2i−
m
∑
i=1y i−b x i=0
w
m
∑
i=1x2i−
m
∑
i=1y i x i+
1
m
m
∑
i=1y i−wx i
m
∑
i=1x i=0
w
m
∑
i=1x2i−
m
∑
i=1y i x i+
m
∑
i=1y i
¯
x i−
w
m
m
∑
i=1x i
2
=0
w
m
∑
i=1x2i−
1
m
m
∑
i=1x i
2
=
m
∑
i=1y i x i−
¯
x i w=
∑m
i=1
y i x i−
¯
x i
∑m
i=1
x2
i
−
1
m∑m
i=1
x i2
其中¯
x i=
1
m∑m
i=1
x i为x i的均值
⼆、多元线性回归
假设每个样例x i有d个属性，即
x i=
x(1)
i
x(2)
i
⋮
x(d)
i
{()()()}()()
[()]
()[()]()
()()[()](())
()(())
()
()
()
()
[()]()
()
[()] []
()()
Processing math: 95%
试图学得回归函数f x i，f x i=w T x i+b
损失函数仍采⽤军⽅误差的形式，同样可以采⽤最⼩⼆乘法对x和b进⾏估计。

为了⽅便计算，我们把x和b写进同⼀个矩阵，如下：
w=w1 w2⋮w d b
X=x(1)
1
x(2)
1
...x(d)
1
1
x(1)
2
x(2)
2
...x(d)
2
1⋮⋮⋱⋮⋮
x(1)
m
x(2)
m
...x(d)
m
1 X w=
f x1
f x1
⋮
f x d
Y=
y1
y2
⋮
y d
三、推导多元线性回归
推导多元线性回归前，⾸先列出推导过程中⼀些常⽤的迹和矩阵求导的定理。

z T z=∑i z2
i ，z是列向量
A和B是矩阵，tr表⽰求矩阵的迹，则有：
tr(AB)=tr(BA)tr(ABC)=tr(CAB)=tr(BCA)若f(A)=tr(AB)，则▽A tr(AB)=B T
tr(A)=tr A T if aϵR,tr(a)=a
▽A tr ABA T C=CAB+C T AB T
由题意的：L(w)=1
2(X w−Y)T(X w−Y)
()()
[]
[]
[()()
()
]
[]
()
()
▽w L (w )=1
2▽w (X w −Y )T (X w −Y )
=1
2▽w w T X T −Y T (X w −Y )=1
2▽w w T X T X w −w T X T Y −Y T X w +Y T Y =1
2▽w tr w T X T X w −w T X T Y −Y T X w +Y T Y =1
2▽w tr w T X T X w −w T X T Y −Y T X w =1
2▽w tr w T X T X w −▽w tr w T X T Y −▽w tr Y T X w =1
2▽w tr w I w T X T X −▽w tr Y T X w −▽w tr Y T X w =1
2X T Xw +X T Xw −X T Y −X T Y =X T (Xw −Y )=0
注：
损失函数前的1/2是为了求偏导数⽅便⼈为加上的，但是不影响w 和b 的最优解
上式⼦的求解涉及了矩阵的逆运算，所以需要 X^{T}X 是⼀个满秩矩阵或者正定矩阵，可以得到：\mathbf{w}=\left ( X^{T}X \right )^{-1}X^{T}Y 如果在现实任务中，不满⾜满秩矩阵时，我们可以⽤梯度下降法来求解
()
(
)()(
)[()(
)
()]
[(
)()
()]
[
]。