研究生数理统计之回归分析

2
Q n
2
，其中
Fra Baidu bibliotek
Q
n i 1
yi aˆ bˆxi 2
而ˆ 2 还是 2 的无偏估计（以后再证明）
例 1.1：水稻产量与化肥施用量之间的关系，在土质, 面积， 种子等相同条件下，由试验获得如下数据，试用最小二乘法求
严格说来，回归与相关的含义是不同的。 如果两个变量中的一个变量是人力加以控制的，非随机的，简称控
制变量，另一个变量是随机的，而且随着控制变量的变化而变化，则 这两个变量之间的关系称为回归关系。
如果两个变量都是随机的，则它们之间的关系称为相关关系。
二者的差别在于把自变量看作是随机变量还是控制变量。
尽管回归和相关的含义不同，不过从计算的角度来看，二者的差别 又不是很大，因此常常忽略其区别而混杂使用。例如，在研究相关关 系时，可以把其中一个变量看作是控制变量而着重考察另一个变量对 它的统计依赖关系，这就是说把两个变量的关系看作是回归关系。
§1 一元线性回归的参数估计
只有一个自变量的回归分析称为一元回归分析， 有多于一个自变量的回归分析称为多元回归分析。
1.1 模型
设 X 是可控变量，Y 是依赖于 X 的随机变量，它们的关系
是：
Y a bX
其中 a,b 是常数， 服从于正态分布 N 0, 2 ， X 与 Y 的这种
关系称为一元线性回归（模型）。
例：家庭的支出与其收入之间的关系； 儿子的身高与他父亲的身高的关系； 某种商品的销售量与其价格的关系等。
回归分析与相关分析均为研究及度量两个或两 个以上变量之间相关关系的一种统计方法。
（在进行分析，建立数学模型时，常需选择其中之一为因变量，而 其余的均为自变量，然后根据样本资料，研究及测定自变量与因变量 之间的关系。）
yi yi a bxi ,i 1, 2..., n 共有 n 个偏差值，应该综合考虑。显然
不能用代数和来表示，因为偏差有正有负，它们的代数和会出现正负
相抵而不能代表真正的总偏差。若取绝对值后再求和可以避免这一缺
点，但却不便于做数学处理。)
n
n
所以利用偏差平方和 Q yi 2 yi a bxi 2
易知，当 x 取固定值时，Y 服从正态分布 N a bx, 2
用样本值 x1, y1 , x2, y2 ,..., xn , yn 来估计 a, b ，得估计 值 aˆ,bˆ 。从而得到 a bx 的一个估计 aˆ bˆx ，记作 yˆ 。
即 yˆ aˆ bˆx 称之为Y 对 X 的回归直线方程。
易证，Yi ~ N(a bxi , 2 ) 且 Y1,...,Yn 相互独立。
1.2 未知参数 a, b 的估计 （利用最小二乘法求出 a,b 的
最小二乘估计 aˆ,bˆ ）
设 aˆ,bˆ 为参数 a,b 的估计.
希望每个观察点 xi , yi 同直线 y a bx 之间的偏差尽可
能的小。(即在 x xi 处， xi , yi 与直线 y a bx之间的偏差是
第四章 回归分析
一切客观事物都是互相联系和具有内部规律的，这些关系表现在 量上，只要有两种类型:
一是变量之间存在着完全确定性的关系，例如函数关系。 S r2 等。
另一类是统计关系，或称相关关系。
(变量之间存在着一定的关系，然而一个变量有一个确定的值后， 不能得出另一个变量相应的确定的值，把这种不确定性关系的 变量间的联系称为相关关系。)
上可以认为 X 与Y 的关系具有一元线性回归模型。
Y 相应于 x1, x2 ,..., xn 的 n 个观察值 y1,..., yn 可看成 Y1,...,Yn 的试验
值。
而 Yi a bxi i ,i 1,2,n, 其 中 i ~ N(0, 2 ) 且 1,, n 相互独立。此式通常称为线性模型。
点。 记
n
n
n
lxx xi x 2 ,lyy yi y 2,lxy lyx xi x yi y
i 1
i 1
i 1
此时, bˆ
可记为： bˆ
lxy lxx
1.3 未知参数 2 的估计
2 是随机误差 的方差。如果误差大，那么求出来的回归
直线用处就不大；如果误差比较小，那么求出来的回归直线就
n i 1
n
n
na xib yi
i 1
i 1
n
n
xia xi2b xi
i 1
i 1
yi
，
解正规方程组：
n
n
n
n xi yi xi yi
bˆ
i 1
i1 i1
n
n
xi2
n
xi
2
i 1
i1
n i 1
xi yi
1 n
n i 1
xi
n i 1
yi
i 1
i 1
来表示总偏差，以使 Q 达到极小的 aˆ,bˆ 作为 a, b 的估计。这就
是著名的最小二乘法。
n
注意， Q
yi aˆ bˆxi 2
使 Q 达到极小的 a, b ,
i 1
应满足下面的方程组：
Q a
2
n i 1
yi
a
bxi
0
Q
b
2
n i 1
yi
a
bxi
xi
0
经整理得如下正规方程：
n i 1
xi2
1 n
n i 1
xi
2
n i 1
xi x yi y
n
xi x 2
i 1
aˆ y bˆx
记 x
1 n
n i 1
xi , y
1 n
n i 1
yi
称 aˆ,bˆ 为 参 数 a,b 的 最 小 二 乘 估 计 ， 并 得 回 归 方 程 ，
yˆ aˆ bˆx
改写成： yˆ y bˆ x x 。即回归直线一定通过 x, y 这一
在实际试验中，对变量 X 与 Y 作 n 次试验观察，并假定在 X 的各
个值上对 Y 的观察值是相互独立的，得到 n 对试验值 xi , yi i, 1 , 2n 。. . . ,
在平面直角坐标系中，画出 xi , yi ,i 1, 2..., n 共 n 个点，它们所构 成的图形成为点图。如果点图中的 n 个点分布在一条直线附近，直观
比较理想，可见 2 的大小反映回归直线拟合程度的好坏。
如何估计 2 ？自然想到利用
1 n
n i 1
( i
E i )2
来估计 2 。
由于 i ,i 1,2,, n 是未知的，而 i yi a bxi ˆi yi aˆ bˆxi
ˆ 2 1 n n 2 i1
yi aˆ bˆxi