《统计学》线性回归模型解析讲课讲稿

7
例如：同样收入的家庭，用于食 品的消费支出往往并不相同。因 为对家庭食品费用的影响，不仅 有家庭收入的多少，还有家庭人 口，生活习惯等因素，所以，家 庭食品费用支出与家庭收入之间 不是函数关系，而是相关关系。
8
在含有变量的系统中，考察一些变 量对另一些变量的影响，它们之 间可能存在一种简单的函数关系， 也可能存在一种非常复杂的函数 关系。有些变量之间的关系是非 确定性的关系，这种关系无法用 一个精确的数学来表示。
0 为回归截距， 1 为回归系数 ， 为随机误差项，且～N(0, 2 ).
16
在实际问题中，(8-1)中的模型 0,参 1 数 是未知的，通常只能在自 变量的一些点上对因变量进行观 测，得到一定量的数据，由数据 出发对模型进行推断。
17
8.2.2 回归系数 0,1 的最小二乘估计。
假定（x1, y1）, （x2 , y）2 , …,（xn , y）n 为n次 独立试验所得到的样本观测值，则有
11
回归的内容包括如何确定因变量与自 变量之间的回归模型；如何根据样本 观测数据估计并检验回归模型及未知 参数；在众多的自变量中，判断哪些 变量对因变量的影响是显著的，哪些 变量的影响是不显著的；根据自变量 的已知值或给定值来估计和预测因变 量的平均值等等。
12
线性回归分析是研究变量与变量之间 的线性相关关系。从分析的内容上看， 线性回归是建立变量间的拟合线性相 关模型，主要用于估计和预测。线性 回归模型应用领域极为广泛，在许多 领域里都有应用非常成功的例子，它 是现代应用统计分析方法中的重要内 容之一。
9
我们需要区分两种主要类型的变量。 一种变量相当于通常函数关系中的自 变量，它或者能控制或者虽不能控制 但可观测，这种变量称为自变量。自 变量的变化能波及另一些变量，这样 的变量称为因变量。人们通常感兴趣 的问题是自变量的变化对因变量的取 值有什么样的影响。
10
回归分析正是研究自变量的变动对 因变量的变动的影响程度，其目 的在于根据已知自变量的变化来 估计或预测因变量的变化情况。
13
Fra Baidu bibliotek
§２ 一元线性回归模型
14
8.2.1 一元线性回归模型的数学表示式
如果两个变量之间存在相关关系， 并且一个变量的变化会引起另一 个变量按某一线性关系变化，则 两个变量间的关系可以用一元线 性回归模型描述。
15
其数学模型为：
y= 0 1x …(8-1)
其中，y 为因变量， x为自变量， 0, 1 为模 型参数，
26
以下列出的为计算表
27
28
10
10
10
10 xi yi ( xi)( yi)
ˆ1
i1 10
i1
i1
10
0.3978
10 xi2 ( xi)2
i1
i1
ˆ0 yˆ1x 165.70.397877.7134.7909
yˆ
=
0
1x
=134.7909+0.3978x为所求的一
点的偏差平方和。
取直线y=
0
1x
使得
Q( 0,1)达到最小
即 Q( 0, 1)=Q( 0, 1)，z用y=来估计
回归直线，这种方法称为最小二乘法。
19
为求与 0, 1分别对应的最小二乘估计0, 1，
注意到Q( 0, 1)是 0, 1的非负二次函数，因
此最小值点存在且唯一，应满足以下方程
5
统计关系：两个变量之间存在某种依存 关系，但变量Y并不是由变量X唯一确定 的，它们之间没有严格的一一对应关系。 两个变量之间的这种关系就是统计关系， 也称为相关关系。
6
相关关系与函数关系有十分密切的联 系。在实际中，由于观察和测量误差 等原因，函数关系往往是通过相关关 系表现的，而在研究相关关系时，又 常用函数关系作为工具，以相应的函 数关系数学表达式表现相关关系的一 般数量关系。
n
( yi yˆi )2
ˆ 2 i 1
n2
来估计 2 。
23
例题1、在某类企业中随机抽取10 个企业，搜集它们的产量和生产 费用情况，获得数据如表1所示：
24
表1
企业产量和生产费用
25
我们可作出散点图，易看出变量x 与y之间的关系近似可看作是线性 关系，根据表1的数据，利用最小 二乘法，求一元线性回归方程，
《统计学》线性回归模型解析
在自然界和人类社会中，经常会遇到 一些变量共处于一个统一体中，他们 相互联系，相互制约，在一定条件下 相互转化。社会经济现象尤其如此。 例如某生产厂家的生产费用由所生产 的产品数量和各种生产投入要素的价 格等因素所决定。
2
在社会经济现象中，变量之间的关 系大致可以分为两种： 1).函数关系 2).统计关系。
组：
Q
0
n
2
i1
(yi
0
1xi )
0
Q
1
n
2 (yi
i1
0
1xi )xi
0
20
求解方程组得：
n
n
n
n
xi yi (
xi )(
yi )
ˆ1
i 1 n
i 1 n
i 1
n
x
2 i
(
xi )2
i 1
i 1
ˆ
0
y
ˆ1 x
其中
y
1 n
n i1
yi
， x
1 n
n i 1
xi
21
yi 01xii， i=1,2,…,n …(8-2)
其中i ,i=1,2,…,n为随机误差项，对 i ,i=1,2,…,n的基本假定是i ,i=1,2,…,n
相互独立，服从N(0, 2)分布。
18
n
记 Q( 0,1 )= (yi 0 1xi)2 0, 1
Q( 0, 1)是直线yi=1 0 1x对于所有数据
8.2.3利用最小二乘法所得到的估计量 有如下性质：
(1）0,1分别是 0, 1的无偏估计 。
（2） 0 和 1 的最小二乘估计 0 和 1 为“方差
最小”线性无偏估计
（3） 2 的无偏估计为 :
n
( yi yˆi )2
s2 i 1 n2
22
在实际中，方差 2 是未知的，因此，可用估
计量
3
函数关系：变量之间依一定的函数形 式形成的一一对应关系称为函数关系。 若两个变量分别记作y和x，则当y 与 x之间存在函数关系时，x值一旦被指 定，y值就是唯一确定的。函数关系 可以用公式确切的反映出来，一般记 为y=f(x)。
4
例如，某种商品的销售额(y) 与销售量(x)之间的关系，在销 售价格(p)一定的条件下，只要 给定一个商品销售量，就有一 个唯一确定的商品销售额与之 对应，用公式表示为y=p(x)。