《统计学》线性回归模型解析讲课讲稿

9
我们需要区分两种主要类型的变量。 一种变量相当于通常函数关系中的自 变量，它或者能控制或者虽不能控制 但可观测，这种变量称为自变量。自 变量的变化能波及另一些变量，这样 的变量称为因变量。人们通常感兴趣 的问题是自变量的变化对因变量的取 值有什么样的影响。
10
回归分析正是研究自变量的变动对 因变量的变动的影响程度，其目 的在于根据已知自变量的变化来 估计或预测因变量的变化情况。
3
函数关系：变量之间依一定的函数形 式形成的一一对应关系称为函数关系。 若两个变量分别记作y和x，则当y 与 x之间存在函数关系时，x值一旦被指 定，y值就是唯一确定的。函数关系 可以用公式确切的反映出来，一般记 为y=f(x)。
4
例如，某种商品的销售额(y) 与销售量(x)之间的关系，在销 售价格(p)一定的条件下，只要 给定一个商品销售量，就有一 个唯一确定的商品销售额与之 对应，用公式表示为y=p(x)。
26
以下列出的为计算表
27
28
10
10
10
10 xi yi ( xi)( yi)
ˆ1
i1 10
i1
i1
10
0.3978
10 xi2 ( xi)2
i1
i1
ˆ0 yˆ1x 165.70.397877.7134.7909
yˆ
=
0
1x
=134.7909+0.3978x为所求的一
n
( yi yˆi )2
ˆ 2 i 1
n2
来估计 2 。
23
例题1、在某类企业中随机抽取10 个企业，搜集它们的产量和生产 费用情况，获得数据如表1所示：
24
表1
企业产量和生产费用
25
我们可作出散点图，易看出变量x 与y之间的关系近似可看作是线性 关系，根据表1的数据，利用最小 二乘法，求一元线性回归方程，
8.2.3利用最小二乘法所得到的估计量 有如下性质：
(1）0,1分别是 0, 1的无偏估计 。
（2） 0 和 1 的最小二乘估计 0 和 1 为“方差
最小”线性无偏估计
（3） 2 的无偏估计为 :
n
( yi yˆi )2
s2 i 1 n2
22
在实际中，方差 2 是未知的，因此，可用估
计量
《统计学》线性回归模型解析
在自然界和人类社会中，经常会遇到 一些变量共处于一个统一体中，他们 相互联系，相互制约，在一定条件下 相互转化。社会经济现象尤其如此。 例如某生产厂家的生产费用由所生产 的产品数量和各种生产投入要素的价 格等因素所决定。
2
在社会经济现象中，变量之间的关 系大致可以分为两种： 1).函数关系 2).统计关系。
yi 01xii， i=1,2,…,n …(8-2)
其中i ,i=1,2,…,n为随机误差项，对 i ,i=1,2,…,n的基本假定是i ,i=1,2,…,n
相互独立，服从N(0, 2)分布。
18
n
记 Q( 0,1 )= (yi 0 1xi)2 0, 1
Q( 0, 1)是直线yi=1 0 1x对于所有数据
5
统计关系：两个变量之间存在某种依存 关系，但变量Y并不是由变量X唯一确定 的，它们之间没有严格的一一对应关系。 两个变量之间的这种关系就是统计关系， 也称为相关关系。
6
相关关系与函数关系有十分密切的联 系。在实际中，由于观察和测量误差 等原因，函数关系往往是通过相关关 系表现的，而在研究相关关系时，又 常用函数关系作为工具，以相应的函 数关系数学表达式表现相关关系的一 般数量关系。
0 为回归截距， 1 为回归系数 ， 为随机误差项，且～N(0, 2 ).
16
在实际问题中，(8-1)中的模型 0,参 1 数 是未知的，通常只能在自 变量的一些点上对因变量进行观 测，得到一定量的数据，由数据 出发对模型进行推断。
17
8.2.2 回归系数 0,1 的最小二乘估计。
假定（x1, y1）, （x2 , y）2 , …,（xn , y）n 为n次 独立试验所得到的样本观测值，则有
组：
Q
0
n
2
i1
(yi
0
1xi )
0
Q
1
n
2 (yi
i1
0
1xi )xi
0
20
求解方程组得：nnn Nhomakorabean
xi yi (
xi )(
yi )
ˆ1
i 1 n
i 1 n
i 1
n
x
2 i
(
xi )2
i 1
i 1
ˆ
0
y
ˆ1 x
其中
y
1 n
n i1
yi
， x
1 n
n i 1
xi
21
点的偏差平方和。
取直线y=
0
1x
使得
Q( 0,1)达到最小
即 Q( 0, 1)=Q( 0, 1)，z用y=来估计
回归直线，这种方法称为最小二乘法。
19
为求与 0, 1分别对应的最小二乘估计0, 1，
注意到Q( 0, 1)是 0, 1的非负二次函数，因
此最小值点存在且唯一，应满足以下方程
11
回归的内容包括如何确定因变量与自 变量之间的回归模型；如何根据样本 观测数据估计并检验回归模型及未知 参数；在众多的自变量中，判断哪些 变量对因变量的影响是显著的，哪些 变量的影响是不显著的；根据自变量 的已知值或给定值来估计和预测因变 量的平均值等等。
12
线性回归分析是研究变量与变量之间 的线性相关关系。从分析的内容上看， 线性回归是建立变量间的拟合线性相 关模型，主要用于估计和预测。线性 回归模型应用领域极为广泛，在许多 领域里都有应用非常成功的例子，它 是现代应用统计分析方法中的重要内 容之一。
13
§２ 一元线性回归模型
14
8.2.1 一元线性回归模型的数学表示式
如果两个变量之间存在相关关系， 并且一个变量的变化会引起另一 个变量按某一线性关系变化，则 两个变量间的关系可以用一元线 性回归模型描述。
15
其数学模型为：
y= 0 1x …(8-1)
其中，y 为因变量， x为自变量， 0, 1 为模 型参数，
7
例如：同样收入的家庭，用于食 品的消费支出往往并不相同。因 为对家庭食品费用的影响，不仅 有家庭收入的多少，还有家庭人 口，生活习惯等因素，所以，家 庭食品费用支出与家庭收入之间 不是函数关系，而是相关关系。
8
在含有变量的系统中，考察一些变 量对另一些变量的影响，它们之 间可能存在一种简单的函数关系， 也可能存在一种非常复杂的函数 关系。有些变量之间的关系是非 确定性的关系，这种关系无法用 一个精确的数学来表示。