三章回归分析概要研究报告

•
10
• 五、随机干扰项服从正态分布。该假设 给出了被解释变量的概率分布。
• 六、随机干扰项的期望值为0。即：
•
E（u）＝0
• 七、随机干扰项具有方差齐性。即：
• 八、随机干扰项相互独立。
•
11
第二节 模型参数的估计 一、普通最小二乘法 （OLS估计）
• 通过协方差或相关系数证实变量之间存在关系，仅仅 只是知道变量之间线性相关的性质——正（负）相关 和相关程度的大小。
• 既然它们之间存在线性关系，接下来必须探求它们之 间关系的表现形式是什么？
• 最好用数学表达式将这种关系尽可能准确、严谨的表 示出来——y=a+bx+u——把它们之间的内在联系挖掘 出来。也就是直线中的截距a=？；直线的斜率b=？
• 消费支出=基本生存+边际消费倾向×可支配收入+随机 扰动
12
解决问题的思路——可能性
法，用以找出变量之间关系的具体表现 形式。 • 后来，回归分析法从其方法的数学原 理——误差平方和最小（平方乃二乘也） 出发，改称为最小二乘法。
15
父亲们的身高与儿子们的身高之间 关系的研究
• 1889年F.Gallton和他的朋友K.Pearson收 集了上千个家庭的身高、臂长和腿长的 记录
EY
EYZ
EZ (2.1.18)
7
依照方差与协方差的定义，我们类似地可以定义随机向量的 方差—协方差矩阵。仍然以 3 个观测值 Y1,Y2,Y3 构成的随机向量
Y 来说明，记每个随机变量Yi 的方差为 2 Yi ，任意两个随机变量
Yi ,Yj 的协方差为 Yi ,Yj ，这些方差和协方差可以组成一个矩阵，
第三章 回归分析概要
• 第一节、经典线性回归模型 • 第二节、普通最小二乘估计和最大似然估计 • 第三节、假设检验 • 第四节、置信区间
1
第一节 经典线性回归模型
• 一、函数关系和统计关系 • （一）函数关系是一一对应的确定性关
系。（举例见教材） • （二）统计关系是不完全一致的对应关
系。（举例见教材） • 二、理论模型和回归模型 • Y=f(X1,X2,……,Xp)
• Y=f(X1,X2,…,Xk; ū)
2
• 三、随机误差和系统误差
• 1、随机误差：是由随机因素形成的误差。 所 谓随机因素，是指那些对被解释变量的作用不 显著，其作用方向不稳定（时正时负），在重 复试验中，正作用与负作用可以相互抵消的因 素。
• 2、系统误差：由系统因素形成的误差。所谓 系统因素，是指那些对被解释变量的作用较显 著，其作用方向稳定，重复试验也不可能相互 抵消的因素。
Y1 1 1
Y Y2; 2;2
... ... ...
Yn
k
n
依照矩阵运算法则，可用矩阵表示为：
Y X
(2.1.14)
在（2.1.14）式中，X一般是非随机矩阵，通常称为设计矩阵；Y、
都是随机向量，而 则是常数向量。
6
(二) 随机向量的数学期望和协方差矩阵
在（2.1.14）式中，Y和 的元素都是随机变量，因此是随机向量。
1、 随机向量的数学期望。 随机向量的数学期望仍然是向量，是由原向量相应的随机变量元素的
数学期望值组成的向量。
EYnxk
E Yij
,
i j
11,,22,,......,n,k
（2.1.16）
2、 随机向量的协方差矩阵。
记Y的方差为2Y EY EY2
(2.1.17)
记Y与Z的协方差为Y,
Z
称为随机变量 Y 的方差—协方差矩阵，常常简称为 Y 的协方差矩阵，
用 2 Y 或VarY 表示：
VarY Y22Y,Y11
Y1,Y2 2 Y2
Y1,Y3 Y2 ,Y1
Y3,Y1 Y3,Y2 2 Y3
(2.1.19)
在矩阵（2.1.19）中，方差 2 Yi 在矩阵的主对角线上；对于 i≠j 时
的协方差，有 Yi ,Yj Yj ,Yi 。
8
对 n×1 维随机向量，有：
VarY Y22Y,Y11
...
Y1,Y2 2 Y2
...
... ... ...
Y1 , Yn Y2 ,Yn
...
（2.1.21）
Yn ,Y1 Yn ,Y2 ... 2 Yn ,Yn
• 寻找变量之间直线关系的方法多多。于是，再接下 来则是从众多方法中，寻找一种优良的方法，运用 方法去求出线性模型——y=a+bx+u中的截距a=？； 直线的斜率b=？正是是本章介绍的最小二乘法。
• 根据该方法所得，即表现变量之间线性关系的直线 有些什么特性？
• 所得直线可靠吗？怎样衡量所得直线的可靠性？ • 最后才是如何运用所得规律——变量的线性关系？
13
源自文库
最小二乘法产生的历史
• 最小二乘法最早称为回归分析法。由著 名的英国生物学家、统计学家道尔顿 （F.Gallton）——达尔文的表弟所创。
• 早年，道尔顿致力于化学和遗传学领域 的研究。
• 他研究父亲们的身高与儿子们的身高之 间的关系时，建立了回归分析法。
14
最小二乘法的地位与作用
• 现在回归分析法已远非道尔顿的本意 • 已经成为探索变量之间关系最重要的方
9
六、经典线性回归模型及其 假设条件
• 一、有正确的期望函数。
• 它要求在线性回归模型中没有遗漏任何重
要的解释变量，也没有包含任何多余的解释变 量。
• 二、被解释变量等于期望函数与随机干扰项之 和。
• 三、随机干扰项独立于期望函数。即所有解释 变量Xj与随机干扰项u不相关。
• 四、解释变量矩阵X是非随机矩阵，且其秩为 列满秩的，即rank（X）＝k。
假如，设由 3 个观测值组成的随机干扰项向量 在每个观测点上方差
相同，即 2 i 2 ，并且随机干扰项彼此不相关，即对于 i≠j,
有 i , j 0 。
于是可得到随机向量 的方差—协方差矩阵为：
2 0 0 1 0 0
Var
0
2
0
2
0
1
0 （2.1.22）
0 0 2
0 0 1
3
• 四、线性回归模型和非线性回归模型
• 分类的标准：回归模型的期望函数关于 参数的倒数是否与参数有关。即期望函 数的一阶导函数是否仍然是关于参数的 函数。如果导函数不是关于参数的函数， 即参数是线性的，则称该回归模型是线 性回归模型；反之，则称该回归模型是 非线性回归模型。
4
2、被解释变量向量Y、参数向量 和随机干扰向量 ：