第1章 回归分析概述(人大)

21
回归分析新的应用与发展
回归系数的有偏估计：
岭估计、广义岭估计、Stein估计、主成分估计、特征根估计等
自变量的选择： 非线性回归： 投影寻踪、切片回归：分析和处理高维数据
22
应用软件

SPSS

SAS
STATA SPLUS EVIEWS



23
统计软件
SPSS 13.0
Statistical Package for the Social Science
( H 2 ). 随机误差 εi满足同方差条件及不相 关条件；
称为高斯—马尔柯夫条件， 简称G-M条件 σ 2 , i j cov(εi , ε j ) ＝ , (i, j 1,2, , n) 0 , i j 2 ε～ N ( 0 , σ ), i 1,2, , n i ( H 3 ). 正态分布的假定条件； ε1 , ε 2 , , εn 相互独立
24
章节Байду номын сангаас录
第1章 第2章 第3章 第4章 第5章 第6章 第7章 第8章 第9章 回归分析概述 一元线性回归 多元线性回归 违背基本假定的情况 自变量选择与逐步回归 多重共线性的情形及其处理 岭回归 非线性回归 含定性变量的回归模型
25
则上线性回归模型可表 示为：
yi β0 β1 xi1 β2 xi 2 β p xip εi , i 1,2,, n
17
线性回归模型的几个基本假设：
( H 1 ). 解释变量 x1 , x2 , , x p 是非随机变量，其观测 值 xi1 , xi 2 , , xip 是常数。
来估计参数 α，β。
ˆ分别代替 α，β，得方程 ˆ，β 以估计值 α
ˆx ˆ α ˆβ y
又称为经验回归方程。
称为回归方程，
由于因变量 y与自变量 x的关系呈线性关系，故 称上式为
y对x的线性回归方程。
ˆ称为经验回归常数和经验回归系数。 ˆ，β 经验回归方程中参数 α
14
四.
回归分析的主要内容及其一般模型
平均身高的趋势。
此后不久，统计学家K.Pearson通过1078个家庭的身高调查 记录证实了Galton提出的“回归定律”。
ˆ 33.73 0.516 x y
回归直线方程
5
二. 变量间的统计关系
1.确定性关系，即函数关系。
例如：一保险公司承保汽车辆数记为x,每辆保费收入魏1000元， 承保总收入记为变量y, 则x与y两个变量间表现为一种确定性关系， 即y=1000x
相关分析和回归分析
10
回归分析和相关分析的区别
回归分析 相关分析
研究一个或一组变量（自变量） 的变动对另一个变量（因变量） 研究变量之间相随变动的程度 的变动之影响程度。 因变量为随机变量，自变量一般 是非随机变量 可以进行预测和控制 都是随机变量
只是度量变量间线性相关的密 切程度
11
三.回归方程
应用回归分析
2011-2012学年第一学期
主讲：王尚九
1
应用回归分析
Applied Regression Analysis
教材
何晓群，刘文卿：
《应用回归分析》第二版， 中国人民大学出版社，2007年
2
教材和参考书
1.
2.
3.
4.
5.
何晓群，应用回归分析，北京，中国人民大学出版社， 2001 周纪芗，回归分析，上海，华东师范大学出版社， 1993 方开泰，金辉， 陈庆云编著，实用回归分析，北京， 科学出版社，1988 冯力编著，回归分析方法原理及SPSS实际操作，北京， 中国金融出版社 李子奈 潘文卿编著，计量经济学（第二版），北京， 高等教育出版社
3
第一章
回归分析概述
一、回归的含义 二、变量间的统计关系 三、回归方程 四、回归分析的主要内容及其一般模型 五、建立回归模型的过程 六、回归分析应用与发展评述
4
一、回归的含义
“回归“（regression）问题的研究起源于生物学界。
1886年，英国生物学家兼统计学家F.Galton首提“回归”一词。 在一篇论文中指出，同一种族中，子女的身高有“回归”于种族
一元线性回归 线性回归多元线性回归 多个因变量与多个自变 量的回归 归模型基本假设的合理 性 讨论如何从数据推断回 当基本假设不成立时如 何对数据进行修正 回归诊断 果 判定回归方程拟合的效 选择回归函数的形式 自变量选择的准则 回归变量的选择 回归分析 逐步回归分析方法 岭回归 参数估计方法的改进 主成分回归 偏最小二乘法 一元非线性回归 非线性回归分段回归 多元非线性回归 况 自变量含定性变量的情 含有定性变量的回归 况 因变量是定性变量的情
厂家 1 2 3 4 5 6 7 8 9 10
广告费
销售额
35
60
25
30
35
40
25
450
20
50
45
440 520
380 475 385 525
365 540 500
8
相关关系的例子
子女身高
(y)与父亲身高(x)之间的关系
收入水平(y)与受教育程度(x)之间的关系 粮食亩产量(y)与施肥量(x1)
对x的一个给定值，就有一个E( y | x )与之对应。 由所有的 x 和E( y | x ), 组成一条回归线（直线或曲线）。 其对应方程为 y E ( y | x) 如广告费用和销售额的例子： 称为理论回归方程。
y α β x
α称为回归常数， β称为回归系数。
13
3.经验回归方程
实际问题中，需要由样本观测值 ( x1 , y1 ), ( x2 , y2 ), , ( xn , yn )
15
2. 回归模型的一般形式
回归分析的数学模型的一般形式：
y f ( x1 , x2 ,, x p ) ε
其中，随机变量 y称为被解释变量（因变 量）；
x1 , x2 ,, x p 称为解释变量（自变量 ）。
模型的结构： 一部分为确定性函数关 系，即回归函数 f ( x1 , x2 ,, x p )， 另一部分为随机误差项 ε。 随机误差项的来源： （1）未引入回归模型而对y有影响的种种因素； （2）变量的观测误差； （3）模型设定误差；
6
又例：
商品的销售额与销售量之间的关系
y = px
圆的面积与半径之间的关系
S=R2
原材料消耗额与产量(x1)
料价格(x3)之间的关系
、单位产量消耗(x2) 、原材
y = x1 x2 x3
7
2.非确定性关系 即统计关系
例如：某广告公司为了研究某一类产品的广告费用与其销售额之 间的关系，对多个厂家进行了调查，获得数据资料如下：
16
（4）其他随机变量因素的影响。
线性回归模型：
当回归函数 f ( x1 , x2 ,, x p )为线性函数时，模型为
y f ( x1 , x2 ,, x p ) ε
其中 β0，β1，β2， ，β p为未知参数，常称为回 归系数。
若（ xi1 , xi 2 ,, xip ; yi ), i 1,2,, n为变量（ x1 , x2 ,, x p ; y ) 的一组观测值，
19
五. 建立实际问题回归模型的过程
具体问题
设置指标变量
收集整理数据 构造理论模型 估计模型参数 模型检验
Y N
修改
模型的应用 因素分析 变量控制 预测
20
六. 回归分析应用与发展评述
从高斯提出最小二乘法算起,回归分析已经有200 年的历史。 从1969年设立诺贝尔经济学奖以来,已有近50位 学者获奖,其中绝大部分获奖者是统计学家、计量经 济学家、数学家。他们对统计学及回归分析方法的应 用都有娴熟的技巧。
（H 4 ).n p，即样本容量的个数大 于解释变量的个数。
18
即E (εi ) 0, i 1,2,, n;
要解决的问题： （1）参数估计： 估计 β0，β1 , , β p 和σ 2；
（2）显著性检验：
即对回归方程及回归系 数的显著性进行检验；
（3）模型检查：即检查对模型所作假设是否成立； （4）预测和控制，及对实际问题的结构分析。
1、回归函数
x与y之间的关系：统计关系，即给定x的值，y的值不能确定， 只能通过一定的概率分布来描述。 称给定x时y的条件数学期望 f ( x) E ( y | x) （总体回归函数）
为随机变量y对x的回归函数，或称为随机变量y对x的均值回归函数。 随机变量y称为因变量，x称为自变量。
12
2.理论回归方程
间的关系
、降雨量(x2) 、温度(x3)之
商品的消费量(y)与居民收入(x)之间的关系 商品销售额(y)与广告费支出(x)之间的关系
9
统计关系或相关关系
具有密切关联而又不能由某一个或某一些变量 唯一确定另外一个变量的关系称为变量间的统计 关系或相关关系。 统计学研究的主要对象：统计关系的规律性 统计关系研究的两个重要分支：