3.1 一元回归模型

( xi , y i )
( xi , y i )
yi y 回归差
y
R接近1,x与y相关程度高
ˆ ˆ X相关系数平方 ˆ 为Y与Y 0 1
o
x
（4）回归方程的显著性检验
假设： H 0 : 1 0 H 1 : 1 0
RSS /(2 1) H 0真 统计量： F ~ F (1, n 2) ESS /(n 2)
ˆ - 1 1 ~ t (n 2), s ( 1 )
参见《数据分析方法》，梅长林编
ˆ ) ˆ/ 这里 s ( 1
（xi x )
2 i 1
n
ESS / n2
2 （ x x ) i i 1
n
(2)置信区间
ˆ - ˆ | s( )t 给出置信水平 1 ，由 P{| 1 1 | t / 2 } 1 | 1 1 1 /2 s(1 ) ˆ ˆ 1 s(1 )t / 2 1 1 s(1 )t / 2 ，得 1 置信区间 [1 - t (n 2)s(1 ), 1 t (n 2)s(1 )]
ˆ1 , ˆ2 ,, ˆn )T ( y1 y ˆ ( ˆ1 , y2 y ˆ2 ,, yn y ˆ n )T -残差向量 ε
ˆ ˆ x ) 2 —残差平方和 ˆi ) ESS Qe （yi y （yi 0 1 i
2 i 1 i 1 n n
ˆ l /l %求回归参数 1 xy xx
ˆ y ˆx %求回归参数 0 1
运行结果：b1 = 2.7991，b0 = -23.5493 零售总额y与工资总额x回归模型为
ˆ 2.7991 x 23.5493 y
问题1:工资总额x=0,零售总额y=-23.5493亿元， 如何理解？ 问题2：如何检验E=0? D=2 ?
（单位：亿元）数据如下表3.1。建立社会商品零售总额与职 工工资总额数据的回归模型
表3.1 商品零售总额与职工工资表（单位：亿元）
工资总额 23.8 27.6 31.6 X 零售总额 41.4 51.8 61.7 Y
32.4
67.9
33.7 34.9
68.7 77.5
43.2 52.8
63.8
73.4
（2）建立线性回归方程
Y 0 1 X
法1:直接求出参数0，1最小二乘估计程序:
Lxx=sum((x-mean(x)).^2); %求 l xx ( xi x ) 2
i 1
n i 1
n
Lxy=sum((x-mean(x)).* (y-mean(y))); %求 lxy ( xi x )( yi y ) b1=Lxy/Lxx; b0=mean(y)-b1*mean(x);
plot(x,y,'*') xlabel('x(职工工资总额)') ylabel('y(商品零售总额)')
180 160
%作散点图 %横坐标名 %纵坐标名
140
y(商品零售总额 )
120
100
80
60
40 20
30
40
50 x(职 工 工 资 总 额 )
60
70
80
图3.1商品零售总额与职工工资总额数据散点图
其中 i ~ N (0, 2 ) (i 1, 2,, n) 相互独立
ˆ , ˆ? （1）如何求 0 , 1 的估计 0 1
（2）如何检验模型的优劣？ （3）在 x x0 处，对 y 进行预测
（2）参数估计及其性质
• 回归系数的最小二乘估计
n
选β 0 , β 1使
S( 0 , 1 ) yi 0 1 xi 最小
ˆ H 0真 1 t ~ t ( n 2) 统计量： s ( ˆ) 1
α/2
t (n-2)
α/2
- tα/2
tα/2
t
拒绝域： | t0 | t/ 2 (n 2) 检验P值： p01 PH0 (| t || t0 |) 2P(t (n 2) | t0 |)
判断： p01 时,拒绝 H01,线性回归显著; 否则接受 H01, 回归不显著.
检验： 给 0 1 ，检验 p 值: p PH 0 ( F F0 ) , 当 p F F (1, n 2) ,拒 H 0 , Y 与 X 回归显著; 否则接受假设，认为不显著．
注意：三个自由度：
TSS 自由度 fT n 1 观测个数 1 RSS 自由度 f R 2 1 回归系数个数 1 ESS 自由度 f E n 2 f T f R
2
因变量的点估计和区间估计
给出 x0 ，
2
ˆ ˆx ˆ0 y 0 1 0
---- y0 的预测值
( x x0 ) 2 1 ˆ 0 t (n 2) ˆ [1 n y ] ---- y0 置信度 1 - 置信区间 n 2 ( xi x )2
i 1
例3.1.1 近10年来，某市社会商品零售总额与职工工资总额
175.0
95.9 137.4 155.0
解（1）输入数据，绘制散点图
x=[23.80,27.60,31.60,32.40,33.70,34.90,43.20,52.80,63.80,73.40]; y=[41.4,51.8,61.70,67.90,68.70,77.50,95.90,137.40,155.0,175.0];
%计算总离差平方和
RSS=sum((y1-mean(y)).^2) %计算回归平方和 ESS=sum((y-y1).^2) R2=RSS/TSS; Sig2=ESS/(n-2) %计算残差平方和
ˆ2 %计算 ESS n2
样本方差
, s xy
( x x )( y
i 1 i
n
i
y)
n 1
样本协方差
n xi yi x ,y i 1 n i 1 n
n
样本均值
（2）参数估计及其性质
2 D 的估计 •随机误差方差
ˆ ˆ x, ˆ ˆ x —残差 ˆ ˆ y y ˆ y y 0 1 0 1
（2）建立线性回归方程
n= size(x,2)
Y 0 1 X
法2：也可调用命令polyfit,求出参数0,1最小二乘估计. % 查看X的列数，即计算样本容量
[b,s]=polyfit(x,y,1);
%调用一次多项式拟合命令polyfit计算回归参数b=(1,0) y1=polyval(b,x); % 计算回归模型的函数值 % 作原始数据和回归方程图形 % 标记'多项式拟合' % 显示参数b的最小二乘估计结果
2 2
（6）预测及统计推断
给出变量x值，预测因变量y的值
ˆ ˆ x y ˆ ˆ y （ 0 1 1 x x)
系数的点预测和区间估计
---经验回归方程
s xy ˆ ˆ y ˆx ， ----- 0 , 1 点估计 1 0 1 s xx ˆ t (n 2) ˆ 2 /s xx ----- 1 的置信度 1 - 的置信区间 1
第3章 回归分析
•regression analysis
3.1一元回归模型
一元线性回归模型及 参数估计 一元非线性回归模型 一元回归模型实例
3.2 多元线性回归 模型
多元线性回归模型 及其表示 Matlab回归分析命 令 多元线性回归实例
本章 内容
3.3逐步回归
最优回归方程选择 逐步回归Matlab方法
TSS ESS RSS
2
回归平方和
残差平方和 n n 2 ˆi2 ˆi ) ESS ( yi y
i 1 i 1
ˆi y )2 RSS ( y
i 1
n
•复相关系数平方
RSS ESS R 1 TSS TSS
2
y
i yi yi 残差 yi y 离差
y
x
y
Y f (X)
X对Y影响 —回归项
f ( X ) 0 1 X
x
随机因素影响 ——随机误差项
X ( X1 , X 2 ,, X p1 )
--一元线性回归
Y f ( X1 , X 2 ,, X p1 )
——多元回归
3.1 一元回归模型
1 一元线性回归模型 2
200
70.7810
74.14Leabharlann Baidu0
多项式拟合 180 160 140 120 100 80 60 40 20
30
40
50
60
70
80
零售总额y与工资总额x散点图和回归直线图
（3）误差估计与决定系数 在MATLAB命令窗口中继续输入:
TSS ( yi y ) 2
i 1 n
TSS=sum((y-mean(y)).^2)
2.7991 -23.5493 (b1 b0由高次到低次系数）
hold on
plot(x,y,'-*',x,y1,'-o') b 结果：n=10 b= legend('多项式拟合')
ˆ 2.7991 ˆ -23.5493 参数 (0 , 1 )最小二乘估计为 , 1 0
得到y的拟合结果 y1=(43.0697 53.7064 64.9029 67.1422 97.3727 124.2443 155.0346 181.9062)T
一元非线性回归模型
1.非线性曲线选择 2.非线性回归Matlab命令
1.一元线性回归的基本概念 2.一元多项式回归模型
3 一元回归模型建模实例
1．一元线性回归的基本概念
（1）一元线性回归模型
设Y是一个可观测随机变量，它受到一个非随机变量因
素X和随机误差的影响。若Y与X有如下线性关系：
Y 0 1 X
实验2 多元线性回 归与逐步回归
2
2018/4/14
什么叫回归？
一元回归
自变量 多少
多元回归
回归
与自变量 关系
线性回归
非线性回归
回归分析思想
确定关系— 用函数表示，如圆周长y 2 x 不确定 — 体重Y与身高X关系 : Y f ( X ) 臂长X p 1 : Y f ( X 1 , X 2 ,, X p 1 ) 体重Y与身高X1、
2 i 1
ˆ y x ˆ 0 1 n ( xi x )( yi y ) ˆ s xy i 1 1 n s 2 xx ( x x ) i i 1
s xx
---回归系数估计
(x x)
i 1 i
n
2
n 1
n ESS 1 2 2 ˆ ˆ ˆ （yi 0 1 xi ) n 2 n 2 i 1
方差的无偏估计
（3）复相关系数(可决系数)及相关性检验
•总离差平方和(Total Sum of Squares)分解
总离差平方和
TSS ( yi y )
i 1 n
注意(1)在假设 ~ N (0, 2 )下
ˆ ~ N ( β , 2 / （x x ) 2 ) U i 1 1
i 1 n
ˆ 1 1
/
(x x)
i 1 i
n
~ N (0,1),
2
ˆ/
ˆ - 1 1 （xi x ) 2
i 1 n
显著性水平
统计量F
拒绝H0

1-
p
P( F (1, n 2) )
0
F (1, n 2)
临界值上 F0 分位数
p0 P{F (1, n 2) F0}
2018/4/14
13
（5）回归系数的统计推断
假设：H01 : 1 0 H1 : 1 0
回归系数
2
--一元线性回归模型 随机误差
2
回归变量
设 ~ N (0, ) Y ~ N ( 0 1 x, )
Y 0 1 X
需 解 决 问 题
独立观测 ( X , Y ) ,样本 ( x1 , y1 ), ( x2 , y2 ),, ( xn , yn )
yi 0 1 xi i