线性回归计算方法及公式精编版

•
750
27
41
33
•
750
29.5
21
15
•
750
32
6
1
•
1150
27
17
7
•
1150
29.5
36
7
•
1150
32
27
4
•
1550
27
0
0
•
1550
29.5
16
4
•
1550
32
59
5
回归方程和偏回归系数的假设检验
回归方程的假设检验： 建立回归方程后，须分析应变量Y与这p个自 变量之间是否确有线性回归关系，可用F分析。 H0： B1＝B2＝….=Bp=0 H1： H0不正确 ＝0.05 F ＝ MS回归 / MS误差
MS回归 ＝SS回归／p SS回归 = bjLjy ( j =1,2….,P) MS误差 ＝SS误差／(n-p-1) SS误差为残差平方和
有k类，则用k－1变量（伪变量）
• 如职业,分四类可用三个伪变量：
y1 y2 y3
工人 1 0 0
农民
010
干部
001
学生
0 00
• 多元线性回归方程的评价
评价回归方程的优劣、好坏可用确定系 数R2和剩余标准差Sy,x1,2..p 。 Sy,x1,2. p ＝SQRT（SS误差／n-p-1）
如用于预测，重要的是组外回代结果。
Logistic回归的参数估计
• Logistic回归模型的参数估计常用最大似然法，最大似 然法的基本思想是先建立似然函数或对数似然函数， 似然函数或对数似然函数达到极大时参数的取值，即 为参数的最大似然估计值。其步骤为对对数似然函数 中的待估参数分别求一阶偏导数，令其为0得一方程组， 然后求解。由于似然函数的偏导数为非线性函数，参 数估计需用非线性方程组的数值法求解。常用的数值 法为Newton-Raphson法。不同研究的设计方案不同， 其似然函数的构造略有差别，故Logistic回归有非条件 Logistic回归与条件Logistic回归两种。
回归模型中自变量的筛选
和多元线性回归分析一样，在Logistic回 归分析中也须对自变量进行筛选。方法 和多元线性回归中采用的方法一样，有 向后剔除法、向前引入法及逐步筛选法 三种。筛选自变量的方法有wald检验、 Score test、likelihood ratio test(wald chisquare test)三种。
X的取值在正负无穷大之间；F(x)则在0－1之 间取值，并呈单调上升S型曲线。人们正是利 用Logistic分布函数这一特征，将其应用到临床 医学和流行病学中来描述事件发生的概率。
以因变量D＝1表示死亡，D＝0表示生存，以P（D＝1／X） 表示暴露于药物剂量X的动物死亡的概率，设
P（D＝1／X）＝e Bo+BX /(1+e Bo+BX )
偏回归系数的假设检验
回归方程的假设检验若拒绝H0，则可分别对每 一个偏回归系数bj作统计检验，实质是考察在固 定其它变量后，该变量对应变量 Y 的影响有无 显著性。
H0： Bj=0 H1： Bj不为零 ＝0.05 F ＝ （Xj 的偏回归平方和／1） / MS误差
Xj 的偏回归平方和：去Xj后回归平方和的减少量
量若H重0新成构立建，新可的把方Xj程从。回归方程中剔除，余下变
标准化偏回归系数和确定系数
• 标准化偏回归系数：
在比较各自变量对应变量相对贡献大小时，由 于各自变量的单位不同，不能直接用偏回归系 数的大小作比较，须用标准化偏回归系数。
bj ´ = bj (sj / sy)
确定系数：
简记为R2，即回归平方和SS回归与总离均 差平方和SS总的比例。
一般地，设某事件D发生（D＝1）的概 率P依赖于多个自变量（x1,x2, …,xp)，且
P（D＝1）＝e Bo+B1X1+…+BpXp /(1+e Bo+B1X1+…+BpXp ) 或
Logit(P) ＝ Bo+B1X1+…+Bp X p 则称该事件发生的概率与变量间关系符合多元
Logistic回归或对数优势线性回归。
H0：K个自变 量为好 H1：K＋1个自变量为好
• 向前引入法（forward selection)
自变量由少到多一个一个引入回归方程。 将 corr(y , xj)最大而又能拒绝H0者，最 先引入方程，余此类推。至不能再拒绝 H0为止。
• 向后剔除法（backward selection)
自变量先全部选入方程，每次剔除一个使 上述检验最不能拒绝H0者，直到不能剔 除为止。
Logistic 回归的应用
• 筛选危险因素 • 校正混杂因素 • 预测与判别
例1：在饮酒与食道癌的成组病例对照研究中，共有200 例食道癌患者和774例非食道癌对照，年龄是混杂因素， 按年龄分层后资料如下：
age 对象（1=病例 0=对照） 饮酒 不饮酒 合计 OR
25—34 1
1
0
1
0
9 106
多元线性回归
• 多元线性回归是简单线性回归的直接推广，其包含一 个因变量和二个或二个以上的自变量。
• 简单线性回归是研究一个因变量（Y）和一个自变量 （X）之间数量上相互依存的线性关系。而多元线性回 归是研究一个因变量（Y）和多个自变量（Xi）之间数 量上相互依存的线性关系。
• 简单线性回归的大部分内容可用于多元回归，因其基 本概念是一样的。
回归方程中自变量的选择
• 多元线性回归方程中并非自变量越多越 好，原因是自变量越多剩余标准差可能 变大；同时也增加收集资料的难度。故 需寻求“最佳”回归方程，逐步回归分 析是寻求“较佳”回归方程的一种方法。
选择变量的统计学标准
• R2最大
R2 ＝ SS回归／ SS总
• adjR2最大： adjR2＝1－MS误差/ MS总
logistic回归模型参数的意义
优势比（odds ratio, OR)：暴露人群发病优势与非暴露 人群发病优势之比。
P(1) / [1-p(1)] OR= ———————
P(0) / [1-p(0)]
Ln(oR)=logit[p(1)]-logit[p(0)]=(B0+B×1) －(B0+B×0)=B 可见B是暴露剂量增加一个单位所引起的对数优势的增 量，或单位暴露剂量与零剂量死亡优势比的对数。eB就 是两剂量死亡优势比。常数项B0是所有变量X等于零时 事件发生优势的对数。
内容安排
• Logistic回归模型 • 模型参数的意义 • Logistic回归模型的参数估计 • Logistic回归方程的假设检验 • Logistic回归模型中自变量的筛选 • Logistic回归的应用
Logistic回归模型
• 先引入Logistic分布函数，表达式为： F（x) = ex / ( 1+ex )
y =B0+B1x1+B2x2+…+Bp xp+ (模型）
B0、B1、B2和Bp为待估参数， 为残差。 • 由一组样本数据，可求出等估参数的估计值b0、b1、b2
和bp,，得到如下回归方程：
ŷi =b0+b1x1+b2x2+…+bp xp
• 由此可见，建立回归方程的过程就是对回归模型中的 参数（常数项和偏回归系数）进行估计的过程。
记Logit(P)=ln[p/(1-p)],则上式可表示为：
Logit(P) ＝ Bo+BX
这里X的取值仍是任意的， Logit(P)的值亦 在正负无穷大之间，概率P的数值则必然在 0－1之间。 p/(1-p)为事件的优势， Logit(P) 为对数优势，故logistic回归又称对数优势 线性回归
参数的最小二乘估计
• 与简单回归类似，我们寻求参数B0、B1、B2和 Bp的适宜估计数值b0、b1、b2和bp,，使实际观 察值和回归方程估计值之间残差平方和最小，
即 Q＝ (yi －ŷi) 2
= (yi － b0－b1x1i－b2x2i－…－bp xp i) 2
对b0、b1…、bp分别求偏导数，今偏导数为零 可获得P＋1个正规方程，求解正规方程可得待 估参数值。
C、Score：用于检验全部协变量联合作用的显著性，但 不包截距项。
2、偏回归系数的显著性检验：目的是检验回 归模型中自变量的系数是否为零，等价于总 体优势比OR是否为零。 H0：B等于零 H1：B不等于零
A、wald检验： B、Score test: C、likelihood ratio test(wald chi-square test):
• Cp值最小
Cp＝（n-p-1)(MS误差.p/MS误差.全部－1）＋（p+1)
选择变量的方法
• 最优子集回归分析法：
p个变量有2p－1个方程 • 逐步回归分析
向前引入法(forward selection) 向后剔除法(backward selection) 逐步引入－剔除法(stepwise selection)
（X1=40 X2=40 X3=13 p=0.92;
X1=39 X2=35 X3=11 p=0.23)
• 例3：在研究新生儿出生时体重、妊娠周数与支气管肺的发育不良 病（BPD）的关系时，得下表资料。
• 出生时体重（组中值） 妊娠周数 观察人数 患BPD人数
• birth weight
age
n
BPD
例：测量16名四岁男孩心脏纵径X1（CM）、心脏横径 X2（CM）和心象面积Y（CM2）三项指标，得如下数 据。试作象面积Y对心脏纵径X1、心脏横径X2多元线 性回归分析。