多层统计分析模型
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
个体解释变量对结局变量的影响是否会受到场景变量 的影响。
探索（1）—分别估计
在个体水平和组群水平分别进行分析； 试图用单一的个体水平模型的分析结果来推论另
一水平的统计结果。
level 1: yij 0 1xij ij level 2 : y j 0 1x j j
探索（2）—传统回归
假设检验
全局检验：F检验； 局部检验：对方差-协方差估计使用Wald Z检验；对系
数使用t检验；
单测检验，P值需除2； 其它可使用LR等。
模型比较
对于嵌套模型，使用LR检验； 对于非嵌套模型，使用AIC，AICC和BIC检验； 无论何种，均需使用ML进行估计。
对变异的解释程度（RB）
空模型
3步迭代完成； 所有随机系数的检验部分低于检验水准； ICC=0.4296/（0.4296+0.5629）=43.28% 应进一步拟合多水平模型
空模型加入场景变量
Snaij 0 j eij
0 j 00 01agg1 j u0 j
Snaij 00 01agg1 j u0 j eij
总体内个体的聚集性测量；
多层统计模型的局限性
（2）
研究对象一般具有流动性，即受到群组影响的程度不 同，虽可用出入时间进行控制，但此信息一般不可知；
依然存在自变量带有测量误差的问题，必需借助于结 构方程模型（SEM）；
完全嵌套假设，即每一个低水平单位嵌套、且仅嵌套 于一个高水平单位。
用于多层统计模型的软件
最小二乘法（LS）
包括迭代广义最小二乘法（IGLS）和限制性迭代广义 最小二乘法（RIGLS）
都以普通最小二乘估计（OLS）为初始值进行迭代； 地位及相对关系大致等同于ML和REML； 是MLwiN使用的算法。
经验Bayes方法（EB）
“收缩估计（shrinkage estimator）” 以可靠性权重确定最后的估计值； 对于某些样本量很小的组，则更多的使用总样本
M
P
Q
QM
Q
yij 00 0mwmj xp pij q0 zqij
qmwmj zqij u0 j zqijuqj eij
m1
p 1
q 1
q1 m1
q 1
SAS中的公式表达
Y X Z e
模型假设
eij ~ N 0, 2
u0 j
u1
j
~
N
如果不恒定，则进行第二步模型，以组变量为因变量， 系数为自变量进行回归。
探索（3）—两步模型的
问题
无论哪一步均使用OLS，并不适用； 当组群过多，则十分麻烦； 某些组内样本量很少时，进行回归不稳定； 将每个组群认为是不相关的，忽略了其为从一大样本
中抽取的事实。
多层统计模型的出现
研究的学者很多；
很小的相关将导致很大的I类错误。
多层数据的常见来源
复杂抽样； 多中心临床试验； 纵向研究（longitudinal studies）与重复测量
（repeated measures）；
“高低搭配”； Meta分析； ……
多层统计模型的研究内容
哪些个体解释变量会影响结局变量；
哪些场景变量会影响结局变量；
陶庄 中国CDC卫生统计研究室
青蛙与池塘（“Frog-pond
theory”）
青蛙—学生个体；
池塘—学校环境；
学生的成绩好坏不仅受到个体本身的影响，也受到学 校环境的影响！
多层数据
低一层（低水平）单位（个体）的数据嵌套（nested）于 高一层（高水平）的单位（组群）之中。
结局变量，个体解释变量，场景变量（contextual variables）
传统纵向数据分析方法的
局限性
重复测量的方差分析； 假设残差方差在各时间点上相等； 或，假设任何时点之间的残差方差的差异相等（即所
0 j 00 01agg1 j u0 j
Snaij 00 01agg1 j 1ageij u0 j eij
加入水平1变量（固定效
应）
3步迭代完成，随机截距有意义； 所有随机系数的检验部分低于检验水准； 该模型-2LL=199.1，前模型-2LL=345.8，则
LRχ2=146.7，p=0.000；
的信息，进行“借力（borrow strength）”
ˆ0*j jˆ0 j 1 j ˆ00
空模型的可靠性权重
0 j
2 u0
2 u0
2
/ nj
nj ICC 1 nj 1 ICC
对模型拟合的评价
SAS给出：-2LL，AIC，AICC，BIC等统计量，其值越小 越好；
但只在比较模型时有用； 模型收敛的速度可以说明拟合的好坏。
用传统的固定效应回归模型中一般的交互项理解 多层数据中的跨层（cross-level）交互作用。
yij 0 1xij 2 z j 3 xij z j ij
探索（3）—两步模型 （two-stage model）
第一步模型，对各组分别进行同一回归模型估计，获 得一系列的系数；
对这些系数的恒定性进行检验；
ˆ2 l 1总所设模型
ˆ2 l 1总零模型
2
2
ˆ ˆ ˆ l2总零模型
l 2总所设模型
SB 1 l2
2
ˆ ˆ l2总零模型
2 l 2总所设模型
2 l 2总零模型
ˆ
2 l 1总
2 u0
2,
ˆ
2 l 2总
2 u0
2
n
例1：对医生满意度调查
Patid：病人编号； Phys：医生编wenku.baidu.com； Age：病人年龄； Sat：满意度分数； Practice：执业时间；
专门软件：HLM；MLwiN；SuperMIX；aML；EGRET； LISREL；Mplus等。
通用统计学软件：SAS；SPSS；stata；S-plus/R等。
基础知识
组内相关系数
（Intra-Class Correlation Coefficient, ICC）
ICC
2 b
2 w
2 b
H. Goldstein
模型称为：multilevel models； 软件为：MLwiN（早期版本称ML3，MLn）
多层统计模型的名称
multilevel models hierarchical linear model random-effect model random coefficient model various component model mixed-effect model empirical Bayes model
固定和随机回归系数
Level 2 variation
6
5
4
Exam Score
3
2
1
0
0
0.5
1
Intake achievement
最大似然法（ML）
包括普通最大似然法（ML）和限制性最大似然 法（REML）；
两者用于估计的残差基础不同，后者的残差包 括所有的随机变异；
REML是SAS的MIXED过程和HLM的默认算法； REML通常用于组数量较少的模型； ML可以用于模型比较，而REML不行； REML估计较优，而ML较快。
组内观察相关
（within-group observation dependence）
同一组内的个体，较不同组的个体而言，在观念、行 为等很多方面更为接近或相似；即便不是刻意分组， 也是如此。
组内同质（within-group homogeneity），组间异质
（between-group heterogeneity）
空模型加入场景变量
3步迭代完成，随机截距有意义； 所有随机系数的检验部分低于检验水准； 该模型-2LL=345.8，空模型-2LL=352.2，则LRχ2=6.4，
p=0.0114；
RB=1-0.3330/0.4296=0.2248;
加入水平1变量（固定效 应）
Snaij 0 j 1ageij eij
Snaij 00 01agg1 j 10ageij 11agg1 jageij u0 j u1 jageij eij
跨层交互作用评估
5步迭代完成，随机截距有意义，但交互项没意义； -2LL等都对前模型有所增加； 跨层交互作用不显著。
建模一般步骤
运行空模型以获得ICC，判断是否进行多层模型拟合； 加入水平2解释变量； 加入水平1解释变量； 检验水平1随机斜率； 检验跨水平交互作用（全模型）。
两个水平1自变量、一个水平2自变量
level 1:
yij 0 j 1x1ij 1 j z1ij eij
level 2 :
0 j 00 01w1 j u0 j 1 j 10 11w1 j u1 j
total : yij 00 01w1 j 1x1ij 10 z1ij 11w1 j z1ij u0 j u1 j z1ij eij
0 0
u2u2001
2 u 01
2 u1
Cov eij , u0 j 0, Cov eij , u1 j 0
模型假设—SAS的表达
E
u e
0
Varue
G
0
0 R
G
~
N
0 0
2 u0
2 u 01
0
2 u 02
2 u 01
2 u1
2 u12
2 u 02
2 u12
2 u2
R 2I
空模型
Satij 0 j eij
0 j 00 u0 j
Satij 00 u0 j eij
空模型
2步迭代完成； 所有随机系数的检验均高于检验水准； ICC=0.00292/（0.00292+1.291）=0.23% 不用进一步拟合多水平模型
例2：SNA角度测量值
id：观察对象编号； occa：每次观察编号； Age：病人年龄； SNA：角度； agg：场景变量；
所有随机系数的检验部分低于检验水准； 该模型-2LL=185.6，前模型-2LL=199.1，则LRχ2=3.5，
p=0.1738；
跨层交互作用评估
Snaij 0 j 1 jageij eij
0 j 00 01agg1 j u0 j
1 j 10 11agg1 j u1 j
系统的主要为两；
研究的理论没有根本上的分歧；
双方研究成果的发布时间基本相同（上世纪80 年代末90年代初）；
分别有各自分析的成熟的软件；
目前，大家基本上接受两组人分别独立开发出 同一模型的结果。
S. Raudenbush与A. Bryk
模型称为：hierarchical linear model； 软件为：HLM
一般模型
level 1:
P
Q
yij 0 j p xpij qj zqij eij
p 1
q 1
level 2 :
M
0 j 00 w 0m mj u0 j m1
M
1 j 10 1mwmj u1 j m1
M
Qj Q0 Qmwmj uQj m1
total :
RBl1
ˆ
2 零模型
ˆ
ˆ
2 所设模型
2 零模型
1
ˆ
2 所设模型
ˆ
2 零模型
RBl2
2
ˆ ˆ 1 u0零模型
2 u 0所设模型
ˆ2 u 0零模型
ˆ2 u 0所设模型
ˆ2 u 0零模型
对变异的解释程度（SB）
SBl1
2
ˆ ˆ l1总零模型
2 l 1总所设模型
1 2 ˆ l 1总零模型
组间方差占总方差的比例。 可使用对“空模型”的拟合获得； 值域在0到1之间，越接近1，说明相关越明显； 对ICC的检验是是否选择多层模型的依据。
空模型（又称截距模型）
level 1: yij 0 j eij
level 2 : 0 j 00 u0 j
total : yij 00 u0 j eij
多层统计模型的优点
同时分析组效应和个体效应； 不需有独立性假设； 对稀疏（sparse）数据，即每组样本很少的数据，特
别有效；
特别适合对发展模型（GM）的分析。
多层统计模型的局限性
（1）
模型复杂，不够简约； 需较大样本以保证稳定性； 组群数量较少，会出现偏倚； 高水平单位并非严格抽样获得； 某些场景变量通常是各组个体的聚集性测量，而不是
检验水平1的随机性 Snaij 0 j 1 jageij eij
0 j 00 01agg1 j u0 j
1 j 10 u1 j
Snaij 00 01agg1 j 10ageij u0 j u1 jageij eij
检验水平1的随机性
4步迭代完成，2个随机系数均有意义；
探索（1）—分别估计
在个体水平和组群水平分别进行分析； 试图用单一的个体水平模型的分析结果来推论另
一水平的统计结果。
level 1: yij 0 1xij ij level 2 : y j 0 1x j j
探索（2）—传统回归
假设检验
全局检验：F检验； 局部检验：对方差-协方差估计使用Wald Z检验；对系
数使用t检验；
单测检验，P值需除2； 其它可使用LR等。
模型比较
对于嵌套模型，使用LR检验； 对于非嵌套模型，使用AIC，AICC和BIC检验； 无论何种，均需使用ML进行估计。
对变异的解释程度（RB）
空模型
3步迭代完成； 所有随机系数的检验部分低于检验水准； ICC=0.4296/（0.4296+0.5629）=43.28% 应进一步拟合多水平模型
空模型加入场景变量
Snaij 0 j eij
0 j 00 01agg1 j u0 j
Snaij 00 01agg1 j u0 j eij
总体内个体的聚集性测量；
多层统计模型的局限性
（2）
研究对象一般具有流动性，即受到群组影响的程度不 同，虽可用出入时间进行控制，但此信息一般不可知；
依然存在自变量带有测量误差的问题，必需借助于结 构方程模型（SEM）；
完全嵌套假设，即每一个低水平单位嵌套、且仅嵌套 于一个高水平单位。
用于多层统计模型的软件
最小二乘法（LS）
包括迭代广义最小二乘法（IGLS）和限制性迭代广义 最小二乘法（RIGLS）
都以普通最小二乘估计（OLS）为初始值进行迭代； 地位及相对关系大致等同于ML和REML； 是MLwiN使用的算法。
经验Bayes方法（EB）
“收缩估计（shrinkage estimator）” 以可靠性权重确定最后的估计值； 对于某些样本量很小的组，则更多的使用总样本
M
P
Q
QM
Q
yij 00 0mwmj xp pij q0 zqij
qmwmj zqij u0 j zqijuqj eij
m1
p 1
q 1
q1 m1
q 1
SAS中的公式表达
Y X Z e
模型假设
eij ~ N 0, 2
u0 j
u1
j
~
N
如果不恒定，则进行第二步模型，以组变量为因变量， 系数为自变量进行回归。
探索（3）—两步模型的
问题
无论哪一步均使用OLS，并不适用； 当组群过多，则十分麻烦； 某些组内样本量很少时，进行回归不稳定； 将每个组群认为是不相关的，忽略了其为从一大样本
中抽取的事实。
多层统计模型的出现
研究的学者很多；
很小的相关将导致很大的I类错误。
多层数据的常见来源
复杂抽样； 多中心临床试验； 纵向研究（longitudinal studies）与重复测量
（repeated measures）；
“高低搭配”； Meta分析； ……
多层统计模型的研究内容
哪些个体解释变量会影响结局变量；
哪些场景变量会影响结局变量；
陶庄 中国CDC卫生统计研究室
青蛙与池塘（“Frog-pond
theory”）
青蛙—学生个体；
池塘—学校环境；
学生的成绩好坏不仅受到个体本身的影响，也受到学 校环境的影响！
多层数据
低一层（低水平）单位（个体）的数据嵌套（nested）于 高一层（高水平）的单位（组群）之中。
结局变量，个体解释变量，场景变量（contextual variables）
传统纵向数据分析方法的
局限性
重复测量的方差分析； 假设残差方差在各时间点上相等； 或，假设任何时点之间的残差方差的差异相等（即所
0 j 00 01agg1 j u0 j
Snaij 00 01agg1 j 1ageij u0 j eij
加入水平1变量（固定效
应）
3步迭代完成，随机截距有意义； 所有随机系数的检验部分低于检验水准； 该模型-2LL=199.1，前模型-2LL=345.8，则
LRχ2=146.7，p=0.000；
的信息，进行“借力（borrow strength）”
ˆ0*j jˆ0 j 1 j ˆ00
空模型的可靠性权重
0 j
2 u0
2 u0
2
/ nj
nj ICC 1 nj 1 ICC
对模型拟合的评价
SAS给出：-2LL，AIC，AICC，BIC等统计量，其值越小 越好；
但只在比较模型时有用； 模型收敛的速度可以说明拟合的好坏。
用传统的固定效应回归模型中一般的交互项理解 多层数据中的跨层（cross-level）交互作用。
yij 0 1xij 2 z j 3 xij z j ij
探索（3）—两步模型 （two-stage model）
第一步模型，对各组分别进行同一回归模型估计，获 得一系列的系数；
对这些系数的恒定性进行检验；
ˆ2 l 1总所设模型
ˆ2 l 1总零模型
2
2
ˆ ˆ ˆ l2总零模型
l 2总所设模型
SB 1 l2
2
ˆ ˆ l2总零模型
2 l 2总所设模型
2 l 2总零模型
ˆ
2 l 1总
2 u0
2,
ˆ
2 l 2总
2 u0
2
n
例1：对医生满意度调查
Patid：病人编号； Phys：医生编wenku.baidu.com； Age：病人年龄； Sat：满意度分数； Practice：执业时间；
专门软件：HLM；MLwiN；SuperMIX；aML；EGRET； LISREL；Mplus等。
通用统计学软件：SAS；SPSS；stata；S-plus/R等。
基础知识
组内相关系数
（Intra-Class Correlation Coefficient, ICC）
ICC
2 b
2 w
2 b
H. Goldstein
模型称为：multilevel models； 软件为：MLwiN（早期版本称ML3，MLn）
多层统计模型的名称
multilevel models hierarchical linear model random-effect model random coefficient model various component model mixed-effect model empirical Bayes model
固定和随机回归系数
Level 2 variation
6
5
4
Exam Score
3
2
1
0
0
0.5
1
Intake achievement
最大似然法（ML）
包括普通最大似然法（ML）和限制性最大似然 法（REML）；
两者用于估计的残差基础不同，后者的残差包 括所有的随机变异；
REML是SAS的MIXED过程和HLM的默认算法； REML通常用于组数量较少的模型； ML可以用于模型比较，而REML不行； REML估计较优，而ML较快。
组内观察相关
（within-group observation dependence）
同一组内的个体，较不同组的个体而言，在观念、行 为等很多方面更为接近或相似；即便不是刻意分组， 也是如此。
组内同质（within-group homogeneity），组间异质
（between-group heterogeneity）
空模型加入场景变量
3步迭代完成，随机截距有意义； 所有随机系数的检验部分低于检验水准； 该模型-2LL=345.8，空模型-2LL=352.2，则LRχ2=6.4，
p=0.0114；
RB=1-0.3330/0.4296=0.2248;
加入水平1变量（固定效 应）
Snaij 0 j 1ageij eij
Snaij 00 01agg1 j 10ageij 11agg1 jageij u0 j u1 jageij eij
跨层交互作用评估
5步迭代完成，随机截距有意义，但交互项没意义； -2LL等都对前模型有所增加； 跨层交互作用不显著。
建模一般步骤
运行空模型以获得ICC，判断是否进行多层模型拟合； 加入水平2解释变量； 加入水平1解释变量； 检验水平1随机斜率； 检验跨水平交互作用（全模型）。
两个水平1自变量、一个水平2自变量
level 1:
yij 0 j 1x1ij 1 j z1ij eij
level 2 :
0 j 00 01w1 j u0 j 1 j 10 11w1 j u1 j
total : yij 00 01w1 j 1x1ij 10 z1ij 11w1 j z1ij u0 j u1 j z1ij eij
0 0
u2u2001
2 u 01
2 u1
Cov eij , u0 j 0, Cov eij , u1 j 0
模型假设—SAS的表达
E
u e
0
Varue
G
0
0 R
G
~
N
0 0
2 u0
2 u 01
0
2 u 02
2 u 01
2 u1
2 u12
2 u 02
2 u12
2 u2
R 2I
空模型
Satij 0 j eij
0 j 00 u0 j
Satij 00 u0 j eij
空模型
2步迭代完成； 所有随机系数的检验均高于检验水准； ICC=0.00292/（0.00292+1.291）=0.23% 不用进一步拟合多水平模型
例2：SNA角度测量值
id：观察对象编号； occa：每次观察编号； Age：病人年龄； SNA：角度； agg：场景变量；
所有随机系数的检验部分低于检验水准； 该模型-2LL=185.6，前模型-2LL=199.1，则LRχ2=3.5，
p=0.1738；
跨层交互作用评估
Snaij 0 j 1 jageij eij
0 j 00 01agg1 j u0 j
1 j 10 11agg1 j u1 j
系统的主要为两；
研究的理论没有根本上的分歧；
双方研究成果的发布时间基本相同（上世纪80 年代末90年代初）；
分别有各自分析的成熟的软件；
目前，大家基本上接受两组人分别独立开发出 同一模型的结果。
S. Raudenbush与A. Bryk
模型称为：hierarchical linear model； 软件为：HLM
一般模型
level 1:
P
Q
yij 0 j p xpij qj zqij eij
p 1
q 1
level 2 :
M
0 j 00 w 0m mj u0 j m1
M
1 j 10 1mwmj u1 j m1
M
Qj Q0 Qmwmj uQj m1
total :
RBl1
ˆ
2 零模型
ˆ
ˆ
2 所设模型
2 零模型
1
ˆ
2 所设模型
ˆ
2 零模型
RBl2
2
ˆ ˆ 1 u0零模型
2 u 0所设模型
ˆ2 u 0零模型
ˆ2 u 0所设模型
ˆ2 u 0零模型
对变异的解释程度（SB）
SBl1
2
ˆ ˆ l1总零模型
2 l 1总所设模型
1 2 ˆ l 1总零模型
组间方差占总方差的比例。 可使用对“空模型”的拟合获得； 值域在0到1之间，越接近1，说明相关越明显； 对ICC的检验是是否选择多层模型的依据。
空模型（又称截距模型）
level 1: yij 0 j eij
level 2 : 0 j 00 u0 j
total : yij 00 u0 j eij
多层统计模型的优点
同时分析组效应和个体效应； 不需有独立性假设； 对稀疏（sparse）数据，即每组样本很少的数据，特
别有效；
特别适合对发展模型（GM）的分析。
多层统计模型的局限性
（1）
模型复杂，不够简约； 需较大样本以保证稳定性； 组群数量较少，会出现偏倚； 高水平单位并非严格抽样获得； 某些场景变量通常是各组个体的聚集性测量，而不是
检验水平1的随机性 Snaij 0 j 1 jageij eij
0 j 00 01agg1 j u0 j
1 j 10 u1 j
Snaij 00 01agg1 j 10ageij u0 j u1 jageij eij
检验水平1的随机性
4步迭代完成，2个随机系数均有意义；