结构方程模型与偏最小二乘法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
z 3 = β 31 z1 + β 32 z 2 + e1
z 4 = β 41 z1 + β 42 z 2 + β 43 z 3 + e2
路径图
路径系数
协方差的线性性质
k k cov ∑ ai xi , y = ∑ ai cov( xi , y ) i =1 i =1
Z1和Z3的协方差
0.45
1.00
6
0.10
0.46
0.10
0.09
0.09
1.00
7
0.09
0.Βιβλιοθήκη Baidu4
0.09
0.09
0.08
0.44
1.00
8
0.13
0.12
0.53
0.12
0.12
0.12
0.11
1.00
9
0.11
0.10
0.43
0.10
0.10
0.10
0.09
0.54
1.00
学科 1 学科 4 学科 5 学科 2 学科 6 学科 7 学科 3 学科 8 学科 9
因子模型部分称为测量模型（measurement model）， 其中的方程称为测量方程（measurement equation）， 描述了潜变量与指标之间的关系。 结构方程模型包含的因果模型部分称为潜变量模型 （latent variable model），也称为结构模型，其中的方 程称为结构方程（structural equation），描述了潜变量 之间的关系。
0.73 0.69 0.65 0.19 0.68 0.68 0.65 0.22 0.65 0.81 0.66 第三组 第二组 0.22 第一组
模型路径图
x11 x12 x13 x31 x32
ξ1 ξ3
ξ3
x 21
x 22
x 23
x 24
结构方程分析原理
结构方程模型是验证性因子模型和（潜变量） 因果模型的结合。
φ11 = var(ξ 1 ), φ 22 = var(ξ 2 ), φ 21 = cov(ξ 2 , ξ 1 ), θ ii = var(δ i ), i = 1LL5
2 λ11φ 11 + θ 11 = var( x1 ) λ 21 λ11φ 11 = cov( x 2 , x1 )
λ 2 φ 11 + θ 22 = var( x 2 ) 21 λ 2 λ11φ 11 = cov( x 3 , x1 ) 21 λ 31 λ 21φ 11 = cov( x 3 , x 2 )
0.12
0.44
1.00
8
0.14
0.17
0.53
0.14
0.08
0.10
0.06
1.00
9
0.16
0.05
0.43
0.10
0.06
0.08
0.10
0.54
1.00
学科 1
1 1.00
2
3
4
5
6
7
8
9
2
0.10
1.00
3
0.11
0.10
1.00
4
0.50
0.09
0.10
1.00
5
0.48
0.09
0.09
2 λ52φ 22 + θ 55
学科
1
2
3
4
5
6
7
8
9
1
1.00
2
0.12
1.00
3
0.08
0.08
1.00
4
0.50
0.11
0.08
1.00
5
0.48
0.03
0.12
0.45
1.00
6
0.07
0.46
0.15
0.08
0.11
1.00
7
0.05
0.44
0.15
0.12
为何要用结构方程模型
很多社会、心理研究中涉及的变量，都不能准确、 直接地测量，这种变量称为潜变量（Latent variable），如智力、学习动机、家庭社会经济地位 等等。我们只好退而求其次，用一些外显指标 （observable indicators），去间接测量这些潜变量。 例如：
以学生父母教育程度、父母职业及其收入（共6个变量）， 作为学生家庭社会经济地位（潜变量）的指标； 以学生语文、数学、英语三科成绩（外显变量），作为 学业成就（潜变量）的指标。
2 λ 31φ 11 + θ 33 = var( x 3 )
λ 2 φ 22 + θ 44 = var( x 4 ) 42 λ 52 λ 42 φ 22 = cov( x 5 , x 4 )
2 λ 52 φ 22 + θ 55 = var( x 5 )
路径分析算法原理
例子：
研究小学生受同学喜欢的程度，这个变量受到该 生的学习成绩、欺负行为的影响，还会受到班主 任对他的喜欢程度的影响，而班主任对他的喜欢 程度也受到该生的学习成绩、欺负行为的影响。 学习成绩（x1）；欺负行为（x2）；班主任的喜 欢程度（y1）；受同学喜欢的程度（y2）。
因子分析算法原理 因子分析
因子模型
x1，x2，x3是潜变量ξ1的指标（indicator）， x4，x5是潜变量ξ2的指标 测量方程（measurement equation），反映 了因子（潜变量）与其测量指标之间的关系
测量方程
x1 = λ11ξ1 + δ 1 , x 2 = λ 21ξ1 + δ 2 , x3 = λ31ξ1 + δ 3 , x 4 = λ 42ξ 2 + δ 4 , x5 = λ52ξ 2 + δ 5
cov( z 4 , z1 ) = cov( β 41 z1 + β 42 z 2 + β 43 z 3 + e2 , z1 ) = β 41 cov( z1 , z1 ) + β 42 cov( z 2 , z1 ) + β 43 cov( z 3 , z1 ) + cov(e2 , z1 )
r41 = β 41 + β 41 r21 + β 43 β 31 + β 43 β 32 r21
r42 = β 41r12 + β 42 + β 43 β 31 + β 43 β 32
r43 = β 41 r31 + β 41 β 32 r21 + β 42 β 31 r12 + β 42 β 32 + β 43
结构方程分析原理
结构方程模型是验证性因子模型和（潜变量）因果 模型的结合。 包含：
一种量化研究方法
定性研究－>定量研究（演绎） 例如：
顾客满意度与顾客忠诚 智商，情商与成就 ……
定量研究－>定性研究（归纳）
调查问卷－数据挖掘
结构方程分析
纯粹验证（strictly confirmatory）：只有一个模型 去拟合一个样本数据，分析目的是决定接受还是拒 绝这个模型 选择模型（alternative model）：提出数个不同的 可能模型，从各模型拟合样本数据的优劣，决定哪 个模型最为可取。 模型产生（model generating）：先提出一个或多 个基本模型，检查这些模型是否拟合样本数据，基 于理论或样本数据，分析找出模型中拟合欠佳的部 分，修改模型，并通过同一数据或其他样本，检查 修正模型的拟合程度，整个分析过程的目的在于产 生一个最佳模型。
0.73 0.69 0.65 0.19 0.68 0.68 0.65 0.22 0.65 0.81 0.66 第三组 第二组 0.22 第一组
模型路径参数与再生矩阵的关系
cov(1,9)=0.73*0.22*0.66=0.11 即学科1与学科9的相关系数＝学科1负荷×两 因子间相关系数×学科9负荷
为何要用结构方程模型
回归分析虽然容许因变量含测量误差，但需要假设自变量是 没有误差的。当自变量和因变量都不能准确测量时，理论上 来说，线性回归方程是不能用来估计变量之间的关系。 结构方程分析经常用来比较不同的模型。例如，被测试学生 接收多个科目（语文，数学，英语，生物，化学，物理，地 理，历史等）的测验，我们提出不同模型去解释各种能力之 间的关系。这包括：（1）所有能力可用一个一般能力（类 似心理学上一般智力）来表达；（2）各种能力可分为文、 理两类；（3）其他。结构方程分析将同一组数据用不同的 模型去拟合，看看哪一个模型拟合得更好，从而推测学生各 科目能力的结构。
y1 = γ 11 x1 + γ 12 x2 + ζ 1 y 2 = β 21 y1 + γ 21 x1 + γ 22 x2 + ξ 2
术语
在路径（因果）模型中，将回归方程称为结 构方程（structural equation），将标准化的 回归系数称为路径系数（path coefficient） 对整个模型，变量可分为外源（exogenous） 变量和内生（endogenous）变量。外源变量 是那些只起自变量作用的变量，内生变量是 那些起因变量作用的变量
cov( z 3 , z1 ) = cov(β 31 z1 + β 32 z 2 + e1 , z1 ) = β 31 cov( z1 , z1 ) + β 32 cov( z 2 , z1 ) + cov(e1 , z1 )
r31 = β 31 + β 32 r21
路径系数（续）
r32 = β 31r12 + β 32
2 λ11φ11 + θ 11 λ21λ11φ11 Σ(θ ) = λ31λ11φ11 λ42 λ11φ 21 λ52 λ11φ 21
λ2 φ11 + θ 22 21 λ31λ21φ11 λ42 λ21φ 21 λ52 λ 21φ 21
2 λ31φ11 + θ 33 λ42 λ31φ 21 λ2 φ 22 + θ 44 42 λ52 λ31φ 21 λ52 λ 42φ 22
结构方程模型与偏最小二乘法
报告人： 宁禄乔 吴兵福 何 涛
主要内容
结构方程模型简介 结构方程模型原理
因子模型 路径模型
结构方程模型与偏最小二乘法 基于两个潜变量的偏最小二乘法 基于多个潜变量的偏最小二乘法 偏最小二乘法的几何意义
结构方程模型简介
结构方程模型（Structural Equation Model, SEM） 协方差结构模型（Covariance Structure Modeling, CSM） 线性结构方程模型LISREL（LInear Structural RELationship） 基于变量的协方差(相关系数)矩阵来分析变量之间 关系的一种统计方法 应用于社会学、教育学、心理学等
var( x1 ) cov( x2 , x1 ) Σ = cov( x3 , x1 ) cov( x4 , x1 ) cov( x , x ) 5 1
var( x2 ) cov( x3 , x2 ) var( x3 ) cov( x4 , x2 ) cov( x4 , x3 ) var( x4 ) cov( x5 , x2 ) cov( x5 , x3 ) cov( x5 , x4 ) var( x5 )
模型假设
误差项的均值为零，即E(δi) = 0，i = 1…5； 误差项与因子之间不相关，即cov(δi，δj) = 0， i = 1，2，j = 1, 2, …5； 误差项之间不相关，即cov(δi，δj) = 0，i≠j。
矩阵形式
x＝Λxξ + δ
x1 λ11 x2 λ21 x = x3 , Λ x = λ31 x4 0 0 x5 0 δ1 0 δ 2 , ξ = ξ1 , δ = δ 0 ξ 3 2 λ42 δ 4 λ52 δ 5
学科
1
2
3
4
5
6
7
8
9
1
1.00
2
0.12
1.00
3
0.08
0.08
1.00
4
0.50
0.11
0.08
1.00
5
0.48
0.03
0.12
0.45
1.00
6
0.07
0.46
0.15
0.08
0.11
1.00
7
0.05
0.44
0.15
0.12
0.12
0.44
1.00
8
0.14
0.17
0.53
0.14
0.08
0.10
0.06
1.00
9
0.16
0.05
0.43
0.10
0.06
0.08
0.10
0.54
1.00
模型
学科可分为三组（即三个因子）：
学科1，4，5为一组； 学科2，6，7为一组； 学科3，8，9为一组； 这三组成绩可能相互关联。
学科 1 学科 4 学科 5 学科 2 学科 6 学科 7 学科 3 学科 8 学科 9
结构方程模型
测量方程
y = Λyη + ε x = Λxξ + δ
结构方程
η = Β η + Γξ + ζ
方程说明
y是由p个内生指标组成的p×1向量 η是由m个内生潜变量（因子）组成的m×1向量 Λy是y在η上的p×m因子负荷矩阵 ε是p个测量误差组成的p×1向量 x是由q个外源指标组成的q×1向量 ξ是由n个外源潜变量（因子）组成的n×1向量 Λx是x在ξ上的q×n因子负荷矩阵 δ是q个测量误差组成的q×1向量
z 4 = β 41 z1 + β 42 z 2 + β 43 z 3 + e2
路径图
路径系数
协方差的线性性质
k k cov ∑ ai xi , y = ∑ ai cov( xi , y ) i =1 i =1
Z1和Z3的协方差
0.45
1.00
6
0.10
0.46
0.10
0.09
0.09
1.00
7
0.09
0.Βιβλιοθήκη Baidu4
0.09
0.09
0.08
0.44
1.00
8
0.13
0.12
0.53
0.12
0.12
0.12
0.11
1.00
9
0.11
0.10
0.43
0.10
0.10
0.10
0.09
0.54
1.00
学科 1 学科 4 学科 5 学科 2 学科 6 学科 7 学科 3 学科 8 学科 9
因子模型部分称为测量模型（measurement model）， 其中的方程称为测量方程（measurement equation）， 描述了潜变量与指标之间的关系。 结构方程模型包含的因果模型部分称为潜变量模型 （latent variable model），也称为结构模型，其中的方 程称为结构方程（structural equation），描述了潜变量 之间的关系。
0.73 0.69 0.65 0.19 0.68 0.68 0.65 0.22 0.65 0.81 0.66 第三组 第二组 0.22 第一组
模型路径图
x11 x12 x13 x31 x32
ξ1 ξ3
ξ3
x 21
x 22
x 23
x 24
结构方程分析原理
结构方程模型是验证性因子模型和（潜变量） 因果模型的结合。
φ11 = var(ξ 1 ), φ 22 = var(ξ 2 ), φ 21 = cov(ξ 2 , ξ 1 ), θ ii = var(δ i ), i = 1LL5
2 λ11φ 11 + θ 11 = var( x1 ) λ 21 λ11φ 11 = cov( x 2 , x1 )
λ 2 φ 11 + θ 22 = var( x 2 ) 21 λ 2 λ11φ 11 = cov( x 3 , x1 ) 21 λ 31 λ 21φ 11 = cov( x 3 , x 2 )
0.12
0.44
1.00
8
0.14
0.17
0.53
0.14
0.08
0.10
0.06
1.00
9
0.16
0.05
0.43
0.10
0.06
0.08
0.10
0.54
1.00
学科 1
1 1.00
2
3
4
5
6
7
8
9
2
0.10
1.00
3
0.11
0.10
1.00
4
0.50
0.09
0.10
1.00
5
0.48
0.09
0.09
2 λ52φ 22 + θ 55
学科
1
2
3
4
5
6
7
8
9
1
1.00
2
0.12
1.00
3
0.08
0.08
1.00
4
0.50
0.11
0.08
1.00
5
0.48
0.03
0.12
0.45
1.00
6
0.07
0.46
0.15
0.08
0.11
1.00
7
0.05
0.44
0.15
0.12
为何要用结构方程模型
很多社会、心理研究中涉及的变量，都不能准确、 直接地测量，这种变量称为潜变量（Latent variable），如智力、学习动机、家庭社会经济地位 等等。我们只好退而求其次，用一些外显指标 （observable indicators），去间接测量这些潜变量。 例如：
以学生父母教育程度、父母职业及其收入（共6个变量）， 作为学生家庭社会经济地位（潜变量）的指标； 以学生语文、数学、英语三科成绩（外显变量），作为 学业成就（潜变量）的指标。
2 λ 31φ 11 + θ 33 = var( x 3 )
λ 2 φ 22 + θ 44 = var( x 4 ) 42 λ 52 λ 42 φ 22 = cov( x 5 , x 4 )
2 λ 52 φ 22 + θ 55 = var( x 5 )
路径分析算法原理
例子：
研究小学生受同学喜欢的程度，这个变量受到该 生的学习成绩、欺负行为的影响，还会受到班主 任对他的喜欢程度的影响，而班主任对他的喜欢 程度也受到该生的学习成绩、欺负行为的影响。 学习成绩（x1）；欺负行为（x2）；班主任的喜 欢程度（y1）；受同学喜欢的程度（y2）。
因子分析算法原理 因子分析
因子模型
x1，x2，x3是潜变量ξ1的指标（indicator）， x4，x5是潜变量ξ2的指标 测量方程（measurement equation），反映 了因子（潜变量）与其测量指标之间的关系
测量方程
x1 = λ11ξ1 + δ 1 , x 2 = λ 21ξ1 + δ 2 , x3 = λ31ξ1 + δ 3 , x 4 = λ 42ξ 2 + δ 4 , x5 = λ52ξ 2 + δ 5
cov( z 4 , z1 ) = cov( β 41 z1 + β 42 z 2 + β 43 z 3 + e2 , z1 ) = β 41 cov( z1 , z1 ) + β 42 cov( z 2 , z1 ) + β 43 cov( z 3 , z1 ) + cov(e2 , z1 )
r41 = β 41 + β 41 r21 + β 43 β 31 + β 43 β 32 r21
r42 = β 41r12 + β 42 + β 43 β 31 + β 43 β 32
r43 = β 41 r31 + β 41 β 32 r21 + β 42 β 31 r12 + β 42 β 32 + β 43
结构方程分析原理
结构方程模型是验证性因子模型和（潜变量）因果 模型的结合。 包含：
一种量化研究方法
定性研究－>定量研究（演绎） 例如：
顾客满意度与顾客忠诚 智商，情商与成就 ……
定量研究－>定性研究（归纳）
调查问卷－数据挖掘
结构方程分析
纯粹验证（strictly confirmatory）：只有一个模型 去拟合一个样本数据，分析目的是决定接受还是拒 绝这个模型 选择模型（alternative model）：提出数个不同的 可能模型，从各模型拟合样本数据的优劣，决定哪 个模型最为可取。 模型产生（model generating）：先提出一个或多 个基本模型，检查这些模型是否拟合样本数据，基 于理论或样本数据，分析找出模型中拟合欠佳的部 分，修改模型，并通过同一数据或其他样本，检查 修正模型的拟合程度，整个分析过程的目的在于产 生一个最佳模型。
0.73 0.69 0.65 0.19 0.68 0.68 0.65 0.22 0.65 0.81 0.66 第三组 第二组 0.22 第一组
模型路径参数与再生矩阵的关系
cov(1,9)=0.73*0.22*0.66=0.11 即学科1与学科9的相关系数＝学科1负荷×两 因子间相关系数×学科9负荷
为何要用结构方程模型
回归分析虽然容许因变量含测量误差，但需要假设自变量是 没有误差的。当自变量和因变量都不能准确测量时，理论上 来说，线性回归方程是不能用来估计变量之间的关系。 结构方程分析经常用来比较不同的模型。例如，被测试学生 接收多个科目（语文，数学，英语，生物，化学，物理，地 理，历史等）的测验，我们提出不同模型去解释各种能力之 间的关系。这包括：（1）所有能力可用一个一般能力（类 似心理学上一般智力）来表达；（2）各种能力可分为文、 理两类；（3）其他。结构方程分析将同一组数据用不同的 模型去拟合，看看哪一个模型拟合得更好，从而推测学生各 科目能力的结构。
y1 = γ 11 x1 + γ 12 x2 + ζ 1 y 2 = β 21 y1 + γ 21 x1 + γ 22 x2 + ξ 2
术语
在路径（因果）模型中，将回归方程称为结 构方程（structural equation），将标准化的 回归系数称为路径系数（path coefficient） 对整个模型，变量可分为外源（exogenous） 变量和内生（endogenous）变量。外源变量 是那些只起自变量作用的变量，内生变量是 那些起因变量作用的变量
cov( z 3 , z1 ) = cov(β 31 z1 + β 32 z 2 + e1 , z1 ) = β 31 cov( z1 , z1 ) + β 32 cov( z 2 , z1 ) + cov(e1 , z1 )
r31 = β 31 + β 32 r21
路径系数（续）
r32 = β 31r12 + β 32
2 λ11φ11 + θ 11 λ21λ11φ11 Σ(θ ) = λ31λ11φ11 λ42 λ11φ 21 λ52 λ11φ 21
λ2 φ11 + θ 22 21 λ31λ21φ11 λ42 λ21φ 21 λ52 λ 21φ 21
2 λ31φ11 + θ 33 λ42 λ31φ 21 λ2 φ 22 + θ 44 42 λ52 λ31φ 21 λ52 λ 42φ 22
结构方程模型与偏最小二乘法
报告人： 宁禄乔 吴兵福 何 涛
主要内容
结构方程模型简介 结构方程模型原理
因子模型 路径模型
结构方程模型与偏最小二乘法 基于两个潜变量的偏最小二乘法 基于多个潜变量的偏最小二乘法 偏最小二乘法的几何意义
结构方程模型简介
结构方程模型（Structural Equation Model, SEM） 协方差结构模型（Covariance Structure Modeling, CSM） 线性结构方程模型LISREL（LInear Structural RELationship） 基于变量的协方差(相关系数)矩阵来分析变量之间 关系的一种统计方法 应用于社会学、教育学、心理学等
var( x1 ) cov( x2 , x1 ) Σ = cov( x3 , x1 ) cov( x4 , x1 ) cov( x , x ) 5 1
var( x2 ) cov( x3 , x2 ) var( x3 ) cov( x4 , x2 ) cov( x4 , x3 ) var( x4 ) cov( x5 , x2 ) cov( x5 , x3 ) cov( x5 , x4 ) var( x5 )
模型假设
误差项的均值为零，即E(δi) = 0，i = 1…5； 误差项与因子之间不相关，即cov(δi，δj) = 0， i = 1，2，j = 1, 2, …5； 误差项之间不相关，即cov(δi，δj) = 0，i≠j。
矩阵形式
x＝Λxξ + δ
x1 λ11 x2 λ21 x = x3 , Λ x = λ31 x4 0 0 x5 0 δ1 0 δ 2 , ξ = ξ1 , δ = δ 0 ξ 3 2 λ42 δ 4 λ52 δ 5
学科
1
2
3
4
5
6
7
8
9
1
1.00
2
0.12
1.00
3
0.08
0.08
1.00
4
0.50
0.11
0.08
1.00
5
0.48
0.03
0.12
0.45
1.00
6
0.07
0.46
0.15
0.08
0.11
1.00
7
0.05
0.44
0.15
0.12
0.12
0.44
1.00
8
0.14
0.17
0.53
0.14
0.08
0.10
0.06
1.00
9
0.16
0.05
0.43
0.10
0.06
0.08
0.10
0.54
1.00
模型
学科可分为三组（即三个因子）：
学科1，4，5为一组； 学科2，6，7为一组； 学科3，8，9为一组； 这三组成绩可能相互关联。
学科 1 学科 4 学科 5 学科 2 学科 6 学科 7 学科 3 学科 8 学科 9
结构方程模型
测量方程
y = Λyη + ε x = Λxξ + δ
结构方程
η = Β η + Γξ + ζ
方程说明
y是由p个内生指标组成的p×1向量 η是由m个内生潜变量（因子）组成的m×1向量 Λy是y在η上的p×m因子负荷矩阵 ε是p个测量误差组成的p×1向量 x是由q个外源指标组成的q×1向量 ξ是由n个外源潜变量（因子）组成的n×1向量 Λx是x在ξ上的q×n因子负荷矩阵 δ是q个测量误差组成的q×1向量