最小二乘方差分析法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
2
3
1 1 1 1 0 0 0 0 0
0 0 0 0 1 1 0 0 0
X=
0 0 0 0 0 0 1 1 1
Hale Waihona Puke Baidu
该结构阵不是一个方阵，因此应求X’X
X’X=
1 1 0 0
1 1 0 0
1 1 0 0
1 1 0 0
1 0 1 0
1 0 1 0
设有一批观测值 yi i 1,2,..., n 以下均以 yi 代替以前的 xi
根据最小二乘原理求出处理效应的估计值，即取这 样一个y值,作为这批数据 yi 的最佳值，它应当与各 个 yi 的平方和最小，即
f y y1 y y2 y ... yn y
ˆ 1.1611 0.1889 1.35 y2 2 ˆ 1.1611 0.1278 1.033 y
3 3
数据比较简单时，手工计算和统计软件运算两者差 别不大，但当数据结构比较复杂，或数据量很大 时，则必须借助于统计软件
这里仅用单因素的数据结构来说明最小二乘分析法 的原理和基本方法，以作为统计软件中方差分析 方法的说明 两因素、多因素的最小二乘分析法此处不再介绍， 其基本原理是一样的，仅方法上更复杂一些
n n 1 X’X的一般通式是： ... nk
n1 ... nk n1 nk
而
10.2 X’y= 4.4 2.7 3.1
X’y=
y y 1 y2 ... yk
（*）
end
其通式是：
n n 1 n2 ... nk
n1 n2 ... nk y y n1 1 1. 2 y2. n2 ... ... nk k yk .
2 2 2
yi y min
2
对 f y 求微分，并令之为0，则有
2 yi y 0
y ny 0
i
y
1 yi n
y即为算术平均数 y
继续求其二级微分，可知 f y 为极小
即算术平均数 y 是一批观测值的最小二乘估计值
在线性方程组 Xb y 中，如果
上式中：
n n1 n2 ... nk y y1. y2. ... yk . yi. yij
j 1 ni
因此，矩阵方阵为：
9 4 2 3 4 2 3 10.2 4.4 4 0 0 1 0 2 0 2 2.7 0 0 3 3.1 3
最小二乘分析法特别适合于以下几种情况：
1、试验条件复杂，成本太高、来源一致的大样本资 料不容易获得 2、来自各试验单位的资料不平衡、需要进行校正 3、次要因素不容易控制 4、资料需要校正合并 5、资料次级样本容量不等，而使得平方和的可加性 遭到破坏 目前，绝大多数统计软件中的方差分析均为最小二 乘方差分析法
2
请回顾一下，用 普通方差分析法 该如何分析之？
n n1 4 ， 本例中，
2
n3 3 ，
设三种添加剂的效应值分别为 1 , 2 , 3 每一观测值完整的数学模型为：yij 1 2 3 ij
当有k个组时，观测值的一般通式为：
yij 1 2 ... k ij
可以证明， 是唯一的、无偏的
任何数学模型均可用矩阵形式表示
yij i ij
如线性模型
其中，
的矩阵形式为 y Xb e
y为n维观测值向量 X为固定效应的结构矩阵 b为固定效应向量 e为随机误差向量，且 E e 0,V e 2 I 在
y Xb e 中，绝大多数情况下，X不会是方阵，即
本例每一观测值的数学模型：
第一组：1.2 11 02 03 11 …… 第二组：1.4 01 12 03 21 …… 第三组：1.0 01 02 13 31 ……
其结构矩阵X为：
1 1 1 1 1 1 1 1 1
方程个数与未知数个数不等，为使方程有解
方程可改写成 X ' Xb X ' y
可以证明，该式必有解：
当 X ' X满秩时，必有 X ' X 存在，且为唯一，即
1
1 ˆ b X 'X X 'y
ˆ 是唯一的，且是b的最小二乘估计值，是b的 其中， b 最佳线性无偏估计值
X ' Xb X ' y有无穷多个解 当 X ' X 不满秩时，
降阶后的矩阵仍为对称阵，且满秩，因此有唯一解：
9 1 1 2 1 0.1204 0.0370 0.0463 1 1 10.2 1.3 7 3 3 5 0.4 0.0370 0.0463 10.2 1.1611 1.3 0.0611 0.2037 0.1296 0.1296 0.2870 0.4 0.1889
1
即 （总体效应值）=1.1611，此即为最小二乘均 值LSM（least square mean）
ˆ（第一种中草药添加剂效应值）=-0.0611 1 ˆ（第二种中草药添加剂效应值）=0.1889 2
ˆ（第三种中草药添加剂效应值）= 3
=-（-0.0611+0.1889）=-0.1278 三种中草药添加剂的最小二乘均值（LSM）则分别 ˆ 1.1611 0.0611 1.1 为：y1 1
然后作列相减，即除第一列外的各列均减去最后一 列： 9 1 1 10.2
1 7 1 3 1.3 3 1 5 2 0.4
这一过程称为矩阵的降阶，降阶后的矩阵称为降阶矩 阵，降阶矩阵与原矩阵相比，少了一行一列，即由 原来的（k+1）行（k+1）列降为k行k列
1 0 0 1
1 0 0 1
1 0 0 1
=
9 4 2 3
4 4 0 0
2 0 2 0
3 0 0 3
1 1 1 1 1 1 1 1 1
1 1 1 1 0 0 0 0 0
0 0 0 0 0 0 0 0 1 0 1 0 0 1 0 1 0 1
可以看出，X’X是不满秩的，因此它无唯一解
由于 i 0 是其约束条件，因此可以将该方程组减 去一个 （习惯上总是减去最后一个 k）
首先作行相减，第一行是 方程，因此不减 从第二行逐行减去最后一个方程：
9 4 2 3 10.2 1 4 0 3 1.3 1 1 0 2 3 2 0.4
① y 0 ，即方程组非齐次 ②X的秩=b的维数（即X为非奇异阵） ③增广矩阵|Xy|的秩=X的秩（即方程组相容）
ˆ X 1 y 则方程组有唯一解：b
当X不是方阵（即方程组中方程的个数与未知数的 个数不等）， X ' X 必为一非奇异阵，则方程组 ˆ X ' X 1 X ' y 的解可由 X ' Xb X ' y b ˆ 即为b的最小二乘估计值 其中，b
为使方程有唯一解，可加入约束条件，从而使 为满秩，得出唯一解
X 'X
常用的约束条件有很多，如：和约束、相对约束 （ 0 k 0）等，但约束条件不同，解也不同
i
二、单向分类资料的最小二乘分析法
例：设计了三种草本植物添加剂作饲养试验，得数据 如下： 添加剂种类 Ⅰ Ⅱ Ⅲ 增重效果 1.2 1.0 1.1 1.1 1.4 1.3 1.0 0.9 1.2
效应的最小二乘估计
——最小二乘方差分析 简要介绍
一、最小二乘分析法的原理和方法
这里主要讨论次级样本容量不等的最小二乘分析法 的基本内容 与其他方法相比，最小二乘分析法至少有以下几个 优点： 1、最小二乘分析法适用于线性和非线性数学模型 2、最小二乘分析法与最重要的一个统计量——算术 平均数发生关系 3、适应范围广
2
3
1 1 1 1 0 0 0 0 0
0 0 0 0 1 1 0 0 0
X=
0 0 0 0 0 0 1 1 1
Hale Waihona Puke Baidu
该结构阵不是一个方阵，因此应求X’X
X’X=
1 1 0 0
1 1 0 0
1 1 0 0
1 1 0 0
1 0 1 0
1 0 1 0
设有一批观测值 yi i 1,2,..., n 以下均以 yi 代替以前的 xi
根据最小二乘原理求出处理效应的估计值，即取这 样一个y值,作为这批数据 yi 的最佳值，它应当与各 个 yi 的平方和最小，即
f y y1 y y2 y ... yn y
ˆ 1.1611 0.1889 1.35 y2 2 ˆ 1.1611 0.1278 1.033 y
3 3
数据比较简单时，手工计算和统计软件运算两者差 别不大，但当数据结构比较复杂，或数据量很大 时，则必须借助于统计软件
这里仅用单因素的数据结构来说明最小二乘分析法 的原理和基本方法，以作为统计软件中方差分析 方法的说明 两因素、多因素的最小二乘分析法此处不再介绍， 其基本原理是一样的，仅方法上更复杂一些
n n 1 X’X的一般通式是： ... nk
n1 ... nk n1 nk
而
10.2 X’y= 4.4 2.7 3.1
X’y=
y y 1 y2 ... yk
（*）
end
其通式是：
n n 1 n2 ... nk
n1 n2 ... nk y y n1 1 1. 2 y2. n2 ... ... nk k yk .
2 2 2
yi y min
2
对 f y 求微分，并令之为0，则有
2 yi y 0
y ny 0
i
y
1 yi n
y即为算术平均数 y
继续求其二级微分，可知 f y 为极小
即算术平均数 y 是一批观测值的最小二乘估计值
在线性方程组 Xb y 中，如果
上式中：
n n1 n2 ... nk y y1. y2. ... yk . yi. yij
j 1 ni
因此，矩阵方阵为：
9 4 2 3 4 2 3 10.2 4.4 4 0 0 1 0 2 0 2 2.7 0 0 3 3.1 3
最小二乘分析法特别适合于以下几种情况：
1、试验条件复杂，成本太高、来源一致的大样本资 料不容易获得 2、来自各试验单位的资料不平衡、需要进行校正 3、次要因素不容易控制 4、资料需要校正合并 5、资料次级样本容量不等，而使得平方和的可加性 遭到破坏 目前，绝大多数统计软件中的方差分析均为最小二 乘方差分析法
2
请回顾一下，用 普通方差分析法 该如何分析之？
n n1 4 ， 本例中，
2
n3 3 ，
设三种添加剂的效应值分别为 1 , 2 , 3 每一观测值完整的数学模型为：yij 1 2 3 ij
当有k个组时，观测值的一般通式为：
yij 1 2 ... k ij
可以证明， 是唯一的、无偏的
任何数学模型均可用矩阵形式表示
yij i ij
如线性模型
其中，
的矩阵形式为 y Xb e
y为n维观测值向量 X为固定效应的结构矩阵 b为固定效应向量 e为随机误差向量，且 E e 0,V e 2 I 在
y Xb e 中，绝大多数情况下，X不会是方阵，即
本例每一观测值的数学模型：
第一组：1.2 11 02 03 11 …… 第二组：1.4 01 12 03 21 …… 第三组：1.0 01 02 13 31 ……
其结构矩阵X为：
1 1 1 1 1 1 1 1 1
方程个数与未知数个数不等，为使方程有解
方程可改写成 X ' Xb X ' y
可以证明，该式必有解：
当 X ' X满秩时，必有 X ' X 存在，且为唯一，即
1
1 ˆ b X 'X X 'y
ˆ 是唯一的，且是b的最小二乘估计值，是b的 其中， b 最佳线性无偏估计值
X ' Xb X ' y有无穷多个解 当 X ' X 不满秩时，
降阶后的矩阵仍为对称阵，且满秩，因此有唯一解：
9 1 1 2 1 0.1204 0.0370 0.0463 1 1 10.2 1.3 7 3 3 5 0.4 0.0370 0.0463 10.2 1.1611 1.3 0.0611 0.2037 0.1296 0.1296 0.2870 0.4 0.1889
1
即 （总体效应值）=1.1611，此即为最小二乘均 值LSM（least square mean）
ˆ（第一种中草药添加剂效应值）=-0.0611 1 ˆ（第二种中草药添加剂效应值）=0.1889 2
ˆ（第三种中草药添加剂效应值）= 3
=-（-0.0611+0.1889）=-0.1278 三种中草药添加剂的最小二乘均值（LSM）则分别 ˆ 1.1611 0.0611 1.1 为：y1 1
然后作列相减，即除第一列外的各列均减去最后一 列： 9 1 1 10.2
1 7 1 3 1.3 3 1 5 2 0.4
这一过程称为矩阵的降阶，降阶后的矩阵称为降阶矩 阵，降阶矩阵与原矩阵相比，少了一行一列，即由 原来的（k+1）行（k+1）列降为k行k列
1 0 0 1
1 0 0 1
1 0 0 1
=
9 4 2 3
4 4 0 0
2 0 2 0
3 0 0 3
1 1 1 1 1 1 1 1 1
1 1 1 1 0 0 0 0 0
0 0 0 0 0 0 0 0 1 0 1 0 0 1 0 1 0 1
可以看出，X’X是不满秩的，因此它无唯一解
由于 i 0 是其约束条件，因此可以将该方程组减 去一个 （习惯上总是减去最后一个 k）
首先作行相减，第一行是 方程，因此不减 从第二行逐行减去最后一个方程：
9 4 2 3 10.2 1 4 0 3 1.3 1 1 0 2 3 2 0.4
① y 0 ，即方程组非齐次 ②X的秩=b的维数（即X为非奇异阵） ③增广矩阵|Xy|的秩=X的秩（即方程组相容）
ˆ X 1 y 则方程组有唯一解：b
当X不是方阵（即方程组中方程的个数与未知数的 个数不等）， X ' X 必为一非奇异阵，则方程组 ˆ X ' X 1 X ' y 的解可由 X ' Xb X ' y b ˆ 即为b的最小二乘估计值 其中，b
为使方程有唯一解，可加入约束条件，从而使 为满秩，得出唯一解
X 'X
常用的约束条件有很多，如：和约束、相对约束 （ 0 k 0）等，但约束条件不同，解也不同
i
二、单向分类资料的最小二乘分析法
例：设计了三种草本植物添加剂作饲养试验，得数据 如下： 添加剂种类 Ⅰ Ⅱ Ⅲ 增重效果 1.2 1.0 1.1 1.1 1.4 1.3 1.0 0.9 1.2
效应的最小二乘估计
——最小二乘方差分析 简要介绍
一、最小二乘分析法的原理和方法
这里主要讨论次级样本容量不等的最小二乘分析法 的基本内容 与其他方法相比，最小二乘分析法至少有以下几个 优点： 1、最小二乘分析法适用于线性和非线性数学模型 2、最小二乘分析法与最重要的一个统计量——算术 平均数发生关系 3、适应范围广