最小二乘方差分析法分解

1 0 0 1
1 0 0 1
1 0 0 1
=
9 4 2 3
4 4 0 0
2 0 2 0
3 0 0 3
1 1 1 1 1 1 1 1 1
1 1 1 1 0 0 0 0 0
0 0 0 0 0 0 0 0 1 0 1 0 0 1 0 1 0 1
1
2
3
1 1 1 1 0 0 0 0 0
0 0 0 0 1 1 0 0 0
X=
0 0 0 0 0 0 1 1 1
该结构阵不是一个方阵，因此应求X’X
X’X=
1 1 0 0
1 1 0 0
1 1 0 0
1 1 0 0
1 0 1 0
1 0 1 0
可以证明， 是唯一的、无偏的
任何数学模型均可源自文库矩阵形式表示
yij i ij
如线性模型
其中，
的矩阵形式为 y Xb e
y为n维观测值向量 X为固定效应的结构矩阵 b为固定效应向量 e为随机误差向量，且 E e 0,V e 2 I 在
y Xb e 中，绝大多数情况下，X不会是方阵，即
其通式是：
n n 1 n2 ... nk
n1 n2 ... nk y y n1 1 1. 2 y2. n2 ... ... nk k yk .
本例每一观测值的数学模型：
第一组：1.2 11 02 03 11 …… 第二组：1.4 01 12 03 21 …… 第三组：1.0 01 02 13 31 ……
其结构矩阵X为：
1 1 1 1 1 1 1 1 1
① y 0 ，即方程组非齐次 ②X的秩=b的维数（即X为非奇异阵） ③增广矩阵|Xy|的秩=X的秩（即方程组相容）
ˆ X 1 y 则方程组有唯一解：b
当X不是方阵（即方程组中方程的个数与未知数的 个数不等）， X ' X 必为一非奇异阵，则方程组 ˆ X ' X 1 X ' y 的解可由 X ' Xb X ' y b ˆ 即为b的最小二乘估计值 其中，b
n n 1 X’X的一般通式是： ... nk
n1 ... nk n1 nk
而
10.2 X’y= 4.4 2.7 3.1
X’y=
y y 1 y2 ... yk
方程个数与未知数个数不等，为使方程有解
方程可改写成 X ' Xb X ' y
可以证明，该式必有解：
当 X ' X满秩时，必有 X ' X 存在，且为唯一，即
1
1 ˆ b X 'X X 'y
ˆ 是唯一的，且是b的最小二乘估计值，是b的 其中， b 最佳线性无偏估计值
X ' Xb X ' y有无穷多个解 当 X ' X 不满秩时，
2
请回顾一下，用 普通方差分析法 该如何分析之？
n n1 4 ， 本例中，
2
n3 3 ，
设三种添加剂的效应值分别为 1 , 2 , 3 每一观测值完整的数学模型为：yij 1 2 3 ij
当有k个组时，观测值的一般通式为：
yij 1 2 ... k ij
最小二乘分析法特别适合于以下几种情况：
1、试验条件复杂，成本太高、来源一致的大样本资 料不容易获得 2、来自各试验单位的资料不平衡、需要进行校正 3、次要因素不容易控制 4、资料需要校正合并 5、资料次级样本容量不等，而使得平方和的可加性 遭到破坏 目前，绝大多数统计软件中的方差分析均为最小二 乘方差分析法
2 2 2
yi y min
2
对 f y 求微分，并令之为0，则有
2 yi y 0
y ny 0
i
y
1 yi n
y即为算术平均数 y
继续求其二级微分，可知 f y 为极小
即算术平均数 y 是一批观测值的最小二乘估计值
在线性方程组 Xb y 中，如果
为使方程有唯一解，可加入约束条件，从而使 为满秩，得出唯一解
X 'X
常用的约束条件有很多，如：和约束、相对约束 （ 0 k 0）等，但约束条件不同，解也不同
i
二、单向分类资料的最小二乘分析法
例：设计了三种草本植物添加剂作饲养试验，得数据 如下： 添加剂种类 Ⅰ Ⅱ Ⅲ 增重效果 1.2 1.0 1.1 1.1 1.4 1.3 1.0 0.9 1.2
设有一批观测值 yi i 1, 2,..., n 以下均以 yi 代替以前的 xi
根据最小二乘原理求出处理效应的估计值，即取这 样一个y值,作为这批数据 yi 的最佳值，它应当与各 个 yi 的平方和最小，即
f y y1 y y2 y ... yn y
上式中：
n n1 n2 ... nk y y1. y2. ... yk . yi. yij
j 1 ni
因此，矩阵方阵为：
9 4 2 3 4 2 3 10.2 4.4 4 0 0 1 0 2 0 2 2.7 0 0 3 3.1 3
效应的最小二乘估计
——最小二乘方差分析 简要介绍
一、最小二乘分析法的原理和方法
这里主要讨论次级样本容量不等的最小二乘分析法 的基本内容 与其他方法相比，最小二乘分析法至少有以下几个 优点： 1、最小二乘分析法适用于线性和非线性数学模型 2、最小二乘分析法与最重要的一个统计量——算术 平均数发生关系 3、适应范围广