方差分析的若干模型

• 所以一般用glm过程进行方差分析,基本上不用检验正态性 和方差齐性
• glm过程的sas实现和anova过程
• proc anova/glm; • class x y； • model y=x y ； • run；
• 但是， GLM过程对纵向数据，处理能力较 弱，而且对不具有独立性的数据和不具有 等相关结构的数据处理能力很弱。
• 假设包括ck在内，共有3个水平包括对照 • 如果分别做t-test，那么要两两比较3次，那
么置信区间从一次的 95%变为 • α=（0.95）3=0.85 • 为了解决这个问题，发展出ANOVA
ANOVA的原理和前提
• ANOVA的核心原理是把总体误差分为处理 间误差和处理内误差，然后用总体误差除 以组内误差，从而计算出F值。通过F值找 出P值。
• 预测拟合结果正确次数分别是50 % , 83．13 %；
• 因此，消除共线性对回归方程的预测正确 性提高显著。
• 程序步如下 • proc glm; • class l s; • model ET= l s l*s; • run; • proc mixed; • class l s; • model ET= l; • random s l*s; • run;
附关于多元数据回归的处理
• 1逐步回归可同时对大量因素进行分析,但是 因素不宜太多,因此,通常对自变量过多的资 料进行聚类,主成分等分析,压缩数据量.
虱长期发生量的概率预报方程。由于是用非 线性相关系数进行上述筛选, 因此, 称之为非 线性逐步回归方法
• 主分量非线性逐步回归法: 使用主分量分析 方法提取各个物理量场的主要分量作为场 的综合因子, 再对各个物理量场的多个综合 因子作与上述筛选方法类似的逐步回归建 立预报方程, 并称之为主分量非线性逐步回 归筛选方法
• 非参数检验方法产生是统计思想的一次转 变，——只要有数据，就能提取信息，给 出判断。
• 非参数常用的方法如符号检验和秩和检验 （比如Wilcox方法）
• 但是，用于多处理水平的非参数检验在学 术界并没有受到广泛接受，Kruskal-Wallis
非参数检验的缺点
• 信息的丢失，以秩和检验为例
• 1，10 ，1000，和1，999，1000，秩值为
• MIXED过程的优点， • １，不考虑数据分布， • ２，数据丢失引起的统计信息降• GLM 只能将时变因素平均化，而MIXED既合理考虑了不
同时间的内在联系，又考虑了重复测量观察值的相关 • ４，通过设定协方差结构的设定，可以有效消除数据间的
•1 3 5
14 5
• 如此，信息有很大的丢失。
• 因为数据不符合正态性，方差不齐而放弃 大部分信息采用秩和方法，是得不偿失。
GLM过程的出现
• 1972年，广义线性模型被提出。 • 1983《广义线性模型》 McCullagh Nelder • 1989 GlM过程被引入统计软件sas splus • GLM的特点在保守和严密的同时，对信息
• 首先，是时间上的重复测定，表明是纵向 数据，而且重复测定误差大。
• 其次，数据间有很明显的相关性。多伦两 塔间相关系数为0.9，和锡林浩特是0.6。
• 最后，以多伦两个塔和锡林浩特放牧塔数 据进行比较，设置非等相关数据结构。
• 分别用两个过程进行分析，比较结果。
• 结果
• 结果表明， GLM严重扩大了犯Ｉ类错误的概率（本数据 经过修改，显著放大了两者间的区别）
• GI M 一元方差分析的实质是将每个观察对象的不 同观测作为一个区组，按照完全随机区组设计进 行分析。但本实例的相关系数矩阵提示时间邻近 的观测值间的相关性较大，因此相应假设检验的F 值较大，I类错误的概率增加。
数据结构特征
• 1，多伦两个涡度塔和锡林浩特放牧涡度塔 的观测数据，处理因素是生长季，土地利 用类型，时间序列上的重复测定，要求分 析处理对ＥＴ的影响。
相关性。 • ５，非线性数据可以用NLMIXED过程进行分析。
• MIXED的缺点 • １，语句和协方差数据结构需要设定难度
大 • ２，中文资料少
• 至此，所有数据均能进行有效的方差分析。 （包括协方差分析和多重比较）
例子
• 选择生源和师资水平相当的三所职校进行性教育 • 效果的评价，研究对象为高一年级学生。一所学校为 • 对照组(group=3)，不进行专门的性教育；两所学校为 • 干预组，采取不同的教学方法，干预1组(group=1)为 • 参与互动式，干预2组(group=2)为传统灌输式。三 • 所学校共有新生1 670人，在基线(t=3)、中期(t=2) • 和终线(t=1)分别有1 609、1 473和1 487人参加了 • 问卷调查，每次调查中数据缺失比例约为5％。三次 • 调查共有记录4 561条。每个对象重复观测次数不完 • 全相等，其中有t 311人参加了三次调查。
进行最大限度的处理。
• 广义线性模型是常见的正态线性模型的推 广,适用于连续数据和离散数据的统计分析. 思路是将方差分析模型作为线性回归模型, 先用试验数据拟合线性回归模型,然后用一
般的回归显著性检验方法检验主效应和交 互作用的平方和。
• GLM过程可以用于检验指数分布的模型,而且对可 以接受非平衡的数据进行检验,不需要进行数据的 删除.
• ANOVA默认的Ho是处理不会产生显著差异。 因此当P< α时，即认为处理产生了显著差 异
• ANOVA的核心就是误差分解
ANOVA误差分解公式
• 公式 • 误差分解方式决定了ANOVA的前提假定 • 1，样本数据呈正态分布 • 2，样本方差具有齐性，是线性可加的 • 3，样本数据间要有独立性 • 同时，ANOVA过程在具体的处理过程中要
• 因此，将二者结合起来可将多元共线控制在最低限度，取 得较为满意的回归效果
• 比如,探讨植物生物量增加和气候土壤光合作用诸多因子 间的关系,建立回归方程.那么年降雨量,温度,湿度,土壤含 水量,这一类值间就会有相关性(共线性)因此需要压缩.
• 由于因子分析和主成分分析都严重依赖于 原始变量,因此只能反映原始变量的信息.所 以如果原始变量在本质上是独立的,那么降 维就起到相反效果,
求数据均衡，不能缺失超过2个观测值，这 种数据的插补和剔出，会损失很多信息
• 严格来说，不满足三前提的数据是不能进 行ANOVA，
• 理想化数据分布是不存在的.绝大多数数据 需要变换，或者近似判断。
• 但是由于数据本身限制，很难变换成功， 特别是方差齐性。
• 数据变换的缺点：丢失量纲；
非参数检验的诞生
方差分析的若干模型浅析
李昂
简介
• 1，从方差分析方法出现的先后分别介绍 ANOVA方法，非参数检验法，GLM方法， MIXED方法。
• 2，用苗师姐数据进行GLM方法和MIXED方 法进行比较，评估结果
• 3，附主成分逐步回归文献的介绍
方差分析产生的原因
• 为了解决多水平的实验结果数据分析，在t 检验的基础上发展出方差分析
• 1，是时间序列数据，其数据的重复观测超 出了传统重复数据的范围。
• 对同一指标在不同时间空间下进行多次的 观察和测量，叫重复测量资料，由于重复 测量数据间存在自相关性，而且随机误差 至少可以分为两个层次，个体误差和个体 内随机测量误差。
• 2，数据间具有明显的相关性。
MIXED过程的提出
• 1997年开始推广MIXED模型.sas8.0引入MIXED过程， SPSS16也引入了该过程。
• 2原始指标中,很多因素是彼此相关的,这种 相关就是多元共线性.为了建立最优方程,往 往要消除共线性,
• 主成分分析可将众多的彼此相关的原始指标综合成数目较 少，彼此无关的新指标主成分
• 逐步回归是一种从引入和剔除两个方向上反复进行筛选变 量，以建立最优方程的方法，两种方法都可在一定程度上 减少多元共线性的影响
• 假定的改变
• 1,变量不限于正态分布,可以是指数分布,
• 2,不要自变量和因变量间存在线性关系,因为GLM 用模型确定的拟合值是线性的
• 3,不要求方差为常数,方差可以是均值的函数,(无 视方差齐性要求)
•等
• GLM过程的基本思想就是把那些不满足经典线性模型假定 的数据分析纳入广义线性模型的框架,
• 1中三条线段间距离的差异提示三个组别对 象知识得分水平不同；三条线段倾斜的方 向和大小不同提示时间t和组别group有交互 作用。
GLM过程进行分析时自动删除了含有缺失值的观察 对象的其他观测值，与MIXED相比，有14．25％的信 息损失
GLM过程的Ｆ值偏大，犯Ｉ类错误的几率增大
• 在无缺失数据的研究中，当设定方差结构为CS时， MIXED可获得与GLM分析中一元方差相一致的结 果。这是因为GI M 默认的协方差结构为CS。
• 因为很难把很多独立变量用少数综合的变 量概括.
• 数据越相关,降维的效果越好.
例子
• 褐飞虱长期预测因子的选择与模型的组建 • 马飞（南农文章）等 • 预报量如害虫发生量、发生程度等与预报
因子西太平洋副热带高压平均面积指数、 平均强度指数及东亚槽平均位置等因素的 回归方差
• 非线性逐步回归法: 通过上述步骤进行第一次 因子选择后, 把选择后的因子集中在一起用逐 步回归进行第二次选择, 从而建立最后的褐飞