非参数统计方法简介
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《Statistical Methods Based on Rank》E.L. Lehmann 《Order Statistics》 H.A. David
中位数(Median) 均值(Mean)
优点：（1）有时比数学期望更有代表性； （2）受少数异常值的影响很小 （3）理论上总是存在
性质：设X有概率密度函数f(x), 另h(a)=E|X-a|, 当a为X的中位数m时，h(a)达到最小值。
R实现：无直接函数，自己借用binom.test(s, n, p=0.5, …)
符号秩和检验
符号检验不足：不考察值的大小，不能检验出偏度非常大的分布（实例 中的值明显偏大于6064，却没有检验出来）。
符号秩和检验（又称Wilcoxon符号秩检验）基本思想：考察 假定总体是连续的，且对其中位数是对称的，则
两总体独立性的χ2检验
统计量
的渐近分布是自由度为 (r－1)(с－1) 的χ2分布，式中Eij＝ ni·n·j/n 称为期望频数。 假设： H0（零假设）: 对任意的i, j, 事件“一个观测值在行i”与事件”同样 的观测在列j”是独立性。 H1（备择假设）: 行与列不独立
R: wilcox.test
r x c 列联表
一般,若总体中的个体可按两个属性A与B分类，A有r个等级 A1,A2,…,Ar；B有с个等级B1,B2,…,Bc,从总体中抽取大小为n的样 本设其中有nij个属于等级Ai和Bj，nij称为频数，将r×с个 nij(i=1,2,…,r; j=1,2,…,с)排列为一个r行с列的二维列联表（表2）， 简称r ×с表。
|xi-M0|
的秩，
W+ = ∑Ri(+) 服从中点为n(n+1)/4的对称分布。
符号秩和检验一般比符号检验更有效(强势）
R： wilcox.test()可用来进行符号秩和检验
wilcox.test(x, y = NULL, alternative = c("two.sided", "less", "greater"), mu = 0, paired = FALSE, exact = NULL, correct = TRUE, conf.int = FALSE, conf.level = 0.95, ...)
缺点：（1）X1+X2的中位数与X1,X2的中位数缺乏简单联系，数学上处理复杂且不方便 （2）中位数可能不唯一，对于离散型，定义可能不理想 （3）实际计算的复杂度远大于均值计算的复杂度
样本数据分析的一般步骤
数据探查
R: plot, hist, boxplot
分Байду номын сангаас的检验
使用QQ图 R：qqnorm, qqline
Shapiro-Wilk Normality test（正态分布检验）(适合小样本 N<2000) R: shapiro.test(x)
Kolmogorov-Smironov test (K-S分布检验) (适合大样本） ks.test(x, "pnorm", mean = mean(x), sd = sqrt(var(x)))
使用具体的假设检验方法：方差分析、T检验、非参数 方法等
中位数的符号检验
在总体分布为正态分布时，要检验其均值是否为μ，使用t检验： T= (X- μ) / (s/sqrt(n)) ~ t(n-1)。当分布未知时，此方法可能有风险
中位数检验：检验其中位数是否为M0 H0: M=M0 H1: M ≠ M0 (双边假设检验） 符号检验检验统计量： S+ = #{Xi: Xi-M0 > 0, i=1,2,3,…,n} 将其转化为二项分布检验： S+ ~ binom(n, ½)
多样本位置参数的Kruskal-Wallis秩和检验
基本思想：将k个样本混合起来，算出所有数据在混合样本中的秩， 对每一个样本的观察值的秩求和后得到它们在每组中的平均值Ri。 如果这些值很不一样，就可以怀疑原假设。
R: kruskal.test(x, g, ...)
多样本尺度参数的Fligner-Killeen检验
Fisher精确检验
χ2检验只允许20%以下的个子的期望频数小于5，如果不满足此条件，则 应该使用Fisher精确检验
基本思想：固定各边缘和的条件下，根据超几何分布，可以计算观测频 数出现任一种特定排列的条件概率。把实际出现的观测频数排列以及比 它呈现更多关联迹象的所有可能排列的条件概率算出来并相加，若所得 结果小于给定的显著水平，则判定所考虑的两个属性存在关联，从而拒 绝H0。
注意：做检验时必须保证两样本中值相等！
两样本尺度参数的Ansari-Bradley检验
检验两样本方差是否相等（相当于F检验）
R: ansari.test(x, y, alternative = c("two.sided", "less", "greater"), exact = NULL, conf.int = FALSE, conf.level = 0.95, ...)
非参数统计方法简介
廖海仁 2011.3.17
提纲
统计的稳健性 参数统计 vs 非参数统计 单总体位置参数的检验
1）中位数的符号检验 2）符号秩和检验
分布的一致性检验: χ2检验 两总体的比较与检验 多总体的比较与检验
统计之都论坛的一个帖子
标题：心理统计求教，方差分析还是T检验呢？
内容： 问题是这样的：对我校4个年级的大学生适应心理进 行分析，每个年级得出50组数据，现在要比较不同年 级之间适应性的差异性，到底要用什么检验，用spss 这样操作呢？小妹在此求教求真理，谢谢各位大哥 了～！！
分布的一致性检验：χ2检验
用来检验数据分布是否与假设分布是否一致(拟合优度检验）
H0: X具有分布F H1: X不具有分布F
理论（Pearson定理）：若F(x)完全已知，则
K = ∑m(ni- npi)2 / npi ~ χ2(m-1)
其中n= ∑ni, pi是第i个区间的理论概率, m为区间数。 （区间的选择：不宜太大，也不宜太小，每个区间一般至少要有5个数据，
若性能与总体的正态性有较强的依赖关系者，如F检验，其稳健性较差；而与总 体均值相关的统计方法，如t检验之类，其稳健性相对较好。
（2）对异常数据的稳健性
典型例子：样本均值估计总体均值，受异常数据影响较大，相对中位数与截断均 值更不稳健。 获得对异常数据稳健性的途径：a) 设计有效的方法发现并剔除异常值；b) 设计对 个别异常数据不敏感的统计方法
总区间数可选5-10个）
R: chisq.test
chisq.test(x, y = NULL, correct = TRUE, p = rep(1/length(x), length(x)), rescale.p = FALSE, simulate.p.value = FALSE, B = 2000)
多样本方差相同的检验
R: fligner.test(x, g, ...)
Thanks!
两样本Wilcoxon秩和检验
在正态总体的假定下，两样本的均值检验通常使用t检验，但t检验 并不稳健
基本思想：将样本X1,X2,…,Xm和Y1,Y2,…,Yn混合起来，并把 N=(m+n)个观测值从小到大排列起来每一个观察在混合排列中都有 自己的秩。计算X与Y样本的秩和Wx与Wy.
假设检验(检验两样本中值是否相等）：H0: Mx=My H1: Mx ≠ My
大样本理论占重要位置
所谓大样本统计方法是指根据统计量的极限性质而得出的统计方法 大样本理论依赖于概率论的极限理论
从数据本身获取信息
具有良好的稳健性
基本概念
秩(Rank):
把样本X1,X2,…,Xn按大小排列为X(1) <= X(2) <=…<= X(n), 若Xi=X (Ri) ,则称Ri为Xi的秩， 全部n个秩构成秩统计量。秩统计量是非参数统计的一个主要工具。
R: wilcox.test
两样本尺度参数的Mood检验
两独立样本方差之比的F检验对于总体非正态或数据有严重污染时不一定 适用。
设两连续总体X与Y独立，样本X1, X2, … ,Xm~F(x-θ1/σ1) Y平1,移Y来2, 使…它, Y们m~相F(等x-）θ2/σ2) , 而且F(0)=1/2, θ1 = θ2 (若不相等，可以通过
回答一： 一般与人的行为相关的数据都是偏态的分布，方差分 析和t-test就不适用了吧
统计的稳健性
指统计的一种性质：当真实模型与理论模型有不大的 偏离时，统计方法仍能维持较为良好的性质，至少不 致变得太坏。
实际应用中总体的分布的假定的分布常略有偏离；大 量的观测数据中常存在部分异常数据。
（1）对总体分布的稳健性
假设检验： H0: σ1 = σ2 H1: σ1 ≠ σ2 构∑m造(R统1i-计(N量+1：)/2记)2R11, R12, …, R1m为X的观察值在混合样本中的秩， M =
R: mood.test(x, y, alternative = c("two.sided", "less", "greater"), ...)
参数统计 vs 非参数统计
参数统计
假设总体分布函数已知（大多数基于正态假设）或只带有一些未 知参数
非参数统计
如果在一个统计问题中，如果其总体分布不能用有限个实数来刻 画，只能对它做一些分布连续、有密度、具有某些矩等一般性的 假定，则称为非参数统计问题。
非参数方法的特点
方法的适用面广而效率可能较低
fisher.test(x, y = NULL, workspace = 200000, hybrid = FALSE, control = list(), or = 1, alternative = "two.sided", conf.int = TRUE, conf.level = 0.95, simulate.p.value = FALSE, B = 2000)
中位数(Median) 均值(Mean)
优点：（1）有时比数学期望更有代表性； （2）受少数异常值的影响很小 （3）理论上总是存在
性质：设X有概率密度函数f(x), 另h(a)=E|X-a|, 当a为X的中位数m时，h(a)达到最小值。
R实现：无直接函数，自己借用binom.test(s, n, p=0.5, …)
符号秩和检验
符号检验不足：不考察值的大小，不能检验出偏度非常大的分布（实例 中的值明显偏大于6064，却没有检验出来）。
符号秩和检验（又称Wilcoxon符号秩检验）基本思想：考察 假定总体是连续的，且对其中位数是对称的，则
两总体独立性的χ2检验
统计量
的渐近分布是自由度为 (r－1)(с－1) 的χ2分布，式中Eij＝ ni·n·j/n 称为期望频数。 假设： H0（零假设）: 对任意的i, j, 事件“一个观测值在行i”与事件”同样 的观测在列j”是独立性。 H1（备择假设）: 行与列不独立
R: wilcox.test
r x c 列联表
一般,若总体中的个体可按两个属性A与B分类，A有r个等级 A1,A2,…,Ar；B有с个等级B1,B2,…,Bc,从总体中抽取大小为n的样 本设其中有nij个属于等级Ai和Bj，nij称为频数，将r×с个 nij(i=1,2,…,r; j=1,2,…,с)排列为一个r行с列的二维列联表（表2）， 简称r ×с表。
|xi-M0|
的秩，
W+ = ∑Ri(+) 服从中点为n(n+1)/4的对称分布。
符号秩和检验一般比符号检验更有效(强势）
R： wilcox.test()可用来进行符号秩和检验
wilcox.test(x, y = NULL, alternative = c("two.sided", "less", "greater"), mu = 0, paired = FALSE, exact = NULL, correct = TRUE, conf.int = FALSE, conf.level = 0.95, ...)
缺点：（1）X1+X2的中位数与X1,X2的中位数缺乏简单联系，数学上处理复杂且不方便 （2）中位数可能不唯一，对于离散型，定义可能不理想 （3）实际计算的复杂度远大于均值计算的复杂度
样本数据分析的一般步骤
数据探查
R: plot, hist, boxplot
分Байду номын сангаас的检验
使用QQ图 R：qqnorm, qqline
Shapiro-Wilk Normality test（正态分布检验）(适合小样本 N<2000) R: shapiro.test(x)
Kolmogorov-Smironov test (K-S分布检验) (适合大样本） ks.test(x, "pnorm", mean = mean(x), sd = sqrt(var(x)))
使用具体的假设检验方法：方差分析、T检验、非参数 方法等
中位数的符号检验
在总体分布为正态分布时，要检验其均值是否为μ，使用t检验： T= (X- μ) / (s/sqrt(n)) ~ t(n-1)。当分布未知时，此方法可能有风险
中位数检验：检验其中位数是否为M0 H0: M=M0 H1: M ≠ M0 (双边假设检验） 符号检验检验统计量： S+ = #{Xi: Xi-M0 > 0, i=1,2,3,…,n} 将其转化为二项分布检验： S+ ~ binom(n, ½)
多样本位置参数的Kruskal-Wallis秩和检验
基本思想：将k个样本混合起来，算出所有数据在混合样本中的秩， 对每一个样本的观察值的秩求和后得到它们在每组中的平均值Ri。 如果这些值很不一样，就可以怀疑原假设。
R: kruskal.test(x, g, ...)
多样本尺度参数的Fligner-Killeen检验
Fisher精确检验
χ2检验只允许20%以下的个子的期望频数小于5，如果不满足此条件，则 应该使用Fisher精确检验
基本思想：固定各边缘和的条件下，根据超几何分布，可以计算观测频 数出现任一种特定排列的条件概率。把实际出现的观测频数排列以及比 它呈现更多关联迹象的所有可能排列的条件概率算出来并相加，若所得 结果小于给定的显著水平，则判定所考虑的两个属性存在关联，从而拒 绝H0。
注意：做检验时必须保证两样本中值相等！
两样本尺度参数的Ansari-Bradley检验
检验两样本方差是否相等（相当于F检验）
R: ansari.test(x, y, alternative = c("two.sided", "less", "greater"), exact = NULL, conf.int = FALSE, conf.level = 0.95, ...)
非参数统计方法简介
廖海仁 2011.3.17
提纲
统计的稳健性 参数统计 vs 非参数统计 单总体位置参数的检验
1）中位数的符号检验 2）符号秩和检验
分布的一致性检验: χ2检验 两总体的比较与检验 多总体的比较与检验
统计之都论坛的一个帖子
标题：心理统计求教，方差分析还是T检验呢？
内容： 问题是这样的：对我校4个年级的大学生适应心理进 行分析，每个年级得出50组数据，现在要比较不同年 级之间适应性的差异性，到底要用什么检验，用spss 这样操作呢？小妹在此求教求真理，谢谢各位大哥 了～！！
分布的一致性检验：χ2检验
用来检验数据分布是否与假设分布是否一致(拟合优度检验）
H0: X具有分布F H1: X不具有分布F
理论（Pearson定理）：若F(x)完全已知，则
K = ∑m(ni- npi)2 / npi ~ χ2(m-1)
其中n= ∑ni, pi是第i个区间的理论概率, m为区间数。 （区间的选择：不宜太大，也不宜太小，每个区间一般至少要有5个数据，
若性能与总体的正态性有较强的依赖关系者，如F检验，其稳健性较差；而与总 体均值相关的统计方法，如t检验之类，其稳健性相对较好。
（2）对异常数据的稳健性
典型例子：样本均值估计总体均值，受异常数据影响较大，相对中位数与截断均 值更不稳健。 获得对异常数据稳健性的途径：a) 设计有效的方法发现并剔除异常值；b) 设计对 个别异常数据不敏感的统计方法
总区间数可选5-10个）
R: chisq.test
chisq.test(x, y = NULL, correct = TRUE, p = rep(1/length(x), length(x)), rescale.p = FALSE, simulate.p.value = FALSE, B = 2000)
多样本方差相同的检验
R: fligner.test(x, g, ...)
Thanks!
两样本Wilcoxon秩和检验
在正态总体的假定下，两样本的均值检验通常使用t检验，但t检验 并不稳健
基本思想：将样本X1,X2,…,Xm和Y1,Y2,…,Yn混合起来，并把 N=(m+n)个观测值从小到大排列起来每一个观察在混合排列中都有 自己的秩。计算X与Y样本的秩和Wx与Wy.
假设检验(检验两样本中值是否相等）：H0: Mx=My H1: Mx ≠ My
大样本理论占重要位置
所谓大样本统计方法是指根据统计量的极限性质而得出的统计方法 大样本理论依赖于概率论的极限理论
从数据本身获取信息
具有良好的稳健性
基本概念
秩(Rank):
把样本X1,X2,…,Xn按大小排列为X(1) <= X(2) <=…<= X(n), 若Xi=X (Ri) ,则称Ri为Xi的秩， 全部n个秩构成秩统计量。秩统计量是非参数统计的一个主要工具。
R: wilcox.test
两样本尺度参数的Mood检验
两独立样本方差之比的F检验对于总体非正态或数据有严重污染时不一定 适用。
设两连续总体X与Y独立，样本X1, X2, … ,Xm~F(x-θ1/σ1) Y平1,移Y来2, 使…它, Y们m~相F(等x-）θ2/σ2) , 而且F(0)=1/2, θ1 = θ2 (若不相等，可以通过
回答一： 一般与人的行为相关的数据都是偏态的分布，方差分 析和t-test就不适用了吧
统计的稳健性
指统计的一种性质：当真实模型与理论模型有不大的 偏离时，统计方法仍能维持较为良好的性质，至少不 致变得太坏。
实际应用中总体的分布的假定的分布常略有偏离；大 量的观测数据中常存在部分异常数据。
（1）对总体分布的稳健性
假设检验： H0: σ1 = σ2 H1: σ1 ≠ σ2 构∑m造(R统1i-计(N量+1：)/2记)2R11, R12, …, R1m为X的观察值在混合样本中的秩， M =
R: mood.test(x, y, alternative = c("two.sided", "less", "greater"), ...)
参数统计 vs 非参数统计
参数统计
假设总体分布函数已知（大多数基于正态假设）或只带有一些未 知参数
非参数统计
如果在一个统计问题中，如果其总体分布不能用有限个实数来刻 画，只能对它做一些分布连续、有密度、具有某些矩等一般性的 假定，则称为非参数统计问题。
非参数方法的特点
方法的适用面广而效率可能较低
fisher.test(x, y = NULL, workspace = 200000, hybrid = FALSE, control = list(), or = 1, alternative = "two.sided", conf.int = TRUE, conf.level = 0.95, simulate.p.value = FALSE, B = 2000)