非参数统计方法简介讲解

《Order Statistics》 H.A. David
中位数(Median) 均值(Mean)
优点：（1）有时比数学期望更有代表性； （2）受少数异常值的影响很小 （3）理论上总是存在 性质：设X有概率密度函数f(x), 另h(a)=E|X-a|, 当a为X的中位数m时，h(a)达到最小值。 缺点：（1）X1+X2的中位数与X1,X2的中位数缺乏简单联系，数学上处理复杂且不方便 （2）中位数可能不唯一，对于离散型，定义可能不理想 （3）实际计算的复杂度远大于均值计算的复杂度
使用具体的假设检验方法：方差分析、T检验、非参数
方法等
中位数的符号检验
在总体分布为正态分布时，要检验其均值是否为μ，使用t检验： T=
(X- μ) / (s/sqrt(n)) ~ t(n-1)。当分布未知时，此方法可能有风险
中位数检验：检验其中位数是否为M0
H0: M=M0 H1: M ≠ M0 (双边假设检验） 符号检验检验统计量： S+ = #{Xi: Xi-M0 > 0, i=1,2,3,…,n} 将其转化为二项分布检验： S+ ~ binom(n, ½)
从数据本身获取信息
具有良好的稳健性
基本概念
秩(Rank):
把样本X1,X2,…,Xn按大小排列为X(1) <= X(2) <=…<= X(n), 若Xi=X (Ri) ,则称Ri为Xi的秩， 全部n个秩构成秩统计量。秩统计量是非参数统计的一个主要工具。 《Statistical Methods Based on Rank》E.L. Lehmann
非参数统计方法简介
廖海仁 2011.3.17
提 纲
统计的稳健性 参数统计 vs 非参数统计 单总体位置参数的检验
1）中位数的符号检验
2）符号秩和检验
分布的一致性检验: χ 2检验
两总体的比较与检验
多总体的比较与检验
统计之都论坛的一个帖子
标题：心理统计求教，方差分析还是T检验呢？ 内容：
问题是这样的：对我校4个年级的大学生适应心理进 行分析，每个年级得出50组数据，现在要比较不同年 级之间适应性的差异性，到底要用什么检验，用spss 这样操作呢？小妹在此求教求真理，谢谢各位大哥 了～！！
回答一：
一般与人的行为相关的数据都是偏态的分布，方差分 析和t-test就不适用了吧
统计的稳健性
符号秩和检验一般比符号检验更有效(强势）
R： wilcox.test()可用来进行符号秩和检验
wilcox.test(x, y = NULL, alternative = c("two.sided", "less", "greater"), mu = 0, paired = FALSE, exact = NULL, correct = TRUE, conf.int = FALSE, conf.level = 0.95, ...)
R实现：无直接函数，自己借用binom.test(s, n, p=0.5, …)
符号秩和检验
符号检验不足：不考察值的大小，不能检验出偏度非常大的分布（实例
中的值明显偏大于6064，却没有检验出来）。
符号秩和检验（又称Wilcoxon符号秩检验）基本思想：考察 |xi-M0| 的秩，
假定总体是连续的，且对其中位数是对称的，则 W+ = ∑Ri(+) 服从中点为n(n+1)/4的对称分布。
（2）对异常数据的稳健性
典型例子：样本均值估计总体均值，受异常数据影响较大，相对中位数与截断均 值更不稳健。 获得对异常数据稳健性的途径：a) 设计有效的方法发现并剔除异常值；b) 设计对 个别异常数据不敏感的统计方法
参数统计 vs 非参数统计
参数统计
假设总体分布函数已知（大多数基于正态假设）或只带有一些未 知参数
分布的一致性检验：χ 2检验
用来检验数据分布是否与假设分布是否一致(拟合优度检验） H0: X具有分布F H1: X不具有分布F 理论（Pearson定理）：若F(x)完全已知，则 K = ∑ (n - np )2 / np ~ χ 2(m-1)
m i i i
其中n= ∑ni, pi是第i个区间的理论概率, m为区间数。 （区间的选择：不宜太大，也不宜太小，每个区间一般至少要有5个数据， 总区间数可选5-10个）
R: chisq.test
chisq.test(x, y = NULL, correct = TRUE, p = rep(1/length(x), length(x)), rescale.p = FALSE, simulate.p.value = FALSE, B = 2000)
r x c 列联表
指统计的一种性质：当真实模型与理论模型有不大的
偏离时，统计方法仍能维持较为良好的性质，至少不 致变得太坏。 实际应用中总体的分布的假定的来自百度文库布常略有偏离；大 量的观测数据中常存在部分异常数据。 （1）对总体分布的稳健性
若性能与总体的正态性有较强的依赖关系者，如F检验，其稳健性较差；而与总 体均值相关的统计方法，如t检验之类，其稳健性相对较好。
非参数统计
如果在一个统计问题中，如果其总体分布不能用有限个实数来刻 画，只能对它做一些分布连续、有密度、具有某些矩等一般性的 假定，则称为非参数统计问题。
非参数方法的特点
方法的适用面广而效率可能较低
大样本理论占重要位置
所谓大样本统计方法是指根据统计量的极限性质而得出的统计方法 大样本理论依赖于概率论的极限理论
样本数据分析的一般步骤
数据探查
R: plot, hist, boxplot
分布的检验
使用QQ图 R：qqnorm, qqline Shapiro-Wilk Normality test（正态分布检验）(适合小样本 N<2000) R: shapiro.test(x) Kolmogorov-Smironov test (K-S分布检验) (适合大样本） ks.test(x, "pnorm", mean = mean(x), sd = sqrt(var(x)))