非参数假设检验方法共60页
数学建模方法-非参数假设检验
两相关样本的非参数检验(2 Related Samples Test)
【例12】clinical trial.sav 比较试验药组(group=1) 治疗前血红蛋白含量(hb1)和治疗后血红蛋白含量(hb2) 有无差异.
这是两组相关计量资料的比较. 结论:P=0.018,有显著性差异.
多个相关样本的非参数检验(K Related Samples Test) 【例13】nonpara_7.sav 分析药物是否有效
两相关样本的非参数检验(2 Related Samples Test) 多个相关样本的非参数检验(K Related Samples Test)
两独立样本的非参数检验(2 Independent Samples Test) 检验两个独立样本间是否具有相同的分布. 【例8】nonpara_3.sav 比较两组人群的RD值有无差别 这是两组计量资料的比较. 选择要检验的变量和分 类变量,定义分类值(1-2),其它使用默认选项即可.从负二项分 布的结论.
单样本的K_S拟合优度检验
检验一计量资料是否服从某种理论分布,这里的分布可以 是正态分布(Normal),均匀分布(Uniform),泊松分布(Poisson), 指数分布(Exponential).
【例7】diameter_sub.sav 检验是否服从正态分布
多个独立样本的非参数检验(K Independent Samples Test) 【例10】nonpara_5.sav 比较三种药物的效果有无差别 这是三组计量资料的比较. 选择要检验的变量和分 类变量,定义分类值(1-3),其它使用默认选项即可. 结论:三组的秩和12.6,7.6,3.8,P=0.008,三种药物的 效果有显著性差异,以甲药效果最好. 【例11】nonpara_6.sav 比较三种固定钉治疗骨折的疗效 这是三组等级/频数资料的比较. 先说明频数变量, 再选择要检验的变量和分类变量,定义分类值(1-3),其它 使用默认选项即可. 结论:P=0.129,故三组无显著性差异.
非参数检验方法
⾮参数检验⽅法⾮参数检验的推断⽅法不涉及样本所属总体的分布形式,也不会使⽤均值、⽅差等统计量,⾮参数检验是通过研究样本数据的顺序和分布的性质来构成理论基础,下⾯介绍⼀些⾮参数检验经常使⽤的样本数据信息:1.顺序:将样本数据按照升序排列,可以得到X1≤X2≤X3≤Xi....≤Xn,其中Xi为第i个顺序量。
2.秩将样本数据按照升序排列,可以得到X1≤X2≤X3≤Xi....≤Xn,Ri为Xi在这⼀列数据中的位置,称为秩,R1,R2,R3...Rn为样本数据的秩统计量3.结如果样本数据中存在相同的值,那么在排序时就会出现秩相同的情况,这样的情况称为结,结的取值是对应的秩的均值。
注意是秩的均值⽽不是数据本⾝的均值。
⾮参数检验的统计理论都是根据上述概念计算⽽来,此外,和参数检验⼀样,当我们得到分析数据的时候,最先做的⼯作还是先通过图表和⼀些描述性统计量对数据整体进⾏探索性分析,掌握数据⼤致分布情况、有⽆极端值等,为后续正确选择分析⽅法打下基础。
================================================ ====⾮参数检验主要应⽤在以下场合:1.不满⾜参数检验的条件,且⽆适当的变换⽅法进⾏变换2.分布类型⽆法获知的⼩样本数据3.⼀端或两端存在不确定值,如>10004.有序分类变量求各等级之间的强度差别更进⼀步来讲,⾮参数检验可以做以下分析:⼀、单样本总体分布检验⼆、两独⽴样本差异性检验三、两配对样本差异性检验四、多个独⽴样本差异性检验五、多个相关样本差异性检验可以看出,以上应⽤除了第⼀点之外,其他都有对应的参数检验⽅法,这就要根据样本数据的实际情况来进⾏选择了:适合使⽤参数检验的优先使⽤参数检验,否则使⽤⾮参数检验。
================================================ =下⾯我们分别介绍⼀下上述应⽤对应的⾮参数检验⽅法⼀、单样本总体分布检验单样本总体分布检验主要⽤来检验某样本所在总体分布和某⼀理论分布是否存在显著差异,主要涉及的⾮参数检验⽅法有:1.卡⽅检验卡⽅检验可以检验样本数据是否符合某⼀期望分布或理论分布,这在卡⽅检验中有所介绍,在此不再多说2.⼆项分布检验⼆项分布检验主要⽤来检验样本数据是否符合某个指定的⼆项分布,该检验只适合⼆分类变量样本。
非参数检验的检验方法
非参数检验的检验方法非参数检验是一种假设检验的方法,它不依赖于总体分布的具体形式,而是基于样本数据进行推断。
相比于参数检验,非参数检验更加灵活和普适,可以适用于更广泛的情况。
非参数检验的主要思想是通过对样本数据的排序或者秩次变换,来推断总体的性质。
下面将介绍几种常见的非参数检验方法:1. Mann-Whitney U检验(又称Wilcoxon秩和检验):Mann-Whitney U检验用于比较两个独立样本的总体中位数是否相等。
它的基本思想是将两组样本的数据合并,按照从小到大的顺序进行排列,并为每个值分配一个秩次。
然后计算两组数据秩次和之差的绝对值,该值即为检验统计量U,根据U的大小可以进行推断。
2. Kruskal-Wallis H检验:Kruskal-Wallis H检验用于比较多个独立样本的总体中位数是否相等。
它的基本思想是将所有样本的数据合并,按照从小到大的顺序进行排列,并为每个值分配一个秩次。
然后计算每个样本的秩次和,以及总体的秩次和。
根据这些秩次和的差异来进行推断。
3. 秩和检验:秩和检验是一类常见的非参数检验方法,包括Wilcoxon符号秩检验和符号秩和检验。
这两种方法都是用来比较两个相关样本的总体中位数是否相等。
基本思想是将两个样本的差的符号进行标记,并用秩次表示绝对值大小的顺序。
然后根据秩次和的大小来进行推断。
4. Friedman检验:Friedman检验用于比较多个相关样本的总体中位数是否相等。
它的基本思想是将所有样本的数据进行秩次变换,并计算每个样本的秩次和。
然后根据秩次和的差异来进行推断。
在进行非参数检验时,需要注意以下几点:1. 样本独立性:非参数检验通常要求样本之间是独立的,即样本之间的观测值不受其他样本观测值的影响。
如果样本之间存在相关性,应考虑使用相关性检验或者非参数检验的相关版本。
2. 样本大小:非参数检验对样本的大小没有严格要求,但样本大小较小时可能会影响检验的统计功效。
非参数假设检验方法
非参数假设检验方法
非参数假设检验方法,那可真是个超棒的统计利器!咱先说说它的步骤吧。
嘿,你想想看,就像搭积木一样,第一步得先明确问题,确定咱要检验啥。
然后收集数据,这数据就像是建筑材料,得好好收集。
接着计算检验统计量,这就如同给积木搭出形状。
最后根据统计量判断是否拒绝原假设。
这步骤简单易懂吧?
注意事项也不少呢!数据得有代表性,不然就像盖房子用了劣质材料,那可不行。
样本量也不能太小,不然就像小娃娃搭的积木城堡,风一吹就倒啦。
说到安全性和稳定性,那可是杠杠的!它不像有些方法那么娇气,对数据的分布要求不高。
就好比一辆越野车,能在各种路况下行驶,不用担心路况不好就抛锚。
应用场景那可多了去啦!当数据不满足参数检验的条件时,非参数假设检验方法就大显身手啦。
比如研究不同年龄段的人对某种产品的喜好,数据可能乱七八糟的,这时候非参数检验就像救星一样。
它的优势也很明显啊,操作简单,容易理解,不需要太多高深的数学知识。
就像玩游戏,不需要看厚厚的说明书就能上手。
给你举个实际案例吧。
有个公司想知道新推出的广告有没有效果,就用了非参数假设检验方法。
结果发现广告确实提高了产品的知名度。
这效果,哇塞,杠杠的!
非参数假设检验方法就是这么牛!它简单易用,安全稳定,应用场景广泛,优势明显。
赶紧用起来吧!。
非参数检验方法
非参数检验方法一、什么是非参数检验非参数检验(Nonparameteric Tests)是指检验假设(比如均值、方差、分布类型)不依赖样本参数的方法,也可以称为不参数检验,将数据的描述性统计量和判别量作为假设检验的基本工具,而不主张假设服从某个具体的概率分布。
二、非参数检验的优点1、可以使用描述性统计量作为假设检验的基本工具,而不主张数据服从某个具体的概率分布,使得检验更加简单。
2、非参数检验的统计量倪比较有针对性,无论样本量大小,无论是否假定样本服从某个具体概率分布,它都能比较有效计算统计量的有效性、准确性。
3、非参数检验的抽样复杂度较低,当数据量较小时,可以获得较精确的结果。
4、非参数检验可以应用于连续变量或离散变量检验假设,使得非参数检验成为一种常见的统计检验方法。
三、常见的非参数检验方法1、Wilcoxon符号秩检验:Wilcoxon符号秩检验是用于比较两组数据之间不同水平上的秩和的检验,它的统计量是组间的秩和比,假设多个样本的总体服从同一分布,可以用来检验两组数据间的均值或中位数的差异性,即表明两个样本的分布是否有差异。
2、Kruskal-Wallis H检验:Kruskal-Wallis H检验是一种无序秩检验,它能检验总体中多组数据间的均值或中位数的比较,即用来检验多个样本构成的总体是否服从同一分布,要求多组样本的体积相等。
3、Friedman检验:Friedman检验是一种用于多个样本比较的非参数检验,它的检验统计量是秩求和检验,可以检验多个样本构成的总体是否服从相同的分布,从而比较多个样本之间的均值,中位数或众数相对应的所有统计量。
4、Spearman秩相关系数:Spearman秩相关系数是一种测量两个变量相关性程度的方法,它不要求变量服从某种分布,仅要求变量是分类变量或连续变量。
5、Cochran Q检验:Cochran Q检验是变量若干观测值服从同一分布的依赖性检验,可以检验多组数据的差异性是否具有统计学意义,一般用于比较不同实验组间的得分或响应相对于对照组的得分或响应的差异性。
假设检验——非参数检验
假设检验(二)——非参数检验假设检验的统计方法,从其统计假设的角度可分为两类:参数检验与非参数检验。
上一节我们所介绍的Z 检验、t 检验,都是参数检验。
它们的共同特点是总体分布正态,并满足某些总体参数的假定条件。
参数检验就是要通过样本统计量去推断或估计总体参数。
然而,在实践中我们常常会遇到一些问题的总体分布并不明确,或者总体参数的假设条件不成立,不能使用参数检验。
这一类问题的检验应该采用统计学中的另一类方法,即非参数检验。
非参数检验是通过检验总体分布情况来实现对总体参数的推断。
非参数检验法与参数检验法相比,特点可以归纳如下:(1)非参数检验一般不需要严格的前提假设;(2)非参数检验特别适用于顺序资料;(3)非参数检验很适用于小样本,并且计算简单;(4)非参数检验法最大的不足是没能充分利用数据资料的全部信息;(5 )非参数检验法目前还不能用于处理因素间的交互作用。
非参数检验的方法很多,分别适用于各种特点的资料。
本节将介绍几种常用的非参数检验方法。
一.2检验2检验主要用于对按属性分类的计数资料的分析,对于数据资料本身的分布形态不作任何假设,所以从一定的意义上来讲,它是一种检验计数数据分布状态的最常用的非参数检验方法。
22检验的方法主要包括适合性检验和独立性检验。
(一)2检验概述2是实得数据与理论数据偏离程度的指标。
其基本公式为:2 ( f0 f e)(公式11—9)fe式中,f0 为实际观察次数,f e 为理论次数。
分析公式可知,把实际观测次数和依据某种假设所期望的次数(或理论次数)的差数平方,除以理论次数,求出比值,再将n 个比值相加,其和就是2。
观察公式可发现,如果实际观察次数与理论次数的差异越小, 2值也就越小。
当 f 0 与 f e 完全相同时,2值为零。
际次数与理论次数之差的大小而变化利用2值去检验实际观察次数与理论次数的差异是否显著的方法称为2检验有两个主要的作第一,可以用来检验各种实际次数与理论次数是否吻合的这类问题统称为适合性检验; 第二, 判断计数的两组或多组资料是否相互关联还是相互独立的问 题,这类问题统称为独立性检验。
非参数检验 PPT
分类
参数检验(parametric tests) - 对总体参数(平均数、成数、方差等) 所作得假设进行检验
非参数检验(自由分布检验) -对总体分布形式得假设进行检验
问题得提出
我们想去检验得论述如下: 1、经过西弗吉尼亚公路150号里程碑得汽车平均时速为68 英里/小时。 2、租用雪佛龙Trail Blazer (一款中型SUV车)三年,平均行驶里 程为32000英里。 3、美国家庭居住在一座独幢住宅得平均时间为11、8年。 4、2005年四年制大学毕业生得平均起薪为37 130美元/年。 5、中西部偏北地区35%得退休人员会在退休后得1年内卖掉 她们得住房,搬到气候温暖得地方居住。 6、80%得经常购买州彩票得彩民,从未在一次下注中赢得超 过100美元得奖金。
原假设
如果公司所在市平均受教育年限为:13
问:就是否有所不同 就是否高于
数据集3
如果公司所在市平均薪水为:35000
问:就是否有所不同 就是否低于
大家学习辛苦了,还是要坚持
继续保持安静
设计检验统计量
所设计得检验统计量与原假设相关, 即 与待检验得参数相关。 我们需要知道当原假设为真时该统计量 得具体分布。
问:就是否有显著不同?
区间估计 x t (n 1) s 499.5 2.797 2.63/ 25 498.03 ~ 500.97
2
n
问:就是否能断定饮料厂商欺骗了消费者?
区间估计
x t (n 1)
s 499.5 2.492 2.63/ n
25 500.81
(,500.81)
假设检验五步法
n1 n2
z X1 X2 s12 s22 n1 n2
t
非参数检验方法
2021/6/15
23
陈学芬
第二节 两样本比较的秩和检验
Wilcoxon秩和检验法
❖ 计量资料的两样本比较 ❖ 等级资料的两样本比较
2021/6/15
24
陈学芬
Wilcoxon秩和检验法
假设检验的要点:
❖ 1、混合编秩、数据相等时取平均秩 ❖ 2、分别求两组的秩和 ❖ 3、以样本量较小组的秩和为T ❖ 4、查成组设计的T界值表、确定P值
2021/6/15
25
陈学芬
(一) 计量资料两样本比较的秩和检验
表 9-4 有无淋巴细胞转移的胃癌患者生存时间(月)
无淋巴细胞转移
有淋巴细胞转移
时间
秩次
时间
秩次
12
4.5
5
1
25
10
8
2
27
11
12
4.5
29
12.5
12
4.5
38
17
12
4.5
42
19
17
7
46
20
21
8
46
21
24
9
56
23
29
uT T T|T n (n n (n 1 ) (2 1 ) n / 4 1 |) /0 2 .4 5
注意:这里的正态近似仍属非参数检验。
2021/6/15
21
陈学芬
正态近似法(校正)
❖相同秩次较多时的校正值(如超过25%) :
Tn(n1)/40.5
u
n(n1)(2n1) (t3 j tj)
❖ 将检验统计量T值与T临界值相比,若T值在界值范围内,其 P值大于相应的概率,若T值等于界值或在界值范围外,其P 值等于或小于相应的概率;
经典非参数假设检验方法全
就意味着,对三种品牌的商品喜好比例 p1, p2 , p3相等。
即pi0 13,i1,2,3 假H 设 0:pipi01 3 H 1:pipi01 3中至少有 . 一 此是 m = 3, n1 = 61, n2= 53, n3 = 36,n=150
另外,用该统计量对总体分布律进行检验,还必须知道 其分布。 Pearson给出了其渐近分布。
定理1 若 X 的分:P 布 (X i)律 p i0,i 真 1 ,2 , ,m 为 ,
则统2 计 im 1(n i量 nn i0p i0p )2渐近服从 m 1 的 自 2分 由 .布
即 l n iP m im 1 ( n i n n i0 i0 ) p 2 p x 0 x2 ( y ,m 1 ) d ,( x y 0 )
在本节我们将介绍几种最常用的非参数检验方法: 符号检验、秩和检验和游程检验。
非参数检验
• 非参数检验的方法有很多种,如下几种检验: • 正态慨率纸检验; • 皮尔逊(Pearson)χ2拟合检验; • 柯尔莫哥洛夫与斯米尔诺夫检验; • Shapiro-Wilk W检验; • D’Agostion’s D检验; • Wilcoxon秩和检验。 • 符号检验 • 秩和检验 • 游程检验。
例3 验证一枚骰子是否均匀。 电话号码的数字出现的概率等等问题。
将两样本的数据按某一规则配对然后将各组配对值相减得到一系列差值如果两组样本来自同一总体或者不存在显著性差异则所得的为正的差值个相差不多如果二者相差较远的话则有理由拒绝原假下面通过例题来介绍配对样本符号检验法的具体步骤
非参数假设检验
在前面的课程中,我们已经了解了假设检验的基本思 想,并讨论了当总体分布为正态时,关于其中未知参数的 假设检验问题 .
非参数假设检验方法
品牌
甲
乙
丙
所购买的人数 61
53
36
依据这些数据,是否可以断定顾客对此三种品牌的商品喜好
确实存在着显著的差异?( = 0.05 )
解 若对此三种品牌的商品喜好确实不存在着显著的差异
就意味着,对三种品牌的商品喜好比例 p1, p2 , p3相等。
上页 下页 返回
此是 m = 3, n1 = 61, n2= 53, n3 = 36,n=150
由于6.52 > 5.991 故有理由拒绝H0 认为顾客对此三种品牌的商品喜好确实存在着显著的差异.
上页 下页 返回
例2 64只某种杂交的几内亚猪的后代,其中34只红色,10只 黑色,20只白色,根据遗传模型,它们之间的比例应为 9:3:4,问以上数据在0.05的水平下体现的与遗传模型是否 吻合。 认为基本吻合
定理1
则统计量
2
m
(ni
i 1
npi0 npi0
)2渐近服从自由度为m
1的
2分布.
由此可以建立 H0 的拒绝域
只要给定一组样本观察值,代入检验统计量计算后,就 能得出结论。
上页 下页 返回
例1 某商场为了研究顾客对一类商品的某三种品牌商品的喜 好比例,以便为下次进货提供较科学的依据。现随机观 察购买此商品的150名顾客,并记录下其所买的品牌,统 计人数如下:
抽取次数X 1
2
3
4 5
试验累计数 43 31 15 6
5
解 若两色球个数相等,则每次取到白球的概率为1/2 以抽取次数X为考查对象,则X服从几何分布,即
计算得
上页 下页 返回
此是 m = 5, n1 = 43, n2= 31, n3 =15, n4 = 6,n5= 5, n=100
非参数假设检验方法课件
非参数假设检验具有灵活性、稳 健性和适用范围广等优点,能够 处理更广泛的数据类型和分布情 况,不受特定参数假设的限制。
与参数检验的区别与联系
区别
参数检验基于对总体分布的参数假设 ,如正态分布等,而非参数检验则不 依赖于这些假设。
联系
非参数检验和参数检验都是为了对总 体进行推断,只是所依据的假设不同 。在实际应用中,可以根据具体情况 选择合适的检验方法。
大,可能会导致误判。
与参数检验的优缺点比较
适用范围
参数检验方法通常需要假定数据分布的形式,适用范围相对较窄 ;而非参数检验方法无需假定分布形式,适用范围更广。
解释性
参数检验方法通常可以提供具体的参数估计和效应量估计,解释性 较强;而非参数检验方法的解释性相对较差。
计算复杂性
参数检验方法的计算过程通常较为复杂,需要使用复杂的数学公式 和推导;而非参数检验方法的计算过程相对简单。
详细描述
符号检验通过计算两组数据中正例和负例的差异数,并利用二项分布的概率公 式来计算差异显著的p值。该方法适用于小样本数据,并且对数据的分布没有严 格要求。
威尔科克森符号秩检验
总结词
威尔科克森符号秩检验是用于比较两个独立样本的差异是否显著的统计方法。
详细描述
该方法通过比较两个样本的秩和,利用威尔科克森符号秩公式计算差异显著的p 值。该方法适用于处理数据量较小的情况,并且对数据的分布没有严格要求。
05
非参数假设检验的未来 发展与展望
现有研究的不足与局限性
方法适用范围有限
01
目前非参数假设检验方法主要适用于特定类型的数据和问题,
对于复杂数据或特定领域的适用性有待提高。
理论基础尚不完备
02
非参数假设检验
结果分析:
P值>0.05,接受Ho,两套问卷测试的数据服从同样的分布。
实例演示:检验一组样本的总体分布是否与猜想的分布(任 意分布)相同:拟合优度 2 检验法 Eg3.六个企业生产汽车,每小时的产量如图:
问:这些企业的生产水平,有无显著差异? 零假设Ho:六个企业的生产能力是相同的(即产量服从均匀 分布)。 备泽假设H1:六个企业的生产能力是不全相同的(产量不服 从均匀分布)
非参数假设检验
郑丽娜
非参数假设检验(Nonparametric tests) 非参数检验与参数检验共同构成统计推断的基本内容。 参数检验是在总体分布形式已知的情况下,对总体分布的参 数如均值、方差等进行推断的方法。 但在数据分析过程中,人们往往无法对总体分布形态作简单 假定,此时参数检验的方法就不再适用了。 非参数检验是在总体方差未知或知道甚少的情况下,利用样 本数据对总体分布形态等进行推断的方法。 由于非参数检验方法在推断过程中不涉及有关总体分布的参 数,因而得名为“非参数”检验。
数据输入: 数据输入见右图:
存放数据是一列 一分钟内观察到得个数 为变量值
数据分析: 步骤1 分析 非参数检验 (Nonparametric) 1样本 K-S( 1 sample k - s )
数据分析: 步骤2 放入右边的检验变量 列表(test variable list)
数据分析: 步骤3 下面的检验分布( test distribution) 都选,因为不知道 服从什么分布。 选择选项里选择所需 的。 点确定
数据分析: 步骤4 检验类型(test type) 有四种 系统默认的是MannWhitney U检验 (序号和<铁和>检 验法) 点确定,看结果
结果分析:
非参数假设检验
§ 7.4 非参数假设检验在§7.2中讨论了母体分布类型为已知时的参数假设检验问题.一般在进行参数假设检验之前,需要对母体的分布进行推断.本节将讨论母体分布的假设检验问题.因为所用的方法适用于任何分布或者仅有微弱假定分布,实质上是不依赖于分布的.在数理统计学中不依赖于分布的统计方法统称为非参数统计方法.这里所讨论的问题就是非参数假设检验问题.这里所研究的检验是如何用子样去似全母体分布,所以又称为分布拟合扰度检验,一般有两种:一是拟合母体的分布函数;另一是拟合母体分布的概率函数.这里我们只介绍三种检验方法:概率图纸法. 2χ-拟合优度检验和柯尔莫哥洛夫斯米尔诺夫检验.一, 概率图纸法这是一种比较直观和简便的检验方法.它适合于在现场使用.目前常见的概率图纸有正态,对数正态,二项分布,指数分布和威布尔分布概率图纸等.这里我们只介绍正态概率图纸,关于其它分布的概率图纸的构造原理和使用方法都是类似的1. 正态概率图纸的构造原理设母体ξ有分布函数F(x),{N(μ,2σ)}表示正态分布族.需要检验假设)},({)(:20σμN x F H ∈这里μ和2σ均为未知常数.在原假设0H 为真时,通过中心化变换)(2121)(22)(222σμπσπσμμσμ-Φ===⎰⎰-∞--∞---x du edt ex F x xt即σμξξμ-=)(服从正态N(0,1).函数u(x)是x 的线性函数. σμξξμ-=)( (7.13) 在(x,u(x))直角坐标平面上是一条直线.这条直线过(μ,0),且斜率为σ1. 2. 检验步骤.事实上,我们知道的不是母体ξ取出的一组子样观察值n x x ,,1 由格里汶科定理知道子样的经验分布函数)(x F n 依概率收剑于母体分布函数F(x).所以在检验母分体布函数F(x)是否属于正态分布族时,我们以大子样的经验分布函数)(x F n 作为母体分布的近似.若0H :F(x) ∈{N(μ,2σ)}为真,那末点,,,1)),(,(n i x F x i i =在正态概率图纸上应该在一条直线上.所以根据上述经验分布函数)(x F n 是母体分布函数F(x)很好的近似,点,,,1)),(,(n i x F x i i =在正态概率图纸上也应该近似地在一条直线附近.倘若点列)),(,(i i x F x 不是近似地在一条直线附近,那末只能说明F(x)不属于正态分布族.根据上述想法,用正态概率图纸去检验假设0H 的具体步骤如下.(1) 整理数据 (2) 描点(3) 目测这些点的位置, 3. 未知参数μ与2σ的估计.若通过概率图纸检验已经知道母体服从正态分布,我们就凭目测在概率图纸上画出最靠近各点,,,1)),(,()()(n i x F x i n i =的一条直线l,因为σμξξμ-=)(服从正态N(0,1),所以当0)(=-=σμξμx ,即x=μ时对应的概率F=0.5.因此,只要在概率图纸上面一条F=0.5的水平直线.这条直线与直线l 的交点的横坐标5.0x 就可以作为参数为μ的估计.又由μ(x)=1时所对应的概率F=0.8413的水平直线,这条直线与直线l 的交点的横坐标为8413.0x .这个8413.0x 显然满足18413.08413.0=-=σμμx 即μσ-=8413.0x 因此可以用差5.08413.0x x -估计σ.例 7.8 (略)见P 338 二, 2χ的似体检验法前面介绍了直观而简便的概率图纸法,它不需要很多计算就能对母体分布族作出一个统计推断,并且还能对分布所含的参数作出估计.但是这种方法因人而异,且精度不高,又不能控制犯错误的概率.这里介绍2χ-拟合检验法,它能够像各种显著性检验一样控制犯第一类错误的概率.设母体ξ的分布函数为具有明确表达式的F(x),.我们把随机变量ξ的值域R 分成k 个互不相容的区间[][][]k k k a a A a a A a a A ,,,,,,1212101-=== 这些区间不一定有相同的长度.设n x x ,,1 是容量为n 的子样的一组观测值.i n 为子样观测值n x x ,,1 中落入i A 的频数.n n ni i =∑=1在这n 次事件i A 出现的频率为nn i. 我们现在检验原假设)()(:00x F x F H =.设在原假设0H 成立下,母体ξ落入区间i A 的概率为i P ,即k i a F a F A P P i i i i ,1),()()(100=-==- (7.14)此时n 个观察值中,恰有1n 个值落入1A 内,2n 的观察值落入2A 内,k n 个观察值落入k A 内的概率为k n n n n k P P P n n n n 212121!!!!这是一个多项分布.按大数定理,在0H 为真时,频率nn i与概率i P 的差异不应太大.根据这个思想构造一个统计量2χ=∑=-ki i i i nP nP n 12)( (7.15)称做2χ-统计量.往后可以看到,用2χ表示这一统计量不是没有原因的.因为它的极限分布就是自由度为k-1的2χ-分布.为了能够把2χ-统计量用来作检验的统计量,我们必须知道它的抽样分布.我们先k=2的简单情形.在0H 成立下,221)(,)(P A P P A P i ==其中121=+P P这时,频数n n n =+21我们考察222212112)()(nP nP n nP nP n -+-=χ (7.16) 令222111,nP n Y nP n Y -=-= (7.17)显然0)(212121=+-+=+P P n n n Y Y (7.18)由此可见1Y 与2Y 不是线性独立,且21Y Y -=.于是21212221212P nP Y nP Y nP Y =+=χ 21111)1(⎥⎥⎦⎤⎢⎢⎣⎡--P nP nP n (7.19) 根据德莫弗-拉普拉斯极限定理,当n 充分大时,随机变量)1(1111P nP nP n --的分布是接近于正态的,从而推得k=2情形的分布,当n 充分大时,是接近于自由度为1的2χ-分布.对于一般情形有如下的定理.定理 7.1 当0H 为真时,即k P P ,,1 为母体的真实概率时,由(7.15)式所定义的统计量2χ的渐近分布是自由度为k-1的2χ-分布,即密度函数为⎪⎪⎩⎪⎪⎨⎧⎪⎭⎫ ⎝⎛-Γ=---,0,2121)(22321xk k e x k x f (7.20) 证 因为在n 个观测值中恰有1n 个观测值落入1A 内, 2n 的观察值落入2A 内,k n 个观察值落入k A 内的概率为k n n n n k P P P n n n n 212121!!!!这里n n n n k =+++ 21.其特征函数nk j it jk je P t t ⎪⎪⎭⎫⎝⎛=∑=112),,( ϕ (7.21) 令k j nP nP n Y jjj j ,2,1, =-=(7.22)于是有∑∑===-=kj j kj jj j Y nP nP n 12122)(χ (7.23)和∑=kj j jP Y1=0 (7.24)由此式看出,诸随机变量j Y 不是线性独立的.(k Y Y ,,1 )的联合分布的特征函数具有形状2111exp exp ),,(⎥⎥⎦⎤⎢⎢⎣⎡⎪⎪⎭⎫ ⎝⎛•⎪⎪⎭⎫ ⎝⎛-=∑∑==kj j j j kj j jk nPit P nP it t t ϕ (7.25) 两边取对数得⎥⎥⎦⎤⎢⎢⎣⎡⎪⎪⎭⎫⎝⎛+-=∑∑==k j j jj kj j jn nP it P n P t n i t t 111exp ln ),,(ln ϕ (7.26) 利用指数数函和对数函在0=j t 处的泰勒展开:⎪⎭⎫ ⎝⎛+-=-⎥⎥⎦⎤⎢⎢⎣⎡n nP t nP it np it j jj j jj 121exp 2ο和)(2)1ln(22x x x x ο+-=+于是)1(21211211ln ),,(ln 11212111211οοϕ+⎥⎥⎦⎤⎢⎢⎣⎡⎪⎪⎭⎫ ⎝⎛--+-=⎪⎪⎭⎫ ⎝⎛⎪⎭⎫ ⎝⎛+-++-=∑∑∑∑∑∑∑=======k j k j k j j j j j j k j j j k j k j j j j kj j jk P t n i t n P t n i n P t n i n t n P t n i n P t n i t t当∞→n 时⎥⎥⎦⎤⎢⎢⎣⎡⎪⎪⎭⎫ ⎝⎛--→∑∑==k j kj j j j k P t t t t 1212121),,(ln ϕ 即⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎥⎦⎤⎢⎢⎣⎡⎪⎪⎭⎫ ⎝⎛--=∑∑==∞→k j k j j j j k n P t t t t 1212121exp ),,(lim ϕ (7.26) 作一正交变换:⎪⎪⎩⎪⎪⎨⎧=-==∑∑==kj j k j kj lj l Y P Z k l Y a Z 111,,1, (7.27) 其中lj a 应该满足1,,1,,0,11-=⎩⎨⎧≠==⋅∑=k r l r l r l a a kj rjlj 和1,,1,01-==∑=k l P akj j lj由⎪⎪⎩⎪⎪⎨⎧=-==∑∑==kj j j k kj y ij l t P u k l t a u 111,1, (7.28) 得到∑∑∑-====⎪⎪⎭⎫ ⎝⎛-1122112k j j kj i k j j j u P t t (7.29) 由(7.26)知,当∞→n 时,(k Z Z ,,1 )的特征函数⎭⎬⎫⎩⎨⎧-=∑-=∞→112121exp ),,(lim k j j k n u u u ϕ.这意味着11,,-k Z Z 的分布弱收剑于相互独立的正态N(0,1)分布,而k Z 依概率收剑于0.因此∑∑====kj j k j j Z Y 12122χ的渐近分布是自由度为k-1的2χ-分布.如果原假设0H 只确定母体分布类型,而分布中还含有未知参数m θθ,,1 则我们还不能用定理7.1来作为检验的理论依据.费歇证明了如下定理.从而解决了含未知参数情形的分布检验问题.定理 7.2 设F(x; m θθ,,1 )为母体的真实分布,其中m θθ,,1 为m 个未知参数.在F(x;m θθ,,1 )中用m θθ,,1 的极大似然估计mθθ∧∧,代替m θθ,,1 并且以F(x; mθθ∧∧,)取代(7.4)中的F(x)得到),,1;(),,1;(1m a F m a F i i iP θθθθ∧∧-∧∧∧-= (7.30)则将(7.30)代入(7.15)所得的统计量∑=∧∧-=kj i ini nn p p 122()χ (7.31)当∞→n 时有自由度为k-m-1的2χ-分布.例 7.9 (略)见P 345由例子来总结一下利用2χ-检验分布假设的步骤:(1)把母体ξ的值域划分为k 个互不相交的区间[,,,1),,1k i a a i i =+其中k a a ,1可以分别取∞∞-,;(2) 在0H 成立下,用极大似然估计法估计分布所含的未知参数; (3)在0H 成立下,计算理论概率)()(010i i i a F a F p -=+并且算出理论频数i nP ; (4)按照子样观察值n x x x ,,,21 落在区间),[1+i i a a 中的个数,即实际频数,,,1,k i n i =和(3)中算出的理论频数i nP ,计算ii i nP nP n )(2-=χ的值;(5)按照所给出的显著性水平α,查自由度k-m-1的2χ-分布表得)1(21---m k αχ,其中m 是未知参数的个数; (6)若2χ21αχ-≥,则拒绝原假设0H ,若212αχχ-<,则认为原假设0H 成立.三 柯尔莫哥洛夫似合检验------n D 检验2χ-似合检验是比较子样频率与母体的概率的.尽管它对于离散型和连续型母体分布都适用.但它是依赖于区间的划分的.因为即使原假设)()(:00x F x F H =不成立,在某种划分下还是可能有k i P a F a F a F a F i i i i i ,,1,)()()()(1001 ==-=---从而不影响(7.5)中2χ的值,也就是有可能把不真的原假设0H 接受过来.由此看到,用2χ-检验实际上只是检验了,,,1,)()(100k i P a F a F i i i ==--是否为真,而并未真正地检验母体分布F(x)是否为)(0x F .柯尔莫哥洛夫对连续母体的分布提出了一种方法.一般称做柯尔莫哥洛夫检验或n D -检验.这个检验比较子样经验分布函数)(x F n 和母体分布函数F(x)的.它不是在划分的区间上考虑)(x F n 与原假设的分布函数之间的偏差.而是在每一点上考虑它们之间的偏差.这就克服了2χ-检验的依赖于区间划分的缺点.但母体分布必须假定为连续.根据格里汶科定理,我们可以把子样经验分布函数看作实际母体分布函的缩影.如果原假设成立,它与F(x)的差距一般不应太大.由此柯尔莫哥洛夫提出一个统计量|)()(|sup x F x F D n xn -= (7.32)并且得到这统计量n D 的精确分布和极限分布K(λ).它们都不依赖于母体的分布.这里我们不加证明地引入柯尔莫哥洛夫定理.定理 7.3 设母体ξ有连续分布函数F(x),从中抽取容量为n 的字样,并设经验分布函数为)(x F n ,则|)()(|sup x F x F D n xn -=的分布函数⎪⎭⎫ ⎝⎛+<n D P n 21λ=n n n n dy y y f n n n nn n n n n 2120212,1,),,(0,021********22121-<≤⎪⎪⎪⎩⎪⎪⎪⎨⎧-≥<⎰⎰⎰+-+-+---λλλλλλλλλ 当(7.33)其中⎩⎨⎧<<<=其它当,010!),(11n n y y n y y f在∞→时有极限分布函⎪⎩⎪⎨⎧≤>--=→<∑-∞=0,00),2exp()1()()(22λλλλλ当当n j j n j K D n P (7.34) 在应用柯尔莫哥洛夫检验时,应该注意的是,原假设的分布的参数值原则上应是已知的.但在参数为未知时,近年来有人对某些母体分布如正态分布和指数分布用下列两种方法估计.()可用另一个大容量子样来估计未知参数,(2)如果原来子样容量很大,也可用来估计未知参数.不过此n D -检验是近似的.在检验时以取.较大的显著性水平为宜,一般取α=0.10-0.12.n D -检验检验母体有连续分布函数F(x)这个假设的步骤如下:(1) 从母体抽取容量为n 的子样,并把子样观察值按由小到大的次序排列;(2) 算出经验分布函⎪⎪⎩⎪⎪⎨⎧≤=<≤<=+x n j x x x nx n x x x F k j j jn 当当当,1,,1,,)(,0)()1()()1((3) 在原假设0H 下,计算观测值处的理论分布函数F(x)的值; (4) 对每一个i x 算出经验分布函数与理论分布函数的差的绝对值||)()(||)()()()1()()(i i n i i n x F x F x F x F --+与(5) 由(4)算出统计量的值(6) 给出显著性水平α,由柯尔莫哥洛夫检验的临界值表查出αα=≥)(,n n D D P的临界值α,n D ;当n>100时,可通过n D n /1,ααλ-≈查n D 的极限分布函数数值表得αλ-1从而求出α,n D 的近似值.(7) 若由(5)算出的α,n n D D ≥则拒绝原假设0H ;若α,n n D D <则接受假设,并认为原假设的理论分布函数与子样数据是似合得好的. 例 7.10 略) 见P 351定理 7.4 当样本容量21n n 和分别趋身于∞时,统计量|)()(|212121,sup x F x F D n n xn n -=有极限分布函数)(212121λλK D n n n n P n n →⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧<+ ⎪⎩⎪⎨⎧≤>--=∑∞-∞=0,00),2exp()1(22λλλ当当j j j (7.35) 例 7.11 (略)见P 353。
第七章 非参数的假设检验
第七章 非参数的假设检验
上一章讲的参数假设是在假设总体分布已知的情况下进行的,但在实际生活中,那种对总体的分布的假定并不是能随便做出的。
数据并不是来自所假定分布的总体,或者,数据根本并不是来自一个总体;还有可能数据因为种种原因被严重污染。
这样,在假定总体分布已知的情况下进行推断的做法就可能产生错误甚至得出灾难性的结论。
于是,人们希望在不对总体分布做出假定的情况下,尽量从数据本身来获得所需要的信息,这就是非参数统计推断的宗旨。
本章分别就单一样本、两样本及多样本的位置参数与尺度参数给出一些非参数的检验方法。
7.1 单总体位置参数的检验
设12,,,n X X X 为来自总体X 的容量为n 的样本,在有了样本观测值12,,,n x x x 之后,很自然地想要知道她所代表的总体的“中心”在哪里?它所代表的总体的分布是否与我们所希望的分布一样?这些问题中不涉及分布具体形式的假定,因此属于非参数的假设检验问题。
我们先考虑前一问题,分别介绍两常用的中位数符号和对称中心的Wilcoxon 符号检验,后面一节在介绍分布的拟合优度检验。