统计学6.非参数假设检验
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
配对样本：
是按照问题本身的属性，“天然”配对的。也就是说， 不能各自独立地颠倒顺序。 例：用两套问卷测量 20 个管理人员的素质，两套问卷的满 分都是200分，两套问卷测得的结果如表：
卷A 147 150 152 148 155 146 149 148 151 150 卷B 146 151 154 147 152 147 148 146 152 150
不妨设 n m , 把两组样本放在一起, 按样本观测值的大 小重新排序, 那么每个观测值就有一个序号, 称为秩. 把样 本个数少的这组样本x1，x2，···，xn的序号(秩) 加总起来, 记为 W . 如果两个总体的分布相同, 那么样本x1，x2，···， xn与y1，y2 ,···，ym 应当是均匀混合的, 也就是说, W 不能 太小, 也不能太大. W 太小, 说明样本x1，x2，···，xn较多地 集中在左段. W 太大, 说明样本 x1，x2，···，xn 较多地集中 在右段.
问: 两种激励法的效果有无显著性差异(两种激励方法 的总体分布是否相同)?
该检验问题可以用参数检验的方法来检验两种激励方 法的平均效果有无显著性差异.
2. 检验两个总体的分布是否相同的另一种方法: Wilcoxon 秩和检验法 (序号和检验法)
设有两个总体的样本观测值 x1，x2，···，xn 与y1，y2 ,··· ，ym , 可能 m n . 两组样本是可以各自独立颠倒顺序的.
§ 6.2 一个总体分布的非参数假设检验
1、检验总体分布是否与猜想的分布 F(x) 相同: 拟合优度 2 检验法 问题: 假设(猜测)总体的概率密度函数为 f (x) ( 若总体 为离散型, 则假设总体的概率分布列为 P {X = xi}= Pi ), 用 一组样本 x1，x2,···,xn来检验假设是否成立.
正负号检验法在下面问题中常见到应用: 如,消费者对两种 包装的评分, 或对两种产品品牌的评分; 学生对两门不同 课程的成绩的反映 ( 评分 ), 企业对两种政策的反映(评分) 等等, 都存在两个总体的分布是否相同的检验问题.
但有些问题是不适宜使用正负号检验法----“独立样本” 的问题. 如下例子。
设两个总体的样本相互独立, 当 H0 : F(x) = G(x) 成立时, 概 率P{Xi <Yi} 应当与概率 P{Xi >Yi}相同, i = 1,2, ···,n.
也就是说, 对于样本观测值而言, xi - yi > 0的个数(记为n+), 应 当与xi - yi < 0的个数(记为n- ) 基本相同 (从样本观测值角度, 不一定刚好相等). 如果两者相差很远, 我们就有理由, 拒绝假 设H0 : F(x) = G(x).
若W W1 或 W W2 , 则拒绝H0: F(x) = G(x) (认为两个 总体分布不同)
反之, 若W1 < W < W2 , 则接受H0: F(x) = G(x) (认为两 个总体分布相同).
3. 检验两个总体的分布是否相同的第三种方法: MannWhitney 秩和检验法 ( 序号和检验法 )
2 k (ni npi )2
i 1
npi
服从 2(k-1-r) 分布, 其中 r 是总体中未知参数的个数.
在计算 2 时, 由于式中的 pi 可用 pˆ i(如, 极大似然估计
量) 代替. 为了计算 pˆ i, 常常需要用样本估计总体的某些 参数, 例如, 假设总体服从正态分布, 就需要用样本估计总 体的均值与方差, 有了这两个参数, 就可以计算出各个区间
1、检验两个总体的分布是否相同：符号检验法（正负号个 数检验法）
检验两个总体的分布是否相同的符号法又称正负号个数 检验法。它所要处理的问题是：假设两个总体的分布F（x） 与G（x）相同，用两个总体的容量相同的配对样本 x1，x2， ···, xn 与y1，y2, ···, yn 来检验它, 即检验假设H0 ： F(x) = G(x) 是否成立 .
作法: (1) 零假设H0 ：总体的累积概率分布函数为 F(x) ,
备择假设H1 ：总体的累积概率分布函数不是 F(x). (2) 在数轴上选取 k-1 个分点 t1，t2,···, t k-1 , 将数轴上分 为 k 个区间(可以是不等区间):
(, t1 ], (t1, t2 ], , (tk 1,)
如果我们把xi = yi 的个数记为n0, 并从样本总数 n 中扣 除, 则 m = n – n0 , 表示了n 个样本中 xi yi的个数。
m 个样本对中， 把xi - yi > 0的个数记为n+ , xi - yi < 0 的个数记为n- , 则有m = n+ + n- . 设整数 r 满足: 0 r m, 则可以由下式计算出 “xi - yi > 0的个数为n+ ” 的概率 :
卷A 147 148 147 150 149 149 152 147 154 153 卷B 146 146 148 153 147 146 148 149 152 150
正负号检验的一个重要的前提是：样本xi 或 yi 不能各自独 立地颠倒顺序。
例：用两套问卷测量 20 个管理人员的素质，两套问卷的 满分都是200分，测得结果如上表。问：两套问卷有无显 著性差异（本质是两套问卷的结果的分布是否相同）？ 解：依据关于正负号的二项分布B（m，p）来检验 p 是 否为0.5 , 即
记 ni 为样本 x1，x2,···,xn 中落在区间 i 中的个数（频次或频 数），那么，频率ni /n （n 至少为50， 最好100 以上）与 概率 pi 之差应当很小，否则就应当拒绝假设H0 (总体的累 积概率分布函数为 F(x) ).
可以证明 (K. Pearson), 在 H0 成立的条件下, 统计量:
z u p 12 19 0.5 1.1473 p(1 p) 0.5 0.5 /19 m
若取=0.05, 查表得z /2=1.96, 有-1.96 = - z /2 < z =1.1473 < z /2 = 1.96, 故接受 H0 : p = 0.5 , 即 接受 F(x) = G(x), 也就是两套问卷的结果的分布是相同的.
H0 : p = 0.5 ( 即 F(x) = G(x) ) H1 : p 0.5 ( 即 F(x) G(x) ) .
如果接受 p = 0.5 的假设, 就接受F(x) = G(x)的假设, 否则 就拒绝F(x) = G(x)的假设. 这种解决问题的思路是: 把非参数检验的问题转化为参 数检验问题来处理.
(1) 小样本情况下, 正负号个数检验法的处理
小样本情况下, 正负号个数检验法的处理, 与 5.3.1 小节 的处理原理相同, 只不过 5.3.1 节是单尾检验, 我们现在要做 双尾检验 (检验两个方向的备择假设).
以计算“xi - yi>0的个数为 r ”的概率为例, 对给定 的, 在假设p = 0.5 (H0假设)的前提下, 按照B(m, p) 的概率 计算公式, 对 r 从小到大, 求累积概率:
例: 用两种激励方法, 分别对同样工种的两个班组(每个班 组 7 个人)进行激励, 测得激励后业绩增长 (%), 数据如表:
两种激励法分别实施于不同组工人的效果
激励法 A 16.10 17.00 16.80 16.50 17.50 18.00 17.20 激励法 B 17.00 16.40 15.80 16.40 16.00 17.10 16.90
H0 : p = 0.5 ( 即 F(x) = G(x) ), 否则拒绝H0 ,认为p 0.5, 即 F(x) G(x) .
(2) 大样本情况下, 正负号个数检验法的处理
在大样本情况下( 即 mp 10 ), 可以近似地用正态分布 来处理. 现在 p =0.5, 所以只要 m 20 即可. 用统计量:
第六章 非参数假设检验
§ 6.1 总体分布的非参数假设检验
非参数假设检验（分布检验）所处理的问题是： （1）两个总体的分布未知，它们是否相同（用两组 样本来检验）； （2）（由一组样本）猜出总体的分布（假设），然 后用（另一组）样本检验它是否正确。
需要注意的问题是，两种分布是否相同，一般包 含了参数（均值、方差等）是否相同的问题。如果两 个总体的分布函数形式相同，而参数不同，也将被判 别为概率分布不同。
由于n m , W 应当比另一组样本的序号之和小一些. 也 就是说, W应当在某两个数字之间: W1 < W < W2. W1 , W2
是由 n, m, (显著性水平)所决定的.
威尔可逊 ( Wilcoxon ) 给出了 W 的概率分布表, 对于给定 的显著性水平 , 可以由威尔可逊概率分布表, 依据n, m, 查出 W1 , W2 .
问题: 有两个总体的样本观测值 x1，x2,···,xn 与y1,y2 ,···,ym , 可能m n . 两组样本是可以各自独立颠倒顺序的. 检验这 两组样本是否来自同一个总体 (或两组样本的总体分布是 否相同).
同样, 把两组样本放在一起, 按样本观测值的大小重新排 序, 那么每个观测值就有一个序号( 秩 ). 把第一组样本x1， x2，···，xn的序号(秩) 加总起来, 记为 w1 .把第二组样本y1 ，y2 ,···，ym的序号(秩) 加总起来, 记为 w2 .
Mann-Whitney U检验的统计量是: U = min {U1, U2 }
式中:
U1
nm
n(n 1) 2
w1
U2
nm
m(m 1) 2
w2
对给定 , 查U 值表, 得 U. 若U < U , 则总体分布相同.
注意: 方法 (1), (2), (3) 是两个总体分布的比较, 与分布的具 体形式无关, 所以, 理论上可以用来检验两个任意形式的分 布是否相同.
Z U p ~ N (0,1) p(1 p) m
在计算统计量 Z 的值z 时, 在式中要用 u (即n+ /m)代替U. 于是, 我们又假设检验:
H0 : p = 0.5 ( 即 F(x) = G(x) ) H1 : p 0.5 (即 F(x) G(x)) . 对于显著性水平, 只要判断 | z |是否大于 z /2 ( 或者z的显 著性水平是否小于), 就可以得出拒绝还是接受H0: p = 0.5 ( 即 F(x) = G(x) )了.
根据上表, 算得正负号如下表:
+ - -++ - + + - 0 + +- -+++ - ++
此时, 正负号的个数 m =19, 所要检验的参数 p =0.5 , mp10,我们这里按大样本类型来处理. 统计出正号的个数 n+ =12 .
设定随机变量 U , 若xi - yi > 0出现, 令U = 1 , 若xi - yi < 0出 现, 令 U = 0 . 于是可以计算出 z 统计量的值如下:
p(xi yi的个数 r) Cmr pr (1 p)mr
这是一个二项分布, 记为 U ~ B(m, p), 当 xi - yi > 0 时, Ui=1, 当 xi - yi < 0 时, Ui = 0. 如果 F(x) = G(x) 成立, 则上 式中 p 应与 0.5 没有本质区别. 也就是说, 非参数的假设 F(x) = G(x) 的检验问题, 转化成了参数 p = 0.5 是否成立 的检验问题. 于是, 可以根据上一章节5.3中关于参数 p 的 假设检验方法处理了.
t1
t2
…,
tk-1
对随机变量取值数轴的分割
记 pi为总体在第 i 个区间上的概率值, 则有 p1 = P (X t1) = F(t1) p2 = P (t1 < X t2) = F(t2) - F(t1) ……
pk-1 = P (tk-2 < X tk-1) = F(tk-1) - F(tk-2) pk = P (X > tk-1) =1 - F(tk-1)
Biblioteka Baidu
P(r
k1 )
2
确保k1的外侧概率小于等于/2, 从而求出k1.
进而, 在假设p = 0.5 (H0假设) 的前提下, 按照B(m, p) 的概率计算公式, 对 r 从小到大, 求累积概率:
P(r
k2 )
2
确保 k2 的外侧概率小于等于/2, 从而求出k2 . 如果实际的“xi - yi > 0的个数n+ ”在(k1 ,k2)中就接受
是按照问题本身的属性，“天然”配对的。也就是说， 不能各自独立地颠倒顺序。 例：用两套问卷测量 20 个管理人员的素质，两套问卷的满 分都是200分，两套问卷测得的结果如表：
卷A 147 150 152 148 155 146 149 148 151 150 卷B 146 151 154 147 152 147 148 146 152 150
不妨设 n m , 把两组样本放在一起, 按样本观测值的大 小重新排序, 那么每个观测值就有一个序号, 称为秩. 把样 本个数少的这组样本x1，x2，···，xn的序号(秩) 加总起来, 记为 W . 如果两个总体的分布相同, 那么样本x1，x2，···， xn与y1，y2 ,···，ym 应当是均匀混合的, 也就是说, W 不能 太小, 也不能太大. W 太小, 说明样本x1，x2，···，xn较多地 集中在左段. W 太大, 说明样本 x1，x2，···，xn 较多地集中 在右段.
问: 两种激励法的效果有无显著性差异(两种激励方法 的总体分布是否相同)?
该检验问题可以用参数检验的方法来检验两种激励方 法的平均效果有无显著性差异.
2. 检验两个总体的分布是否相同的另一种方法: Wilcoxon 秩和检验法 (序号和检验法)
设有两个总体的样本观测值 x1，x2，···，xn 与y1，y2 ,··· ，ym , 可能 m n . 两组样本是可以各自独立颠倒顺序的.
§ 6.2 一个总体分布的非参数假设检验
1、检验总体分布是否与猜想的分布 F(x) 相同: 拟合优度 2 检验法 问题: 假设(猜测)总体的概率密度函数为 f (x) ( 若总体 为离散型, 则假设总体的概率分布列为 P {X = xi}= Pi ), 用 一组样本 x1，x2,···,xn来检验假设是否成立.
正负号检验法在下面问题中常见到应用: 如,消费者对两种 包装的评分, 或对两种产品品牌的评分; 学生对两门不同 课程的成绩的反映 ( 评分 ), 企业对两种政策的反映(评分) 等等, 都存在两个总体的分布是否相同的检验问题.
但有些问题是不适宜使用正负号检验法----“独立样本” 的问题. 如下例子。
设两个总体的样本相互独立, 当 H0 : F(x) = G(x) 成立时, 概 率P{Xi <Yi} 应当与概率 P{Xi >Yi}相同, i = 1,2, ···,n.
也就是说, 对于样本观测值而言, xi - yi > 0的个数(记为n+), 应 当与xi - yi < 0的个数(记为n- ) 基本相同 (从样本观测值角度, 不一定刚好相等). 如果两者相差很远, 我们就有理由, 拒绝假 设H0 : F(x) = G(x).
若W W1 或 W W2 , 则拒绝H0: F(x) = G(x) (认为两个 总体分布不同)
反之, 若W1 < W < W2 , 则接受H0: F(x) = G(x) (认为两 个总体分布相同).
3. 检验两个总体的分布是否相同的第三种方法: MannWhitney 秩和检验法 ( 序号和检验法 )
2 k (ni npi )2
i 1
npi
服从 2(k-1-r) 分布, 其中 r 是总体中未知参数的个数.
在计算 2 时, 由于式中的 pi 可用 pˆ i(如, 极大似然估计
量) 代替. 为了计算 pˆ i, 常常需要用样本估计总体的某些 参数, 例如, 假设总体服从正态分布, 就需要用样本估计总 体的均值与方差, 有了这两个参数, 就可以计算出各个区间
1、检验两个总体的分布是否相同：符号检验法（正负号个 数检验法）
检验两个总体的分布是否相同的符号法又称正负号个数 检验法。它所要处理的问题是：假设两个总体的分布F（x） 与G（x）相同，用两个总体的容量相同的配对样本 x1，x2， ···, xn 与y1，y2, ···, yn 来检验它, 即检验假设H0 ： F(x) = G(x) 是否成立 .
作法: (1) 零假设H0 ：总体的累积概率分布函数为 F(x) ,
备择假设H1 ：总体的累积概率分布函数不是 F(x). (2) 在数轴上选取 k-1 个分点 t1，t2,···, t k-1 , 将数轴上分 为 k 个区间(可以是不等区间):
(, t1 ], (t1, t2 ], , (tk 1,)
如果我们把xi = yi 的个数记为n0, 并从样本总数 n 中扣 除, 则 m = n – n0 , 表示了n 个样本中 xi yi的个数。
m 个样本对中， 把xi - yi > 0的个数记为n+ , xi - yi < 0 的个数记为n- , 则有m = n+ + n- . 设整数 r 满足: 0 r m, 则可以由下式计算出 “xi - yi > 0的个数为n+ ” 的概率 :
卷A 147 148 147 150 149 149 152 147 154 153 卷B 146 146 148 153 147 146 148 149 152 150
正负号检验的一个重要的前提是：样本xi 或 yi 不能各自独 立地颠倒顺序。
例：用两套问卷测量 20 个管理人员的素质，两套问卷的 满分都是200分，测得结果如上表。问：两套问卷有无显 著性差异（本质是两套问卷的结果的分布是否相同）？ 解：依据关于正负号的二项分布B（m，p）来检验 p 是 否为0.5 , 即
记 ni 为样本 x1，x2,···,xn 中落在区间 i 中的个数（频次或频 数），那么，频率ni /n （n 至少为50， 最好100 以上）与 概率 pi 之差应当很小，否则就应当拒绝假设H0 (总体的累 积概率分布函数为 F(x) ).
可以证明 (K. Pearson), 在 H0 成立的条件下, 统计量:
z u p 12 19 0.5 1.1473 p(1 p) 0.5 0.5 /19 m
若取=0.05, 查表得z /2=1.96, 有-1.96 = - z /2 < z =1.1473 < z /2 = 1.96, 故接受 H0 : p = 0.5 , 即 接受 F(x) = G(x), 也就是两套问卷的结果的分布是相同的.
H0 : p = 0.5 ( 即 F(x) = G(x) ) H1 : p 0.5 ( 即 F(x) G(x) ) .
如果接受 p = 0.5 的假设, 就接受F(x) = G(x)的假设, 否则 就拒绝F(x) = G(x)的假设. 这种解决问题的思路是: 把非参数检验的问题转化为参 数检验问题来处理.
(1) 小样本情况下, 正负号个数检验法的处理
小样本情况下, 正负号个数检验法的处理, 与 5.3.1 小节 的处理原理相同, 只不过 5.3.1 节是单尾检验, 我们现在要做 双尾检验 (检验两个方向的备择假设).
以计算“xi - yi>0的个数为 r ”的概率为例, 对给定 的, 在假设p = 0.5 (H0假设)的前提下, 按照B(m, p) 的概率 计算公式, 对 r 从小到大, 求累积概率:
例: 用两种激励方法, 分别对同样工种的两个班组(每个班 组 7 个人)进行激励, 测得激励后业绩增长 (%), 数据如表:
两种激励法分别实施于不同组工人的效果
激励法 A 16.10 17.00 16.80 16.50 17.50 18.00 17.20 激励法 B 17.00 16.40 15.80 16.40 16.00 17.10 16.90
H0 : p = 0.5 ( 即 F(x) = G(x) ), 否则拒绝H0 ,认为p 0.5, 即 F(x) G(x) .
(2) 大样本情况下, 正负号个数检验法的处理
在大样本情况下( 即 mp 10 ), 可以近似地用正态分布 来处理. 现在 p =0.5, 所以只要 m 20 即可. 用统计量:
第六章 非参数假设检验
§ 6.1 总体分布的非参数假设检验
非参数假设检验（分布检验）所处理的问题是： （1）两个总体的分布未知，它们是否相同（用两组 样本来检验）； （2）（由一组样本）猜出总体的分布（假设），然 后用（另一组）样本检验它是否正确。
需要注意的问题是，两种分布是否相同，一般包 含了参数（均值、方差等）是否相同的问题。如果两 个总体的分布函数形式相同，而参数不同，也将被判 别为概率分布不同。
由于n m , W 应当比另一组样本的序号之和小一些. 也 就是说, W应当在某两个数字之间: W1 < W < W2. W1 , W2
是由 n, m, (显著性水平)所决定的.
威尔可逊 ( Wilcoxon ) 给出了 W 的概率分布表, 对于给定 的显著性水平 , 可以由威尔可逊概率分布表, 依据n, m, 查出 W1 , W2 .
问题: 有两个总体的样本观测值 x1，x2,···,xn 与y1,y2 ,···,ym , 可能m n . 两组样本是可以各自独立颠倒顺序的. 检验这 两组样本是否来自同一个总体 (或两组样本的总体分布是 否相同).
同样, 把两组样本放在一起, 按样本观测值的大小重新排 序, 那么每个观测值就有一个序号( 秩 ). 把第一组样本x1， x2，···，xn的序号(秩) 加总起来, 记为 w1 .把第二组样本y1 ，y2 ,···，ym的序号(秩) 加总起来, 记为 w2 .
Mann-Whitney U检验的统计量是: U = min {U1, U2 }
式中:
U1
nm
n(n 1) 2
w1
U2
nm
m(m 1) 2
w2
对给定 , 查U 值表, 得 U. 若U < U , 则总体分布相同.
注意: 方法 (1), (2), (3) 是两个总体分布的比较, 与分布的具 体形式无关, 所以, 理论上可以用来检验两个任意形式的分 布是否相同.
Z U p ~ N (0,1) p(1 p) m
在计算统计量 Z 的值z 时, 在式中要用 u (即n+ /m)代替U. 于是, 我们又假设检验:
H0 : p = 0.5 ( 即 F(x) = G(x) ) H1 : p 0.5 (即 F(x) G(x)) . 对于显著性水平, 只要判断 | z |是否大于 z /2 ( 或者z的显 著性水平是否小于), 就可以得出拒绝还是接受H0: p = 0.5 ( 即 F(x) = G(x) )了.
根据上表, 算得正负号如下表:
+ - -++ - + + - 0 + +- -+++ - ++
此时, 正负号的个数 m =19, 所要检验的参数 p =0.5 , mp10,我们这里按大样本类型来处理. 统计出正号的个数 n+ =12 .
设定随机变量 U , 若xi - yi > 0出现, 令U = 1 , 若xi - yi < 0出 现, 令 U = 0 . 于是可以计算出 z 统计量的值如下:
p(xi yi的个数 r) Cmr pr (1 p)mr
这是一个二项分布, 记为 U ~ B(m, p), 当 xi - yi > 0 时, Ui=1, 当 xi - yi < 0 时, Ui = 0. 如果 F(x) = G(x) 成立, 则上 式中 p 应与 0.5 没有本质区别. 也就是说, 非参数的假设 F(x) = G(x) 的检验问题, 转化成了参数 p = 0.5 是否成立 的检验问题. 于是, 可以根据上一章节5.3中关于参数 p 的 假设检验方法处理了.
t1
t2
…,
tk-1
对随机变量取值数轴的分割
记 pi为总体在第 i 个区间上的概率值, 则有 p1 = P (X t1) = F(t1) p2 = P (t1 < X t2) = F(t2) - F(t1) ……
pk-1 = P (tk-2 < X tk-1) = F(tk-1) - F(tk-2) pk = P (X > tk-1) =1 - F(tk-1)
Biblioteka Baidu
P(r
k1 )
2
确保k1的外侧概率小于等于/2, 从而求出k1.
进而, 在假设p = 0.5 (H0假设) 的前提下, 按照B(m, p) 的概率计算公式, 对 r 从小到大, 求累积概率:
P(r
k2 )
2
确保 k2 的外侧概率小于等于/2, 从而求出k2 . 如果实际的“xi - yi > 0的个数n+ ”在(k1 ,k2)中就接受