非参数统计讲义
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一章
绪论
§1.1 非参数统计
在初等统计学中，最基本的概念是什么 在初等统计学中，最基本的概念是什么? 总体， 如:总体，样本，随机变量，分布，估计 总体 样本，随机变量，分布， 和假设检验等 和假设检验等． 其很大一部分内容是和正态理论相关的。 正态理论相关的 其很大一部分内容是和正态理论相关的。 在那里，总体的分布形式或分布族 分布形式或分布族往往是 在那里，总体的分布形式或分布族往往是 给定的或者是假定了的， 给定的或者是假定了的，所不知道的仅仅 是一些参数的值或他们的范围。 主要工 是一些参数的值或他们的范围。(主要工 作是什么?) 作是什么
然而，在实际生活中，那种对总体的分布 的假定并不是能随便做出的。 数据并不是来自所假定分布的总体；或者， 数据根本不是来自一个总体；还有可能， 数据因为种种原因被严重污染。这样，在 假定总体分布的情况下进行推断的做法就 可能产生错误的结论。 于是，人们希望在不假定总体分布的情况 下，尽量从数据本身来获得所需要的信息。 这就是非参数统计的宗旨。
注意：非参数统计的名字中的“ 注意：非参数统计的名字中的“非参数 (nonparametric)” (nonparametric) 意味着其方法不涉及描述总 体分布的有关参数；它被称为和分布无关 体分布的有关参数；它被称为和分布无关 (distribution—free) free)， (distribution free)，是因为其推断方法和 总体分布无关；不应理解为与所有分布( 总体分布无关；不应理解为与所有分布(例如有 关秩的分布)无关． 关秩的分布)无关． 什么是非参数统计? 什么是非参数统计? 不假定总体分布的具体形式， 不假定总体分布的具体形式，从数据本身获得 所需要的信息， 所需要的信息，通过推断方法得到相关结论的 一种分析方法。 一种分析方法。
5
4
3
2
Frequency
1 0 0.0 5.0 10.0 15.0 20.0 25.0
Std. Dev = 6.28 Mean = 13.0 N = 12.00
RANK of SCORE
非参数检验过程
1.不涉及总体的分布 不涉及总体的分布 – Example: Probability Distributions, Independence 2. 数据的形态各异 – 定量数据 – 定序数据
Ri = ∑ I ( X j ≤ X i )
j =1
其中
1 I(X j ≤ Xi ) = 0
X j ≤ Xi X j > Xi
显然，X（Ri）=X（i），记R=（R1， R2 ，…，Rn），称 R为由样本产生的统计量，也称秩统计量 例如： 例如：
观测值 秩
5.6 7 1.4 1 2.7 4 5.2 6 2.6 3 4.8 5 2.3 2
Fr ( x ) = P ( X ( r ) ≤ x ) = P (至少r个X i 小于或等于 x )
=
∑C
i=r
n
i n
F ( x ) [1 − F ( x ) ]
i
n−i
（4）顺序统计量密度函数(如果分布密度存在) 顺序统计量密度函数(如果分布密度存在)
n! n−r f r ( x) = F r −1 ( x)[1 − F ( x)] f ( x) (r − 1)!(n − r )!
一个典型的参数检验过程
1. 总体参数 Example: Population Mean 2. 假定数据的形态为
Whole Numbers or Fractions Example: Height in Inches (72, 60.5, 54.7)
3. 有很强的假定 Example: 正态分布，F分布 正态分布， 分布 4. 例子 Z Test, t Test, χ2 Test 例子:
参数统计与非参数统计的比较问题： 参数统计与非参数统计的比较问题： •一种统计方法是否比其它方法更好，通常要从 几个方面来考虑。 •有效性或效率（efficiency）。在其他条件相同 情况下，一种方法需要的样本容量越小，则效 率越高，通常用二者的样本容量比值来度量相 对效率。 •在假设检验中，样本均值 X 是检验总体均值 µ 的一个好的检验统计量，它对总体均值的不同 十分敏感，但是 X 的分布取决于总体 X 的分布， 而这通常是未知的。
非参数检验的弱点
1. 可能会浪费一些信息
特别当数据可以使用参数模型的时 候。 2. 大样本手算相当麻烦 3. 一些表不易得到
因此我们实际上给出了一个没有 实际意义的结果：没有一种方法 是万能的。
本学期内容结构体系
第一章 S-Plus 基 础
第二章 非参数统计基础
第三章 单一总体的 统计推断
第四章 两总体位置 和尺度推断
一个例子：
对两组学生进行语法测试， 对两组学生进行语法测试，如何比较两 组学生的成绩是否存在差异？ 组学生的成绩是否存在差异？
甲 25 30 29 34 24 25 13 32 24 30 32 37 乙 44 33 22 8 47 31 40 30 33 35 18 21 35 28 22
原始数据 25 30 29 34 24 25 13 32 24 30 32 37
2、秩统计量的分布和数字特征
●
R1 , R2 , ⋯ , Rn 的联合分布为:
2、 基于顺序统计量的统计量
中位数
X n +1 (2) Md = X + X ( n / 2+1) ( n / 2) 2 n为奇数 n为偶数
极差
R = X ( n ) − X (1)
3、顺序统计量分布函数 设总体的分布函数F(X)，则第r个顺序统计量的分 布函数为 Fr ( x ) = P ( X ( r ) ≤ x) = P (至少r个X i 小于或等于 x )
非参数统计的主要内容内容非参数检验相应的参数检验独立样本中位数检验秩和检验独立样本t检验配对样本单一样本符号检验wilcoxon检验成对样本t检验2独立样本kruskalwallis单一因素anova两因素friedman检验双因素anova相关性检验spearman秩相关pearson相关性检验分布的检验kolmogorovsmirnov1212一顺序统计量因为非参数方法通常并不假定总体分布
第五章 多总体位置 和尺度推断
第六章 定性数据的 独立性
第七章 定量数据的相 关性和回归
第八章 非参数密度估计
第九章 非参数回归
非参数统计的主要内容
内容 独立样本 2 配对样本 /单一样本 >2独立样本 两因素 相关性检验 分布的检验 非参数检验 相应的参数检验 中位数检验 独立样本t检验 秩和检验 符号检验 成对样本 t-检验 Wilcoxon 检验 Kruskal-Wallis 检 单一因素 ANOVA 验 Friedman检验 双因素ANOVA Spearman秩相关 Pearson相关性 检验 KolmogorovSmirnov
同样我们可以得到顺序统计量X(r) 和X(s)的联合密 度函数为： n! f r , s ( x, y ) = (r − 1)!( s − r − 1)!(n − s )!
F r −1 ( x) f ( x)[F ( y ) − F ( x)]
s − r −1
f ( y )[1 − F ( y )]
44 33 22 8 47 31 40 30 33 35 18 21 35 28 22
26.0 19.5 5.5 1.0 27.0 16.0 25.0 14.0 19.5 22.5 3.0 4.0 22.5 11.0 5.5
Histogram
For GROUP= Group1
6
RANK of SCORE
秩 9.5 14.0 12.0 21.0 7.5 9.5 2.0 17.5 7.5 14.0 17.5 24.0
Histogram
For GROUP= Group2
6
5
4
3
2
Frequency
1 0 0.0 5.0 10.0 15.0 20.0 25.0
Std. Dev = 9.17 Mean = 14.8 N = 15.00
§1.2 顺序统计量，秩和线性秩统计量 顺序统计量，
一、顺序统计量 因为非参数方法通常并不假定总体分布。因 此，观测值的顺序及性质则作为研究的对象。 顺序统计量：对于样本X1，X2，X3，…，Xn，如 顺序统计量 果按照升幂排列，得到
X (1) ≤ X ( 2 ) ≤ ⋯ ≤ X ( n )
X (k ) 称为第k个顺序统计量。
– Example: Good-Better-Best
– 名义数据
– Example: Male-Female
3.例子 Wilcoxon Rank Sum Test/Run Test 例子: 例子
F, F, F, F, F, F, F, F, M, M, M, M, M, M, M F, M, F, M, F, M, F, M, F, M, F, M, F, M, F
非参数检验的优点
对总体假定较少，有广泛的适用性， 对总体假定较少，有广泛的适用性， 结果稳定性较好。 结果稳定性较好。 –1. 假定较少 1. –2. 不需要对总体参数的假定 2. –3. 与参数结果接近 3. 针对几乎所有类型的数据形态。 针对几乎所有类型的数据形态。 容易计算 –在计算机盛行之前就已经发展 在计算机盛行之前就已经发展 起来。 起来。
因为非参数统计方法不利用关于总体分布的知 识，所以，就是在对于总体分布的任何知识都没 有的情况下，它也能很容易而又很可靠地获得结 论。这时，非参数方法往往优于参数方法。 在不知总体分布的情况下如何利用数据所包含 的信息呢? 一组数据的最基本的信息就是次序。如果可以 把数据点按大小次序排队，每一个具体数目都有 它的在整个数据中(从最小的数起)的位置或次序， 称为该数据的秩(rank)。数据有多少个观察值， 就有多少个秩。在一定的假定下，这些秩和它们 的统计量的分布是求得出来的，而且和原来的总 体分布无关。这样就可以进行所需要的统计推断。
注：有结点数据（重复数据）的秩
定义：设X1，X2，X3，…，Xn 来自总体的简单随机样
本，将数据排序后，相同的数据点形成一个结，重复 数据的个数为结长。此时秩定义为对应秩（无重复数 据时）的平均数。 如：85,87,87,92,83,83,83,95,结为多少？结长为多少？ 对应秩？
答案：5个结，结长为1,2,1,3,1， 对应秩为4,5.5,5.5,7,1,2,3,8
• t检验这一方法是稳健的，当总体是非正态分 检验这一方法是稳健的， 布时，它是否象正态分布一样有效？ 布时，它是否象正态分布一样有效？一种方法 固然应该是稳健的，更应该是有效的。 固然应该是稳健的，更应该是有效的。 • 相合性或渐进性 （ consistent ） ， 多数参数检 相合性或渐进性（ consistent） 验对于非正态分布条件是稳健的，相合的， 验对于非正态分布条件是稳健的，相合的，即 随着样本容量的增加，方法将更为稳健， 随着样本容量的增加，方法将更为稳健，对于 无限样本而言， 无限样本而言，方法是精确的且不依赖于总体 分布。 分布。
•稳健性（robust）。如果一种方法背后的某个 假设条件不成立，但它还是近似有效的，则可 认为这一方法对这一条件是稳健的。通常来说， 稳健是指基于正态假设的方法（即使潜在的总 体分布是非正态的）检验统计量也有近似相同 的零分布。比如单样本的t检验，当样本容量很 大时，对于正态假设是稳健的。 •没有一个总体是精确的服从正态分布或其他已 知分布，如果总体是近似正态分布的，那么基 于正态分布来进行推断是安全的，反之，我们 就要考虑非参数方法。
定义（连续分布） 定义（连续分布）
假定X ~ f ( x), 令0 < p < 1, 满足等式F ( x)=p( X < m p ) = p 的唯一根m p 称为F ( x)的分位数。
二、秩统计量 1、秩统计量 设X1，X2，X3，…，Xn 来自总体的样本，记Ri为样本 点Xi 的秩，即样本中小于或等于Xi 的样本点的个数， n 即
n−s
特别地， 的分布函数为： 特别地，极差 R = X ( n ) − X (1) 的分布函数为：
FR ( y ) = n ∫
+∞
−∞
f ( x) [ F ( x + y ) − F ( x) ] dx
n −1分ຫໍສະໝຸດ 数对于离散数据，给定n个值X1，…，Xn，则p分位 数定义为为：
k X (k ) , =p n +1 mp = k k +1 X + ( X − X ( k ) ) [(n + 1) p − k ], < p< ( k +1) (k ) n +1 n +1
绪论
§1.1 非参数统计
在初等统计学中，最基本的概念是什么 在初等统计学中，最基本的概念是什么? 总体， 如:总体，样本，随机变量，分布，估计 总体 样本，随机变量，分布， 和假设检验等 和假设检验等． 其很大一部分内容是和正态理论相关的。 正态理论相关的 其很大一部分内容是和正态理论相关的。 在那里，总体的分布形式或分布族 分布形式或分布族往往是 在那里，总体的分布形式或分布族往往是 给定的或者是假定了的， 给定的或者是假定了的，所不知道的仅仅 是一些参数的值或他们的范围。 主要工 是一些参数的值或他们的范围。(主要工 作是什么?) 作是什么
然而，在实际生活中，那种对总体的分布 的假定并不是能随便做出的。 数据并不是来自所假定分布的总体；或者， 数据根本不是来自一个总体；还有可能， 数据因为种种原因被严重污染。这样，在 假定总体分布的情况下进行推断的做法就 可能产生错误的结论。 于是，人们希望在不假定总体分布的情况 下，尽量从数据本身来获得所需要的信息。 这就是非参数统计的宗旨。
注意：非参数统计的名字中的“ 注意：非参数统计的名字中的“非参数 (nonparametric)” (nonparametric) 意味着其方法不涉及描述总 体分布的有关参数；它被称为和分布无关 体分布的有关参数；它被称为和分布无关 (distribution—free) free)， (distribution free)，是因为其推断方法和 总体分布无关；不应理解为与所有分布( 总体分布无关；不应理解为与所有分布(例如有 关秩的分布)无关． 关秩的分布)无关． 什么是非参数统计? 什么是非参数统计? 不假定总体分布的具体形式， 不假定总体分布的具体形式，从数据本身获得 所需要的信息， 所需要的信息，通过推断方法得到相关结论的 一种分析方法。 一种分析方法。
5
4
3
2
Frequency
1 0 0.0 5.0 10.0 15.0 20.0 25.0
Std. Dev = 6.28 Mean = 13.0 N = 12.00
RANK of SCORE
非参数检验过程
1.不涉及总体的分布 不涉及总体的分布 – Example: Probability Distributions, Independence 2. 数据的形态各异 – 定量数据 – 定序数据
Ri = ∑ I ( X j ≤ X i )
j =1
其中
1 I(X j ≤ Xi ) = 0
X j ≤ Xi X j > Xi
显然，X（Ri）=X（i），记R=（R1， R2 ，…，Rn），称 R为由样本产生的统计量，也称秩统计量 例如： 例如：
观测值 秩
5.6 7 1.4 1 2.7 4 5.2 6 2.6 3 4.8 5 2.3 2
Fr ( x ) = P ( X ( r ) ≤ x ) = P (至少r个X i 小于或等于 x )
=
∑C
i=r
n
i n
F ( x ) [1 − F ( x ) ]
i
n−i
（4）顺序统计量密度函数(如果分布密度存在) 顺序统计量密度函数(如果分布密度存在)
n! n−r f r ( x) = F r −1 ( x)[1 − F ( x)] f ( x) (r − 1)!(n − r )!
一个典型的参数检验过程
1. 总体参数 Example: Population Mean 2. 假定数据的形态为
Whole Numbers or Fractions Example: Height in Inches (72, 60.5, 54.7)
3. 有很强的假定 Example: 正态分布，F分布 正态分布， 分布 4. 例子 Z Test, t Test, χ2 Test 例子:
参数统计与非参数统计的比较问题： 参数统计与非参数统计的比较问题： •一种统计方法是否比其它方法更好，通常要从 几个方面来考虑。 •有效性或效率（efficiency）。在其他条件相同 情况下，一种方法需要的样本容量越小，则效 率越高，通常用二者的样本容量比值来度量相 对效率。 •在假设检验中，样本均值 X 是检验总体均值 µ 的一个好的检验统计量，它对总体均值的不同 十分敏感，但是 X 的分布取决于总体 X 的分布， 而这通常是未知的。
非参数检验的弱点
1. 可能会浪费一些信息
特别当数据可以使用参数模型的时 候。 2. 大样本手算相当麻烦 3. 一些表不易得到
因此我们实际上给出了一个没有 实际意义的结果：没有一种方法 是万能的。
本学期内容结构体系
第一章 S-Plus 基 础
第二章 非参数统计基础
第三章 单一总体的 统计推断
第四章 两总体位置 和尺度推断
一个例子：
对两组学生进行语法测试， 对两组学生进行语法测试，如何比较两 组学生的成绩是否存在差异？ 组学生的成绩是否存在差异？
甲 25 30 29 34 24 25 13 32 24 30 32 37 乙 44 33 22 8 47 31 40 30 33 35 18 21 35 28 22
原始数据 25 30 29 34 24 25 13 32 24 30 32 37
2、秩统计量的分布和数字特征
●
R1 , R2 , ⋯ , Rn 的联合分布为:
2、 基于顺序统计量的统计量
中位数
X n +1 (2) Md = X + X ( n / 2+1) ( n / 2) 2 n为奇数 n为偶数
极差
R = X ( n ) − X (1)
3、顺序统计量分布函数 设总体的分布函数F(X)，则第r个顺序统计量的分 布函数为 Fr ( x ) = P ( X ( r ) ≤ x) = P (至少r个X i 小于或等于 x )
非参数统计的主要内容内容非参数检验相应的参数检验独立样本中位数检验秩和检验独立样本t检验配对样本单一样本符号检验wilcoxon检验成对样本t检验2独立样本kruskalwallis单一因素anova两因素friedman检验双因素anova相关性检验spearman秩相关pearson相关性检验分布的检验kolmogorovsmirnov1212一顺序统计量因为非参数方法通常并不假定总体分布
第五章 多总体位置 和尺度推断
第六章 定性数据的 独立性
第七章 定量数据的相 关性和回归
第八章 非参数密度估计
第九章 非参数回归
非参数统计的主要内容
内容 独立样本 2 配对样本 /单一样本 >2独立样本 两因素 相关性检验 分布的检验 非参数检验 相应的参数检验 中位数检验 独立样本t检验 秩和检验 符号检验 成对样本 t-检验 Wilcoxon 检验 Kruskal-Wallis 检 单一因素 ANOVA 验 Friedman检验 双因素ANOVA Spearman秩相关 Pearson相关性 检验 KolmogorovSmirnov
同样我们可以得到顺序统计量X(r) 和X(s)的联合密 度函数为： n! f r , s ( x, y ) = (r − 1)!( s − r − 1)!(n − s )!
F r −1 ( x) f ( x)[F ( y ) − F ( x)]
s − r −1
f ( y )[1 − F ( y )]
44 33 22 8 47 31 40 30 33 35 18 21 35 28 22
26.0 19.5 5.5 1.0 27.0 16.0 25.0 14.0 19.5 22.5 3.0 4.0 22.5 11.0 5.5
Histogram
For GROUP= Group1
6
RANK of SCORE
秩 9.5 14.0 12.0 21.0 7.5 9.5 2.0 17.5 7.5 14.0 17.5 24.0
Histogram
For GROUP= Group2
6
5
4
3
2
Frequency
1 0 0.0 5.0 10.0 15.0 20.0 25.0
Std. Dev = 9.17 Mean = 14.8 N = 15.00
§1.2 顺序统计量，秩和线性秩统计量 顺序统计量，
一、顺序统计量 因为非参数方法通常并不假定总体分布。因 此，观测值的顺序及性质则作为研究的对象。 顺序统计量：对于样本X1，X2，X3，…，Xn，如 顺序统计量 果按照升幂排列，得到
X (1) ≤ X ( 2 ) ≤ ⋯ ≤ X ( n )
X (k ) 称为第k个顺序统计量。
– Example: Good-Better-Best
– 名义数据
– Example: Male-Female
3.例子 Wilcoxon Rank Sum Test/Run Test 例子: 例子
F, F, F, F, F, F, F, F, M, M, M, M, M, M, M F, M, F, M, F, M, F, M, F, M, F, M, F, M, F
非参数检验的优点
对总体假定较少，有广泛的适用性， 对总体假定较少，有广泛的适用性， 结果稳定性较好。 结果稳定性较好。 –1. 假定较少 1. –2. 不需要对总体参数的假定 2. –3. 与参数结果接近 3. 针对几乎所有类型的数据形态。 针对几乎所有类型的数据形态。 容易计算 –在计算机盛行之前就已经发展 在计算机盛行之前就已经发展 起来。 起来。
因为非参数统计方法不利用关于总体分布的知 识，所以，就是在对于总体分布的任何知识都没 有的情况下，它也能很容易而又很可靠地获得结 论。这时，非参数方法往往优于参数方法。 在不知总体分布的情况下如何利用数据所包含 的信息呢? 一组数据的最基本的信息就是次序。如果可以 把数据点按大小次序排队，每一个具体数目都有 它的在整个数据中(从最小的数起)的位置或次序， 称为该数据的秩(rank)。数据有多少个观察值， 就有多少个秩。在一定的假定下，这些秩和它们 的统计量的分布是求得出来的，而且和原来的总 体分布无关。这样就可以进行所需要的统计推断。
注：有结点数据（重复数据）的秩
定义：设X1，X2，X3，…，Xn 来自总体的简单随机样
本，将数据排序后，相同的数据点形成一个结，重复 数据的个数为结长。此时秩定义为对应秩（无重复数 据时）的平均数。 如：85,87,87,92,83,83,83,95,结为多少？结长为多少？ 对应秩？
答案：5个结，结长为1,2,1,3,1， 对应秩为4,5.5,5.5,7,1,2,3,8
• t检验这一方法是稳健的，当总体是非正态分 检验这一方法是稳健的， 布时，它是否象正态分布一样有效？ 布时，它是否象正态分布一样有效？一种方法 固然应该是稳健的，更应该是有效的。 固然应该是稳健的，更应该是有效的。 • 相合性或渐进性 （ consistent ） ， 多数参数检 相合性或渐进性（ consistent） 验对于非正态分布条件是稳健的，相合的， 验对于非正态分布条件是稳健的，相合的，即 随着样本容量的增加，方法将更为稳健， 随着样本容量的增加，方法将更为稳健，对于 无限样本而言， 无限样本而言，方法是精确的且不依赖于总体 分布。 分布。
•稳健性（robust）。如果一种方法背后的某个 假设条件不成立，但它还是近似有效的，则可 认为这一方法对这一条件是稳健的。通常来说， 稳健是指基于正态假设的方法（即使潜在的总 体分布是非正态的）检验统计量也有近似相同 的零分布。比如单样本的t检验，当样本容量很 大时，对于正态假设是稳健的。 •没有一个总体是精确的服从正态分布或其他已 知分布，如果总体是近似正态分布的，那么基 于正态分布来进行推断是安全的，反之，我们 就要考虑非参数方法。
定义（连续分布） 定义（连续分布）
假定X ~ f ( x), 令0 < p < 1, 满足等式F ( x)=p( X < m p ) = p 的唯一根m p 称为F ( x)的分位数。
二、秩统计量 1、秩统计量 设X1，X2，X3，…，Xn 来自总体的样本，记Ri为样本 点Xi 的秩，即样本中小于或等于Xi 的样本点的个数， n 即
n−s
特别地， 的分布函数为： 特别地，极差 R = X ( n ) − X (1) 的分布函数为：
FR ( y ) = n ∫
+∞
−∞
f ( x) [ F ( x + y ) − F ( x) ] dx
n −1分ຫໍສະໝຸດ 数对于离散数据，给定n个值X1，…，Xn，则p分位 数定义为为：
k X (k ) , =p n +1 mp = k k +1 X + ( X − X ( k ) ) [(n + 1) p − k ], < p< ( k +1) (k ) n +1 n +1