假设检验
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
假设检验
假设检验(Hypothesis Testing)是数理统计学中根据一定假设条件由样本推断总体的一种方法。具体作法是:根据问题的需要对所研究的总体作某种假设,记作H0;选取合适的统计量,这个统计量的选取要使得在假设H0成立时,其分布为已知;由实测的样本,计算出统计量的值,并根据预先给定的显著性水平进行检验,作出拒绝或接受假设H0的判断。常用的假设检验方法有u—检验法、t检验法、χ2检验法(卡方检验)、F—检验法,秩和检验等。
中文名假设检验外文名 hypothesis test
提出者 K.Pearson 提出时间 20世纪初
1、简介
假设检验又称统计假设检验(注:显著性检验只是假设检
验中最常用的一种方法),是一种基本的统计推断形式,也是数
理统计学的一个重要的分支,用来判断样本与样本,样本与总
体的差异是由抽样误差引起还是本质差别造成的统计推断方
法。
其基本原理是先对总体的特征作出某种假设,然后通过抽
样研究的统计推理,对此假设应该被拒绝还是接受作出推断。
[1]
2、基本思想
假设检验的基本思想是小概率反证法思想。小概率思想是指小概率事件(P<0.01或P<0.05)在一次试验中基本上不会发生。反证法思想是先提出假设(检验假设H0),再用适当的统计方法确定假设成立的可能性大小,如可能性小,则认为假设不成立,若可能性大,则还不能认为假设成立。[2] 假设是否正确,要用从总体中抽出的样本进行检验,与此有关的理论和方法,构成假设检验的内容。设A是关于总体分布的一项命题,所有使命题A成立的总体分布构
成一个集合h0,称为原假设(常简称假设)。使命题A不成立的所有
总体分布构成另一个集合h1,称为备择假设。如果h0可以通过有
限个实参数来描述,则称为参数假设,否则称为非参数假设(见非参
数统计)。如果h0(或h1)只包含一个分布,则称原假设(或备择假设)
为简单假设,否则为复合假设。对一个假设h0进行检验,就是要制
定一个规则,使得有了样本以后,根据这规则可以决定是接受它(承
认命题A正确),还是拒绝它(否认命题A正确)。这样,所有可能
的样本所组成的空间(称样本空间)被划分为两部分HA和HR(HA
的补集),当样本x∈HA时,接受假设h0;当x∈HR时,拒绝h0。
集合HR常称为检验的拒绝域,HA称为接受域。因此选定一个检验
法,也就是选定一个拒绝域,故常把检验法本身与拒绝域HR等同起
来。[3]
3、基本方法
显著性检验有时,根据一定的理论或经验,认为某一假设h0成立,例如,通常有理由认为特定的一群人的身高服从正态分布。当收集了一定数据后,可以评价实际数据与理论假设h0之间的偏离,如果偏离达到了“显著”的程度就拒绝h0,这样的检验方法称为显著性检验。偏离达到显著的程度通常是指定一个很小的正数α(如0.05,0.01),使当h0正确时,它被拒绝的概率不超过α,称α为显著性水平。这种假设检验问题的特点是不考虑备择假设,考虑实验数据与理论之间拟合的程度如何,故此时又称为拟合优度检验。拟合优度检验是一类重要的显著性检验。
K.皮尔森在1900年提出的Ⅹ检验是一个重要的
拟合优度检验。设原假设h0是:“总体分布等于某个
已知的分布函数F(x)”。把(-∞,∞)分为若干个两
两无公共点的区间I1,I2,…,Ik,对任一个区间,
以vj记大小为n的样本X1,X2,…,Xn中落在Ij内
的个数,称为区间Ij的观测频数,另外,求出Ij的
理论频数(对j=1,2,…,k都这样做),再算出由下
式定义的Ⅹ统计量,皮尔森证明了:若对j=1,2,…,k,则当n→∞时,Ⅹ的极限分布是自由度为k-1的Ⅹ分布。于是在样本大小n相当大时,从Ⅹ分布表可查得Ⅹ分布的上α分位数(见概率分布)Ⅹ(k-1)。由此即得检验水平为α的拒绝域:{Ⅹ≥Ⅹα(k-1)}。如果原假设h 0为:总体服从分布族{Fθ,θ∈嘷},式中θ为未知参数,嘷为θ的所有可能取值的集合(称参数空间),也可得到类似的拒绝域,只要在计算理论频数vj时,将所包含的未知参数θ用适当的点估计代替,即可计算Ⅹ统计量。但此时极限分布的自由度为 k-Л-1,式中Л为θ中的独立参数的个数。柯尔莫哥洛夫检验(见非参数统计)也是一个重要的拟合优度检验方法。
奈曼-皮尔森理论J.奈曼与 E.S.皮尔森合作,从1928年开始,对假设检验提出了一项系统的理论。他们认为,在检验一个假设h0时可能犯两类错误:
第一类错误是真实情况为h0成立(即θ∈嘷0),但
判断h0不成立,犯了“以真为假”的错误。第二类错误
是h0实际不成立(即θ∈嘷1),但判断它成立,犯了“以
假为真”的错误(见表)。这里嘷0,嘷1分别是使假设
h0成立或不成立的θ的集合,显然嘷=嘷0+嘷1。当θ∈
嘷0,样本X(即X1,X2,…,Xn组成的向量)∈HR,其概
率Pθ(X∈HR)就是犯第一类错误的概率α;当θ∈嘷1,
样本X∈HA,其概率就是犯第二类错误的概率β。通常人
们不希望轻易拒绝h0,例如工厂的产品一般是合格的,出
厂进行抽样检查时不希望轻易地被认为不合格,于是在限
定犯第一类错误的概率不超过某个指定值α(称为检验水
平)的条件下,寻求犯第二类错误的概率尽可能小的检验
方法。为了描述检验的好坏,称θ的函数Pθ(X∈HR)为检
验的功效函数。例如上述产品检验的例子中,所采用的检验可以是:
当样品中的废品个数超过一定限度时,认为该批产品不合格,否则就
认为合格。这个检验的功效函数有图示的形状,图中的 p0、p1、α、β根据需要选定。这种图形清楚地描述了犯两类错误的概率。
优良性准则基于奈曼-皮尔森理论及统计决策理论,可以提出一些准则,来比较为检验同一假设而提出的各种检验。较重要的准则有:
一致最大功效(UMP)准则欲检验h0:θ∈嘷0,h1:θ∈嘷1;
当给定检验水平α后,在所有满足的可供选择的检验HR中,是否
有一个最好的,亦即:是否存在拒绝域H,使得对于所有θ∈嘷1
及一切检验水平为α的H皆有。若这样的检验存在,则称HR为检
验水平α的一致最大功效检验,简称UMP检验。奈曼与皮尔森在1933年提出了著名的奈
曼-皮尔森引理。这是对简单假设寻求UMP检验的一个构造性的结果,即此时似然比检验
就是UMP检验。对某些复合假设也找到了 UMP检验,但并不是所有情况都存在 UMP检验。
因此有必要在对检验作某些限制下寻找最大功效检验或建立另外一些优良性准则。
无偏性准则要求检验在备择假设h1成立时作出正确判断的概率不小于检验水平α,这就是说在h0不成立时拒绝h0的概率要不小于在h0成立时拒绝h0的概率,这种性质称为无偏性,具有这种性质的检