2 误差及数理统计基础
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
3
§1.6.2 t检验
1. 两套试验平均值的比较
将t用于显著性检验可判断两试验均值是否有显著性差别. 设两试验的均值分别为 x1和 x 2 . 若作假设H0,即假设两种方法 所得均值没有差别. 在判断中,首先由单一标准偏差s1和s2作综 合标准偏差的计算:
2 2 ( n 1 ) s ( n 1 ) s 1 2 2 s2 1 n1 n2
17
作为χ2检验的应用,观测总数要大于或等于50 次,而个体重复次数不应低于5。 另外 , χ2 检验可用于检验总体方差是否正常, 但总体方差要已知. 运用时首先计算出统计量:
2
(n 1) s
2
2
然后查分布表,并将查表值与计算值进行比较, 以判断如某批产品正常与否.
18
§1.6 坏值的剔除
15
§1.6.4
2
检验
χ 2检验是有关于某事件发生频率的测试. 如,由实验室中 4位工作者打破玻璃器皿的件数,用χ2 检验他们的可信赖度有否区别. 打破件数:24,17,11,9 若作 H 0 假设,则认为他们间可信赖度无区别. 就是说在同 一段时间内,他们打破玻璃器皿的件数是相同的 . 由于打 破的总件数为61,所以对于每位工作者打破器皿的期望值 为 61/4=15.25. 现在我们拟得到的答案是,观测值与期望 值是否有显著性差别. 为此,作如下计算:
有两种情况: 一是我们希望知道是否方法A比方 法B更精密(单尾检验);二是拟知道方法 A与 方法B的精密度上有否差别(双尾检验). 在第 一种情况下是假定方法 A不会比方法 B精密;在 第二种情况下,比较的是两种方法的相对精密 度. 很清楚,假若我们希望测试一种新的方法是 否比已有的标准方法更精密,则用单尾检验; 假若我们希望比较两种标准偏差是否有显著性 差异,则用双尾检验. F检验的表达方式为:
此例中自由度为10,若=0.05,t的临界值为2.23. 由于实 验的t小于t的临界值,所以接受原假设,即煮沸时间的长短对 Sn的回收无明显影响. 1 、在前面的计算中,事实上假设两种方法或在不同条件下 的方差大体上是相等的. 2、若此假定不合理(s1与s2差异较大),t值的计算可采用如 下公式: 2 2
已 知 汞 的 含 量 为 38.9%. 其 测 试 值 为 38.9%, 37.4% 和 37.1%. 由此可得平均值为 37.8% ,标准偏差为 0.964%. 作假设,即设定无系统误差,则利用上述公式可计算 t 值:
| t || 37.8 - 38.9 | * 3 / 0.9641 1.98
分光 荧光 27.3585 27.7481 28.4064 27.6784 28.2883 28.0372 28.4310 27.4117 27.9407 27.6376 26.9188 26.4398 26.5672 26.0066 26.1422 26.1873 26.5026 26.1861 26.4114 25.7781
用统计法进行坏值剔除的基本思想是:给定一显著性水平 ,并确定一门限值,凡超过这个门限的误差就认为它不 属于随机误差的范畴,而是粗差,并予以剔除. 1. Ρайта法则 设残差为: vi xi x
样本的标准偏差为s,若
vi 3s
则认为xi是含有粗差的坏值,应予剔除. 2. Chauvenet准则 同上,当
F=0.32/0.232=1.7 显然,在此种情况下为双尾检验. 查双尾F分布表所得 临界值为4.026(=0.05). 计算值小于临界值,说明 两种方法的标准偏差没有显著性差别. 须指出, 在进行双尾检验时, 若使用的F分布表为单尾, 则显著性水平 应为双尾的 的 1/2. 如上例 , 应为 0.025而不是0.05.
14
再如§1.6.2中硼的测定
两种方法的测定次数均为10,即自由度均为9, 标准偏 差分别为0.30 和0.23. 若采用F检验:
分光 荧光 27.3585 27.7481 28.4064 27.6784 28.2883 28.0372 28.4310 27.4117 27.9407 27.6376 26.9188 பைடு நூலகம்6.4398 26.5672 26.0066 26.1422 26.1873 26.5026 26.1861 26.4114 25.7781
3
4
50
60
48
57
若沿用上述算法去直接比较两种方法的均值是不适合的,因为 测试结果的差异有可能由于本试样不同所导致。
在此种情况下,可以采用同一试样两个测试结果比较的方法.
11
如上述数据,对应试样的差值分别为-5, -7, 2, 3; 这些差值 的均值=-1.75;差值的标准偏差s=4.99. 由于差值的期望值 =0,所以
当自由度为2时,查t值分布表可得t(,f)=4.3 (=0.05). 由 于|t|〈t临界,H 0 假设为真,即无明显的系统误差.
Matlab代码: [h,p,~,pstat]=ttest(x,0.389)
10
3、成对结果的t检验(paired t-test)
两种方法对于4个试样Pb的测定结果(ug/L)为: 试样 1 2 湿法氧化 71 61 直接萃取 76 68
F s1 / s2
2
2
在此式中,应使F>=1, 即大者为分子,小者为 分母。
13
测定废水中的氧,其结果为: 均值(mg/L) 标准方法: 72 新方法: 72 标准偏差(mg/L) 3.31 1.51
n1=n2=8
标准方法
新方法
72.0758
68.9760
71.1328
73.4560
66.2068
8
2. 试验均值与已知值的比较
为了判断实验均值与真值 是否有显著性差别,与上类同, 可 将方程
x (ts / n )
n s
重写为:
t (x )
然后由实验数据可计算t值. 若|t|>t(,f),则放弃假设. 同样, t(,f) 由查表得到.
9
用冷蒸汽原子吸收法测定某标样中的汞
n2=6, =3.465, s2=0.440
t=8.5 依照式上述公式, 计算得自由度为5. 若取=0.01, 查得t的临 界值为4.03. 实验t值大于t的查表值,否定原假设,即风湿病 人血中硫醇的含量与对照组(正常人)有显著差别。 Matlab 代码演算 [h,p,ci,stats] = ttest2(x,y,0.01,'both','unequal')
显著性差异的判断。
2
§1.6.1 显著性水平
显著性检验离不开预设的小概率,例如正态分布的测量值 落到区间 [ 2 ] 以外的概率小于0.05, 落到 区间
[ 3 ] 以外的概率小于0.01。
在概率论中,小概率的原则是:如果一个事件发生的概率 很小,那么在一次试验中,实际上可把它看成不可能发生 的事件。如果某个小概率事件竟然发生了,则认为这是一 反常现象。小概率越小就越显得异常,所以此小概率在显 著性检验中称为显著性水平。反映的是显著差异的程度, 通常在0.05以下便认为是显著。 Matlab函数:pdf,cdf
第一章 误差及数理统计基础
1
§1.6 显著性检验
在实际应用中仅估计总体的值还不够,常常需要
说明总体的某种性质,例如两个样本的均值差异
是否显著到不能代替同一总体。这里包括工艺改
变后产品质量有无显著变化,两种分析方法测定 结果是否一致等问题. 该类统计推断都是先提出假
设,然后按照某种逻辑在一定概率上作出是否有
t ( x1 x 2 ) / s1 / n1 s 2 / n2
s1 / n1 s 2 / n2 s1 / n1 s 2 / n2 ( )( ) n1 1 n2 1
2 2 2 2
自由度的计算为:
2
7
如风湿病人和对照组血中硫醇含量(mmol)为: 对照组:1.84, 1.92, 1.94, 1.92, 1.85, 1.91, 2.07 风湿病人:2.81, 4.06, 3.62, 3.27, 3.27, 3.76 由此,可计算得到: n1=7, =1.921, s1=0.076
2.07 2.10 2.13 2.15 2.17 2.20 2.22 2.24 2.26 2.28
23 24 25 30 40 50 75 100 200 500
2.30 2.31 2.33 2.39 2.49 2.58 2.71 2.81 3.02 3.20
s1 2.80 s1 2.57
2
2
75min: x1 57.8;
作 H 0 假设,即蒸馏时间对测定结果无影响. 方差总值为:
s 2 (5 2.80 5 2.57) / 10 2.685 s 1.64
Matlab 代码演算
6
t (57.8 57.0) /(1.64 (1/ 6 1/ 6) ) 0.84
还可用于实验条件改变时对结果产生的影响. 如食物中锡的测定可在 HCL介质中进行蒸馏 . 相应于不同 的蒸馏时间,其结果为: 蒸馏时间(min) Sn测定结果(mg/kg) 30 75 30min: x1 57.0; 55,57,59,56,56,59 57,55,58,59,59,59
对于这两种时间,均值和方差分别为:
16
观测频率,O
24 17
期待频率,E
15.25 15.25
O–E
8.75 1.75
(O - E)2/E
5.020 0.201
11
9
15.25
15.25
-4.25
-6.25 0.00
1.184
2.561 χ2=8.966
其中,O – E列的加和恒等于0, 故可作计算中的校验. 若χ2超 出一定的临界值则拒绝假设 . 在此例中,自由度为4-1=3, 若=0.05, 则由χ2的分布表可知χ2的临界值为7.81,计算值大 于查表值,说明4位工作者的可信赖度确有区别. Chi2inv(0.95,3)
vi i s 时剔除坏值. 式中可由表1.5查出.
19
表1.5 Chauvenet系数的数值表
n
i
n
i
n
i
3 4 5 6 7 8 9 10 11 12
1.38 1.53 1.65 1.73 1.80 1.86 1.92 1.96 2.00 2.03
13 14 15 16 17 18 19 20 21 22
t值的计算用下式:
t x1 x2
1 1 s n1 n2
式中n1和n2分别为两样本的容量. t 的自由度为n1+n2-2. 如果tt(,f), 则否定原假设,即两种方法所得结 果有显著性差异. t(,f)为显著性 水平是、自由度是f的查表值.
4
如用两种方法测定植物中硼,结果为: 分光光度法(ug/g): 均值=28.0; 标准偏差=0.3 荧光光度法(ug/g): 均值=26.25; 标准偏差=0.23
72.7853
71.0545
71.9698
69.2482
71.9475
68.7588
70.7948
68.1723
73.5382
70.2339
71.7988
试问,新方法的精密度是否明显高于标准方法?对于此问题可以采用单尾 F检验. F=3.312/1.512=4.8 在两种情况下均测定8次,所以自由度均为7. 若=0.05,查表(单尾)得F 的临界值为3.787. 由于计算值大于该临界值,故可得新方法比标准法具有 更高精密度的结论.
n1=n2=10 为判别两种方法所得结果是否有显著性差异,则首 先计算
s 2 (9 0.32 9 0.232 ) / 18 0.0715 s 0.267
t (28.0 26.25) /(0.267 1/ 10 1/ 10) 14.7
自由度为18,若=0.05,查表得t(,f)的临界值为2.1. 由于实 验的t值大于t(,f)(临界值),故拒绝原假设. 换言之,两种 方法所得结果有显著性差异. Matlab 代码演算5
t x n/s
t 的自由度为 n-1=3, 取 =0.05 ,查表得t 值为 3.18 , t 的实验 值为-0.70, | t |< t(,f) 故两种方法测得Pb含量的均值没有显 著性差别。
Matlab代码:[h,p,~,pstat]=ttest(x,y)
12
§1.6.3 F检验
F检验主要用于两套数据方差的比较。
§1.6.2 t检验
1. 两套试验平均值的比较
将t用于显著性检验可判断两试验均值是否有显著性差别. 设两试验的均值分别为 x1和 x 2 . 若作假设H0,即假设两种方法 所得均值没有差别. 在判断中,首先由单一标准偏差s1和s2作综 合标准偏差的计算:
2 2 ( n 1 ) s ( n 1 ) s 1 2 2 s2 1 n1 n2
17
作为χ2检验的应用,观测总数要大于或等于50 次,而个体重复次数不应低于5。 另外 , χ2 检验可用于检验总体方差是否正常, 但总体方差要已知. 运用时首先计算出统计量:
2
(n 1) s
2
2
然后查分布表,并将查表值与计算值进行比较, 以判断如某批产品正常与否.
18
§1.6 坏值的剔除
15
§1.6.4
2
检验
χ 2检验是有关于某事件发生频率的测试. 如,由实验室中 4位工作者打破玻璃器皿的件数,用χ2 检验他们的可信赖度有否区别. 打破件数:24,17,11,9 若作 H 0 假设,则认为他们间可信赖度无区别. 就是说在同 一段时间内,他们打破玻璃器皿的件数是相同的 . 由于打 破的总件数为61,所以对于每位工作者打破器皿的期望值 为 61/4=15.25. 现在我们拟得到的答案是,观测值与期望 值是否有显著性差别. 为此,作如下计算:
有两种情况: 一是我们希望知道是否方法A比方 法B更精密(单尾检验);二是拟知道方法 A与 方法B的精密度上有否差别(双尾检验). 在第 一种情况下是假定方法 A不会比方法 B精密;在 第二种情况下,比较的是两种方法的相对精密 度. 很清楚,假若我们希望测试一种新的方法是 否比已有的标准方法更精密,则用单尾检验; 假若我们希望比较两种标准偏差是否有显著性 差异,则用双尾检验. F检验的表达方式为:
此例中自由度为10,若=0.05,t的临界值为2.23. 由于实 验的t小于t的临界值,所以接受原假设,即煮沸时间的长短对 Sn的回收无明显影响. 1 、在前面的计算中,事实上假设两种方法或在不同条件下 的方差大体上是相等的. 2、若此假定不合理(s1与s2差异较大),t值的计算可采用如 下公式: 2 2
已 知 汞 的 含 量 为 38.9%. 其 测 试 值 为 38.9%, 37.4% 和 37.1%. 由此可得平均值为 37.8% ,标准偏差为 0.964%. 作假设,即设定无系统误差,则利用上述公式可计算 t 值:
| t || 37.8 - 38.9 | * 3 / 0.9641 1.98
分光 荧光 27.3585 27.7481 28.4064 27.6784 28.2883 28.0372 28.4310 27.4117 27.9407 27.6376 26.9188 26.4398 26.5672 26.0066 26.1422 26.1873 26.5026 26.1861 26.4114 25.7781
用统计法进行坏值剔除的基本思想是:给定一显著性水平 ,并确定一门限值,凡超过这个门限的误差就认为它不 属于随机误差的范畴,而是粗差,并予以剔除. 1. Ρайта法则 设残差为: vi xi x
样本的标准偏差为s,若
vi 3s
则认为xi是含有粗差的坏值,应予剔除. 2. Chauvenet准则 同上,当
F=0.32/0.232=1.7 显然,在此种情况下为双尾检验. 查双尾F分布表所得 临界值为4.026(=0.05). 计算值小于临界值,说明 两种方法的标准偏差没有显著性差别. 须指出, 在进行双尾检验时, 若使用的F分布表为单尾, 则显著性水平 应为双尾的 的 1/2. 如上例 , 应为 0.025而不是0.05.
14
再如§1.6.2中硼的测定
两种方法的测定次数均为10,即自由度均为9, 标准偏 差分别为0.30 和0.23. 若采用F检验:
分光 荧光 27.3585 27.7481 28.4064 27.6784 28.2883 28.0372 28.4310 27.4117 27.9407 27.6376 26.9188 பைடு நூலகம்6.4398 26.5672 26.0066 26.1422 26.1873 26.5026 26.1861 26.4114 25.7781
3
4
50
60
48
57
若沿用上述算法去直接比较两种方法的均值是不适合的,因为 测试结果的差异有可能由于本试样不同所导致。
在此种情况下,可以采用同一试样两个测试结果比较的方法.
11
如上述数据,对应试样的差值分别为-5, -7, 2, 3; 这些差值 的均值=-1.75;差值的标准偏差s=4.99. 由于差值的期望值 =0,所以
当自由度为2时,查t值分布表可得t(,f)=4.3 (=0.05). 由 于|t|〈t临界,H 0 假设为真,即无明显的系统误差.
Matlab代码: [h,p,~,pstat]=ttest(x,0.389)
10
3、成对结果的t检验(paired t-test)
两种方法对于4个试样Pb的测定结果(ug/L)为: 试样 1 2 湿法氧化 71 61 直接萃取 76 68
F s1 / s2
2
2
在此式中,应使F>=1, 即大者为分子,小者为 分母。
13
测定废水中的氧,其结果为: 均值(mg/L) 标准方法: 72 新方法: 72 标准偏差(mg/L) 3.31 1.51
n1=n2=8
标准方法
新方法
72.0758
68.9760
71.1328
73.4560
66.2068
8
2. 试验均值与已知值的比较
为了判断实验均值与真值 是否有显著性差别,与上类同, 可 将方程
x (ts / n )
n s
重写为:
t (x )
然后由实验数据可计算t值. 若|t|>t(,f),则放弃假设. 同样, t(,f) 由查表得到.
9
用冷蒸汽原子吸收法测定某标样中的汞
n2=6, =3.465, s2=0.440
t=8.5 依照式上述公式, 计算得自由度为5. 若取=0.01, 查得t的临 界值为4.03. 实验t值大于t的查表值,否定原假设,即风湿病 人血中硫醇的含量与对照组(正常人)有显著差别。 Matlab 代码演算 [h,p,ci,stats] = ttest2(x,y,0.01,'both','unequal')
显著性差异的判断。
2
§1.6.1 显著性水平
显著性检验离不开预设的小概率,例如正态分布的测量值 落到区间 [ 2 ] 以外的概率小于0.05, 落到 区间
[ 3 ] 以外的概率小于0.01。
在概率论中,小概率的原则是:如果一个事件发生的概率 很小,那么在一次试验中,实际上可把它看成不可能发生 的事件。如果某个小概率事件竟然发生了,则认为这是一 反常现象。小概率越小就越显得异常,所以此小概率在显 著性检验中称为显著性水平。反映的是显著差异的程度, 通常在0.05以下便认为是显著。 Matlab函数:pdf,cdf
第一章 误差及数理统计基础
1
§1.6 显著性检验
在实际应用中仅估计总体的值还不够,常常需要
说明总体的某种性质,例如两个样本的均值差异
是否显著到不能代替同一总体。这里包括工艺改
变后产品质量有无显著变化,两种分析方法测定 结果是否一致等问题. 该类统计推断都是先提出假
设,然后按照某种逻辑在一定概率上作出是否有
t ( x1 x 2 ) / s1 / n1 s 2 / n2
s1 / n1 s 2 / n2 s1 / n1 s 2 / n2 ( )( ) n1 1 n2 1
2 2 2 2
自由度的计算为:
2
7
如风湿病人和对照组血中硫醇含量(mmol)为: 对照组:1.84, 1.92, 1.94, 1.92, 1.85, 1.91, 2.07 风湿病人:2.81, 4.06, 3.62, 3.27, 3.27, 3.76 由此,可计算得到: n1=7, =1.921, s1=0.076
2.07 2.10 2.13 2.15 2.17 2.20 2.22 2.24 2.26 2.28
23 24 25 30 40 50 75 100 200 500
2.30 2.31 2.33 2.39 2.49 2.58 2.71 2.81 3.02 3.20
s1 2.80 s1 2.57
2
2
75min: x1 57.8;
作 H 0 假设,即蒸馏时间对测定结果无影响. 方差总值为:
s 2 (5 2.80 5 2.57) / 10 2.685 s 1.64
Matlab 代码演算
6
t (57.8 57.0) /(1.64 (1/ 6 1/ 6) ) 0.84
还可用于实验条件改变时对结果产生的影响. 如食物中锡的测定可在 HCL介质中进行蒸馏 . 相应于不同 的蒸馏时间,其结果为: 蒸馏时间(min) Sn测定结果(mg/kg) 30 75 30min: x1 57.0; 55,57,59,56,56,59 57,55,58,59,59,59
对于这两种时间,均值和方差分别为:
16
观测频率,O
24 17
期待频率,E
15.25 15.25
O–E
8.75 1.75
(O - E)2/E
5.020 0.201
11
9
15.25
15.25
-4.25
-6.25 0.00
1.184
2.561 χ2=8.966
其中,O – E列的加和恒等于0, 故可作计算中的校验. 若χ2超 出一定的临界值则拒绝假设 . 在此例中,自由度为4-1=3, 若=0.05, 则由χ2的分布表可知χ2的临界值为7.81,计算值大 于查表值,说明4位工作者的可信赖度确有区别. Chi2inv(0.95,3)
vi i s 时剔除坏值. 式中可由表1.5查出.
19
表1.5 Chauvenet系数的数值表
n
i
n
i
n
i
3 4 5 6 7 8 9 10 11 12
1.38 1.53 1.65 1.73 1.80 1.86 1.92 1.96 2.00 2.03
13 14 15 16 17 18 19 20 21 22
t值的计算用下式:
t x1 x2
1 1 s n1 n2
式中n1和n2分别为两样本的容量. t 的自由度为n1+n2-2. 如果tt(,f), 则否定原假设,即两种方法所得结 果有显著性差异. t(,f)为显著性 水平是、自由度是f的查表值.
4
如用两种方法测定植物中硼,结果为: 分光光度法(ug/g): 均值=28.0; 标准偏差=0.3 荧光光度法(ug/g): 均值=26.25; 标准偏差=0.23
72.7853
71.0545
71.9698
69.2482
71.9475
68.7588
70.7948
68.1723
73.5382
70.2339
71.7988
试问,新方法的精密度是否明显高于标准方法?对于此问题可以采用单尾 F检验. F=3.312/1.512=4.8 在两种情况下均测定8次,所以自由度均为7. 若=0.05,查表(单尾)得F 的临界值为3.787. 由于计算值大于该临界值,故可得新方法比标准法具有 更高精密度的结论.
n1=n2=10 为判别两种方法所得结果是否有显著性差异,则首 先计算
s 2 (9 0.32 9 0.232 ) / 18 0.0715 s 0.267
t (28.0 26.25) /(0.267 1/ 10 1/ 10) 14.7
自由度为18,若=0.05,查表得t(,f)的临界值为2.1. 由于实 验的t值大于t(,f)(临界值),故拒绝原假设. 换言之,两种 方法所得结果有显著性差异. Matlab 代码演算5
t x n/s
t 的自由度为 n-1=3, 取 =0.05 ,查表得t 值为 3.18 , t 的实验 值为-0.70, | t |< t(,f) 故两种方法测得Pb含量的均值没有显 著性差别。
Matlab代码:[h,p,~,pstat]=ttest(x,y)
12
§1.6.3 F检验
F检验主要用于两套数据方差的比较。