32独立性检验的基本思想及其初步应用(一)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
c
的个体中具有Y=y1的个体所占的比例c d 。两个比例相差越 大，H1成立的可能性就越大。
2、可以利用独立性检验来考察两个分类变量是否有关系，并
且能较精确地给出这种判断的可靠程度。
具体作法是： (1)根据实际问题需要的可信程度确定临界值 k 0； (2)利用公式(1)，由观测数据计算得到随机变量 K 2 的观测值； (3)如果 k k 0 ，就以 (1 P ( K k 0 )) 100% 的把握认为“X 与Y有关系”；否则就说样本观测数据没有提供“X与Y有关系” 的充分证据。
n
n
n
a n
≈
a+b n
×
a+c n
其 中 n = a + b + c + d为 样 本 容 量 ， 即
(a+b+c+d)a (a+b) (a+c),
即 ad bc
因此|ad-bc|越小，说明吸烟与患肺癌之间关系越弱； |ad-bc|越大，说明吸烟与患肺癌之间关系越强。
独立性检验
为了使不同样本容量的数据有统一的评判标准，基于上述分 析，我们构造一个随机变量-----卡方统计量
思考
如果K
2
6 .6 3 5， 就 断 定 H 0 不 成 立 ， 这 种 判 断 出 错 的 可 能 性 有 多 大 ?
答：判断出错的概率为0.01。
9965( 7775 49 42 2099) 7817 2148 9874 91
2
现在观测值k
56.632太大了，
(1)假设结论不成立,即 H 0 : “两个分类变量没有关系”. (2)在此假设下我们所构造的随机变量 K2 应该很小,如果由 观测数据计算得到K2的观测值k很大,则在一定可信程度上 说明 H 0 不成立.即在一定可信程度上认为“两个分类变量 有关系”；如果k的值很小，则说明由样本观测数据没有发现 反对 0 的充分证据。 H
0
按照上述规则，把“两个分类变量之间有没关系”错误的判断 2 为“两个分类变量之间有关系”的概率为P( k ). K 0 在实际应用中，我们把 k k0解释为有(1 P ( K 2 k )) 100% 的把握认为“两个分类变量之间有关系”；把 k0 解释为 k 不能以 P ( K 2 k )) 100% 的把握认为“两个分类变量 (1 之间有关系”，或者样本观测数据没有提供“两个分类变量 之间有关系”的充分证据。
2
在实际应用中，要在获取样本数据之前通过下表确定临界值：
P(K k0 )
2
k0
P(K k0 )
2
0.50 0.40 0.25 0.15 0.455 0.708 1.323 2.072 0.05 0.025 0.010 0.005 3.841 5.024 6.636 7.879
0.10 2.706 0.001 10.828
0
吸烟
吸烟
等高条形图更清晰地表达了两种情况下患肺癌的比例。
上面我们通过分析数据和图形，得到的直观印象是吸烟和 患肺癌有关，那么事实是否真的如此呢？这需要用统计观点 来考察这个问题。 现在想要知道能够以多大的把握认为“吸烟与患肺癌有关”， 为此先假设
H0：吸烟与患肺癌没有关系.
用A表示不吸烟，B表示不患肺癌，则“吸烟与患肺癌没有关系” 等价于“吸烟与患肺癌独立”，即假设H0等价于 P(AB)=P(A)P(B). 把表中的数字用字母代替，得到如下用字母表示的列联表 不吸烟 吸烟 总计
5000
4000
不吸烟 不患肺癌 患肺癌
3000 2000 1000
吸烟
从三维柱形图能清晰看出 各个频数的相对大小。
0
不吸烟
吸烟
从二维条形图能看出，吸烟者中 患肺癌的比例高于不患肺癌的比例。
4、等高条形图
1 0.9
0.8
患肺癌 比例
0.7
0Βιβλιοθήκη Baidu6
0.5
0.4
0.3
0.2
不患肺癌 比例
不吸烟
不吸烟
0.1
k0
例1.在500人身上试验某种血清预防感冒作用，把他们一年中 的感冒记录与另外500名未用血清的人的感冒记录作比较，结 果如表所示。
未感冒 使用血清 未使用血清 合计 252 224 476 感冒 248 276 524 合计 500 500 1000
试画出列联表的条形图，并通过图形判断这种血清能否起到预 防感冒的作用？并进行独立性检验。
思考：
利用上面的结论，你能从列联表的三维柱形图中 看出两个分类变量是否相关呢？ 一般地，假设有两个分类变量X和Y，它们的值域 分别为{x1,x2}和{y1,y2},其样本频数列联表（称为2x2列 联表）为： 表1-11 2x2联表
x1 x2 总计
y1 a c a+c
y2 b d b+d
总计 a+b c+d a+b+c+d
一:假设检验问题的原理
假设检验问题由两个互斥的假设构成，其 中一个叫做原假设，用H0 表示；另一个叫做备 择假设，用H1表示。 例如，在前面的例子中， 原假设为： H0：面包份量足， 备择假设为： H1：面包份量不足。 这个假设检验问题可以表达为：
H0：面包份量足 ←→ H1：面包份量不足
二:求解假设检验问题
在H 0成立的情况下能够出现这样的观测值的概率不超过0.01， 因此我们有99%的把握认为 H 0不成立，即有99%的把握认为“吸烟 与患肺癌有关系”。
判断 H 0是否成立的规则
如果 k 6.635 ，就判断 H 0 不成立，即认为吸烟与 患肺癌有关系；否则，就判断 H 0 成立，即认为吸烟 与患肺癌有关系。
本节研究的是两个分类变量的独立性检验问题。
探究
列联表
为了调查吸烟是否对肺癌有影响，某肿瘤研究所随机 地调查了9965人，得到如下结果（单位：人）
吸烟与肺癌列联表
不患肺癌 患肺癌 总计
不吸烟
吸烟 总计
7775
2099 9874
42
49 91
7817
2148 9965
在不吸烟者中患肺癌的比重是 0.54% 在吸烟者中患肺癌的比重是 2.28%
在日常生活中，我们常常关心分类变量之间是否有关系： 例如，吸烟是否与患肺癌有关系？ 性别是否对于喜欢数学课程有影响？等等。
研究两个变量的相关关系：
定 量 变 量 — — 回 归 分 析 （ 画 散 点 图 、 相 关 系 数 r 、 2 变量 相关指数R 、残差分析） 分 类 变 量 — — 独立性检验
考虑假设检验问题： H0：面包分量足 ←→ H1：面包分量不足 求解思路：
1. 在H0成立的条件下，构造与H0矛盾的小概 率事件； 2. 如果样本使得这个小概率事件发生，就能 以一定把握断言H1成立；否则，断言没有 发现样本数据与H0相矛盾的证据。
两种变量：
定 量 变 量 ： 体 重 、 身 高 、 温 度 、 考 试 成 绩 等 等 。 变 量 分 类 变 量 ： 性 别 、 是 否 吸 烟 、 是 否 患 肺 癌 、 宗教信仰、国籍等等。
2
k
7817 2148 9874 91
56.632
（2）
那么这个值到底能告诉我们什么呢？
在H0成立的情况下，统计学家估算出如下的概率 2 P( K 6.635) 0.01. （2） 即在H0 成立的情况下，K2 的值大于6.635的概率非常小，近似 于0.01。 也就是说，在H0成立的情况下，对随机变量K2进行多次观 测，观测值超过6.635的频率约为0.01。
不患肺癌 a c a+c
患肺癌 b d b+d
总计 a+b c+d a+b+c+d
不吸烟 吸烟 总计
不患肺癌 a c a+c
患肺癌 b d b+d
总计 a+b c+d a+b+c+d
在表中，a恰好为事件AB发生的频数；a+b和a+c恰好分别为事 件A和B发生的频数。由于频率接近于概率，所以在H0成立的条 件下应该有 P ( A ) a + b , P ( B ) a + c , P ( A B ) a .
3.2独立性检验的 基本思想及其初 步应用（一）
高二数学 选修2-3
第三章
统计案例
问题: 数学家庞加莱每天都从一家面包店
买一块1000g 的面包，并记录下买回的面 包的实际质量。一年后，这位数学家发 现，所记录数据的均值为950g。于是庞 加莱推断这家面包店的面包分量不足。 • 假设“面包份量足”，则一年购买面包的质量数据 的平均值应该不少于1000g ； • “这个平均值不大于950g”是一个与假设“面包份量 足”矛盾的小概率事件； • 这个小概率事件的发生使庞加莱得出推断结果。
H0 在该规则下，把结论“H 0 成立”错判成“ 2 P( 成立”的概率不会差过K 6.635) 0.01, 即有99%的把握认为 H 0 不成立。
不
独立性检验的定义
上面这种利用随机变量K2来确定在多大程度上 可以认为“两个分类变量有关系”的方法，称为两 个分类变量的独立性检验。
独立性检验的基本思想（类似反证法）
若要判断的结论为：H1 ：“X与Y有关系”，可以 按如下步骤判断H1成立的可能性： 1、通过三维柱形图和二维条形图，可以粗略地判断两个变
量是否有关系,但是这种判断无法精确地给出所得结论的可靠 程度。 （1）在三维柱形图中， 主对角线上两个柱形高度的乘积 ad与副对角线上两个柱形高度的乘积bc相差越大，H1成立的 可能性就越大。 a a b c （2）在二维条形图中,可以估计满足条件X=x1的个体中具 a c d 有Y=y1的个体所占的比例 a b ，也可以估计满足条件X=x2
(3)根据随机变量K2的含义,可以通过评价该假设不合理的 程度,由实际计算出的,说明假设合理的程度为99%,即“两 个分类变量有关系”这一结论成立的可信度为约为99%.
怎样判断K2的观测值k是大还是小呢？
这仅需要确定一个正数 k 0 ，当 k k 0 时就认为K2的观测 值 k大。此时相应于 k 0 的判断规则为： 如果 k k 0 ，就认为“两个分类变量之间有关系”；否则 就认为“两个分类变量之间没有关系”。 k ----临界值
说明：吸烟者和不吸烟者患肺癌的可能性存在差异，吸烟者患 肺癌的可能性大。
通过图形直观判断两个分类变量是否相关： 1、列联表 2、三维柱形图
不吸烟 吸烟 总计 不患肺癌 7775 2099 9874 患肺癌 42 49 91 总计 7817 2148 9965
3、二维条形图
8000 7000 6000 不患肺癌 患肺癌
K
2
n(ad bc)
2
(a b)(c d )(a c)(b d )
,
（1）
其中n a b c d 为样本容量。
根据表3-7中的数据，利用公式（1）计算得到K2的观测值为：
若 H0成立，即“吸烟与患肺癌没有关系”，则K2应很小。
9965(7775 49 42 2099）
的个体中具有Y=y1的个体所占的比例c d 。两个比例相差越 大，H1成立的可能性就越大。
2、可以利用独立性检验来考察两个分类变量是否有关系，并
且能较精确地给出这种判断的可靠程度。
具体作法是： (1)根据实际问题需要的可信程度确定临界值 k 0； (2)利用公式(1)，由观测数据计算得到随机变量 K 2 的观测值； (3)如果 k k 0 ，就以 (1 P ( K k 0 )) 100% 的把握认为“X 与Y有关系”；否则就说样本观测数据没有提供“X与Y有关系” 的充分证据。
n
n
n
a n
≈
a+b n
×
a+c n
其 中 n = a + b + c + d为 样 本 容 量 ， 即
(a+b+c+d)a (a+b) (a+c),
即 ad bc
因此|ad-bc|越小，说明吸烟与患肺癌之间关系越弱； |ad-bc|越大，说明吸烟与患肺癌之间关系越强。
独立性检验
为了使不同样本容量的数据有统一的评判标准，基于上述分 析，我们构造一个随机变量-----卡方统计量
思考
如果K
2
6 .6 3 5， 就 断 定 H 0 不 成 立 ， 这 种 判 断 出 错 的 可 能 性 有 多 大 ?
答：判断出错的概率为0.01。
9965( 7775 49 42 2099) 7817 2148 9874 91
2
现在观测值k
56.632太大了，
(1)假设结论不成立,即 H 0 : “两个分类变量没有关系”. (2)在此假设下我们所构造的随机变量 K2 应该很小,如果由 观测数据计算得到K2的观测值k很大,则在一定可信程度上 说明 H 0 不成立.即在一定可信程度上认为“两个分类变量 有关系”；如果k的值很小，则说明由样本观测数据没有发现 反对 0 的充分证据。 H
0
按照上述规则，把“两个分类变量之间有没关系”错误的判断 2 为“两个分类变量之间有关系”的概率为P( k ). K 0 在实际应用中，我们把 k k0解释为有(1 P ( K 2 k )) 100% 的把握认为“两个分类变量之间有关系”；把 k0 解释为 k 不能以 P ( K 2 k )) 100% 的把握认为“两个分类变量 (1 之间有关系”，或者样本观测数据没有提供“两个分类变量 之间有关系”的充分证据。
2
在实际应用中，要在获取样本数据之前通过下表确定临界值：
P(K k0 )
2
k0
P(K k0 )
2
0.50 0.40 0.25 0.15 0.455 0.708 1.323 2.072 0.05 0.025 0.010 0.005 3.841 5.024 6.636 7.879
0.10 2.706 0.001 10.828
0
吸烟
吸烟
等高条形图更清晰地表达了两种情况下患肺癌的比例。
上面我们通过分析数据和图形，得到的直观印象是吸烟和 患肺癌有关，那么事实是否真的如此呢？这需要用统计观点 来考察这个问题。 现在想要知道能够以多大的把握认为“吸烟与患肺癌有关”， 为此先假设
H0：吸烟与患肺癌没有关系.
用A表示不吸烟，B表示不患肺癌，则“吸烟与患肺癌没有关系” 等价于“吸烟与患肺癌独立”，即假设H0等价于 P(AB)=P(A)P(B). 把表中的数字用字母代替，得到如下用字母表示的列联表 不吸烟 吸烟 总计
5000
4000
不吸烟 不患肺癌 患肺癌
3000 2000 1000
吸烟
从三维柱形图能清晰看出 各个频数的相对大小。
0
不吸烟
吸烟
从二维条形图能看出，吸烟者中 患肺癌的比例高于不患肺癌的比例。
4、等高条形图
1 0.9
0.8
患肺癌 比例
0.7
0Βιβλιοθήκη Baidu6
0.5
0.4
0.3
0.2
不患肺癌 比例
不吸烟
不吸烟
0.1
k0
例1.在500人身上试验某种血清预防感冒作用，把他们一年中 的感冒记录与另外500名未用血清的人的感冒记录作比较，结 果如表所示。
未感冒 使用血清 未使用血清 合计 252 224 476 感冒 248 276 524 合计 500 500 1000
试画出列联表的条形图，并通过图形判断这种血清能否起到预 防感冒的作用？并进行独立性检验。
思考：
利用上面的结论，你能从列联表的三维柱形图中 看出两个分类变量是否相关呢？ 一般地，假设有两个分类变量X和Y，它们的值域 分别为{x1,x2}和{y1,y2},其样本频数列联表（称为2x2列 联表）为： 表1-11 2x2联表
x1 x2 总计
y1 a c a+c
y2 b d b+d
总计 a+b c+d a+b+c+d
一:假设检验问题的原理
假设检验问题由两个互斥的假设构成，其 中一个叫做原假设，用H0 表示；另一个叫做备 择假设，用H1表示。 例如，在前面的例子中， 原假设为： H0：面包份量足， 备择假设为： H1：面包份量不足。 这个假设检验问题可以表达为：
H0：面包份量足 ←→ H1：面包份量不足
二:求解假设检验问题
在H 0成立的情况下能够出现这样的观测值的概率不超过0.01， 因此我们有99%的把握认为 H 0不成立，即有99%的把握认为“吸烟 与患肺癌有关系”。
判断 H 0是否成立的规则
如果 k 6.635 ，就判断 H 0 不成立，即认为吸烟与 患肺癌有关系；否则，就判断 H 0 成立，即认为吸烟 与患肺癌有关系。
本节研究的是两个分类变量的独立性检验问题。
探究
列联表
为了调查吸烟是否对肺癌有影响，某肿瘤研究所随机 地调查了9965人，得到如下结果（单位：人）
吸烟与肺癌列联表
不患肺癌 患肺癌 总计
不吸烟
吸烟 总计
7775
2099 9874
42
49 91
7817
2148 9965
在不吸烟者中患肺癌的比重是 0.54% 在吸烟者中患肺癌的比重是 2.28%
在日常生活中，我们常常关心分类变量之间是否有关系： 例如，吸烟是否与患肺癌有关系？ 性别是否对于喜欢数学课程有影响？等等。
研究两个变量的相关关系：
定 量 变 量 — — 回 归 分 析 （ 画 散 点 图 、 相 关 系 数 r 、 2 变量 相关指数R 、残差分析） 分 类 变 量 — — 独立性检验
考虑假设检验问题： H0：面包分量足 ←→ H1：面包分量不足 求解思路：
1. 在H0成立的条件下，构造与H0矛盾的小概 率事件； 2. 如果样本使得这个小概率事件发生，就能 以一定把握断言H1成立；否则，断言没有 发现样本数据与H0相矛盾的证据。
两种变量：
定 量 变 量 ： 体 重 、 身 高 、 温 度 、 考 试 成 绩 等 等 。 变 量 分 类 变 量 ： 性 别 、 是 否 吸 烟 、 是 否 患 肺 癌 、 宗教信仰、国籍等等。
2
k
7817 2148 9874 91
56.632
（2）
那么这个值到底能告诉我们什么呢？
在H0成立的情况下，统计学家估算出如下的概率 2 P( K 6.635) 0.01. （2） 即在H0 成立的情况下，K2 的值大于6.635的概率非常小，近似 于0.01。 也就是说，在H0成立的情况下，对随机变量K2进行多次观 测，观测值超过6.635的频率约为0.01。
不患肺癌 a c a+c
患肺癌 b d b+d
总计 a+b c+d a+b+c+d
不吸烟 吸烟 总计
不患肺癌 a c a+c
患肺癌 b d b+d
总计 a+b c+d a+b+c+d
在表中，a恰好为事件AB发生的频数；a+b和a+c恰好分别为事 件A和B发生的频数。由于频率接近于概率，所以在H0成立的条 件下应该有 P ( A ) a + b , P ( B ) a + c , P ( A B ) a .
3.2独立性检验的 基本思想及其初 步应用（一）
高二数学 选修2-3
第三章
统计案例
问题: 数学家庞加莱每天都从一家面包店
买一块1000g 的面包，并记录下买回的面 包的实际质量。一年后，这位数学家发 现，所记录数据的均值为950g。于是庞 加莱推断这家面包店的面包分量不足。 • 假设“面包份量足”，则一年购买面包的质量数据 的平均值应该不少于1000g ； • “这个平均值不大于950g”是一个与假设“面包份量 足”矛盾的小概率事件； • 这个小概率事件的发生使庞加莱得出推断结果。
H0 在该规则下，把结论“H 0 成立”错判成“ 2 P( 成立”的概率不会差过K 6.635) 0.01, 即有99%的把握认为 H 0 不成立。
不
独立性检验的定义
上面这种利用随机变量K2来确定在多大程度上 可以认为“两个分类变量有关系”的方法，称为两 个分类变量的独立性检验。
独立性检验的基本思想（类似反证法）
若要判断的结论为：H1 ：“X与Y有关系”，可以 按如下步骤判断H1成立的可能性： 1、通过三维柱形图和二维条形图，可以粗略地判断两个变
量是否有关系,但是这种判断无法精确地给出所得结论的可靠 程度。 （1）在三维柱形图中， 主对角线上两个柱形高度的乘积 ad与副对角线上两个柱形高度的乘积bc相差越大，H1成立的 可能性就越大。 a a b c （2）在二维条形图中,可以估计满足条件X=x1的个体中具 a c d 有Y=y1的个体所占的比例 a b ，也可以估计满足条件X=x2
(3)根据随机变量K2的含义,可以通过评价该假设不合理的 程度,由实际计算出的,说明假设合理的程度为99%,即“两 个分类变量有关系”这一结论成立的可信度为约为99%.
怎样判断K2的观测值k是大还是小呢？
这仅需要确定一个正数 k 0 ，当 k k 0 时就认为K2的观测 值 k大。此时相应于 k 0 的判断规则为： 如果 k k 0 ，就认为“两个分类变量之间有关系”；否则 就认为“两个分类变量之间没有关系”。 k ----临界值
说明：吸烟者和不吸烟者患肺癌的可能性存在差异，吸烟者患 肺癌的可能性大。
通过图形直观判断两个分类变量是否相关： 1、列联表 2、三维柱形图
不吸烟 吸烟 总计 不患肺癌 7775 2099 9874 患肺癌 42 49 91 总计 7817 2148 9965
3、二维条形图
8000 7000 6000 不患肺癌 患肺癌
K
2
n(ad bc)
2
(a b)(c d )(a c)(b d )
,
（1）
其中n a b c d 为样本容量。
根据表3-7中的数据，利用公式（1）计算得到K2的观测值为：
若 H0成立，即“吸烟与患肺癌没有关系”，则K2应很小。
9965(7775 49 42 2099）