第五讲-分类数据统计分析

地区
甲地区
一级
二级
三级
合计
140
52
64
24
乙地区
丙地区
合计
60
50
162
59
65
188
52
74
150
171
189 500
独立性检验
(例题分析)
1.
提出假设
• • H0：地区与原料等级之间独立 H1：地区与原料等级之间不独立
2.
计算检验的统计量

2 i 1 j 1 r c
( f ij eij ) 2 eij
一分公司 二分公司 三分公司 四分公司
赞成该 方案
实际频数 期望频数
实际频数 期望频数
68 66
32 34
75 80
75 40
57 60
33 30
79 73
31 37
反对该 方案
拟合优度检验
一. 二.
统计量
拟合优度检验

统计量
统计量
1. 2. 3.
用于检验列联表中变量间拟合优度和独立性 用于测定两个分类变量之间的相关程度 计算公式为
列联表的结构
(2 2 列联表)
列(cj) 行 (ri) j =1 列( cj ) 合计 j =2
i =1 i =2
合计
f11 f21
f11+ f21
f12 f22
f12+ f22
f11+ f12 f21+ f22
n
列联表的结构
(r c 列联表的一般表示)
列(cj) 行(ri)
列(cj)
j =1
立

= 0.05 df = (3-1)(3-1)= 4 临界值(s): =0.05
2
i 1 j 1
r
c
( f ij eij ) 2 eij
19.82
决策:
在 = 0.05的水平上拒绝H0
结论:
0
9.488
19.82

地区和原料等级之间存在依 赖关系
似然比卡方统计量
2 ( f e ) 2 e 3.0319
合计：3.0319
拟合优度检验
分类数据的假设检验
分类数据
比例检验
一个总体 两个以上总体
独立性检验
Z 检验
Z 检验
两个总体
检验
检验
拟合优度检验
(goodness of fit test)
1.
2.
检验多个比例是否相等 检验的步骤
一分公司 二分公司 三分公司 四分公司 赞成该方案 反对该方案
合计
68 32
100
75 75
120
57 33
90
79 31
110
列边缘分布
百分比分布
(概念要点)
1. 2.
条件频数反映了数据的分布，但不适合对比 为在相同的基数上进行比较，可以计算相应 的百分比，称为百分比分布
• • • 行百分比：行的每一个观察频数除以相应的行 合计数(fij / ri) 列百分比：列的每一个观察频数除以相应的列 合计数( fij / cj ) 总百分比：每一个观察值除以观察值的总个数 ( fij / n )
•

提出假设
H0：1 = 2 = … = j；H1： 全相等
1
, 2 , … , j 不
•

计算检验的统计量 进行决策

2
i 1 j 1
r
c
( f ij eij ) 2 eij
根据显著性水平和自由度(r-1)(c-1)查出临界值2 若2>2，拒绝H0；若2<2，接受H0
(例题分析)
实际频数 期望频数
(fij)
68 75 57 79 32 45 33 31
(eij)
66 80 60 73 34 40 30 37
fij - eij
2 -5 -3 6 -2 5 3 -6
(fij- eij)2
eij
0.0606 0.3125 0.1500 0.4932 0.1176 0.6250 0.3000 0.9730
4.
列联表中相关测量统计量


对于分类变量，通常采用基于卡方统计量 的各种统计量来进行关联性度量，常用的 有Cramer’s V系数、 相关系数和列联 相关系数C； 对于有序变量，关联性度量主要采用 gamma统计量、Kendall统计量和 spearman统计量。
相关系数
(correlation coefficient)
2
i 1 j 1 r c
( f ij eij ) 2 eij
其自由度为(r 1)(c 1) 式中：f ij
— 列联表中第i行第j列类别的实际频数 eij — 列联表中第i行第j列类别的期望频数

统计量
(fij - eij)2 4 25 9 36 4 25 9 36
63.35 13.6% 23.4% 36.7% 7.9%
21.4%
71.8% 18.8% 22.0% 28.2% 7.4%
26.2%
—
— 33.6% — — 100%
期望频数的分布
1. 2.
假定行变量和列变量是独立的 一个实际频数 fij 的期望频数 eij ，是总频 数的个数 n 乘以该实际频数 fij 落入第 i 行 和第j列的概率，即

1.
如果两个变量之间为完全关联，那么测度值等于+1(正相关) 或-1(负相关)。
如果两个变量无关，那么测度值等于0。
2.
3.
测度值的符号表明关联的方向。大于0的值 (正数)对应于正 关系;小于0的值 (负数)对应于负关系。
两个变量之间的关联越紧密，测度值越大。统计量的绝对值 (不考虑符号)用来衡量关联度的大小。
ri ci ri c j eij n n n n
期望频数的分布
(例题分析)
例如，第1行和第1列的实际频数为 f11 ,它落在第1行 的概率估计值为该行的频数之和r1除以总频数的个数 n ，即： r1/n ；它落在第 1 列的概率的估计值为该列的频 数之和c1除以总频数的个数 n ，即：c1/n 。根据概率的 乘法公式，该频数落在第1行和第1列的概率应为
百分比分布
(图示)
行百分比
赞成该方案
列百分比
总百分比
合计 66.4%
一分公司 二分公司 三分公司 四分公司
24.4%
26.9%
20.4%
28.3%
68.0% 16.2% 反对该方案 22.7% 32.0% 7.6%
合计 23.8%
62.5% 17.8% 31.9% 37.5% 10.7%
28.6%
1. 2. 3.
测度22列联表中数据相关程度 对于22 列联表， 系数的值在0～1之间 相关系数计算公式为
n
2
2 r c （f ij eij ） 2 式中： i 1 j 1 e ij n为实际频数的总个数，即样本容量
相关系数
(原理分析)

一个简化的 22 列联表
j=2
…
… … : …
合计
i =1 i=2 : 合计
f11 f21
:
f12 f22
:
r1 r2
:
c1
c2
n
fij 表示第 i 行第 j 列的观察频数
列联表
(例题分析)
【例】一个集团公司在四个不同的地区设有分公司，现该 集团公司欲进行一项改革，此项改革可能涉及到各分公司 的利益，故采用抽样调查方式，从四个分公司共抽取 420个 样本单位(人)，了解职工对此项改革的看法，调查结果如下 表
结论:
可以认为四个分公司对改革方 案的赞成比例是一致的
0
3.0319 6.215
2
四格表资料使用条件
（1）n≥40且T≥5 用Pearson χ2检验
（2）n≥40且1≤T<5连续性校正χ2检验
（3）n<40或T<1 用Fisher确切概率法
29
行×列表资料使用条件

要求每个格子中的理论频数T均大于5或1<T<5 的格子数不超过总格子数的1/5；

除卡方外，列联检验另外一个可选的统计量，是 似然比卡方系数 (likelihood ratio chi－ square)，在足够大样本的情况下将得出和X2一 致的结论。似然比卡方系数对于解构交叉分类表 格特别有用，公式如下：
关联的测度

关联的测度 (measures of association)是指一组统计量，它 们的大小 (正或负)表示交叉表中两个变量之间的关联的紧密程 度和方向。与百分数差不同，关联度测度是在列联表中所有数 据的基础上，考虑了所有数据而计算的。 为了便于解释，在定义关联度测度时遵循如下四个惯例:
1.是；2.否
•

你赞成还是反对这一改革方案?
1.赞成；2.反对
4. 5.
对分类数据的描述和分析通常使用列联表 可使用检验
分类数据与列联表
一.
分类数据
二.
三.
列联表的构造
列联表的分布
列联表的构造
列联表
(contingency table)
1. 2. 3.
4.
5.
6.
由两个以上的变量交叉分类的频数分布表 行变量的类别用 r 表示， ri 表示第 i 个类别 列变量的类别用 c 表示， cj 表示第 j 个类别 每种组合的观察频数用 fij 表示 表中列出了行变量和列变量的所有可能的组合， 所以称为列联表 一个 r 行 c 列的列联表称为 r c 列联表
拟合优度检验


H0: 1= 2= 3= 4 H1: 1234 不全相等 = 0.1 df = (2-1)(4-1)= 3 临界值(s):
(例题分析)
统计量:
2
i 1 j 1 r c
( f ij eij ) 2 eij
3.0319
决策:
=0.1 在 = 0.1的水平上不能拒绝H0
一分公司 二分公司 三分公司 四分公司
赞成该方案 反对该方案
合计 合计 279 141 420
68 32
100
75 75
120
57 33
90
79 31
110
列联表的分布
观察值的分布
1.
边缘分布
•

行边缘分布
行观察值的合计数的分布 例如，赞成改革方案的共有279人，反对改革方案的141人
源自文库
•

当有T<1或1<T<5的格子较多时，可采用并行 并列、删行删列、增大样本含量的办法使其符合 行×列表资料卡方检验的应用条件。

独立性检验
独立性检验
(test of independence)
1. 2.
检验列联表中的行变量与列变量之间是否独立 检验的步骤为
•

提出假设
H0：行变量与列变量独立 H1：行变量与列变量不独立
19.82
3. 根据显著性水平 ＝ 0.05 和自由度 (3-1)(3-1)=4 查 出 相 应 的 临 界 值 2=9.488 。 由 于 2=19.82>2＝9.448，拒绝H0
独立性检验
(例题分析)

H0:地区与原料等级之间独立 统计量: H1:地区与原料等级之间不独
2 2 2 2 ( a e ) ( b e ) ( c e ) ( d e ) 11 12 21 22 2 e11 e12 e21 e22
因素 X x1 x2 合计
因素 Y y1 y2 合计
a c a+c
b d b+d
a+b c+d n
相关系数
(原理分析)

列联表中每个单元格的期望频数分别为 (a b)( a c) (a c)(c d ) e11 e21 n n (a b)(b d ) (b d )(c d ) e12 e22 n n 将各期望频数代入 的计算公式得
列边缘分布
列观察值的合计数的分布 例如，四个分公司接受调查的人数分别为100人，120人， 90人，110人
2.
条件分布与条件频数
• • 变量 X 条件下变量 Y 的分布，或在变量 Y 条件下变 量 X 的分布 每个具体的观察值称为条件频数
观察值的分布
(图示)
条件频数 行边缘分布
合计 279 141 420
•
计算检验的统计量
2
i 1 j 1
r
c
( f ij eij ) 2 eij

进行决策

根据显著性水平和自由度(r-1)(c-1)查出临界值2 若22，拒绝H0；若2<2，接受H0
独立性检验
(例题分析)
【例】一种原料来自三个不同的地区，原料质量被分成三个 不同等级。从这批原料中随机抽取 500件进行检验，结果如 下表。检验各地区与原料之间是否存在依赖关系（ 0.05)
第二讲 分类数据统计分析
1. 2.
分类数据与列联表 卡方检验
3.
相关的度量
数据的类型与列联分析
数据
数值型数据
离散数据 连续数据
分类数据(顺序数据)
列联分析
分类数据
1.
分类变量的结果表现为类别
• 例如：性别 (男, 女)
2. 3.
各类别用符号或数字代码来测度 使用分类或顺序尺度
•

你吸烟吗?
r1 c1 n n
由于观察频数的总数为n ，所以f11 的期望频数 e11 应为
r1 c1 r1c1 279 100 e11 n 66.43 66 420 n n n
期望频数的分布
(例题分析)