第七章 相关和回归

基于Theil的对于 基于Theil的对于 β 的区间
假设X,Y是正态分布,检验问题:
H 0 : ρ = 0 ↔ H1 : ρ ≠ 0
检验统计量为
n−2 t=r 2 1− r
在零假设下,t服从自由度为(n-2)的t分布.
• 相关系数的目的是用来描述在二元总体 中两个变量关系的某些方面,有很多相关 系数的定义,但是在实际中有三种被经常 地应用:Pearson相关系数r, Spearman秩 相关系数 rs ,Kendall τ (记为 τˆ ). • 传统地相关系数r是度量X和Y地线性关系 ,而 rs , τˆ 度量更广义的单调关系,通常 称其为联系的度量.
α 的估计为
ɶ ɶ α = median {Y j − β X j , j = 1, 2,..., n}
例7.3 40个国家的CPI和GINI指数数据
70 16
60
10 50 40 28 30 31 36 33 29 32 39 37 38 35 40 25 22 27 23 21 24 26 17 14 15 13 11 8 12 7 5 6 4 3 21 10 19 9
GINI
34
30
18 20
2
4 CPI
6
8
Theil回归中的对 Theil回归中的对 β 的检验
• 检验问题:
H 0 : β = β 0 ↔ H1 : β ≠ β 0
在零假设下,对T ( β 0 )的检验等价于对于x及d = y − β 0 x 之间的Kendall相关系数 τ 的检验,可以得到相应 的p值. • 若有太多的 b 大于或小于 β ,零假设就可能 ij 0 有问题.
n i =1 i
ρ 的相容估计量和渐
ρ
2
的最大似然估计量. ρ 的最大似然估计量.
− X )2
度量了该总体的样本点在
n i =1 i
∑ (Y − Y ) ∑ ( X
的直线周围聚
集程度,该直线称为标准差线. 集程度,该直线称为标准差线. • 标准差线和回归直线是不一样的.标准差线的斜率中X 标准差线和回归直线是不一样的.标准差线的斜率中X 变量是对称的,一般回归直线也反映了相关,但是X 和Y变量是对称的,一般回归直线也反映了相关,但是X 的地位不平等. 和Y的地位不平等.
在出现打结的时候，需要使用修正公式计算。
令u1 , u2 ,… 和v1 , v2 ,… 分别代表X和Y的各个结的观测值数目， 记U = ∑ (u 3 − u j ), V = ∑ (v3 − v j ), 则 j j rs = n(n 2 − 1) − 6∑ i ( Ri − Si ) 2 − 6(U + V ) {n(n 2 − 1) − U }{n(n 2 − 1) − V }
1, x > 0 γ ( x) = 0, x = 0 −1, x < 0
K的计算(续) 的计算(
利用秩来计算: 记 X i 在X中的秩为 Ri ,
K=
1≤i < j ≤ n
Yi 在Y中的秩为 Si
,则
∑
γ ( Ri − R j )γ ( Si − S j )
(1)按自小到大排列 X i 后, ( R1 , S1 ),..., ( Rn , Sn )变形为 (1, h1 ),...(n, hn ) ,其中 hi 为重新排列后的 Si (2)记 pi = ∑ i < j I (hi < h j ), qi = ∑ i < j I (hi > h j ), i = 1, 2,..., n ,则
解答
Kendall τ
相关检验
Kendall(1938)提出一种类似于Spearman秩相关的检验方法， (x j , y j ) 从两变量 是否协同(concordant)来检验变量之间的相关性。 首先引入协同的概念： 若 (xj − xi )(yj − yi ) > 0， j ≠ i 则称数对(x i , yi ) 和(x j , y j )协同。 若 (x −x)(y −y) <0 ， j ≠ i 则称数对 (x i , yi ) 和 (xi , yi )不协同。
∑ i=1[(R i −
n
检验
在零假设成立时，
n−2 T = rs 1 − rs2
服从自由度为 ν = n − 2的t分布。 > t α ,ν 时表示正相关。在 t T 存在重复数据的时候，可以采用平均秩，节不多的时候， T仍然可以采用。 在大样本情况下，可以采用正态近似进行检验： 当 n →∞
n − 1rs → N(0,1)
∑
W =
n
i =1
1 R i. R i. − ∑ n i =1 k 2 (n 3 − n )
n
2
=
∑
n
i =1
R i2. − k 2 n ( n + 1 ) 2 / 4 k 2 ( n 3 − n ) / 12
实际检验时，可以查零分布表，在n固定， → ∞ 时： k
k(n − 1)W → χ 2 −1 n
可以利用渐进性进行检验，对于有打结情况的数据，需 要用调整公式计算。
例7.3
Theil非参数回归和几种稳健回归 Theil非参数回归和几种稳健回归
• 在给定一组数据 ( x1 , y1 ),..., ( xn , yn ) ,若认为 它满足线性模型
y =α + βx +ε
则可以用不同方法估计参数来拟合直线. 最常见的就是最小二乘法,它取截距 α n 斜率 β 使 2 RSS (α , β ) = ∑ [ yi − (α + β xi ) ] i =1 最小.
其中 K = n c − n d ，易知 − 1 ≤ τ ≤ 1 在 取大值的时候拒绝. H0 具体检验时可以查零分布表, 大样本时可以采用正态近似。打结情况下用正态修正。
τ
18 K → N (0,1) n(n − 1)(2n + 5)
K的计算
计算步骤: 1.把X 按自小到大排列,每个Y 也跟着相应的X 排序, 并跟着 改名. X 1 ≤ X 2 ≤ … ≤ X n 记重新命名的样本为 ( X 1 , Y1 ), ( X 2 , Y2 ),..., ( X n , Yn ) 2. K = Ψ( X , X , Y , Y ) = γ (Y − Y ) = n − n
1≤i < j ≤ n
∑
i
j
i
ቤተ መጻሕፍቲ ባይዱ
j
1≤i < j ≤ n
∑
j
i
c
d
1, ( X j − X i )(Y j − Yi ) > 0 其中 Ψ ( X i , X j , Yi , Y j ) = 0, ( X j − X i )(Y j − Yi ) = 0 −1, ( X j − X i )(Y j − Yi ) < 0
r=
∑(X
i =1 n i =1
n
i
− X )(Yi − Y )
2
∑(Xi − X )
(Yi − Y ) 2 ∑
i =1
n
• 若样本的观测值是独立的,则r是 若样本的观测值是独立的, 进无偏估计量. 进无偏估计量. • 若(X,Y)为二元正态分布,则r是 (X,Y)为二元正态分布, 为二元正态分布 • 对于二元数据的散点图, 对于二元数据的散点图, 通过 ( X , Y ) ,斜率为
• Theil回归要求 其中
i< j
β 使得
T ( β ) = ∑ sgn dij ( β ) = 0
−1, x < 0 sgn = 0, x = 0 1, x > 0
n • X和d之间的Kendall相关系数 τ = T ( β ) 2 • 记所有两个不同数据点连线的斜率为
K = nc − nd = ∑ pi − ∑ qi
i =1 i =1
n
n
例子
多变量Kendall协同系数检验 多变量Kendall协同系数检验
Kendall协同相关系数用于考察多个变量之间的相关性。 例如，歌手大赛中，评委对歌手的评分是否一致？变量 之间的协同系数检验也是以多变量的秩检验为基础的。 假设k个变量 X1 , X 2 ,⋯ , X k ， 每个变量对应n个观测值, 即 X j = (X1j ,⋯ , X nj ) 。 ij 为 X ij 在 ( X 1 j , ⋯ , X n j ) 中 R 的秩。假设检验问题：
例子
有研究发现,学生中学学习成绩与大学学习成绩之 间有相关关系,现收集某大学部分学生一年级英语 期末考试成绩,与其高考英语成绩进行比较,调查 12名学生的结果如下: 高考成绩X 65 79 67 66 89 85 84 73 88 80 86 75 大学成绩Y 62 66 50 68 88 86 64 62 92 64 81 80 试用Spearman秩相关检验两者之间的关系.
bij = (Y j − Yi ) ( X j − X i ) ,1 ≤ i ≤ j ≤ n 使 bij − β尽可能小的β 等价于使 d 尽可能小的 β ij
• • •
β
ɶ = median b = median Y j − Yi 的估计为 β ij 1≤i ≤ j ≤ n 1≤i ≤ j ≤ n X − X j i
Spearman秩相关检验 Spearman秩相关检验
检验问题 设样本 (X, Y) = {(X1 , Y1 ),⋯ , (X n , Yn )} 来自总体
F(x, y) ：
H 0 : X与Y不相关 ⇔ H1 : X与Y正相关.
) 设Ri 是 X i 在 (X1 , X 2 ,⋯ , X n 中的秩, S i 是 Yi 在 (Y1 , Y2 ,⋯, Yn )中 的秩。秩的简单相关系数：