第三讲3聚类分析、因子分析

d ij (∞) = max xik − x jk
1≤ k ≤ m
应该提及马氏距离 d ij ( M ) 可以克服数据相关性的困难 。
2.数据 规 处 数 当 X i 的分量中 m 个指标量纲不一致时，相差很 个指标量纲不一致时， 要经过正规化标准化处理， 大，要经过正规化标准化处理，令
x =
∗ ij
3. %
系数 系数
X i , X j的相关系数
rij =
m
∑ (x
k =1
m
ik
− xi )( x jk − x j ) ∑ ( x jk − x j ) k =1
m 2 1 2
( xik − xi ) 2 ∑ k =1
(4.4)
可以将相关愈密切的归成一类。 可以将相关愈密切的归成一类。
xij − xi (min) xi (max) − xi (min)
(4.1) (4.2) (4.3)
其中
xi (min) = min( xi1 , xi 2 ,⋯ , x im )
xi (max) = max( x i1 , x i 2 ,⋯ , x im )
∗ ij
将经过(1)式处理的数据 将经过(1)式处理的数据 x 重新视作 x ij (为记号上的 (1) 方便) 方便)
i = 1, 2,⋯ , n X i , X j 的距离 d ij = D( X i , X j ) 的距离,
X i = ( xi1 , xi 2 , ⋯ , xim )
本文中的距离常用欧氏或马氏距离， 本文中的距离常用欧氏或马氏距离，公式在前几节 中已述，还有一种用绝对距离： 中已述，还有一种用绝对距离：
因子分析的主要功能
• 1)因子变量的数量远少于原有的指标变量的数量， 对因子变量的分析能够减少分析中的计算工作量。 • 2)因子变量不是对原有变量的取舍，二是根据 原始变量的信息进行重新组构，它能够反映原有 变量大部分的信息。 • 3)因子变量之间不存在线性相关关系，对变量 的分析比较方便。 • 4)因子变量具有命名解释性，即该变量是对某些 原始变量信息的综合和反映。
• 1）巴特利特球形检验(Bartlett Test of Sphericity) • 2 反映像相关矩阵检验(Anti—image corre1ation matrix) • 3．KMO(Kaiser—Meyer—Olkin)检验 Kaiser给出了一个KMO的标准； 0.9＜KMO：非常适合。 0.8＜KMO＜0.9：适合。 0.7＜KMO＜0.8：—般。 0.6＜KMO＜0.7：不太适合。 KMO＜0.5：不适合。
案例
• 财务预警分析
聚类过程用聚类图表示: 聚类过程用聚类图表示:
G1 G2 G3 G4 G5 G8 G7 G 12
G9
G13 G 14 G 11
G 10
G8
0 1 1.4 2 T 3 4 5
说明： 说明：聚类到一定程度即可结束
二、应用类例
• 预报对象 预报对象: • 华北五站(北京、天津、营口、太原、石 北京、 华北五站 北京 天津、营口、太原、 家庄)7-8月降水量 仅用 月降水量,仅用 家庄 月降水量 仅用61-67年 7年的资料 年 年的资料
Drk =
X i ∈Gr , X j ∈Gk
d ij = min min d ij , X ∈G , X ∈G

i p j k
= min D pk , Dqk
{
}
(4.6)
表示新类 Gr 与类 G k 之间的距离。 之间的距离。 5.一直重复 直到最后只剩下两类为止 并作聚 一直重复,直到最后只剩下两类为止 一直重复 直到最后只剩下两类为止,并作聚 类图。 类图。
聚类图: 聚类图:
0.63
0.64 0.65 0.99 0.92
X2
X5
X1
X3
X4
X6
X7
说明: 说明: (1)当T=0.65时 共分成四类: (1)当T=0.65时,共分成四类: { X 2 , X 5 }, { X 1 , X 3 }, { X 4 , X 6 }, { X 7 } (2)当T=0.64时 共分成三类: (2)当T=0.64时,共分成三类: { X 2 , X 5 }, { X 1 , X 3 , X 4 , X 6 }, { X 7 } (3)当T=0.63时 共分成二类: (3)当T=0.63时,共分成二类: { X 2 , X 5 }, { X 1 , X 3 , X 4 , X 6 , X 7 }
4.最短距离聚类法(系统聚类法， 逐步并类法)
先将n个样本各自为一类， 先将 个样本各自为一类，计算它们之间的距 个样本各自为一类 选择距离小的二个样本归为一个新类， 离，选择距离小的二个样本归为一个新类，再计算 这个新类与其它样本的距离， 这个新类与其它样本的距离，选择距离小的二个样 或二个新类)归为一个新类 本(或二个新类 归为一个新类，每次合并缩小一个 或二个新类 归为一个新类， 以上的类，直到所有样本都划为一个类为止。 以上的类，直到所有样本都划为一个类为止。 这里规定两点间距离为： 这里规定两点间距离为： d ij = D( X i , X j ) 两类间的距离， 的距离为： 两类间的距离，即 G p 与Gq 的距离为：
(n n 个样 个类) 为 个类
3.选择 D(0)D 选择 距 ,设为 D pq ,则将G p , Gq 设为 则将 合并成一个新类,记为 合并成一个新类 记为 Gr
Gr = G p , Gq
min
{
}
(4.5)
d ij X i ∈Gq , X j ∈Gk min
4.计算新类 与其它类之间的距离, 4.计算新类 Gr 与其它类之间的距离,定义
D pq =
X i ∈G p , X j ∈Gq
min
d ij
步骤如下： 步骤如下： 1.数据正规化处理 数据正规化处理 要视各指标的量纲是否一致，相差是否太大， 要视各指标的量纲是否一致，相差是否太大， 并选择一种距离计算法，为了方便计， 并选择一种距离计算法，为了方便计，一般都选 择欧氏距离法。 择欧氏距离法。 2.计算各样本间的两两距离 并记在分类距离对 计算各样本间的两两距离,并记在分类距离对 计算各样本间的两两距离 称表中,并记为 并记为D(0),第0步分类 此时 D pq = d pq 步分类,此时 称表中 并记为 第 步分类
因子分析的模型
• 其中F为因子变量或公共因子，可将它们理解 为在高维空间中互相垂直的m个坐标轴。A为 因子载荷矩阵，aij为因子载荷，是第i个原有 变量在第j个因子变量上的负荷。如果把变 • 量xi看成是m维因子空间中的一个向量，则aij 为xi在坐标轴Fj的投影，相当于多元回归中的 标准回归系数。ε为特殊因子，表示了原有变 量不能被因子变量所解释的部分，相当于多 元回归分析中的残差部分。
因子分析的基本步骤
• 因子分析有两个核心问题：一是如何构造 因子变量：二是如何对因子变量进行命名 解释 • 因子分析有下面4个基本步骤： (1)确定待分析的原有若干变量是否适合于因 子分析 (2)构造因子变量 (3)利用旋转使得因子变量更具有可解释性 (4)计算因子变量的得分
确定待分析的原有若干变量是否适 合于因子分析
编号 1 2 2 3 3 4 4 4 4 3 5 -4 3 6 -2 2 7 -3 2 8 -1 -3
x1
Байду номын сангаас
2
x2 5
试用系统聚类方法对这8个样品进行聚类。 试用系统聚类方法对这 个样品进行聚类。 个样品进行聚类
因子分析
因子分析的概念
• 在社会、政治、经济和医学等领域的研究中往往 需要对反映事物的多个变量进行大量的观察，收 集大量的数据以便进行分析，寻找规律。在大多 数情况下，许多变量之间存在一定的相关关系。 因此，有可能用较少的综合指标分析存在于各变 量中的各类信息，而各综合指标之间彼此是不相 关的，代表各类信息的综合指标称为因子。因子 分析就是用少数几个因子来描述许多指标或因素 之间的联系，以较少几个因子反映原资料的大部 分信息的统计学方法。
聚类分析
物以类聚，人以群分， 物以类聚，人以群分，社会发展和科技的进 步都要求对于某些物体进行分类。 步都要求对于某些物体进行分类。由于早期的定 性分类已不能满足需要，于是数值分类学便应运 性分类已不能满足需要， 而生。 而生。 一、数学模型 二、应用类例
一、数学模型
某种物品有n个 X 它有m个数值量化 某种物品有 个： 1 , X 2 , ⋯ , X n它有 个数值量化 指标，如何将其分成若干类， 指标，如何将其分成若干类，基本的思路是把距离 较近的点归成一类。这里的距离可分为如下三类： 较近的点归成一类。这里的距离可分为如下三类： 1.距 距
案例
• 基于因子分析与聚类分析的学生成绩综合 评价 • 中国省级人口转变的时空演变进程_基于聚 类分析的实证研究
作业
现有8个样品 每个样品有 个指标(m=2,2维变 现有 个样品,每个样品有 个指标 个样品 每个样品有2个指标 维变 它们的量纲相同,(否则要经过正规化处理 量),它们的量纲相同 否则要经过正规化处理 它们的量纲相同 否则要经过正规化处理)