空间数据挖掘1

n
rij* =
∑ (x
k =1 n k =1
ki
−x ki − x i )
n
∑
k =1
( x kj − x j ) 2 ]1 / 2
=
∑ (x
k =1 n k =1
ki
x kj − n x i x j )
n
[( ∑ x 2 − n x i2 ) 2 ( ∑ x 2 − n x j2 ) 2 ]1 / 2 ki kj
ki kj
* d ij = [ ∑ ( x ki − x kj ) 2 ]1 / 2 k =1
m
( i , j = 1, 2 , L , n )
d值越小，表明点 和h的距离越近。 值越小，表明点i和 的距离越近 的距离越近。 值越小
相关系数
如果有n块样本，每块样本具有m个属 性，则任意两个属性i，j之间的相关系 数为：
1.4 数据挖掘和知识发 现的理论基础
粗糙集
概率统计
模糊理论
人工智能
数据挖掘和 知识发现
可视化理论
决策理论
数据库理论
专业知识
1.5 数据挖掘和知识发现研 究的任务
数据总结与泛化 聚类 分类 相关性分析 关联规则提取 偏差分析
1.6 空间数据挖掘和知识发 现产生的背景
1）海量的数据 2）空间属性之间的非线性关系 3）空间数据的尺度特征 4）空间信息的模糊性等 5）空间维数的增高 6）空间数据的缺值
空间数据挖掘和知识发现
本讲的主要内容
空间数据挖掘和知识发现的含义 及研究内容 空间聚类 空间分类
1 空间数据挖掘和知识发 现的含义及研究内容
数据挖掘和知识发现的产生的背景 数据挖掘和知识发现的含义 数据挖掘和知识发现的应用范围 数据挖掘和知识发现研究的任务 空间数据挖掘和知识发现产生的背景 空间数据挖掘和知识发现的研究任务
1.00 Co Cu Ni S As Cr
0.80
0.60
0.40
0.20
0.0
层次聚类分析流程
空间数据
空间相似性度量
相似性度量矩阵
依次选取较大的相似性度量
绘制聚类谱系图
选择分解阈值确定聚类结果
层次聚类的流程
层次聚类特点
呈树型的层次结构 需要计算相似性度量矩阵 聚类过程是从底部向上 需要人为确定划分阈值
数据挖掘和知识发现的区别
结果解释和评估
数据挖掘 数据预处理和 变换 选取抽样
知识发现的过程
从信息到决策的认知过程
数据 数据挖掘 知识发现 信息 知识 决策分析 决策
1.3 数据挖掘和知识发现的 应用范围 (1) 商业应用
市场行销： 数据库行销（ Database Marketing） 市场行销 ： 数据库行销 （ Marketing ） 和货篮分析（ Analysis） 和货篮分析 （ Basket Analysis ） 。 前者的任务 选择潜在的顾客以便向它们推销产品； 选择潜在的顾客以便向它们推销产品；后者的任 务是分析市场销售数据（ POS数据库 数据库） 务是分析市场销售数据 （ 如 POS 数据库 ） 以识别 顾客的购买行为模式。 顾客的购买行为模式。 金融投资： 金融投资：金融分析领域有投资评估和股票交易 市场预测 欺诈甄别：银行或商业上经常发生诈骗行为， 欺诈甄别：银行或商业上经常发生诈骗行为，如 恶性透支、洗钱等。 恶性透支、洗钱等。
1.1 数据挖掘和知识发现的产 生的背景 由于数据获取技术、 由于数据获取技术、网络技术和计 算机技术的发展致使数据的几何级 数增长。 数增长。 数据处理方法的匮乏 。 以遥感数据为例： 以遥感数据为例：每年采集的数据 量之大都以TB计 据不完全的统计， 量之大都以 计（据不完全的统计， SPOT有250TB；ESA有400TB； 有 ； 有 ； NOAA有1000TB；…），而被应用 ），而被应用 有 ； ）， 的数据仅占获取数据的10-15%。 的数据仅占获取数据的 。 Naisbett说过 说过， John Naisbett说过，“我们已被信息所 淹没， 淹没，但是却正在忍受缺乏知识的煎 熬” 。
1.000 0.962 0.941 0.991 0.936 0.947 1 1.000 0.985 0.972 0.966 0.981 2 1.000 0.935 0.950 0.962 3 1.000 0.926 0.952 4 1.000 0.987 5 1.000 6
相似性度量为 cos θ ij R型聚类
1.1 数据挖掘和知识发现的产 生的背景
数据库技术的分支 年代后期和90年代 （80年代后期和 年代 年代后期和 早期） 早期）
1995年召开了第一届知 年召开了第一届知 识发现与数据挖掘国际 会议（ 会议（FU96’） ）
1998年成立的ACM1998年成立的ACM-SIGKDD 年成立的ACM 组织。专业杂志为: 组织。专业杂志为: Data Mining &Knowledge Discovery 飞速发展并形成了众多 分支
1 2 3 4 5 6
Ni Co Cu Cr S As 3.279 2.436 2.204 3.071 3.911 0.602 3.367 1.898 0.778 3.512 2.768 1.146 2.872 1.415 0.000 2.925 2.628 0.477 3.444 2.436 2.176 3.380 3.916 1.568 3.249 1.973 1.114 3.497 1.732 0.000 3.020 1.644 0.778 3.321 2.017 0.602
2 空间聚类方法
空间聚类 空间聚类的含义 空间聚类方法的分类 相似性度量 R型及 型谱系聚类 型及Q型谱系聚类 型及 K－means聚类 － 聚类 基于密度的聚类 基于网格的聚类
2.1 空间聚类的含义
空间聚类是根据研究对象（ 空间聚类是根据研究对象（样本或 变量） 变量）的多种特征在数值上可能存 在的相似性程度 相似性程度， 在的相似性程度，将它们聚合为不 同的点群的一种挖掘方法。 同的点群的一种挖掘方法。
1.2 数据挖掘和知识发现 的含义
Data Mining & Knowledge Discovery from database（DM&KDD） 数据挖掘和从数据库中发现知识。 数据挖掘和从数据库中发现知识。 与此类似的叫法：知识抽取（ 与此类似的叫法：知识抽取（information extraction）；信息发现 ）；信息发现 ）；信息发现(information discovery)；探索式数据分析 ；探索式数据分析(exploratory data analysis)；数据考古 ； ；数据考古(data archeology)；
k =1
( i , j = 1, 2 , L , m )
夹角余弦
在m维空间中的两个向量i，j其夹角 余弦为：
m
cos θ ij =
∑x
k =1 2 ki m
ki
x kj
2 1/ 2 kj
m
( i , j = 1, 2 , L , m ) ]
[∑ x
k =1
∑x
k =1
夹角余弦可理解为向量i和向量j坐标 之间的相似程度。
相似性度量为 cos θ ij Q型聚类
顺序 1 2 3 4 5 连接点群号 1 5 2 2，3 1,4 4 6 3 5，6 2,3,5,6 相似水平 0.991 0.987 0.985 0.981 0.972
1.00 1 4 5 6 2 3 0.99 0.98 0.97 0.96 0.95
1 2 3 4 5 6
数据挖掘和知识发现的应用范围 (3)
多媒体数据挖掘 语音的识别（音色、声调、长短） 语音的识别（音色 、声调 、 长短）； 人脸 识别（刑事侦察、警报系统）；动态跟踪 识别（ 刑事侦察、 警报系统） 智能武器） （智能武器）；
数据挖掘和知识发现的应用范围 (4) 生物信息知识发现 DNA的碱基对数目达到30亿 的碱基对数目达到30 DNA的碱基对数目达到30亿 万到4 3万到4万个基因 基因和基因组数据库（ GenBank包含了已 基因和基因组数据库 （ GenBank 包含了已 知的核算序列和蛋白质序列） 知的核算序列和蛋白质序列） 核算序列数据库（EMBL） 核算序列数据库（EMBL） 基因组数据库（GDB） 基因组数据库（GDB） 蛋白质数据库（ PIR、 PSD、 SWISS－ PROT） 蛋白质数据库 （ PIR 、 PSD 、 SWISS － PROT ）
其它相似性度量
绝对值距离系数 1 m * d ij = ∑1 x ki − x kj m k= 切比雪夫距离
* d ij = max x ki − x kj 1≤ k ≤ m
马氏距离
* d ij = ( x i − x j ) ′ S − 1 ( x i − x j )
S为样本之间的协方差
原始数据
数据挖掘和知识发现的应用范围 (5)
空间数据挖掘和知识发现 空间数据挖掘和知识发现就是从空间 数据库中抽取和发现新的空间信息， 数据库中抽取和发现新的空间信息 ， 并 通过解释评价产生知识的过程。 通过解释评价产生知识的过程。 其应用范围包括：“ 数字地球” 的战略 其应用范围包括 ： 数字地球 ” 目标； 地球物理和地球化学异常的发现； 目标 ； 地球物理和地球化学异常的发现 ； 遥感图象的分类、识别。 遥感图象的分类、识别。
1.7 空间数据挖掘和知识发现 的研究任务
空间泛化 空间聚类 空间分类 空间相关性分析 空间关联规则提取 空间偏差分析
参考文献
Miller, H. J., and Han, J., 2001, Geographic Data Mining and knowledge discovery. (Taylor&Francis) 边肇祺，张学工 模式识别，清华大学出版 社，北京：2000，247