《大数据探索性分析》教学课件—第4章探索性数据分析方法
第二课 探索性数据分析_图表法
• 散点图—用于模型拟合检验（在后面章节中介 绍）
0.5
ห้องสมุดไป่ตู้
0.8
0
0
-0.5
-0.8
拟合较好的情况
模型中考虑的变量不足情况
补充：统计初步分析应提供信息
• 样本量大小 • 均值 • 中值 • 方差 • 标准差
Thanks !
应用SPSS软件
• 应用SPSS软件可以对观测数据进行描述性分析 • 分析步骤：完全可以借助于菜单实现 • 步骤1：打开要分析的数据（略）
单击OK按钮后，弹出如下对话框，可 以选择要计算的统计量，选择后单击 OK按钮即可。
练习
• 不用在步骤3中，不选择Descriptives，选 择exploring试一试，结果如何? • 数据：立交区合流区车辆速度\流量描述性 分析
应用spss绘制图表功能
• 绘图功能在GRAPH 模块中实现，其步骤和描述 性分析几乎雷同。
• 4）箱形图
• 箱形图数字特征：
– 中位数 – 上四分位数 – 下四分位数 – 离群值
• 图形信息：
– 分布对称性 – 偏度 – 数据离散特性
• 箱形图作法：
– 箱体：作一个长方形，长方形的上、下端分别为上、 下四分位数位置（盒子长度就是四分位间距），中间 横线是样本观测值的中位数。 – 从上、下端边向外各画一条线延长到不是离群值的最 远点（即线的端点为正常值的最大和最小值），把离 群值用“х”在离群值截断点以外标出。
• 箱形图应用：
– 样本总体的分布 – 诊断异常值
• 5）P-P图
• SPSS、SAS和S-plus都提供了P-P和Q-Q散点图 的自动作图方法。这里主要介绍作图原理。
速度数据的正态- P-P散点图
探索性数据分析
探索性数据分析探索性数据分析是利用ArcGIS提供的一系列图形工具和适用于数据的插值方法，确定插值统计数据属性、探测数据分布、全局和局部异常值（过大值或过小值）、寻求全局的变化趋势、研究空间自相关和理解多种数据集之间相关性。
探索性空间数据分析对于深入了解数据，认识研究对象，从而对与其数据相关的问题做出更好的决策。
一数据分析工具1.刷光（Brushing）与链接（Linking）刷光指在ArcMap数据视图或某个ESDA工具中选取对象，被选择的对象高亮度显示。
链接指在ArcMap数据视图或某个ESDA工具中的选取对象操作。
在所有视图中被选取对象均会执行刷光操作。
如在下面章节将要叙述的探索性数据分析过程中，当某些ESDA工具（如直方图、V oronoi图、QQplot图以及趋势分析）中执行刷光时，ArcMap数据视图中相应的样点均会被高亮度显示。
当在半变异/协方差函数云中刷光时，ArcMap数据视图中相应的样点对及每对之间的连线均被高亮度显示。
反之，当样点对在ArcMap数据视图中被选中，在半变异/协方差函数云中相应的点也将高亮度显示。
2.直方图直方图指对采样数据按一定的分级方案（等间隔分级、标准差分级）进行分级，统计采样点落入各个级别中的个数或占总采样数的百分比，并通过条带图或柱状图表现出来。
直方图可以直观地反映采样数据分布特征、总体规律，可以用来检验数据分布和寻找数据离群值。
在ArcGIS中，可以方便的提取采样点数据的直方图，基本步骤为：1）在ArcMap中加载地统计数据点图层。
2）单击Geostatistical Analyst模块的下拉箭头选择Explore Data并单击Histogram。
3）设置相关参数，生成直方图。
A.Bars：直方图条带个数，也就是分级数。
B.Translation：数据变换方式。
None：对原始采样数据的值不作变换，直接生成直方图。
Log：首先对原始数据取对数，再生成直方图。
02-探索性分析PPT
C
M
国
大
学
中
O
O
C
M
国
大
学
中
O
O
C
M
国
大
学
中
O
O
C
M
国
大
学
中
M
学
国
大
中
M
学
国
大
中
M
学
国
大
中
M
学
国
大
中
M
学
国
大
中
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
C
C
C
C
C
C
C
C
最小-最大规范化
中
C
O
M
O
大
学
国
O
O
C
小数定标规范化
M
国
大
学
中
M
学
国
大
中
M
学
国
大
中
M
学
国
大
中
零-均值规范化
中
C
O
M
O
大
学
国
O
O
C
M
国
大
学
中
O
大
大
大
大
学
学
学
学
学
学
学
学
M
M
M
M
M
M
M
M
C
O
《大数据探索性分析》教学课件—第3章大数据的数据预处理
数据预览 输出结果：
可以看到，后面的变量并没有被打印出来，整体的输出结果更加清晰。
数据预览 其余的数据预览操作：
语句 dim(Loan.df) colnames(Loan.df) Loan.df %% tbl_df %% print(n=6)
Loan.df %% tbl_df %% head
功能
summarise(group_by(Loan,grade),
#使用分类变量grade分组
ave.amnt=mean(funded_amnt,na.rm=TRUE), #计算删失数据均值
sd=sd(funded_amnt,na.rm=TRUE),
#计算删失标准差
n=sum(!is.na(funded_amnt)), #计算各组去除缺失值的样本容量
• 通常，将数据变换到[-1,1] 或[0,1]。
• 是一种线性变换，并不改变做变换变量与其余变量 的相关性。
对于数值型变量的变换
• 标准化（Standardization）
(x - x) sx
• 有时也用平均绝对离差。
n
å sM = xi - x n
i=1
• 目的：为了使变量间具有可比性 • 变换后的变量，均值为0，方差为1。
• 选择变量列
– 用指定列参数来选择子数据集，指定方式有：1.列名。2.列序号。能 用符号“:”把列名连接，也可以用符号“-”删除变量列。
Reject.s=select(Reject.temp, Amount.Requested, dti,Risk_Score:State) Reject.s=select(Reject.s,-Zip.Code,-Debt.To.Income.Ratio)
大数据分析方法精选ppt
注：部分研究问题已经明显定量化，部分则需要人工确定 量化标准
步骤6：运用数据分析方法产生结论
内容：套用各种数据方法产出结论
形式：数值、概率值、图表
分析软件和语言
SPSS、SAS、Matlab、smartPLS Python、R等等
分析方法：
常规统计方法：T检验、方差分析、相关分析、回归分析 、因子分析、时间序列分析、结构方程模型等，参考任 意一本统计学教材。
各种全新的配套手段：
存储（云）；处理（并行）； 保护（安全性）；分析（数据挖掘、机器学习）
潜力无限 vs 言过其实？ 创新为主 vs 传承为主？
引言
思考1：“大”数据，到底应该多大？
量级不严格、范围不严格
思考2：新方法，到底有多新？
大多数传承传统方式 新方法解决面窄
思考3：新结论，到底多有价值？
总结
总结
大数据和新方法只是新的资源和工具 挖掘数据价值的还是人
我们还会继续沿derstanding 大胆假设、小心求证 – Insight 实践产出理论、理论指导实践 – Prospect
Thanks
此课件下载可自行编辑修改，此课件供参考！ 部分内容来源于网络，如有侵权请与我联系删除！感谢你的观看！
数据分析的具体流程
步骤1：建立对对象的整体认知
内容：对对象建立主观印象 意义：产生新问题；产生对问题的合理假设 着手点：
观察现状；例子：购物中心的消费习惯转变 观察数据；例子：消费数据分析暗示的消费群体变化 此外，闻者有心：例子：外卖数据暗示房价
步骤2：提出希望探索的宏观问题
内容：提出大目标 形式：“A对B的影响”、“A未来一年的销售额”
探索性空间数据分析
研究生课程探索性空间数据分析杜世宏北京大学遥感与GIS研究所提纲一、地统计基础二、探索性数据分析•地统计（Geostatistics）又称地质统计，是在法国著名统计学家Matheron大量理论研究的基础上逐渐形成的一门新的统计学分支。
它是以区域化变量为基础，借助变异函数，研究既具有随机性又具有结构性，或空间相关性和依赖性的自然现象的一门科学。
凡是与空间数据的结构性和随机性，或空间相关性和依赖性，或空间格局与变异有关的研究，并对这些数据进行最优无偏内插估计，或模拟这些数据的离散性、波动性时，皆可应用地统计学的理论与方法。
•地统计学与经典统计学的共同之处在于：它们都是在大量采样的基础上，通过对样本属性值的频率分布或均值、方差关系及其相应规则的分析，确定其空间分布格局与相关关系。
但地统计学区别于经典统计学的最大特点是：地统计学既考虑到样本值的大小，又重视样本空间位置及样本间的距离，弥补了经典统计学忽略空间方位的缺陷。
•地统计分析理论基础包括前提假设、区域化变量、变异分析和空间估值。
• 1. 前提假设–⑴随机过程。
与经典统计学相同的是，地统计学也是在大量样本的基础上，通过分析样本间的规律，探索其分布规律，并进行预测。
地统计学认为研究区域中的所有样本值都是随机过程的结果，即所有样本值都不是相互独立的，它们是遵循一定的内在规律的。
因此地统计学就是要揭示这种内在规律，并进行预测。
–⑵正态分布。
在统计学分析中，假设大量样本是服从正态分布的，地统计学也不例外。
在获得数据后首先应对数据进行分析，若不符合正态分布的假设，应对数据进行变换，转为符合正态分布的形式，并尽量选取可逆的变换形式。
• 1. 前提假设–（3）平稳性。
对于统计学而言，重复的观点是其理论基础。
统计学认为，从大量重复的观察中可以进行预测和估计，并可以了解估计的变化性和不确定性。
–对于大部分的空间数据而言，平稳性的假设是合理的。
其中包括两种平稳性：•一是均值平稳，即假设均值是不变的并且与位置无关；•另一类是与协方差函数有关的二阶平稳和与半变异函数有关的内蕴平稳。
《大数据探索性分析》教学课件—第4章探索性数据分析方法
• 常用的刷技术有两种，基于角度的刷技术以及基于 结构的刷技术。
刷技术
• 基于角度的刷技术是根据相邻的两坐标轴间线段的 斜率范围来确定需要刷的数据。在两条线段夹角范 围内的数据将被突显，而没有涉及到的数据将不明 显，便于用户具有针对性的分析和研究。
• 折线的抽象基于边缘数据的汇总，在普通平行坐标 中，用一系列折线的平均值来取代这些折线。
• 当折线彼此交叠，数据直观分析比较困难时，用这 种方式可以增强对数据变化趋势的理解，减少折线 带来的混乱影响。
维放缩
• 主要应用在需要对局部数据放大观察的情况下。 • 比如在完成刷的操作后，刷出的数据范围比较小，
• 漫游法是典型的基于动画的多维可视化技术
• 漫游法可以在二维空间平面上投影多维数据，其基 本思想主要是基于在高维数据空间中移动投影平面 的这样一个简单构思，即设计一个时间参数，该参 数类似于 维空间中的2个平面。
• 也就是说，假设我们有 个变量的数据，取出其中的 一个变量作为动画的时间参数，并且根据时间参数 的变化，在二维空间的平面上迅速连续的投影其余 的 个变量。
这个条件。 • 一般的，我们使用中心化观测变量这一技术，即减
去样本均值。 • 混合矩阵在预处理之后保持不变，因此我们可以进
行中心化而不影响混合矩阵的估计。
不相关和白化
• 独立和不相关（uncorrelated）是紧密相关的概念， 因此，可以设想使用估计不相关变量的方法来同样 估计独立成分，这样的典型方法为白化（whitening） 或球化（sphering），通常由主成分分析来进行。 但用这样的方法来估计独立成分通常是不可行的， 一般的，白化是以独立成分分析的预处理技术身份 出现的。
• 这样做的优点是能够减小平行坐标图的复杂程度， 同时还能减低不重要数据对结果的干扰，便于我们 更好地对数据进行分析。
电子社大数据营销实训教学课件第4章 数据探索
继续单击广告的人的百分比。 转化率是指潜在客户转化为活跃客户的百分比。
Copyright ©2022 by Zhixuan Chen. All rights reserved.
实操：利用R语言进行数据探索
每天通话的总数 白天通话的总费用 晚上通话的总分钟数
晚上的电话总数 夜间通话的总费用 夜间通话总分钟数
夜间呼叫的总数 夜间通话的总费用 国际电话总分钟数 国际长途总电话数 国际长途电话的总费用 客户服务的电话数量 客户流失情况。是指客户是否离开公司
Copyright ©2022 by Zhixuan Chen. All rights reserved.
Copyright ©2022 by Zhixuan Chen. All rights reserved.
探索性数据分析的作用
1. 能帮助分析人员从看似混乱无章的原始数据中筛选出可用 的数据；
2. 能在数据清理中发挥重要作用； 3. 这是建立算法和过滤模型的第一步； 4. 能通过数据碰撞发现新假设，以不断地改进和提高算法的
4.3 发现派生特征变量 (示例)
Copyright ©2022 by Zhixuan Chen. All rights reserved.
发现派生特征变量——基于数据集观察的发现
示例
白天通话时长（y）= 350-0.45×傍晚通话时长（x） 通过上述方程，可以在原数据集中增加一个分类型 派生变量——长白天和傍晚通话时长标志 （HighDayEveMins_Flag）
Copyright ©2022 by Zhixuan Chen. All rights reserved.
探索性数据分析
描述统计目录
1 ONE 描述统计的实质 TWO2 描述分布
THREE3 描述关系 FOUR4 线性关系
一、类别变量 你觉得你身材怎样？胖、瘦还是刚好？
随机调查了1200大学生，下表显示了一部分回答。
Student student 25 student 26 student 27 student 28 student 29
现欲了解他们的平均月收入。
3 中数
中数：是指一组按大小顺序排列起来的量数的中间点 的数，又称中位数，符号记为Mdn。
下表是17名中学教师的月收入： 平均数=1652.3
1200, 1270, 1300, 1310, 1320,
1350, 1360, 1370, 1390, 1400, 1450, 1460, 1530, 1580, 1600,
中数=1390
3200, 4000
现欲了解他们的平均月收入。
那么这则数据的中位数呢？
3、６、７、９、２０、２１小结：集中量数 三个代表 在实际中最常用的就是平均数
集中量数出现的问题
分布Ａ：19, 20, 25, 32, 39 分布Ｂ： 2, 3, 25, 30, 75 这两个分布的平均数都是27，中数都是25。
1.趋势（direction）
2.图式（form）
a linear form
a curvilinear form
Clusters form
3.强度（strength）
4.极端值（outliers ）
我们的例子
趋势是递减的； 线性的； 强度较强； 没有极端值。
小结：两个数值型变量之间的关系
我们先计算各统计量，然后用盒子图来呈现
解释我们的结果
探索性数据分析PPT教学课件
四、几种常用的指标与参数
平陆圣人涧剖面HCO3-分析结果表 单位:mg/kg
平均值=473 众数=298 中位数=423.5
PPT教学课件
谢谢观看
Thank You For Watching
二、比较图：双环形
地壳和土壤的平均化学组成(重量%)
地壳中
土壤中 在地壳中植物生长所需要的营养元素含量很低，远不能满足植物和微 生物营养的需要。 土壤矿物的化学组成，一方面继承了地壳化学中的组成特点，另一方 面有的化学元素在成土过程中增加了，如氧、硅、碳、氮，有的显著下降 了，如钙、镁、钾、钠。这反映了成土过程中元素的分散、富集特性和生 物积累作用。
探索性数据分析实例
2020/12/11
1
一、展示分布的图形：饼图
地壳的平均化学组成(重量%)
地壳中氧、硅、铝、铁四种元素共占88.7%的重量，其余多种 元素和在一起，才只占到地壳重量的11.3%。所以，在组成地壳的 化合物中，绝大多数是含氧化合物，其中以硅酸盐最多，它在地 壳中分布极广，是构成多数岩石（如花岗岩）和土壤的主要成分。
三、识别变量依存关系的图形：散点图
某山区水土流失面积与土壤含氮量
土壤含氮量x/x) + 6.0462
4
3
2
1
0
0
2
4
6
8
10
水土流失面积y/km2
土壤剥蚀，肥力减退 。水土流失不仅减少了土壤中的氮、磷、钾主要养 分，也减少了土壤中硼、锌、铜、锰、铁等微量元素含量。
《大数据探索性分析》教学课件—第1章导论
本教材的结构
• 第1章 导论（1次课，2-3课时） • 第2章 大数据背景下的抽样分析（3次课，9课时） • 第3章 大数据的数据预处理（ 3-4次课，9-12课时） • 第4章 探索性数据分析方法（ 3-4次课，9-12课时） • 第5章 大数据的展示（ 3次课，9课时） • 第6章 空间数据分析（ 3次课，9课时） • 推荐学时16-18次课，48-54课时
健康保险公司VitalityHealth
• 作为DiscoveryHoldings集团旗下的一家子公 司,VitalityHealth希望成为第一家为人们的健康生活 习惯提供奖励的全球保险服务供应商。
智慧城市的构建
• “我的南京”是一款备受南京市民青睐的APP。它 可以给市民提供多种服务:
– 乘坐公交车出门可以通过一款APP进行实时公交查询,了 解目标公交车的位置及上车站点的距离,决定出门时间;
《大数据探索性分析》 课程简介
数据每天都在产生，如何探索
• 一切行为动作都在生成数据
• 一旦你持有了全部数据，你就某种程度上掌握了这 个世界或抓住了世界的轨迹
• 但是你不可能在一个有几百万数据的大型Excel表或 数据库上遍历，获取图形，理解现实和处理它所生 成的数据
• 因此你需要一个新的理念，去简化这些捕获的数据， 使之更加容易理解，方法更加简洁，使得数据适合 于建立数学模型和函数
• 通过互联网+LBS大数据,可以知晓现场通讯是否中 断、灾区人员撤离情况和机场人员进出情况,帮助相 关部门迅速做出决策,协助做好抗震救灾工作。大数 据还在中国地震应急搜救中心在四川九寨沟和新疆 某地震灾区的救援工作中。
打破教育边界,“智慧校园”重新定义教育模式
• 以物联网技术为基石,以一体化教学云为主体 • 人工智能将是教育信息化的最高境界 • 打破教育边界,实现个性化教学 • 。。。。。。 • 校园不再是“一心只读圣贤书”的信息孤岛,而是成
大数据分析讲稿ppt教案
VS
详细描述
大数据通常指那些超出传统数据处理软件 处理能力的数据集。这些数据集可能包括 结构化数据（如数据库中的表格），半结 构化数据（如日志文件），以及非结构化 数据（如社交媒体帖子或图片）。大数据 的4V特点分别描述了其规模巨大、处理 速度快、数据类型多样以及具有高价值的 特点。
大数据的应用领域
数据生命周期管理
03
根据数据的重要性和使用频率，制定合理的数据存储策略和备
份方案，确保数据的可追溯性和可用性。
大数据人才培养和技能提升
培训和教育计划
制定针对不同层次和需求的大数据培训和教育计 划，提高从业者的技能水平和综合素质。
交流和分享平台
搭建交流和分享平台，促进从业者之间的互动和 学习，推动大数据技术的普及和应用。
激励和评价机制
建立激励和评价机制，对优秀的人才进行表彰和 奖励，激发从业者的积极性和创造力。
大数据技术的未来趋势和方向
1
2 3
人工智能与大数据的融合
随着人工智能技术的不断发展，大数据将与人工 智能技术进一步融合，实现更智能的数据分析和 应用。
数据可视化与交互式分析
借助可视化技术和交互式分析工具，使数据呈现 更加直观、易理解，提高数据分析的效率和效果 。
金融风险控制
总结词：通过大数据分析技术，监测和 预警金融市场的风险因素，提高风险控 制和防范能力。
风险预警系统：实时监测市场和借款人 的风险变化，及时发出预警信号，帮助 金融机构采取应对措施。
信用风险评估：整合借款人的历史表现 、资产负债表等信息，评估借款人的信 用等级和违约风险。
详细描述
市场风险分析：分析金融市场的价格波 动、交易量等数据，预测市场走势，为 投资决策提供依据。
Tukey统计学讲义：探索性数据分析
阅读感受
当然，这本书也并非完美无缺。由于其涉及的内容较为广泛和深入，对于初 学者来说可能会感到有些吃力。由于EDA强调的是数据的探索和发现，它并不能 替代传统的统计分析方法。在很多情况下，我们仍需要基于假设和模型进行深入 的学讲义：探索性数据分析》是一本极具启发性和实用 性的书籍。通过阅读这本书，我不仅对EDA有了更加深入的了解，也学到了如何 更加科学地处理和分析数据。我相信，这本书对于那些对统计学和数据分析感兴 趣的人来说，会是一本难得的好书。
内容摘要
《Tukey统计学讲义：探索性数据分析》是一本非常实用的统计学教材，适合统计学专业的学生 和从事数据分析工作的专业人士阅读。通过学习这本书，读者可以深入了解探索性数据分析的基 本理念和方法，掌握如何利用现代计算机技术进行数据分析和可视化，提高自己的数据处理和分 析能力。
精彩摘录
精彩摘录
“探索性数据分析不是一门精确科学，而是一种思维方式。” 这句话精辟地概括了探索性数据分析的核心思想。在面对大量数据时，我们 不应该被精确的数字所迷惑，而是要用开放的思维去探索数据的内在规律和趋势。
精彩摘录
通过数据可视化，我们可以直观地看到数据的分布、异常值和相关性，从而 更好地理解数据。在《Tukey统计学讲义》中，作者强调了图表在数据分析中的 重要性，认为它是发现数据内在关系的有效工具。
Tukey统计学讲义：探索性数据 分析
读书笔记
01 思维导图
03 精彩摘录 05 目录分析
目录
02 内容摘要 04 阅读感受 06 作者简介
思维导图
本书关键字分析思维导图
分析
教授
数据
探索性
统计学
理念
专业
分析
讲义
数据 进行
探索性数据分析
分布的概念一个变量的分布是该变量的取值的具体表现形式，它不仅描述了该变量的不同取值，同时也描述了其每个值的可能性。
一、变量类型及其分布1、首先我们打开life expectancy这个数据表。
本例中的每个国家都有13年的年度观察数据，并且每个国家的13年数据都是以年份为序依次排序。
JMP将这种编排方式称为堆叠数据。
区分四类变量：定类变量（定名型、定序型），定量变量（定距型、定比型）二、定类变量的分布2、选择菜单---分析。
将region作为Y，列变量。
点击确定，得到如下结果。
JMP构造出了一个简单的矩形条形图，列出了六个大陆地区，并用直方条显示出相应区域在数据中出现的次数。
虽然不能在图表中准确的获悉每个区域中国家的数目，却能清晰的得知south Asia国家数目最少，Europe&Central Asia国家数目最多。
图形下方的频数分布表提供了一个更加详细的变量概要。
3、菜单选择图形---图表。
图表对话框如下图，可生成很多其他格式的图表。
默认设置是竖直方向的条形图。
4、选择列框中点击Region，并点击按钮统计量，选择数量。
结果得到一张可以显示每个区域观察对象数量的条形图。
可以通过点击图表右侧的红色三角形按钮进行更改和自定义图形。
5.JMP自动按照字母顺序对定类数据进行结果输出。
我们也可以修改输出结果。
6.在数据表格中或者在列框中右击Region，选择列信息。
7.点击列属性，选择值排序。
8.选择一个变量值名，使用按钮上移和下移，最后确定。
9.需要点击图表标题右侧的红色三角形按钮，选择脚本——重新运行分析。
最后才得到我们需要的顺序的图形。
三、定量变量的分布1、选择数据表的一部分某些时候我们需要从数据表中选择某一些特定的行进行分析。
JMP为我们提供了在分析包含和剔除行的多种方法。
菜单选择行—行选择—选择符合条件的行。
如下图所示，选择那些year等于2010的行，点击添加条件，最后点击确定。
菜单选择表---子集。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 当折线彼此交叠，数据直观分析比较困难时，用这 种方式可以增强对数据变化趋势的理解，减少折线 带来的混乱影响。
维放缩
• 主要应用在需要对局部数据放大观察的情况下。 • 比如在完成刷的操作后，刷出的数据范围比较小，
• 美国统计学家Chernoff于20世纪70年代最早提出用 脸谱来表示多变量。
• 按照Chernoff于1973年提出的画法，采用15个指标， 各指标代表的面部特征为：1表示脸的范围；2表示 脸的形状；3代表鼻子的长度；4代表嘴的位置；5 代表笑容曲线；6表示嘴的宽度；7-11分别表示眼睛 的位置、分开程度、角度、形状和宽度；12表示瞳 孔的位置；13-15分别表示眉毛的位置、角度和宽度。
• 漫游法是典型的基于动画的多维可视化技术
鸢尾花数据的平行坐标图
平行坐标法的优缺点
• 优点：表达数据关系非常直观，易于理解，能够使 用户快速、简便地从传统直角坐标系转换到平行坐 标系，而不必使用矢量或其它可视图标。
• 缺点：表达维数决定于屏幕的水平宽度，当维数增 加，引起垂直轴靠近，辨认数据的结构和关系稍显 困难，坐标间的依赖关系很强，垂直平行轴之间的 安排序列性也是影响发现数据之间关系的重要因素， 而且多维结构也是复杂的。
• 根据各变量的取值，按照一定的数学函数关系，我 们就可以确定脸的轮廓、形状和五官的位置、形状。
Chernoff face方法
• Chernoff faces方法适合于在大量相似数据中发现奇 异点，或者根据表情对数据进行聚类。
• 不同的制图者可能会对同一变量选择不同的脸谱部 位，因此对于同样的数据，可能会产生不同的显示 结果。
• 基于结构的刷技术与平行坐标形成结构有很大的关 系。被刷出的数据能够以不同的详细程度显示，数 据范围比较灵活，可以是分层结构中的平均值，也 可以是一段完整的区间范围。通过基于结构的刷技 术能够实现将所选范围内的数据折线以更清晰的程 序显示出来。
维数的控制
• 在平行坐标中，我们通过对数据属性数量进行控制， 控制平行坐标维数，将我们关心的属性显示出来。
• 下图展示了鸢尾花数据在四个变量（花萼长、花萼 宽、花瓣长、花瓣宽）下的分布形态
基于多变量的多维可视化技术
• 该技术是近来空间多维数据可视化技术的基础，它 绝大部分都是采用通过高速图形计算生成的彩色图 形来表示的。
• 这种方法处理的数据量一般比较大，且可以处理复 杂数据类型的多维信息。
Chernoff face方法
第四章 探索性数据分析方法
本章的主要内容
• 第1节 多维数据的可视化技术 • 第2节 投影寻踪 • 第3节 独立成分分析 • 第4节 探索性数据分析案例 • 第5节 探索性数据分析综合应用
第1节 多维数据的可视化技术
基于2变量的多维可视化技术
• 目前采用基于2变量多维可视化技术的方法主要有 散点图矩阵等
这时就可以将该子区域的数据用全局范围来显示， 将局部放大的平行坐标图与全局的平行坐标图结合 起来观察，可以避免对数据的片面理解。
• 当数据量小且分散时，采用维缩小将更加易于集中 观察数据的变化趋势。
交换坐标轴
• 交换坐标轴可以把我们认为属性关系较密切的坐标 轴相邻，更好地呈现属性间的关系。在未知属性间 的关系时，可以试探地调换坐标轴次序，进而发现 不同属性间隐含的关系。
• 平行坐标技术将多维数据点映射成二维平面上的折 线且不损失信息，人们可以从折线的变化规律中发 掘有价值的信息，显得相对简便直观。
• 平行坐标的基本思想是在二维空间中采用等距离的 竖直的 个平行坐标轴表示 维空间， 个变量值对应 到 个平行坐标轴上，再将 个坐标轴上的点用连续 线段连接起来表示一个空间点，这 条线段与 条坐 标轴相交的 个点分别代表了数据点的 维数据。连 接 个坐标轴上点的 条线段的折线可以用 个线性无 关的方程所表示。
• 目前有很多对平行坐标的改进技术，例如层次化的 平行坐标技术。
基于平行坐标数据可视化方法
• 刷技术 • 维数的控制 • 数据抽象 • 维度放缩 • 交换坐标轴 • 上钻下卷
刷技术
• 刷技术能够在平行坐标中将一部分折线突显而使其 他折线不明显，如此能让用户更清晰直观地了解局 部数据变化规律，更好地对关注部分进行集中分析。
• 如果是p维数据，有p个坐标轴。根据排列组合，应 当有p!种排列。然而，实际上有相当多的冗余在这 个排列中，让相关的坐标相邻排列的最小组合实际 上是(p+1)/2。
基于动画的多维可视化技术
• 随着计算机技术的不断发展，传统的动画技术不仅 可以用于简单的结果显示，还能根据已知数据进一 步发现数据中隐藏的或者不可预测的重要信息。
• 平行坐标表示的多维数据集上，我们可以利用刷技 术交互选择数据区间和聚簇。
• 常用的刷技术有两种，基于角度的刷技术以及基于 结构的刷技术。
刷技术
• 基于角度的刷技术是根据相邻的两坐标轴间线段的 斜率范围来确定需要刷的数据。在两条线段夹角范 围内的数据将被突显，而没有涉及到的数据将不明 显，便于用户具有针对性的分析和研究。
• 这样做的优点是能够减小平行坐标图的复杂程度， 同时还能减低不重要数据对结果的干扰，便于我们 更好地对数据进行分析。
• 刷技术突显部分数据但不减少维数，因此，刷常被 看作是行分解，而对维数的控制改变了坐标的数量， 因此被看作是列分解。
数据的抽象
• 平行坐标图本身就是一个抽象图形，它将多维数据 抽象地表示在二维平面上，但是我们还可以对其进 行更高层次的抽象，即数据的平均值显示，数据的 平均值度量数据的中心趋势。
• 散点图矩阵画出多个变量两两间的散点图以考察多 变量关系。
• 如果给定p个变量，则可以通过创建一个包含p行p 列的散点图矩阵，其中的每行每列均唯一定义一个 散点图。
• 利用散点图矩阵，我们可以回答诸如两个变量之间 是否具有成对关系，数据当中是否存在孤立点以及 数据当中是否存在聚类等问题
鸢尾花数据的散点图矩阵