大数据基础-第七章-大数据可视化
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
9
Google Maps能提供一些APIs给开发者，如谷歌地球、谷歌地图图像和谷 歌地方信息。
SAS视觉分析（SAS Visual Analytics）可以更加全面地分析探索各种尺寸 的数据集可视化，拥有直观的平台和自动化预测工具。
Crossfilter使我们能够在浏览器里探索大量多元的数据集，也是Java库， 可处理超过一百万个记录的数据集。
7.2 可视化工具与应用案例
17
Matplotlib的代码整体架构在逻辑关 系上可以分为三个不同层级的组成 部分。各层之间的通信方向有严格 的限制，只能由上而下，不可反向 通信，这简化了各层之间的逻辑关 联。这三层分别是：脚本（ Scripting）层、表现（Artist）层、 后端（Backend）层。
Timeline JS作为开源工具，能够运用40种不同语言建立交互式时间 轴。
Quadrigram使用户能够创建自定义可视化效果，运用它们的数据和 来自内置图表、图形等各种组件。
7.2 可视化工具与应用案例
12
Many Eyes是IBM研究所和IBM Cognos软件小组的试验成果。 iCharts是基于网络端的应用程序，能够在网页上实现数据可视化。 Jupyter是一个开源项目，支持通过十多种编程语言实现大数据分析、可
本案例为了更为详细地说明，采用了第二种方式。如果采用第一种方式，下面的第一步可以省略，绘图的 代码只需要将前行语句替换为正文描述的内容即可。
7.2 可视化工具与应用案例
20
➢ Highcharts Highcharts使用基于Javascript脚本的图表库，广泛应用于各种基于Web
的数据可视化应用程序中。 Highcharts可以为网站和网页提供直观的、互动式的图表，它目前支持
线、面积、Areaspline、柱形图、条形图、饼图和散点图等类型。 Highcharts为调用应用程序提供了丰富的API，但在具体使用之前一般需
其核心思想可以概括成： 第一，通过可视化，人们对数据的属性和特征进行提取和呈现。 第二，数据可视化的定义从狭义上来说是指将数据用统计图表的方式呈现。 第三，广义上的数据可视化是信息可视化中的一类，因为信息是包含了数 字和非数字的。
7.1 数据可视化的概述
5
➢ 数据可视化的的特征与趋势
大数据的本质在于预测，通过可视化可以预测趋势与走向，这种趋势可能 是时间上的，也可能是空间上的。
（资料来源：中国政府网，“李克强见证互联网银行‘吃螃蟹’”， http://www.gov.cn/xinwen/2015-01/05/content_2799933.htm.）
7.1 数据可视化概述
4
➢ 数据可视化的概念是什么？
这里所称的数据可视化就是大数据可视化，它与计算机图形学的发展密不 可分。20世纪60年代，随着计算机图形学的发展，人们拥有了通过计算机 构建各种数据图像的能力。
Excel工具为数据可视化提供四种基本类型的可视化分析方法，包括对 比分析、结构分析、透视分析和其他种类分析和可视化方法。
7.2 可视化工具与应用案例
14
➢ 对比分析
对比分析，顾名思义就是通过可视化的方式鲜明地对多个相关联事项 进行比较，从而突出某些关键信息，展示决策中所需的优劣条件。对比分 析包括具体图表样式和图表样式下的子分类，图表样式包括预警分析与可 视化、进度分析可视化、纵向与横向对比分析与可视化和其他类型的对比 分析可视化等。
③ Highcharts支持多种图表类型的绘制（多达20种图表），并且允许 多图表集成在统一图形中形成组合图，满足各种数据可视化的需求。
7.2 可视化工具与应用案例
22
➢ 由于Highcharts图表库完全是由Javascript开发的，因此其 具有以下基本特征。
④ Highcharts支持提示功能。 ⑤ Highcharts具有动态缩放功能。 ⑥ Highcharts图表支持高精度时间跨度。 ⑦ 支持多种格式的图表文件输出。 ⑧ 支持多方向文字旋转。 ⑨ 具有动态交互性。
Kartograph既是Python库也是Java库，迎合了想要创建友好型Illustrator SVG地图和交互式地图的开发者，并且能够在主要浏览器上运行。
7.2 可视化工具与应用案例
10
Excel因为它的数据处理和分析功能而闻名，但是它经常用于创建强大 的数据可视化。
CartoDB允许你在数分钟内上传并视觉化数亿个数据值。它还具有地 理空间分析功能，并能从你的数据获得信息。
➢ 数据可视化市场与发展
据MRC统计并预测，在未来几年全球数据可视化应用市场的复合年增长率 保持在10.3%左右。
数据可视化最早、最普遍的应用是针对IT管理人员的。 数据可视化的另一个成熟的应用市场在医疗健康领域。 实际上随着数据挖掘技术的不断发展与成熟，数据可视化的快速发展是
可以预期的，其应用市场包含的范围也越来越广泛，上到天文观测，下 到地理观测和矿藏分析，还有人类社会、经济的方方面面。
Google Charts提供大量数据可视化格式，从简单的散点图到分层树地 图。
Envision.js库可用于创建具有高性能和交互能力的HTML5可视化图表 ，能够展示实时数据、时间序列、财务可视化、AJAX驱动财务图表和 自定义可视化。
7.2 可视化工具与应用案例
11
R Project是在UNIX、Windows和Mac OS上运作的统计计算软件主 要用于统计计算和统计制图。
7.2 可视化工具与应用案例
18
➢ 脚本层提供了pyplot接口。脚本层适用于数据分析与可视化过程中的计算。 因为该层提供了与Matlab非常相似的函数集和函数用法，因此熟悉Matlab 的用户可以很快上手Matplotlib。而后端层与表现层更适合Web和其他应用 程序的开发者使用。
➢ 表现层是Matplotlib的前端，是用户在使用库过程中必须面对和处理的部 分。尽管Matplotlib对数据可视化过程中的很多功能和处理进行了封装， 简化了用户图形绘制的复杂度，但其中的一些内容仍需要用户根据自己的 需求进行处理。
视化和软件开发的实时协作。 Tableau是数据可视化的市场领导者之一，在为大数据操作、深度学
习算法和多种类型的AI应用程序提供交互式数据可视化方面尤为高效 。
7.2 可视化工具与应用案例
13
➢ Excel Excel是微软公司推出的Office办公软件套装的重要构成组件之一，是一
种电子表格软件，可用于制作各种各样的电子表格，实现数据的规整与结 构化处理，并提供大量的数据统计和计算处理函数与功能。
➢ 最下面一层为后端层。Matplotlib API即位于该层，这些API是用来在底层 实现图形元素的一个个类。
7.2 可视化工具与应用案例
19
Matplotlib是基于Python语言的一个绘图库， 因此本实验需要先构建Python开发环境 （可以参考6.3节安装与配置），其具体实 验过程如下。 1．完成Python开发环境的下载、搭建与配 置 2．安装Matplotlib模块 3. 基于Matplotlib的可视化绘图
➢ 其他种类分析和可视化方法
除了对比分析、结构分析和透视分析三种特征比较明显的可视化方法，Excel还 提供了其他种类的图表和可视化模式，比如：变化分析、分组分析、矩阵分析、 三维立体图和嵌套图表分析等。
7.2 可视化工具与应用案例
16
➢ Matplotlib
Python语言是大数据处理的重要工具和编程语言之一，具有功能强大、 易于学习、编程效率高等特点。Matplotlib是基于Python语言的可视化绘 图库。所谓绘图库，就是为Python语言提供的针对数据可视化和图形绘制 最常用的功能和操作，Matplotlib将这些功能与操作以一定的方式封装起 来，并为Python开发和使用人员提供使用这些功能、操作的接口，比如提 供可以调用的函数和使用的对象等，这样，相关人员在使用Python处理数 据的过程中就可以很简单、高效地绘制出各种各样的漂亮图形，实现大数 据的可视化。
7.2 可视化工具与应用案例
23
➢ 案例
使用Highcharts之前必须首先获取Highcharts.js资 源。获取该资源有两种基本方式。一种是如上文所 述，直接通过 <scriptsrc="http://code.highcharts.com/ highcharts.js"></script>方式获取。这种方式需 要运行图表绘制的计算机能够连接到Internet上， 否则将会失效。第二种方式不要求计算机在线，而 是先下载Highcharts资源，然后在本机使用。
大数据基础
第七章 大数据可视化
目录
2
一、数据可视化概述
二、可视化工具与应用案例
引入案例
3
大数据与银行贷款信用评价
2015年1月4日，李克强总理来到深圳前海微众银行考察，一位微众银行的 负责人模拟一位个体创业者，向李克强总理演示了微众银行在线放款的全流程。 首先是“刷脸”认证。该负责人拿起手机并将摄像头对准自己，很快软件系统识 别出了他的身份，并与公安部身份数据匹配成功。与此同时，通过大数据分析， 软件将其信用评定为83分，同意授予贷款3.5万元。该负责人称，微众银行的大数 据系统汇集了40万亿条数据信息，因此微众银行不需要调查信用、上门担保，整 个服务完全依托于互联网。
Flot是JQuery的一个Java绘图库，Flot是一个基于浏览器的应用程序，并 且能够兼容大多数常见的浏览器，包括IE、Chrome、Firefox、Safari和 Opera。
7.2 可视化工具与应用案例
8
Processing创建之初是为计算机基础知识提供的一种视觉环境创建与开发 手段，但现在由学生、设计师、研究者、艺术家和业余爱好者使用，用于 创造学习模型和实际产品的原型。
➢ 结构分析
结构分析一般用于数据集构成一个完整系统的环境下使用，主要呈现系 统结构中不同组成部分或者对象之间的关系。
7.2 可视化工具与应用案例
15
➢ 透视分析
Excel是一款基于二维表的可视化工具，但在实际应用过程中经常需要涉及多 维度、多层次、多方面与多规则的分析需求，这需要通过透视图表、切片器分析 和可视化方法进行处理。
7.2 可视化工具与应用案例
7
➢尽管大数据时代对于可视化工具的要求越来越高，但仍有大量专门 的可视化工具可用于实践，本节简单介绍以下工具。
Polymaps是一个免费的Java库，也是SimpleGeo和Stamen联合开发的一 个项目。在测试上，新的设计方案都是在多次审慎测试后的最优结果。
NodeBox是实验媒介研究小组（Experimental Media Research Group） 开发的一组开源工具。
7Βιβλιοθήκη Baidu2 可视化工具与应用案例
6
➢ 人类无法像理解自然语言一样来阅读和理解网络世界中的大数据， 因此不得不借助各种数据可视化工具来直观和直接地感知原始数据 及其蕴含的特征与模式。
➢为了满足人们能够“畅游”数据海洋，高效获取所需的信息与知识 ，数据可视化工具应该具备一些基本特征。
能够处理不同类型的传入数据 能够应用不同种类的过滤器来调整结果 能够在分析过程中与数据集进行交互 能够连接其他软件接收输入数据或为其他软件提供输入数据 能够为用户提供协作选项
要引入相应的包。
7.2 可视化工具与应用案例
21
➢ 由于Highcharts图表库完全是由Javascript开发的，因此其 具有以下基本特征。
① Highcharts是网页报表工具，开发语言是Javascript，因此可以在 大多数的Web应用中使用，并且针对非商业使用是完全免费的。
② Highcharts是一个简单易用、美观、跨平台、跨浏览器的图表工具， 因此具有很强的兼容性，可以运行于当今主要的浏览器中。
Processing的姐妹工具，Processing.js可以处理复杂的数据视觉化、图形 、图表或其他视觉效果，是网页可用的形式，并不需要任何扩展程序或插 件。
FF Chartwell可将简单数字串转换为可编辑的数据可视化模型，并进一步 自定义使用OpenTy功能。
7.2 可视化工具与应用案例
Google Maps能提供一些APIs给开发者，如谷歌地球、谷歌地图图像和谷 歌地方信息。
SAS视觉分析（SAS Visual Analytics）可以更加全面地分析探索各种尺寸 的数据集可视化，拥有直观的平台和自动化预测工具。
Crossfilter使我们能够在浏览器里探索大量多元的数据集，也是Java库， 可处理超过一百万个记录的数据集。
7.2 可视化工具与应用案例
17
Matplotlib的代码整体架构在逻辑关 系上可以分为三个不同层级的组成 部分。各层之间的通信方向有严格 的限制，只能由上而下，不可反向 通信，这简化了各层之间的逻辑关 联。这三层分别是：脚本（ Scripting）层、表现（Artist）层、 后端（Backend）层。
Timeline JS作为开源工具，能够运用40种不同语言建立交互式时间 轴。
Quadrigram使用户能够创建自定义可视化效果，运用它们的数据和 来自内置图表、图形等各种组件。
7.2 可视化工具与应用案例
12
Many Eyes是IBM研究所和IBM Cognos软件小组的试验成果。 iCharts是基于网络端的应用程序，能够在网页上实现数据可视化。 Jupyter是一个开源项目，支持通过十多种编程语言实现大数据分析、可
本案例为了更为详细地说明，采用了第二种方式。如果采用第一种方式，下面的第一步可以省略，绘图的 代码只需要将前行语句替换为正文描述的内容即可。
7.2 可视化工具与应用案例
20
➢ Highcharts Highcharts使用基于Javascript脚本的图表库，广泛应用于各种基于Web
的数据可视化应用程序中。 Highcharts可以为网站和网页提供直观的、互动式的图表，它目前支持
线、面积、Areaspline、柱形图、条形图、饼图和散点图等类型。 Highcharts为调用应用程序提供了丰富的API，但在具体使用之前一般需
其核心思想可以概括成： 第一，通过可视化，人们对数据的属性和特征进行提取和呈现。 第二，数据可视化的定义从狭义上来说是指将数据用统计图表的方式呈现。 第三，广义上的数据可视化是信息可视化中的一类，因为信息是包含了数 字和非数字的。
7.1 数据可视化的概述
5
➢ 数据可视化的的特征与趋势
大数据的本质在于预测，通过可视化可以预测趋势与走向，这种趋势可能 是时间上的，也可能是空间上的。
（资料来源：中国政府网，“李克强见证互联网银行‘吃螃蟹’”， http://www.gov.cn/xinwen/2015-01/05/content_2799933.htm.）
7.1 数据可视化概述
4
➢ 数据可视化的概念是什么？
这里所称的数据可视化就是大数据可视化，它与计算机图形学的发展密不 可分。20世纪60年代，随着计算机图形学的发展，人们拥有了通过计算机 构建各种数据图像的能力。
Excel工具为数据可视化提供四种基本类型的可视化分析方法，包括对 比分析、结构分析、透视分析和其他种类分析和可视化方法。
7.2 可视化工具与应用案例
14
➢ 对比分析
对比分析，顾名思义就是通过可视化的方式鲜明地对多个相关联事项 进行比较，从而突出某些关键信息，展示决策中所需的优劣条件。对比分 析包括具体图表样式和图表样式下的子分类，图表样式包括预警分析与可 视化、进度分析可视化、纵向与横向对比分析与可视化和其他类型的对比 分析可视化等。
③ Highcharts支持多种图表类型的绘制（多达20种图表），并且允许 多图表集成在统一图形中形成组合图，满足各种数据可视化的需求。
7.2 可视化工具与应用案例
22
➢ 由于Highcharts图表库完全是由Javascript开发的，因此其 具有以下基本特征。
④ Highcharts支持提示功能。 ⑤ Highcharts具有动态缩放功能。 ⑥ Highcharts图表支持高精度时间跨度。 ⑦ 支持多种格式的图表文件输出。 ⑧ 支持多方向文字旋转。 ⑨ 具有动态交互性。
Kartograph既是Python库也是Java库，迎合了想要创建友好型Illustrator SVG地图和交互式地图的开发者，并且能够在主要浏览器上运行。
7.2 可视化工具与应用案例
10
Excel因为它的数据处理和分析功能而闻名，但是它经常用于创建强大 的数据可视化。
CartoDB允许你在数分钟内上传并视觉化数亿个数据值。它还具有地 理空间分析功能，并能从你的数据获得信息。
➢ 数据可视化市场与发展
据MRC统计并预测，在未来几年全球数据可视化应用市场的复合年增长率 保持在10.3%左右。
数据可视化最早、最普遍的应用是针对IT管理人员的。 数据可视化的另一个成熟的应用市场在医疗健康领域。 实际上随着数据挖掘技术的不断发展与成熟，数据可视化的快速发展是
可以预期的，其应用市场包含的范围也越来越广泛，上到天文观测，下 到地理观测和矿藏分析，还有人类社会、经济的方方面面。
Google Charts提供大量数据可视化格式，从简单的散点图到分层树地 图。
Envision.js库可用于创建具有高性能和交互能力的HTML5可视化图表 ，能够展示实时数据、时间序列、财务可视化、AJAX驱动财务图表和 自定义可视化。
7.2 可视化工具与应用案例
11
R Project是在UNIX、Windows和Mac OS上运作的统计计算软件主 要用于统计计算和统计制图。
7.2 可视化工具与应用案例
18
➢ 脚本层提供了pyplot接口。脚本层适用于数据分析与可视化过程中的计算。 因为该层提供了与Matlab非常相似的函数集和函数用法，因此熟悉Matlab 的用户可以很快上手Matplotlib。而后端层与表现层更适合Web和其他应用 程序的开发者使用。
➢ 表现层是Matplotlib的前端，是用户在使用库过程中必须面对和处理的部 分。尽管Matplotlib对数据可视化过程中的很多功能和处理进行了封装， 简化了用户图形绘制的复杂度，但其中的一些内容仍需要用户根据自己的 需求进行处理。
视化和软件开发的实时协作。 Tableau是数据可视化的市场领导者之一，在为大数据操作、深度学
习算法和多种类型的AI应用程序提供交互式数据可视化方面尤为高效 。
7.2 可视化工具与应用案例
13
➢ Excel Excel是微软公司推出的Office办公软件套装的重要构成组件之一，是一
种电子表格软件，可用于制作各种各样的电子表格，实现数据的规整与结 构化处理，并提供大量的数据统计和计算处理函数与功能。
➢ 最下面一层为后端层。Matplotlib API即位于该层，这些API是用来在底层 实现图形元素的一个个类。
7.2 可视化工具与应用案例
19
Matplotlib是基于Python语言的一个绘图库， 因此本实验需要先构建Python开发环境 （可以参考6.3节安装与配置），其具体实 验过程如下。 1．完成Python开发环境的下载、搭建与配 置 2．安装Matplotlib模块 3. 基于Matplotlib的可视化绘图
➢ 其他种类分析和可视化方法
除了对比分析、结构分析和透视分析三种特征比较明显的可视化方法，Excel还 提供了其他种类的图表和可视化模式，比如：变化分析、分组分析、矩阵分析、 三维立体图和嵌套图表分析等。
7.2 可视化工具与应用案例
16
➢ Matplotlib
Python语言是大数据处理的重要工具和编程语言之一，具有功能强大、 易于学习、编程效率高等特点。Matplotlib是基于Python语言的可视化绘 图库。所谓绘图库，就是为Python语言提供的针对数据可视化和图形绘制 最常用的功能和操作，Matplotlib将这些功能与操作以一定的方式封装起 来，并为Python开发和使用人员提供使用这些功能、操作的接口，比如提 供可以调用的函数和使用的对象等，这样，相关人员在使用Python处理数 据的过程中就可以很简单、高效地绘制出各种各样的漂亮图形，实现大数 据的可视化。
7.2 可视化工具与应用案例
23
➢ 案例
使用Highcharts之前必须首先获取Highcharts.js资 源。获取该资源有两种基本方式。一种是如上文所 述，直接通过 <scriptsrc="http://code.highcharts.com/ highcharts.js"></script>方式获取。这种方式需 要运行图表绘制的计算机能够连接到Internet上， 否则将会失效。第二种方式不要求计算机在线，而 是先下载Highcharts资源，然后在本机使用。
大数据基础
第七章 大数据可视化
目录
2
一、数据可视化概述
二、可视化工具与应用案例
引入案例
3
大数据与银行贷款信用评价
2015年1月4日，李克强总理来到深圳前海微众银行考察，一位微众银行的 负责人模拟一位个体创业者，向李克强总理演示了微众银行在线放款的全流程。 首先是“刷脸”认证。该负责人拿起手机并将摄像头对准自己，很快软件系统识 别出了他的身份，并与公安部身份数据匹配成功。与此同时，通过大数据分析， 软件将其信用评定为83分，同意授予贷款3.5万元。该负责人称，微众银行的大数 据系统汇集了40万亿条数据信息，因此微众银行不需要调查信用、上门担保，整 个服务完全依托于互联网。
Flot是JQuery的一个Java绘图库，Flot是一个基于浏览器的应用程序，并 且能够兼容大多数常见的浏览器，包括IE、Chrome、Firefox、Safari和 Opera。
7.2 可视化工具与应用案例
8
Processing创建之初是为计算机基础知识提供的一种视觉环境创建与开发 手段，但现在由学生、设计师、研究者、艺术家和业余爱好者使用，用于 创造学习模型和实际产品的原型。
➢ 结构分析
结构分析一般用于数据集构成一个完整系统的环境下使用，主要呈现系 统结构中不同组成部分或者对象之间的关系。
7.2 可视化工具与应用案例
15
➢ 透视分析
Excel是一款基于二维表的可视化工具，但在实际应用过程中经常需要涉及多 维度、多层次、多方面与多规则的分析需求，这需要通过透视图表、切片器分析 和可视化方法进行处理。
7.2 可视化工具与应用案例
7
➢尽管大数据时代对于可视化工具的要求越来越高，但仍有大量专门 的可视化工具可用于实践，本节简单介绍以下工具。
Polymaps是一个免费的Java库，也是SimpleGeo和Stamen联合开发的一 个项目。在测试上，新的设计方案都是在多次审慎测试后的最优结果。
NodeBox是实验媒介研究小组（Experimental Media Research Group） 开发的一组开源工具。
7Βιβλιοθήκη Baidu2 可视化工具与应用案例
6
➢ 人类无法像理解自然语言一样来阅读和理解网络世界中的大数据， 因此不得不借助各种数据可视化工具来直观和直接地感知原始数据 及其蕴含的特征与模式。
➢为了满足人们能够“畅游”数据海洋，高效获取所需的信息与知识 ，数据可视化工具应该具备一些基本特征。
能够处理不同类型的传入数据 能够应用不同种类的过滤器来调整结果 能够在分析过程中与数据集进行交互 能够连接其他软件接收输入数据或为其他软件提供输入数据 能够为用户提供协作选项
要引入相应的包。
7.2 可视化工具与应用案例
21
➢ 由于Highcharts图表库完全是由Javascript开发的，因此其 具有以下基本特征。
① Highcharts是网页报表工具，开发语言是Javascript，因此可以在 大多数的Web应用中使用，并且针对非商业使用是完全免费的。
② Highcharts是一个简单易用、美观、跨平台、跨浏览器的图表工具， 因此具有很强的兼容性，可以运行于当今主要的浏览器中。
Processing的姐妹工具，Processing.js可以处理复杂的数据视觉化、图形 、图表或其他视觉效果，是网页可用的形式，并不需要任何扩展程序或插 件。
FF Chartwell可将简单数字串转换为可编辑的数据可视化模型，并进一步 自定义使用OpenTy功能。
7.2 可视化工具与应用案例