2020年大数据及数据可视化分析53

大数据及数据可视化分析

郑州大学信息工程学院宋伟

2014.08.19

一、相关背景

二、可视化分析介绍

三、目前相关工作

信息爆炸

科学数据爆炸Sloan Digital Sky Survey ATLUM / Connectome Project

Big Data

◆大数据(big data)，指的是所涉及的数据信息量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

◆(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法）

◆“数据是新的石油。”

----Andreas Weigend（Amazon前首席科学家）◆“当时时变幻的、海量的数据出现在眼前，是怎样一幅壮观的景象？在后台注视着这一切，会不会接近上帝俯视人间星火的感觉？”

◆大数据是如此重要，以至于其获取、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题。

Big Data特点（4V）

◆V olume 数据量大

大数据的起始计量单位PB->EB->ZB

◆V ariety 类型繁多

包括网络日志、音频、视频、图片、地理位置信息、科学、医学等多类型数据，对数据处理能力提出了更高要求。

◆V alue

价值密度低信息海量，但价值密度较低

价值高只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。

◆V elocity 速度快时效高处理速度快，时效性要求高。区分于传统数据

挖掘最显著的特征。

对大数据的关注

越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。

1、2013年3月22日，奥巴马政府宣布投资拉动大数据相关产业发展，将“大数据战略”上升为国家意志。

2、2012年,联合国发布大数据政务白皮书。

3、最为积极的:众多的IT企业

◆IBM PC→软件和服务→大数据分析软件(全新业务增长点)。

◆百度、腾讯、阿里巴巴……

数据为王

Big Data相关内容

◆大数据技术

从多种类型数据中，快速获得有价值信息的能力

◆大数据工程

大数据的规划建设运营管理的系统工程

◆大数据科学

大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系

◆大数据应用

大数据与云

“将来几十年中，处理数据的能力将会成为至关重要的

技术——理解数据、加工数据、提取数据价值、可视化

数据、与数据交流。…因为现在我们的确拥有无处不在

的、可自由获取的数据。”

“The ability to take data—to be able to understand it, to process

it, to extract value from it, to visualize it, to communicate it —

that’s going to be a hugely important skill in the next decades,...

because now we really do have essentially free and ubiquitous

data.”

HalVarian,Google’s Chief Economist

The McKinsey Quarterly,Jan 2009

一、相关背景

二、可视化分析介绍

三、目前相关工作

可视化(Visualization)

◆利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕

上显示出来，并进行交互处理的理论、方法和技术。

◆涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多

个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综合技术。虚拟现实技术:以图形图像的可视化技术为依托

科学可视化

信息可视化

数据可视化

可视化样例

treemap

可视化样例：地图

Konya town map,Turkey,c.6200 BC Anaximander of Miletus,c.550 BC

Milestones Project

http://www.math.yorku.ca/SCS/Gallery/milestone

/

可视化的作用记录信息

分析推理

证实假设

交流思想

……

可视化的作用：记录信息Galileo

Galilei,1616

Leonardo

DaVinci,ca.1500

引用：The History ofVisual Communication

The Galileo Project,Rice University

William Curtis (1746-1799)

记录信息

E.J.Muybridge,1878

可视化的作用：记录信息Photo Finishes: Information Rich

Roger von Oech

可视化作用：记录信息

感知海洋.avi