大数据及数据可视化分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据及数据可视化分析
汇报内容
一、相关背景 二、可视化分析介绍 三、目前相关工作
信息爆炸
科学数据爆炸
SloanDigital Sky Survey
ATLUM/ ConnectomeProject
Big Data
大数据(big data)，指的是所涉及的数据信息量规模 巨大到无法通过目前主流软件工具，在合理时间内 达到撷取、管理、处理、并整理成为帮助企业经营 决策更积极目的的资讯。
HalVarian,Google’s Chief Economist The McKinsey Quarterly,Jan 2009
汇报内容
一、相关背景 二、可视化分析介绍 三、目前相关工作
可视化(Visualization)
利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕 上显示出来，并进行交互处理的理论、方法和技术。
“The ability to take data—to be able to understand it, to process it, to extract value from it, to visualize it, to communicate it — that’s going to be a hugely important skill in the next decades,... because now we really do have essentially free and ubiquitous data.”
Photo Finishes: Information Rich Roger von Oech
可视化作用：记录信息
感知海洋.avi
后现代主义新闻
可视化的作用：分析推理
Planetary Movement Diagram,c.950
Halley’sWind Map,1686
可视化的作用：分析推理
大数据是如此重要，以至于其获取、储存、搜索、共 享、分析，乃至可视化地呈现，都成为了当前重要的 研究课题。
Big Data特点（4V）
Volume 数据量大
大数据的起始计量单位 PB->EB->ZB
Variety 类型繁多
包括网络日志、音频、视频、图片、地理位置信息、科学、医学等多类 型数据，对数据处理能力提出了更高要求。
E.Tufte,Writings,Artworks,News
可视化的作用：展示隐含模式
John Snow,1854
E.Tufte,Visual Explanations, 1997
可视化的作用：展示隐含模式
NYTimes
可视化的作用：展示隐含模式
可视化的作用：传播思想
F.Nightingale,CrimeanWar,1856
1、2013年3月22日，奥巴马政府宣布投资拉动大数据相关产业发展，将 “大数据战略”上升为国家意志。 2、2012年,联合国发布大数据政务白皮书。 3、最为积极的:众多的IT企业 IBM PC软件和服务大数据分析软件(全新业务增长点)。 百度、腾讯、阿里巴巴……
数据为王
Big Data相关内容
大数据技术
从多种类型数据中，快速获得有价值信息的能力
大数据工程
大数据的规划建设运营管理的系统工程
大数据科学
大数据网络发展和运营过程中发现和验证大数据的规律及其 与自然和社会活动之间的关系
大数据应用
大数据与云
“将来几十年中，处理数据的能力将会成为至关重要的 技术——理解数据、加工数据、提取数据价值、可视化 数据、与数据交流。…因为现在我们的确拥有无处不在 的、可自由获取的数据。”
Value
价值密度低 信息海量，但价值密度较低 价值高 只要合理利用数据并对其进行正确、准确的分析，将会带来很高 的价值回报。
Velocity 速度快时效高 处理速度快，时效性要求高。区分于传统数据
挖掘最显著的特征。
对大数据的关注
越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的 资产，数据分析能力正在成为组织的核心竞争力。
Wounds Other
Preventable
wikipedia.org
可视化的作用：传播思想
可视化的作用：传播思想
Hans Rosling,TED 2006
William Curtis (1746-1799)
Galileo Galilei,1616
引用：The History ofVisual Communication The Galileo Project,Rice University
记录信息
E.J.Muybridge,1878
可视化的作用：记录信息
Anaximander of Miletus,c.550 BC
Milestones Project http://www.math.yorku.ca/SCS/Gallery/milestone
/
可视化的作用
记录信息 分析推理 证实假设 交流思想 ……
可视化的作用：记录信息
Leonardo DaVinci,ca.1500
涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多 个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综 合技术。虚拟现实技术:以图形图像的可视化技术为依托
科学可视化 信息可视化 数据可视化
ቤተ መጻሕፍቲ ባይዱ
可视化样例
treemap
可视化样例：地图
Konya town map,Turkey,c.6200 BC
(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的 《大数据时代》中大数据指不用随机分析法（抽样 调查）这样的捷径，而采用所有数据的方法）
“数据是新的石油。”
----Andreas Weigend（Amazon前首席科学家）
“当时时变幻的、海量的数据出现在眼前，是怎样一 幅壮观的景象？在后台注视着这一切，会不会接近上 帝俯视人间星火的感觉？”
W.Playfair,1786
W.Playfair,1801
可视化的作用：分析推理
M.Wattenberg,2005
可视化的作用：抽象
London Subway Map,1927
Harry Beck,1933
NewYorkTimes,2010
可视化的作用：展示隐含模式
C.J.Minard,1869
汇报内容
一、相关背景 二、可视化分析介绍 三、目前相关工作
信息爆炸
科学数据爆炸
SloanDigital Sky Survey
ATLUM/ ConnectomeProject
Big Data
大数据(big data)，指的是所涉及的数据信息量规模 巨大到无法通过目前主流软件工具，在合理时间内 达到撷取、管理、处理、并整理成为帮助企业经营 决策更积极目的的资讯。
HalVarian,Google’s Chief Economist The McKinsey Quarterly,Jan 2009
汇报内容
一、相关背景 二、可视化分析介绍 三、目前相关工作
可视化(Visualization)
利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕 上显示出来，并进行交互处理的理论、方法和技术。
“The ability to take data—to be able to understand it, to process it, to extract value from it, to visualize it, to communicate it — that’s going to be a hugely important skill in the next decades,... because now we really do have essentially free and ubiquitous data.”
Photo Finishes: Information Rich Roger von Oech
可视化作用：记录信息
感知海洋.avi
后现代主义新闻
可视化的作用：分析推理
Planetary Movement Diagram,c.950
Halley’sWind Map,1686
可视化的作用：分析推理
大数据是如此重要，以至于其获取、储存、搜索、共 享、分析，乃至可视化地呈现，都成为了当前重要的 研究课题。
Big Data特点（4V）
Volume 数据量大
大数据的起始计量单位 PB->EB->ZB
Variety 类型繁多
包括网络日志、音频、视频、图片、地理位置信息、科学、医学等多类 型数据，对数据处理能力提出了更高要求。
E.Tufte,Writings,Artworks,News
可视化的作用：展示隐含模式
John Snow,1854
E.Tufte,Visual Explanations, 1997
可视化的作用：展示隐含模式
NYTimes
可视化的作用：展示隐含模式
可视化的作用：传播思想
F.Nightingale,CrimeanWar,1856
1、2013年3月22日，奥巴马政府宣布投资拉动大数据相关产业发展，将 “大数据战略”上升为国家意志。 2、2012年,联合国发布大数据政务白皮书。 3、最为积极的:众多的IT企业 IBM PC软件和服务大数据分析软件(全新业务增长点)。 百度、腾讯、阿里巴巴……
数据为王
Big Data相关内容
大数据技术
从多种类型数据中，快速获得有价值信息的能力
大数据工程
大数据的规划建设运营管理的系统工程
大数据科学
大数据网络发展和运营过程中发现和验证大数据的规律及其 与自然和社会活动之间的关系
大数据应用
大数据与云
“将来几十年中，处理数据的能力将会成为至关重要的 技术——理解数据、加工数据、提取数据价值、可视化 数据、与数据交流。…因为现在我们的确拥有无处不在 的、可自由获取的数据。”
Value
价值密度低 信息海量，但价值密度较低 价值高 只要合理利用数据并对其进行正确、准确的分析，将会带来很高 的价值回报。
Velocity 速度快时效高 处理速度快，时效性要求高。区分于传统数据
挖掘最显著的特征。
对大数据的关注
越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的 资产，数据分析能力正在成为组织的核心竞争力。
Wounds Other
Preventable
wikipedia.org
可视化的作用：传播思想
可视化的作用：传播思想
Hans Rosling,TED 2006
William Curtis (1746-1799)
Galileo Galilei,1616
引用：The History ofVisual Communication The Galileo Project,Rice University
记录信息
E.J.Muybridge,1878
可视化的作用：记录信息
Anaximander of Miletus,c.550 BC
Milestones Project http://www.math.yorku.ca/SCS/Gallery/milestone
/
可视化的作用
记录信息 分析推理 证实假设 交流思想 ……
可视化的作用：记录信息
Leonardo DaVinci,ca.1500
涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多 个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综 合技术。虚拟现实技术:以图形图像的可视化技术为依托
科学可视化 信息可视化 数据可视化
ቤተ መጻሕፍቲ ባይዱ
可视化样例
treemap
可视化样例：地图
Konya town map,Turkey,c.6200 BC
(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的 《大数据时代》中大数据指不用随机分析法（抽样 调查）这样的捷径，而采用所有数据的方法）
“数据是新的石油。”
----Andreas Weigend（Amazon前首席科学家）
“当时时变幻的、海量的数据出现在眼前，是怎样一 幅壮观的景象？在后台注视着这一切，会不会接近上 帝俯视人间星火的感觉？”
W.Playfair,1786
W.Playfair,1801
可视化的作用：分析推理
M.Wattenberg,2005
可视化的作用：抽象
London Subway Map,1927
Harry Beck,1933
NewYorkTimes,2010
可视化的作用：展示隐含模式
C.J.Minard,1869