大数据与管理

通过分析这些数 据，莫里知道了一些 良好的天然航线，这 些航线上的风向和洋 流都非常利于航行。 他所绘制的图表使航 海路程减少，也变得 更安全。
大数据的前世今生
UPS行车路线选择
UPS 的 司 机 一 般 每天要送120至175 次货。在任何两个目 的地之间，都可以选 择多条路线。显然， 司机和UPS想要找到 其中最有效率的那条 。
Variety 多样
大数据的特征
大数据的4V特点：Volume、Velocity、Variety、Value
• 数据体 量巨大。 从TB级别 跃升到PB 级别。
Volume 大量
Velocity 高速
• 处理速度快。 1秒定律。 • 这一点也是 和传统的数据 挖掘技术有着 本质的不同。
• 数据类型繁多。 不仅包括传统的关 系数据类型，也包 括以网页、音视频、 文档等形式存在的 未加工的、半结构 化和非结构化的数 据。
麦肯锡全球研究院（2011）对大数据的定义是从数据集的大体 量入手的：大数据是指那些规模大到传统的数据库软件工具已 经无法采集、存储、管理和分析的数据集。
维克托∙迈尔-舍恩伯格（2012）在《大数据时代》一书中主要从 价值大的角度来定义大数据，他认为大数据是当今社会所独有的 一种新型的能力：以一种前所未有的方式，通过对海量数据进行 分析，获得有巨大价值的产品和服务，或深刻的洞见。
因此UPS利用大数 据分析打造了一个名 为 Orion 的 道 路 优 化 与导航集成系统，可 以在约3秒内找出最 佳路线。
2011 年 ， UPS 的驾驶员少跑了 5000 万 公 里 的 路 ， 节省了300万加仑燃 料，少排放了3万立 方公吨的二氧化碳。
大数据的发展背景
《Nature》杂志出版专刊 “Big Data”，分析了大 量快速涌现数据给数据分 析处理带来的巨大挑战。
Value 价值
• 价值密度低。 但庞大的数 据中蕴含着 新知识，以 及极其重要 的预测价值。
大数据的特征
大数据的4V特点：Volume、Velocity、Variety、Value
• 数据体 量巨大。 从TB级别 跃升到PB 级别。
Volume 大量
存储量
据估计，2007年全球存储了大约300EB 的数据，而到2013年，已达1.8ZB，据估计 到2020年，世界上存储的数据预计能达到 35ZB之多，相当于数千亿个大型图书馆存储 的数据。
• 处理速度快。 1秒定律。 • 这一点也是 和传统的数据 挖掘技术有着 本质的不同。
数据更新、 增长速度 快
+
Facebook上每秒有4.1 万张照片上传，淘宝每秒有
数万笔交易。 数据存储、 传输等处 理速度快
大数据的特征
大数据的4V特点：Volume、Velocity、Variety、Value
• 数据体 量巨大。 从TB级别 跃升到PB 级别。
Volume 大量
Velocity 高速
• 处理速度快。 1秒定律。 • 这一点也是 和传统的数据 挖掘技术有着 本质的不同。
• 数据类型繁多。 不仅包括传统的关 系数据类型，也包 括以网页、音视频、 文档等形式存在的 未加工的、半结构 化和非结构化的数 据。
大数据的发展背景
1、智能终端的普及 2、网络带宽的提升 3、电子商务的狂热 4、社交网络流行 5、位置信息 6、云计算的兴起 7、物联网时代的到来
大数据的发展背景
大数据的发展背景
大数据的定义
百度百科对大数据的定义是: 大数据( Big Data) ，或称巨量资 料，指由于容量太大和过于复杂，无法在一定时间内用常规软 件对其内容进行抓取、管理、存储、检索、共享、传输和分析 的数据集。
5月麦肯锡全球研究院 发布了《大数据：创新、 竞争和生产力的下一个 领域》研究报告。
5月，联合国发表名 为《大数据促发展： 挑战与机遇》的政务 白皮书。
2001年
2008年
2011年
2012年
Gartner研究 指出，现代 信息社会的 信息爆炸已 经演变成了 数据爆炸。
《Science》推 出关于数据处理 的专刊“Dealing with data”，讨 论了数据洪流 （Data Deluge） 所带来的挑战。
太字节，记作TB，1TB=1024GB；拍字节，记作PB， 1PB=1024TB；艾字节，记作EB，1EB=1024PB；泽字 节，记作ZB，1ZB=1024EB。。。。
大数据的特征
大数据的4V特点：Volume、Velocity、Variety、Value
广州超算中心
• 数据体 量巨大。 从TB级别 跃升到PB 级别。
报告人：和 力
数据：数据是记录下来可以被鉴 别的符号，包括文字、图片、视 频和声音等。
太字节，记作TB，1TB=1024GB； 拍字节，记作PB，1PB=1024TB； 艾字节，记作EB，1EB=1024PB； 泽字节，记作ZB，1ZB=1024EB。
大数据 ZB 互联网 PB 纸、印刷术 TB
岩画 MB
文字 GB
目录
1
大数据的发展
2
大数据的定义和特征
3
案例分享
4
大数据时代的机遇和挑战
大数据的前世今生
莫里航海图，最早的大数据实践
大航海时代，早 期由于对潮汐、风和 洋流等知识的缺乏， 远洋航海不仅效率低 下，而且充满危险。
பைடு நூலகம்
马修·方丹·莫里曾 是一名优秀的美国海 军军官，在一次偶然 的事故后被迫退役。 随后，他与20个志同 道合的数据处理者一 起，整理了所有旧航 海图上的信息，并绘 制了一张拥有120万 数据点的航海图。
3月奥巴马总统 宣布美国政府投 资逾2亿美元启 动“大数据研究 和发展计划 （BDRDI）”。
大数据的发展背景
随着一系列标志性事件的发生和建立，人们越发感觉到大数据时 代的力量。因此2013年被许多国外媒体和专家称为“大数据元年”。
Agricultural
Industry
Information
Data
Volume 大量
存储量
+
计算量
16000个运算节点 312万个计算核心 整体总计内存1.408PB 12.4PB的硬盘阵列
大数据的特征
大数据的4V特点：Volume、Velocity、Variety、Value
• 数据体 量巨大。 从TB级别 跃升到PB 级别。
Volume 大量
Velocity 高速