大数据概述ppt课件

图1-3 CPU晶体管数目随时间变化情况
信息科技为大数据时代提供技术支撑
3. 网络带宽不断增加
图1-4 网络带宽随时间变化情况
信息科技为大数据时代提供技术支撑
3. 网络带宽不断增加
图1-4 网络带宽随时间变化情况
数据产生方式的变革促成大数据时代的来临
图1-5 数据产生方式的变革
信息时代三定律
定律名称 内 容
摩尔定律
每平方英寸硅芯片上的晶体管数目每18个月到24个月将增加一 倍。40年来，这个预言每每应验，而且后人又增加一条：“价 格同时下降一半”。 摩尔定律揭示了信息技术进步的速度，铸造数据滋生的利器！ 预测互联网的带宽每6个月增长1倍，其增长速度是摩尔定律预 测的CPU增长速度的3倍。并预言将来上网会免费。 吉尔德定律（又称胜利者浪费定律）：大带宽支撑大数据
1.1 大数据时代
第三次信息化浪潮 根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次 重大变革
表1-1 三次信息化浪潮 信息化浪潮 第一次浪潮 发生时间 1980年前后 标志 个人计算机 解决问题 信息处理 代表企业
Intel、AMD、IBM、苹 果、微软、联想、戴 尔、惠普等
大数据概述教学
重点与难点
• 内容：大数据的概念和应用、大数据与云计算、 物联网的关系。 • 重点：理解大数据的概念、大数据与云计算、物 联网的关系。 • 难点：大数据对科学研究、思维方式和社会发展 的影响。
内容提纲
1.1 大数据时代 1.2 大数据概念 1.3 大数据的影响 1.4 大数据的应用 1.5 大数据关键技术 1.6 大数据计算模式 1.7 大数据产业 1.8 大数据与云计算、物联网的关系
1GB=1024MB=230B
1TB=1024GB=240B 1PB=1024TB=250B 1EB=1024PB=260B 1ZB=1024EB=270B
1部高清电影大约1GB
eBay每天产生的数据量约为50TB Google每月需要处理的数据量约600PB 美国的医疗数据量约为150EB 2013年全球数据量预计4ZB
1.3 大数据的影响
大数据对科学研究、思维方式和社会发展都具有重要而深 远的影响。 ① 在科学研究方面，大数据使得人类科学研究在经历了实 验、理论、计算三种范式之后，迎来了第四种范式—— 数据。 ② 在思维方式方面，大数据具有“全样而非抽样、效率而 非精确、相关而非因果”等三大显著特征，完全颠覆了 传统的思维方式。 ③ 在社会发展方面，大数据决策逐渐成为一种新的决策方 式，大数据应用有力促进了信息技术与各行业的深度融 合，大数据开发大大推动了新技术和新应用的不断涌现。
吉尔德定律
预测网络的价值与网络用户数的平方成正比。也就是说，N个 连结创造出N×N的效益。上网的人数越多，产生的效益越多。 麦特卡尔定律 麦特卡夫定律：大数据价值是用户创造的
大数据的发展历程
表1-2 大数据发展的三个阶段 阶段 第一阶段： 萌芽期 时间 内容
随着数据挖掘理论和数据库技术的逐步成熟，一批商 上世纪90年代 业智能工具和知识管理技术开始被应用，如数据仓库 至本世纪初 、专家系统、知识管理系统等。 Web2.0应用迅猛发展，非结构化数据大量产生，传统 处理方法难以应对，带动了大数据技术的快速突破， 本世纪前十年 大数据解决方案逐渐走向成熟，形成了并行计算与分 布式系统两大核心技术，谷歌的GFS和MapReduce等发 数据技术受到追捧，Hadoop平台开始大行其道 大数据应用渗透各行各业，数据驱动决策，信息社会 智能化程度大幅提高
YB(Yottabyte,尧字节)
1YB=1024ZB=280B
2029年全球数据量预计达1YB
2、数据类型繁多(Variety) 大数据是由结构化和非结构化 数据组成的 – 10%的结构化数据，存储在 数据库中 – 90%的非结构化数据，它们 与人类信息密切相关 非结构化数据类型多样 – 邮件、视频、微博 – 位置信息、链接信息 – 手机呼叫、网页点击 – “长微博”
雅虎、谷歌、阿里巴 巴、百度、腾讯等 将涌现出一批新的市 场标杆企业
第二次浪潮
1995年前后
互联网 物联网、云计 算和大数据
信息传输
第三次浪潮
2010年前后
信息爆炸
信息科技为大数据时代提供技术支撑
1. 存储设备容量不断增加
图1-1 存储价格随时间变化情况
信息科技为大数据时代提供技术支撑
2. CPU处理能力大幅提升
第二阶段： 成熟期
第三阶段： 大规模 应用期
2010年以后
1.2 大数据概念
大数据的定义 • 一般意义上，大数据是指无法在可容忍的时间内用传统IT 技术和软硬件工具对其进行感知、获取、管理、处理和服 务的数据集合。 • 泛指一个时代、一项技术、一种文化、一个挑战。（通常 也是大数据集、大数据技术与大数据应用的总称）
存储单位
bit Byte KB(Kilobyte,千字节) MB(Megabyte,兆字节)
换算关系
二进制位 1B=8bit 1KB=1024B=210B 1MB=1024KB=220B
含义与实例
1张照片约2MB
GB(Gigabyte,吉字节)
TB(Trillonbyte,太字节) PB(Petabyte,拍字节) EB(Exabyte,艾字节) ZB(Zettabyte,泽字节)
大数据的特点:
源自文库 1、数据量大(Volume)
根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说 每两年就增长一倍（大数据摩尔定律） 人类在最近两年产生的数据量相当于之前产生的全部数据量 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据 量将增长近30倍
3、处理速度快(Velocity) 从数据的生成到消耗，时间窗口非常小，可用于生成决策 的时间非常少 1秒定律：这一点也是和传统的数据挖掘技术有着本质的 不同
4、价值巨大但密度低(Value) 以公安部门视频追踪为例，连续不间断监控过程中，可能 有用的数据仅仅有一两秒，但是具有很高的价值。 构建大数据平台，投入大，产出可能会比投入低许多。