大数据与云数据管理

PPT文档演模板
大数据与云数据管理
大数据的特征
••1 容量大
美国国会图书馆存档信息量：约 80TB
科学计 算
新墨西哥州的天文望远镜每年 产生80TB的图像信息
生物信 息
第一个中国人的全基因组图谱 ，1177亿碱基对
▪ 来源：2008年9月《科学》(Science)杂志发 表了一篇文章“Big Data: Science in the Petabyte Era”， 从此“大数据”这个词开 始被广泛传播。
PPT文档演模板
大数据与云数据管理
什么是大数据？
▪ 没有统一定义，因为“大”是一个相对“小” 而言概念。
▪ 与大数据(Big Data)相类似的词汇：
Ø 数据量达到PB、EB或ZB级别。
•* from {Big Data} @wikipedia.
PPT文档演模板
大数据与云数据管理
难道这就是大数据？
PPT文档演模板
大数据与云数据管理
难道这就是大数据？
PPT文档演模板
大数据与云数据管理
大数据产生的背景
§数据量 3个月翻一番 §通信速度 6个月翻一番 §存储容量 9个月翻一番 §集成电路 18个月翻一番 § 现在网络环境下每18个月产生的数据量相
▪ 大数据为“世界警察”的“大拳头”装上了“ 大眼睛” 、 “大耳朵”和“大脑袋” ！
PPT文档演模板
大数据与云数据管理
目前IT领域最引人关注的三个热词是什么？
▪ 大数据 ▪ 云计算 ▪ 物联网
▪ 其他：移动互联网，社交网，XXX2.0/3.0/…
PPT文档演模板
大数据与云数据管理
什么是大数据？
的数据
▪ 显然，争论它们中哪一个更 大没有什么意义。
PPT文档演模板
大数据与云数据管理
什么是大数据？
§ 一个普遍接受的定义
Ø 大数据是指无法在可容忍的时间内用传统方 法或工具对其进行抓取、管理和处理的数据 集合。
Ø 数据集组成非常巨大和复杂，以至于传统数 据库管理工具处理起来面临很多问题。
¡获取、存储、检索、共享、分析和可视化。
PPT文档演模板
大数据与云数据管理
大数据从何而来？—— 机器
§ 存储
Ø 软件、系统文件、基础数据 Ø 元数据(如索引) Ø 冗余、备份 Ø…
§ 处理
Ø 原始数据的自动加工：
¡ 压缩、聚类、规则适用、可视化、智能衍生…
§ 传播
Ø 负载迁移、分布式共享( 如P2P)…
PPT文档演模板
大数据与云数据管理
➢ Large Scale 大规模, ➢ Very Large 超大规模, ➢ Massive 海量 ➢…
PPT文档演模板
大数据与云数据管理
什么是大数据？
▪ 从历史发展的视角看这几个 词：
▪ Very Large表示GB级别的数据 ▪ Massive表示TB级的数据 ▪ Big Data表示PB级别及其以上
•如果你连这位老兄都不认识，那你也太
OUT了！
PPT文档演模板
大数据与云数据管理
斯诺登事件带给我们的最大震动是什么？
▪ 不在于他暴露了美国政府正在监听全世界这件 事情。因为，这早已是公开的秘密，对“世界 警察”而言，这没有什么值得大惊小怪的!
▪ 而在于他使我们了解到美国政府已经具备了获 取、存储、管理、分析和使用“大数据”的超 强能力。这使美国政府获得了相对他国政府更 明显的优势！
大数据与云数据管理
PPT文档演模板
2020/11/15
大数据与云数据管理
有关大数据的两个问题
§ 问题1：你知道什么是“大数据”吗？ § 如果你不知道，那么你很可能OUT了！
§问题2 ：你听说过“大数据”吗？ § 如果你连“大数据”听都没听过，那么你
绝对OUT了！
PPT文档演模板
大数据与云数据管理
你认识这位老兄吗？
• 资源三号卫星在运行前两个月的时间内，产生37TB的原始影像数 据。这是后续互联网地图的基础。
➢ 天文物理、气象、医学等专业领域数据…
PPTFra Baidu bibliotek档演模板
大数据与云数据管理
大数据向何而去？
§ 服务
Ø 如果不能提供服务，大数据就没有意义。
§ 面向人、机、物的服务
Ø 物理世界：需要足够的采样数据 Ø 机器：需要数据具有关联度，能够从中分析出有用信
• 无线宽频信号采样、太湖蓝藻检测、PM 2.5…
➢ 视频监控
• 目前1路720P高清视频摄像数据每小时视频录像3GB左右。按一个 月保存时间要求计算，3GB/小时×24小时×30天×1路=2.16T。 一个拥有500路高清视频摄像，需要保存1个月的监控系统所需的 最少存储容量是1PB。
➢ 对地观测
息，非结构化半结构化结构化 Ø 人：能够直接使用数据的表现形式，进行生产和决策
PPT文档演模板
大数据与云数据管理
大数据为什么重要？
▪2012年3月29日，奥巴马政府宣布投资2亿 美元启动“大数据研究和发展计划”，美国 政府已把“大数据”上升到了国家战略的层 面。 ▪中国政府和业界对“大数据” 高度重视并 在大力推进。据报道，今年两会上已有委员 提出将大数据列入国家发展战略。
§ Amazon
Ø 目前EC2有约450000台服务器(存储+处理)。
• *数据来自Facebook于2012年4月提交的监管文件。 • **数据来源于亚马逊2012年4月的官方介绍材料。
PPT文档演模板
大数据与云数据管理
大数据有多大？
§ 多，实在是多！ § 繁，实在是繁！ § 大，实在是大！
§No data like more data! § 数据永远也不嫌多！
当于过去几千年的数据量之和
§数据之多，数据量之大，前所未有
PPT文档演模板
大数据与云数据管理
大数据有多大？—— 以互联网为例
§ Facebook
Ø 截止2012年4月，每日评论已达32亿条；每天新上传照 片近3亿张。
Ø 每周新增图片容量约60TB，图片总量约2600亿张，已 超过20PB。
Ø 平均每秒3500次写操作，读操作的峰值可以达到每秒 百万次。
大数据从何而来？—— 人
§ 内容提供商
Ø 新闻报道、时事评论、广告宣传… Ø 音频、视频、微视频…
§ 职业撰稿人
Ø 网络作家、写手、推手、水军…
§ 普通大众
Ø 博文、图片、音乐、视频…
§ SNS网络传播
Ø 评论、转发…
PPT文档演模板
大数据与云数据管理
大数据从何而来？—— 物理世界
§ 无所不在的感知数据 ➢ 传感节点(压力、温度、湿度、声光电…)