大数据概念技术与应用.pptx
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据技术将被设计用于 在成本可承受 （economically）的条件 下，通过非常快速 （velocity）的采集、发现 和分析，从大量化 （volumes）、多类别 （variety）的数据中提取 价值（value），将是IT 领 域新一代的技术与架构
一些相关技术
➢ 分析技术：
➢ 存储
• 数据处理：自然语言处理技术
海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。
大数据要解决的问题
Streams Real time Near time
Batch
Velocity 快速的数据流转
Value
Structured
Unstructured
TB
Semi-structured
PB
All the above
EB
Variety 多样的数据类型
巨大的数据价值
Volume 海量的数据规模
二
相关技术与应用
相关技术
相关技术
1
大数据时代的背景相关技术
大数据怎么用 2
云计算与大数据
3
大数据领的应用
什么是Big Data技术
企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从 这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合
Big Data名词由来
2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念
20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data
大数据时代到来
新的时代，人们从信息的被动接受者变成了主动创造者
全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年… 每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年… 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16
大数据 Big Data
大数据引领我们走向数据智能化时代
目录
大数据的定义理解 相关技术与应用
机遇与挑战
一
大数据的定义理解
大数据的定义理解
1
大数据时代的背景 Dada大
什么是大数据
2
大数据的“4V”特征
3
大数据的构成
大数据时代的背景
“大数据”的诞生：
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的 程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学 和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域 中。
• 半结构化数据
转换为结构化存储
按照非结构化存储
➢ 大数据技术：
➢ 解决方案：
• 数据采集：ETL工具 • 数据存取：关系数据库；NoSQL；SQL等 • 基础架构支持：云存储；分布式文件系统等 • 计算结果展现：云计算；标签云；关系图等
• Hadoop（MapReduce技术） • 流计算（twitter的storm和yahoo！的S4）
年…
每天亚马逊上将产生 6.3 百万笔订单… 每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB… Google 上每天需要处理24PB 的数据…
大数据时代到来
数据量增加
数据结构日趋复杂
大量新数据源的出现则导致了非结构化、半结构化数据 爆发式的增长
体量Volume 多样性Variety
非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍
大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义
价值密度Value
大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智 能(咨询、报告等）
根据IDC 监测，人类产生的数据量正在呈指数级增
长，大约每两年翻一番，这个速度在2020 年之前会
继续保持下去。这意味着人Biblioteka Baidu在最近两年产生的数
据量相当于之前产生的全部数据量
TB
PB
EB
ZB
▪ 这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴 ▪ 大数据时代正在来临..
大数据的4V特征
实时分析而非批量式分析
“大量速化(度VoVluemloe)c、it多y 样化(Va数立rie据竿ty输见)、入影快、而速处非化理事(V与后elo丢见ci弃效ty)、价值密度低（Value）”就是
“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。
大数据的构成
大数据包括： 交易数据和交互数据 集在内的所有数据集
• 结构化数据：
• 统计和分析：A/B test; top N排行榜；地域占比； 海量数据的查询、统计、更新等操作效率低
文本情感分析
• 非结构化数据
• 数据挖掘：关联规则分析；分类；聚类
图片、视频、word、pdf、ppt等文件存储
• 模型预测：预测模型；机器学习；建模仿真
不利于检索、查询和存储
…
facebook 社交网络
电子商务
淘宝、 ebuy
…
…
微博、 Apps
移动互联
21世纪是数据信息大发展的时 代，移动互联、社交网络、电子商务 等极大拓展了互联网的边界和应用范 围，各种数据正在迅速膨胀并变大。
互联网（社交、搜索、电商）、移动 互联网（微博）、物联网（传感器， 智慧地球）、车联网、GPS、医学影 像、安全监控、金融（银行、股市、 保险）、电信（通话、短信）都在疯 狂产生着数据。
大数据 = 海量数据 + 复杂类型的数据
海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据，是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据，我们能了解过去 发生了什么。
海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录CDR、设备和传 感器信息、GPS和地理定位映射数据、通过管理文件传 输Manage File Transfer协议传送的海量图像文件、 Web文本和点击流数据、科学信息、电子邮件等等。可 以告诉我们未来会发生什么。
一些相关技术
➢ 分析技术：
➢ 存储
• 数据处理：自然语言处理技术
海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。
大数据要解决的问题
Streams Real time Near time
Batch
Velocity 快速的数据流转
Value
Structured
Unstructured
TB
Semi-structured
PB
All the above
EB
Variety 多样的数据类型
巨大的数据价值
Volume 海量的数据规模
二
相关技术与应用
相关技术
相关技术
1
大数据时代的背景相关技术
大数据怎么用 2
云计算与大数据
3
大数据领的应用
什么是Big Data技术
企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从 这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合
Big Data名词由来
2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念
20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data
大数据时代到来
新的时代，人们从信息的被动接受者变成了主动创造者
全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年… 每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年… 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16
大数据 Big Data
大数据引领我们走向数据智能化时代
目录
大数据的定义理解 相关技术与应用
机遇与挑战
一
大数据的定义理解
大数据的定义理解
1
大数据时代的背景 Dada大
什么是大数据
2
大数据的“4V”特征
3
大数据的构成
大数据时代的背景
“大数据”的诞生：
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的 程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学 和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域 中。
• 半结构化数据
转换为结构化存储
按照非结构化存储
➢ 大数据技术：
➢ 解决方案：
• 数据采集：ETL工具 • 数据存取：关系数据库；NoSQL；SQL等 • 基础架构支持：云存储；分布式文件系统等 • 计算结果展现：云计算；标签云；关系图等
• Hadoop（MapReduce技术） • 流计算（twitter的storm和yahoo！的S4）
年…
每天亚马逊上将产生 6.3 百万笔订单… 每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB… Google 上每天需要处理24PB 的数据…
大数据时代到来
数据量增加
数据结构日趋复杂
大量新数据源的出现则导致了非结构化、半结构化数据 爆发式的增长
体量Volume 多样性Variety
非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍
大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义
价值密度Value
大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智 能(咨询、报告等）
根据IDC 监测，人类产生的数据量正在呈指数级增
长，大约每两年翻一番，这个速度在2020 年之前会
继续保持下去。这意味着人Biblioteka Baidu在最近两年产生的数
据量相当于之前产生的全部数据量
TB
PB
EB
ZB
▪ 这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴 ▪ 大数据时代正在来临..
大数据的4V特征
实时分析而非批量式分析
“大量速化(度VoVluemloe)c、it多y 样化(Va数立rie据竿ty输见)、入影快、而速处非化理事(V与后elo丢见ci弃效ty)、价值密度低（Value）”就是
“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。
大数据的构成
大数据包括： 交易数据和交互数据 集在内的所有数据集
• 结构化数据：
• 统计和分析：A/B test; top N排行榜；地域占比； 海量数据的查询、统计、更新等操作效率低
文本情感分析
• 非结构化数据
• 数据挖掘：关联规则分析；分类；聚类
图片、视频、word、pdf、ppt等文件存储
• 模型预测：预测模型；机器学习；建模仿真
不利于检索、查询和存储
…
facebook 社交网络
电子商务
淘宝、 ebuy
…
…
微博、 Apps
移动互联
21世纪是数据信息大发展的时 代，移动互联、社交网络、电子商务 等极大拓展了互联网的边界和应用范 围，各种数据正在迅速膨胀并变大。
互联网（社交、搜索、电商）、移动 互联网（微博）、物联网（传感器， 智慧地球）、车联网、GPS、医学影 像、安全监控、金融（银行、股市、 保险）、电信（通话、短信）都在疯 狂产生着数据。
大数据 = 海量数据 + 复杂类型的数据
海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据，是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据，我们能了解过去 发生了什么。
海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录CDR、设备和传 感器信息、GPS和地理定位映射数据、通过管理文件传 输Manage File Transfer协议传送的海量图像文件、 Web文本和点击流数据、科学信息、电子邮件等等。可 以告诉我们未来会发生什么。