大数据了解知识

运算系统调动数据库的数据，数据的移动。
大数据系统工作逻辑：
运算系统直接部署至数据处，数据仅架构内移动。
传统数据系统工作原理
客户 访
问 客户 请
求
客户
互
联
客户
网
客户
客户
路
负
由
载
均
器
衡结
果
反
馈
Big Data
大数据原理和 构成
数据库集群
数据
调用
DB
服
请求
务
器
DB
集
群
数据
移动
DB
DB
大数据系统核心组件
6000万用户登录/天 20亿次 页面访问/天 每天1.2亿次网站访问 响应时间小于100毫秒
由于输入速度加快，所以要求输出速度也要加快 大数据的惊人不止是在数量上，同时数据还是巨量具有动态分析价值的数据。 访问响应时间的加快，数据库读写速度的加快，对电商企业来说就等于多成交。 对于很多情况下，动态的数据价值远大于静态数据，比如气象预测，灾难预测，快消行业等。
Big Data 什么是大数据
100万 G 10亿 G 1万亿 G
2100台
215万台
22亿台
15寸电脑排成行可以往返一次月球
500G硬盘电脑
Volume 海量
Big Data 什么是大数据
1 PB = 1024TB = 1,048,576 GB 1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776 GB
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨
大到无由多法个透软件过、硬目件前部分主组流成的软一件个数工据具，系在统合理时间内达到撷取、管理、
处理、并整理成为帮助企业经营决策更积极目的的资讯
是关于数据的运输和处理，以及最后有效使用的体系
有别于传统企业数据中心，用来应对现代海量数据化的生活，商业环境。
大数据 VS 物联网
物联网是大数据的流程中的第一层
采集层
物联网网关以上就进入了大数据工作范畴。 局部域内的物联网应用解决方案等同于这个域内的大数据系统
Big Data 什么是大数据
大数据原理和构成
大数据的核心工作思路
Big Data
大数据原理和 构成
大数据系统颠覆了传统数据中心的工作逻辑
传统数据系统工作逻辑：
Hadoop 的升级
Big Data
大数据原理和 构成
内存计算技术 真正的海量数据瞬间分析
内存数据库 实现任何地点、任何时候、可以查看实时的动态数据，任何时候都可以知道正在发
生着什么。并且做出应对。
Variety 多样
数据：
结构化数据 指关系型数据表
Big Data 什么是大数据
半结构化数据
非结构化数据
指关系结构与内容混合 在一起的数据类型
wenku.baidu.com
文档、视频、音频、图片
企业数据
20% 结构化 80非结构化
2012年互联网产生的数据
25% 结构化 75非结构化
50%-70% 源于人与 人的互动
Veracity 准确
Hadoop 软件框架
Hadoop核心 子项目
Mapreduce
HBase
Big Data
大数据原理和 构成
HDFS
Hadoop系统工作原理
Big Data
大数据原理和 构成
Hadoop系统构架
Big Data
大数据原理和 构成
存储与数据库的比较
传统数据中心
RAID出现坏盘后，重建阵 列需要十多个小时，这在大
Big Data 什么是大数据
基础数据的真实准确性，才能保证结果的有效性。
准确源自于对全部数据的处理分析
大数据的核心思想之一
大数据 VS 云计算
Big Data 什么是大数据
两者都是生产方式改变为主，生产资料改变为辅，提高生产效率。
云计算是将计算和存储，由本地转移到了云端。 大数据则是提供了一套新的计算和存储工作原理。 二者有本质的不同，但却是一个完整的体系。大数据可以是云计算的心脏，云计算是大数 据服务的通路。
非数字信息 2%
44%
35 ZB
商业数据现状
Big Data 什么是大数据
Twitter
2007年 5000条微博更新/天 2008年 30万条微博更新/天 2009年 250万条微博更新/天 2010年 3500万条微博更新/天 2011年 2亿条微博更新/天 2013年 4亿条微博更新/天
2013年 上传时长12年的视频/天
Web 2.0时代的解决方案
大数据的目的
原始数据的处理和分类存储 将存储的数据调取并分析 最终提供决策依据
归类数据类型 有效分析组合
大数据的特点
海量
4V
多样
Big Data 什么是大数据
高速 精确
存储单位
1 KB = 1024字节 1 MB = 1024 KB 1 GB = 1024MB 1 TB = 1024GB 1 PB = 1024TB = 1,048,576 GB 1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776 GB
数据时代是无法接受的
JOBD RAID
平
某已分配任务出错，该 行
计算必须重新执行
计
算
节点相对固定，扩展时 系
会造成无法访问
统
SQL
存储系统 容错性 扩展性
数据类型
Map Reduce
Big Data
大数据原理和 构成
Hadoop
HDFS
节点灵活调整 在任务执行中任何时候 可任意添加节点
NoSQL
SAP HANA
大数据
什么是大数据 大数据原理和构成 大数据应用 大数据价值
Big Data 目录
什么是大数据
机器学习 可视化
数据流
AMD
数据
预测
Big Data 什么是大数据
数据库
运算节点
Big Data 什么是大数据
一个执行体系 不是一个行业，而是一种新的数据处理方法
与云计算一样 都是一种新的生产组织形式
Intel：人类文明开始到2003年 地球共产生了5EB数据. 2012年全年，全球产生数据2.7ZB 是 2003年以前的500倍 2015年，全球估计产生数据8ZB，等于1800万个美国国会图书馆
2000年 数字信息占全球数据量的25% 75%都在报纸 胶片 磁带等媒介
2013年 数字信息 98%
2013年 用户分享25亿条信息/天
我国一个一线城市的健康档案数据 5PB/年 我国一个智慧城市的数据 800 PB/年
一个单数据表几亿-几百亿条 记录 下线商品14亿件，在线商品8 亿件 淘宝数据库存了20PB数据 平均每月增加1.5PB
智能移动终端设备的巨量增长
Velocity 高速
Big Data 什么是大数据