互联网+企业大数据解决方案 大数据解决方案案例分析

移动终端
门户
电子邮件
数据分析 人员
办公软件
数据平台
ERP CRM
SCM
MES
PDM
快速、可靠
安全，部署， 管理
灵活体系
第 16 页
大数据解决方案整体架构
数
据
展 现
门户 数据分析 电子邮件 办公软件 大屏幕 电脑桌面 移动终端
数
据
分 析
企业级报告工具 Ad hoc 即时查询 例外分析 非结构化数据探索预测与挖掘
第 20 页
大数据行业应用分析
大数据行业应用分析
契合度
值得关注行 业用户
应有特点与 High 大数据的契 合度及应用 可能性综合 较高
适当关注
第 19 页
Hadoop体系架构
Pig
Hive
MapReduce
HDFS
ChuKwa HBase
ZooKeeper
Pig是一个基于Hadoop的大规模数据 分析平台，Pig为复杂的海量数据并 行计算提供了一个简易的操作和编 程接口。 Chukwa是基于Hadoop的集群监控系 统，由yahoo贡献。 Hive是基于Hadoop的一个工具，提 供完整的sql查询功能，可以将sql 语句转换为MapReduce任务进行运行 。 ZooKeeper：高效的，可扩展的协调 系统,存储和协调关键共享状态。 HBase是一个开源的，基于列存储模 型的分布式数据库。 HDFS是一个分布式文件系统。有着 高容错性的特点，并且设计用来部 署在低廉的硬件上，适合那些有着 超大数据集的应用程序。 MapReduce是一种编程模型，用于大 规模数据集（大于1TB）的并行运算
多样性 Variety
第5页
体量
最新研究报告，到 2020年，全球数据
Volume 使用量预计暴增44 倍，达到35.2ZB。
企业大数据的挑战
提取大数据价值
业务数据的映射
大数据分析
大数据隐私
第6页
大数据和云计算的关系
商业模式驱动
应用需求驱动
➢ 云计算改变了IT,而大数据则改变了业务 ➢ 云计算是大数据的IT基础，大数据须有云计算作为基础架构，才能高效运行 ➢ 通过大数据的业务需求，为云计算的落地找到了实际应用
据IDC的预测，全球大数据市场2015年 将达170亿美元规模，市场发展前景很大。 而Hadoop作为新一代的架构和技术，因为 有利于并行分布处理 “大数据”而备受 重视。
Apache Hadoop 是一个用java语言 实现的软件框架，在由大量计算机组成的 集群中运行海量数据的分布式计算，它可 以让应用程序支持上千个节点和PB级别的 数据。 Hadoop是项目的总称，主要是由 分布式存储（HDFS）、分布式计算 （MapReduce）等组成 。
第7页
ቤተ መጻሕፍቲ ባይዱ
大数据市场分析
1 2011年-2016年中国大数据市场规模
2011年是中国大数据市场元年，一些大数据 产品已经推出，部分行业也有大数据应用案例 的产生。2012年-2016年，将迎来大数据市场的 飞速发展。 2012年中国大数据市场规模达到4.7亿元， 2013年大数据市场将迎来增速为138.3%的飞跃， 到2016年，整个市场规模逼近百亿。
企业在大数据时代，面临文化、战略、组织、流程、信息化、公共 公关系、人才培养方方面面的挑战，同时也迎来重大的转型机遇和 飞跃契机。
第4页
大数据的特性
沙里淘金，海量业 务中寻找价值。
68% 31%
价值 Veracity
速度
1秒定律，实时获取 所需要的数据，为 决策提供依据。
Velocity
大数据包括结构化 数据和非结构化数 据，邮件，Word,图 片，音频信息，视 频信息。
数
据
组
通 用
织的
设
计
数和
据
模 型
获环 取境
实时大数据平台
开放式API和协议
联合访问
内存数据管理
企业数据仓库管理
交易数据管理 社交数据管理
移动数据管理
主数据管理
信息管理和实时数据迁移
无
通线
用 数
数
据据
管管
理 环
理
境
数
据 企业内外部协同（供应商+企业内部+客 外部信息（社交+电商+移
存
户+银行+税务+政府+社区+…)
数据无处不在
任何时间，任何地点，任何事情，任何人?
Anytime，anywhere，anything， anyone?
休息中，随意刷微博 爬山时，记录每一瞬 旅途中，处理公司事 工作时，实时掌握市
间
件
场动态
第2页
大数据时代已经来到
每分钟都有大量数据产生
70TB处 理数据
486笔订 单 （2012 年11月）
储
动+视音频+…)
第 17 页
数据 多样性
HDFS分布 式文件系统
动态模式
Hbase分布 式列存储系
统
Hdoop MapReduce
Big Data Connectors
复杂场 景处理
模式
Sybase ESP事 件流处理器
ETL
EDW
Young hong BI
实时 决策
获取
组织
分析
决策
第 18 页
第 10 页
实时 流数据 运营影响
深度分析 敏捷开发 高度可伸缩性
大数据的解决方案体系
第 11 页
Oracle 解决方案体系
第 12 页
IBM大数据解决方案体系
第 13 页
SAP大数据解决方案体系
第 14 页
大交易数据
大交互数据
企业
OLTP实时 交易处理
OLAP实 时分析处
理
消费者
2 各行业大数据市场规模
政府、互联网、电信、金融的大数据市场规 模较大，四个行业将占据一半市场份额。 由于各个行业都存在大数据应用需求，潜在 市场空间非常可观。
第8页
2012/12 2012/12
企业级大数据战略
大数据基础架构要求
获取 组织 分析
决策
高吞吐量 就地准备 所有数据源和结构
可预测的低延迟 高事务参数 灵活的数据结构
7.3万笔 交易数 （2012 年双11）
1min
1.1GB文 件下载
第3页
14万张 照片上 传
9.5万条 微博发 送
企业大数据势不可挡
Web 3.0时代，社交媒体网站数据出现井喷式激增，截至2013年3月 底，新浪微博注册用户数增长到5.36亿，日均活跃用户数达到4980 万，每日新增微博约2亿。
SD，MM， PP，SD， FICO。。。
大交易融合
SOCIAL MEDIA DATA
OTHER INTERACTION DATA
Machine/Device
Sensors/meters/RFID tags CDR/mobile
SNS 互联网 物联网
供应链
大数据处理
移动终端
第 15 页
大屏幕
电脑桌面