主题一：解析大数据

中国企业级数据中心数据存储量正在快速增长， 非结构化数据呈指数倍增长，如果能有效的处理 和分析，非结构数据中也富含了对企业非常有价 值的信息。
33
Biblioteka Baidu
企业大数据应用需求分析
1 目前企业的数据系统架构存在问题
2 目前企业数据分析处理面临的问题
3 各行业企业对大数据的关注程度
34
七、部分案例
大数据 挑战
特点：简单资源访问、资源按需分配及更好利用、节约 成本。 云平台：存储型、计算型、综合型。
——商业平台：AWS亚马逊、Google、MS ——开源平台：Hadoop、OpenNebula、
Nimbus、OpenStack
云计算特点
➢ 超大规模：服务器群 ➢ 虚拟化：可以看作是一片用于计算的云 ➢ 高可靠性：冗余副本、负载均衡 ➢ 通用性：支撑千变万化的实际应用 ➢ 高可扩展性：灵活、动态伸缩 ➢ 按需服务：按需购买 ➢ 极其廉价：不再需要一次性购买超级电脑 ➢ 安全： 摆脱数据丢失、病毒入侵 ➢ 方便：支持多终端、数据共享
解析大数据
一.大数据及分析应用
数据量快速增长
我们即将进入艾字节 时代，5个艾字节 （Exabyte）相当于 3.7万个国会图书馆 的信息量。2006全年， 全世界就生产了160 艾字节的数字数据， 是已有全部书籍信息 量的300万倍。
[B--KB—MB—GB—TB— PB—EB-ZB—YB—BB (1KB=2的10次方B)]
二、大数据的定义与发展历程
20世纪90年代提出
大数据是指无法在一定时间内用传统数据库工具对其内容 进行抓取、管理和处理的数据集合——麦肯锡
大数据是需要新处理模式才能具有更强的决策力、洞察发 现力和流程优化能力的海量、高增长率和多样化的信息资 产——Gartner
“4V”就是“大数据”的显著特征，或者说，只有具备这 些特点的数据，才是大数据。
发卡量增长迅速：2008年发卡约500万张，2010年增加了一倍。 业务数据增长迅速：随着业务的迅猛增长，业务数据规模也线性膨 胀。
数据存储、系统维护、数据有效利用都面临巨大压力。
需求
可扩展、高性能的数据仓库解决方案 能够实现业务数据的集中和整合；可以支持多样化和复杂化数据分析 提升信用卡中心的业务效率；通过从数据仓库提取数据，改进和推动 有针对性的营销活动。
四、云计算定义
云计算——方便您的生活
➢ 数据中心（多终端同步-透明）
PC / 笔记本 客户端
浏览器
PDA / 手机 / 相机
云
电子相册
电视
➢ 运算中心
拍出的相片立即编辑修改
在线编写文档、报告
随时随地写日志
随时随地的身体健康状况监控
云计算
云计算的核心模式：大规模分布式计算，将计算、存储 、网络等资源以服务的模式提供给多用户。
云计算演进
云计算的演进
Cloud Computing
SaaS
Utility Computing
Grid Computing
网格计算
利用并行计算 解决大型问题
公用计算
将计算资源 做为计量服 务
云计算
软件即服
基于互联网的 相关服务的增
务（Software
as a Service ） 基于网络预定 应用程序 于2001年推出
一、数据的发展
（一）小数据 1、古代分配问题、庞涓之死 2、世界上对数据的使用
（二）大数据 1、bit-B-KB-M-G-T-P-E-Z-Y-D-N…
2、百度首页导航每天就要从 超过1.5PB的数据中进行数据挖掘
“互联网+”的新生产要素构成：数据资源
二、大数据的定义与发展历程
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积 累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息 ，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造了 “大数据”概念。如今，这个概念几乎应用到了所有人类智力与发展的领 域中。
Amazon AWS云服务、商品推荐引擎
Facebook 广告推广平台
Baidu
智能化应用推荐系统
CMCC
好友智能推荐引擎
Alibaba 公有云服务、小额贷款金融服务
六中、国中企国业企大业数大据数现据状现状
中国500强企业日数据生成量
企业非结构化数据越来越多
中国500强企业数据中心数据年增长率
结构化数据 半结构化数据 非结构化数据
五、行业大数据解决方案
IT厂商
大数据产品
Oracle
服务器：Exalogic、Exadata、Exalytics
EMC
Isilon OneFS平台
Intel
商业Hadoop平台
IBM
InfoSphere大数据分析平台、Netezza一体机分析工具
SAP
HANA分析应用软件、BO预测分析
MS
SQL Server数据仓库
数据增长的来源增多
大量的非结构化数据
大数据有价值吗？
大数据的价值
获取有价值的数据
大数据经典案例
✓沃尔玛“啤酒加尿布”经典案例 ✓Google成功预测SAS病毒 ✓奥巴马大选连任成功（乔治.克鲁尼） ✓微软大数据成功预测奥斯卡 ✓美国明尼苏达州一家塔吉特百货公司预测
高中生怀孕 ✓淘宝网数据预测胸部最大的是新疆妹子
加、使用和交 付模式。
下一代英特网 计算，下一代 数据中心
• 云计算技术体系结构
云计算的实现机制 云计算实现机制
• 云体系 ——云平台：构造云存储和云计算体系
云平台
云安全
云网络
云服务
云终端
大数据与云计算
大数据与云计算
云计算的模式是业务模式，本质是数据处理技术。 数据是资产，云为数据资产提供存储、访问和计算 盘活资产，使其为国家治理、企业决策、个人生活服务， 是大数据核心议题，也是云计算的最终核心。
大数据的构成
大数据，本质上是经济社会的 离散化解构与全息化重构， 表现为行业间海量数据的跨 界融合，行业内海量数据的 深度挖掘。
三、大数据技术分类
大数据技术分类 基础架构支持 数据采集 数据存储
数据计算技术 数据展示与交互
大数据技术与工具 云计算平台 云存储设备及技术 虚拟化技术 网络技术 资源监控技术 数据总线 ETL工具 分布式文件系统 关系型数据库 NoSQL技术 关系型与非关系型数据库融合 内存数据库 数据查询、统计与分析 数据预测与挖掘 图谱处理 BI商业智能 图形与报表 可视化工具 增强现实技术 可穿戴设备