行业大数据技术架构介绍(PPT 24张)

•
Fra Baidu bibliotek
大数据技术：
• • • • 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等
• •
解决方案：
什么是hadoop
• 开源Apache 项目,灵感来源于Google的 MapReduce白皮书和Google文件系(GFS), Yahoo完成了绝大部分初始设计和开发 • Hadoop 核心组件包括:
核心 • 非结构化海量信息的智能化处理：自然语 言理解、多媒体内容理解、机器学习等
*
挖掘内部需求
经过大数据改造的IT不再是一个冷冰冰的系统，而变成了推动业务发展，挖掘 客户内心需求的真正推动剂；大数据将催生更多的应用领域需求。
大数据时代的企业发展
平台化企业，需要大数据架构的支撑
数据源
内部结构化数据
专题分析
营销/关怀活动自 动化管理
其他数据集
Hadoop（内外部非结构化数据）
信息可视化工具 规则与标准制定 用户信息归属规则确定 用户数据使用权限与流程 确定 用户数据质量标准确定
外部其他渠道
网络日志 分析
内容分 析
交互数据 分析
Hadoop/GPFS Cluster
嵌入运营系统的 大数据应用
网络/应用 日志
多样性Variety
价值密度Value
大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智 能(咨询、报告等）
实时分析而非批量式分析
速度Velocity
数据输入、处理与丢弃 立竿见影而非事后见效
*
1、密不可分的大数据与云计算
大数据是落地的云
商业模式驱动
应用需求驱动
消费 行业
交通 环保
电子 商务 气象
*
5、管理大数据“易”理解大数 据“难”
• 虽然大数据是一个重大问题，真正的问题 是让大数据更有意义 • 目前大数据管理多从架构和并行等方面考
虑，解决高并发数据存取的性能要求及数
据存储的横向扩展，但对非结构化数据的 内容理解仍缺乏实质性的突破和进展，这
是实现大数据资源化、知识化、普适化的
个体分 析 MapReduce & Analytics
CRM SCM MES PLM
更高一层数据层面整合企业内外 部
大数据的未来和机遇
未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。
数据的再利用： 由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他 们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的 位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它 被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。 大数据价值链的3大构成：数据本身、技能与思维 谷歌公司三者兼具，在刚开始收集数据的时候就已经有多次使用数据的想法。比 方说，它的街景采集车手机全球定位系统数据不光是为了创建谷歌地图，也是为 了制成全自动汽车以及谷歌眼镜等与实景交汇的产品。 传统行业最终都会转变为大数据行业，无论 是金融服务也、医药还是制造业。
*
2、大数据不仅仅是“大”
多大？ 至少PB 级
比大更重要的是 数据的复杂性， 有时甚至大数据 中的小数据如一 条微博就具有颠 覆性的价值
*
• 通过用户行为分析实现精准营销是大数据的典型 应用，但是大数据在各行各业特别是公共服务领 域具有广阔的应用前景
金融 服务 食品 安全 医疗 卫生 军事
4、大数据的应用不仅仅是精准 营销
清洗整合
用户数据清洗 整合规则确定 ETL DQ
EDW（内外部结构化数据）
数据应用仓库
数据应用/服务
商业智能 管理驾驶舱
用户基本信息 数据库 用户购买记录 数据库 用户维修记录 数据库
用户在线浏览 据库 用户安装配送 数据库 。。。。。
生产、销售、服 务、售后数据
业务报表
内部非结构化数据 社会化媒体数 据 数据清洗、整合、转换开发 清洗整合规则自动调度
行业大数据部署思路浅析
大数据的特点
理解大数据 相关技术与应用
• 什么是大数据？ 海量数据本身+处理方法
大数据的4V特征
非结构化数据的超大规模和增长
体量Volume
总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍 大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义
《大数据时代》
*
大数据相关技术
分析技术：
• • • • 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域 占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真
存储
• • 结构化数据： 海量数据的查询、统计、更新等操作效 率低 非结构化数据 图片、视频、word、pdf、ppt等文件存 储 不利于检索、查询和存储 半结构化数据 转换为结构化存储 按照非结构化存储 Hadoop（MapReduce技术） 流计算（twitter的storm和yahoo！的S4）
云计算本身也是大数据的一种业务模式
•云计算的模式是业务模式，本质是数据处理技术。 •数据是资产，云为数据资产提供存储、访问和计算。 •当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活 数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务， 是大数据核心议题，也是云计算的最终方向。
-分布式文件系统 -Map/Reduce –分布式计算
• 用Java编写 • 运行平台:
•Linux, Mac OS/X, Solaris, Windows •普通的X86硬件平台
为什么hadoop很重要
• 非结构化数据暴增:
–估计未来5年，企业的数据将增长650%，其中80% 都是非结构化数据 –比如FACEBOOK每天收集100TB的数据，Twitter会有 每天产生3500亿的tweets
• 非结构化的数据同样蕴藏巨大价值 • 需要新方法利用所有数据进行业务分析
– Apache Hadoop作为一个分析存储大量数据的关键 数据平台出现
hadoop与大数据
• Hadoop是致力于“大数据”处理的最重要 平台之一