企业大数据定制集成解决方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
企业大数据定制集成解决方案
大数据
1
技术发展趋势
当今挑战
2
3
联想大数据 解决方案
2
全球市场规模
大数据服务类收入
包括大数据在线应用、专 业咨询服务、技术支持服 务等。服务类收入在大数 据市场中占比约44%。
Services ＄7,393 40% Hardwre ＄7，149 40% Software ＄4,117 22%
系统
安全 自有的, 云化, 当作服务
存储
8
大数据优化部署方案
易用的硬件部署
自动部署OS ready for Hadoop 多元化的基础平台软件选择 贴合应用场景的优化
BigData Foundation
Management Node
NameNode ResourceManager HMaster
基础设施对大 数据的关键性 被忽略
被忽略的节点设计与 硬件接 口优化 最后一公里的集成与优化的落 地 机器学习实践意义的 与云计算的结合
1
2
6
建设主张: 应用导向的定制化统一集成
策略和分析服务 了解业务 需求与目 标
咨询服务
风控
商业应用 加速达到商业价值 洞察商业问题的背 景
AI
4
技术趋势
SQL on Hadoop
混合架构逐渐消失
向 Hadoop架构统一(>5TB) Hadoop: 调度与计算框架分离, 流计算与批处理走向统一
云计算与大数据的融合
多container集群快速部署 ( Hadoop as service )
On SDD Computing
固态盘替代内存做为缓存, 取代In-memory computing
大数据与分析基本设施
大数据需要一个新的模式 : 应用导向的定制化统一集成
所有数据
Real-time Data Processing & Analytics
深入分析 数据区 Deep Analytics data zone 企业级数据仓库 和数据集市区 EDW and data mart zone
实时数据处理与分析
新版/增强版 应用
ຫໍສະໝຸດ Baidu
操作数据区 Operational data zone
着陆，勘探和归 档数据区 Landing, Exploration and Archive data zone
我学到了么， 什么是最好的选择? 认识过程
Information Integration & Governance
信息集成与管配
大数据应用在各行各业的发展呈现“阶梯式”格局 : 互联网行业是大数据应用的领 大数据应用在各行各业的发展呈现“阶梯式”格局 : 互联网行业是大数据应用的领跑 跑者，金融、零售、电信、公共管理、医疗卫生等领域尝试当中 者，金融、零售、电信、公共管理、医疗卫生等领域尝试当中 电商 实时竞价广告 & 精准营销 . 提高服务 电商 实时竞价广告 DSP DSP & 精准营销 . 提高服务 金融 互联网金融 & 行为预测, 风控, 实时授信, 信贷 金融 互联网金融 & 行为预测, 风控, 实时授信, 信贷 政府 政府监管 & 征信 税务 统计 舆情 犯罪预防 交警卡口 政府 政府监管 & 征信 税务 统计 舆情 犯罪预防 交警卡口
管理节点的配置和数量是系 统性能，可管理性和可用性 的关键 边缘节点定义影响整体系统 的性能和数据输入 如果不考虑这些因素可能会 导致主要瓶颈和长期增长潜 在的问题
BigData Foundation Appliance
Data Node
Data Node
BigData Platform
2013年全球大数据市场总体规模为186亿美元，2014年285亿美元，2015 年将达到384亿美元,（数据来源：Wikibon 口径：含大数据专门硬件、软 件和云服务） 大数据产业生态体系 大数据处理服务提供商
商业智能服务类
广告/媒体服务类
大数据解决方案提供商
技术服务、运维支持
数据交易市场
公共数据 市场 免费数据 平台 盈利数据 市场
联想内部使用大数据分析做产品设计的决策支持
Plus: 研究类热点
硬件演进,使机器学习(ML)重获生机, 反馈给现在的业务端,用于不可枚举型的分析 查询 ML级别的集群: Google(Google Brain), Facebook(DeepFace 2014) , Baidu(image, face- 百度识图) ，Tecent (Mariana语音,翻译- 微信, Ali (天池, 快的打车, ) 难点: 算法收敛 ｗｈｅｎ 节点数量 > ２０
Content Analytics Discovery & Exploration Stream Computing Content Management
商业智能 和 分析预测
分析与 展现平台
可靠的基础设施与智能优化部 署 高可用 可扩展 易运维
7
数据 整合 平台
信息整合 与治理
Hadoop软 件平台 硬件平台
解决 方案
销售
财务
运营 欺诈调查
数据资产治理 Decision Management Performance Management Data Mgmt & Warehouse Hadoop System
人力资源
行业ISV 解决方案
垂直行业 方案平台
提供了明显的差别 发现新的见解 实时操作
智慧 分析 平台
探索与发现
优化的深度学习能力
5
挑战- 热点背后的疑点/盲点
绑定, 付费, 且无法广泛兼容, 部署工具无法按需选择不同厂 商计算框架 现有一体机设计多为仅做了简 单的加法 与既有平台的兼容和优化 ( ETL , 特征提取…) 节点数庞大时算法无法收敛且 难以优化,忽略从硬件角度优 化 与云结合, Docker 多 container集群快速部署 ( Hadoop as service )
大数据相关的软件和硬件产品
仍是大数据市场主要收入构成，其中软件收入占 比22%，硬件收入占比38%。
应用软件 基础软件 硬件
日志数据服务类
分析和可视化服务类
大数据分析软件 数据库、数据储存 数据库
数据交易服务类
通用在线分析工具类
数据交易市场尚处萌芽期，市场规模仍然很小。 3
热点
三个行业& 三个热点
大数据
1
技术发展趋势
当今挑战
2
3
联想大数据 解决方案
2
全球市场规模
大数据服务类收入
包括大数据在线应用、专 业咨询服务、技术支持服 务等。服务类收入在大数 据市场中占比约44%。
Services ＄7,393 40% Hardwre ＄7，149 40% Software ＄4,117 22%
系统
安全 自有的, 云化, 当作服务
存储
8
大数据优化部署方案
易用的硬件部署
自动部署OS ready for Hadoop 多元化的基础平台软件选择 贴合应用场景的优化
BigData Foundation
Management Node
NameNode ResourceManager HMaster
基础设施对大 数据的关键性 被忽略
被忽略的节点设计与 硬件接 口优化 最后一公里的集成与优化的落 地 机器学习实践意义的 与云计算的结合
1
2
6
建设主张: 应用导向的定制化统一集成
策略和分析服务 了解业务 需求与目 标
咨询服务
风控
商业应用 加速达到商业价值 洞察商业问题的背 景
AI
4
技术趋势
SQL on Hadoop
混合架构逐渐消失
向 Hadoop架构统一(>5TB) Hadoop: 调度与计算框架分离, 流计算与批处理走向统一
云计算与大数据的融合
多container集群快速部署 ( Hadoop as service )
On SDD Computing
固态盘替代内存做为缓存, 取代In-memory computing
大数据与分析基本设施
大数据需要一个新的模式 : 应用导向的定制化统一集成
所有数据
Real-time Data Processing & Analytics
深入分析 数据区 Deep Analytics data zone 企业级数据仓库 和数据集市区 EDW and data mart zone
实时数据处理与分析
新版/增强版 应用
ຫໍສະໝຸດ Baidu
操作数据区 Operational data zone
着陆，勘探和归 档数据区 Landing, Exploration and Archive data zone
我学到了么， 什么是最好的选择? 认识过程
Information Integration & Governance
信息集成与管配
大数据应用在各行各业的发展呈现“阶梯式”格局 : 互联网行业是大数据应用的领 大数据应用在各行各业的发展呈现“阶梯式”格局 : 互联网行业是大数据应用的领跑 跑者，金融、零售、电信、公共管理、医疗卫生等领域尝试当中 者，金融、零售、电信、公共管理、医疗卫生等领域尝试当中 电商 实时竞价广告 & 精准营销 . 提高服务 电商 实时竞价广告 DSP DSP & 精准营销 . 提高服务 金融 互联网金融 & 行为预测, 风控, 实时授信, 信贷 金融 互联网金融 & 行为预测, 风控, 实时授信, 信贷 政府 政府监管 & 征信 税务 统计 舆情 犯罪预防 交警卡口 政府 政府监管 & 征信 税务 统计 舆情 犯罪预防 交警卡口
管理节点的配置和数量是系 统性能，可管理性和可用性 的关键 边缘节点定义影响整体系统 的性能和数据输入 如果不考虑这些因素可能会 导致主要瓶颈和长期增长潜 在的问题
BigData Foundation Appliance
Data Node
Data Node
BigData Platform
2013年全球大数据市场总体规模为186亿美元，2014年285亿美元，2015 年将达到384亿美元,（数据来源：Wikibon 口径：含大数据专门硬件、软 件和云服务） 大数据产业生态体系 大数据处理服务提供商
商业智能服务类
广告/媒体服务类
大数据解决方案提供商
技术服务、运维支持
数据交易市场
公共数据 市场 免费数据 平台 盈利数据 市场
联想内部使用大数据分析做产品设计的决策支持
Plus: 研究类热点
硬件演进,使机器学习(ML)重获生机, 反馈给现在的业务端,用于不可枚举型的分析 查询 ML级别的集群: Google(Google Brain), Facebook(DeepFace 2014) , Baidu(image, face- 百度识图) ，Tecent (Mariana语音,翻译- 微信, Ali (天池, 快的打车, ) 难点: 算法收敛 ｗｈｅｎ 节点数量 > ２０
Content Analytics Discovery & Exploration Stream Computing Content Management
商业智能 和 分析预测
分析与 展现平台
可靠的基础设施与智能优化部 署 高可用 可扩展 易运维
7
数据 整合 平台
信息整合 与治理
Hadoop软 件平台 硬件平台
解决 方案
销售
财务
运营 欺诈调查
数据资产治理 Decision Management Performance Management Data Mgmt & Warehouse Hadoop System
人力资源
行业ISV 解决方案
垂直行业 方案平台
提供了明显的差别 发现新的见解 实时操作
智慧 分析 平台
探索与发现
优化的深度学习能力
5
挑战- 热点背后的疑点/盲点
绑定, 付费, 且无法广泛兼容, 部署工具无法按需选择不同厂 商计算框架 现有一体机设计多为仅做了简 单的加法 与既有平台的兼容和优化 ( ETL , 特征提取…) 节点数庞大时算法无法收敛且 难以优化,忽略从硬件角度优 化 与云结合, Docker 多 container集群快速部署 ( Hadoop as service )
大数据相关的软件和硬件产品
仍是大数据市场主要收入构成，其中软件收入占 比22%，硬件收入占比38%。
应用软件 基础软件 硬件
日志数据服务类
分析和可视化服务类
大数据分析软件 数据库、数据储存 数据库
数据交易服务类
通用在线分析工具类
数据交易市场尚处萌芽期，市场规模仍然很小。 3
热点
三个行业& 三个热点