大数据平台介绍
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
12
全面支持海量复杂数据，构建高质量统一企业大数据仓库
企业异构数据源 设备数据
• 数据源：
日志、 设备参数、操作
数据资产管理 零售数据
• 数据源：
ERP、Salesforce，Excel
业务数据
• 数据源：
ERP、CRM，SCM，EAI
• 数据类型：
PB级非结构化数据
• 数据类型：
TB级结构化数据
• 数据类型：
PB级异构数据
统一数据 清洗加载
数据质量 保证
智能工厂数据
• 数据源：
PLM、 MES、DCS，CAM
供应商数据
• 数据源：
ERP、SRM，SCM
公开数据
• 数据源：
政府网站、社交媒体等。
异构数据 自动适配
大数据平台
传统数据仓库
UNIX小型机
大数据平台
大数据平台
X86集群
UNIX小型机
X86集群
X86集群
大数据平台定位： 属于数据仓库的补充系统 特点： 规模小，大数据创新试点 传统数据仓库
大数据平台定位： 分担数据仓库的存储和计算压力 特点： 大数据平台逐渐成为业务分析中心
大数据平台定位： 支持企业所有数据计算、分析和应用。 特点： 企业真正成为数据驱动的企业
复杂计算
• • 全图形化的任务调度工 具，可每日处理上万个 独立的数据计算任务 內嵌数据质量校验能力， 简化ETL任务的开发工 作量
——数据大文件加载抗压测试对比——
LEAP 某厂商 主流云平台
基于TPC-DS，2016
10
全图形化的计算平台，便捷的大数据系统管理和运维
• 一站式图形化界面完成大数据集群的安装，升级，系统监控的工作，简化管理 • 创建各种大数据任务和查询操作全部图形化完成，无需命令行入口 • 支持丰富的开源扩展，图形化添加近百个高质量组件，全面支持和管理各种大数据业 务场景
查询性能
• • 100%兼容SQL 2003， SQL 99和PL/SQL 动态选择合适的数据 源和计算引擎执行查 询请求，相对HUE查 询性能提升10x
平台性能评测
——数据查询测试对比——
LEAP 某厂商 主流云平台
LEAP
实时处理性能
• • 率先支持Spark 2.0， 实时性能提升5x 全面支持MPP业务 场景，10x优于传统 数据仓库
架构与分析跨界阵营 大数据开源阵营 数据源与API阵营
5
大数据技术开始替换传统数据仓库，企业商业智能升级
竞争优势
什么是可能发生的最好的？
优化
接下来会发生什么?
预测模型
如果这些趋势继续会怎样?
预测
通过预测型分析，构建敏 捷型企业，快速响应用户 需求
为什么会发生?
解析和分割 仪表板 记分卡
发生了什么?
模式创新
餐饮 旅游
社会效应
• 用户舆情和突发事件监 测
• 城市规划优化
• 政务流程优化
政府
零售
• 竞品分析 • 社交媒体热点追踪 • 人流热度和影响分析
运输
• 交通路径规划
7
企业大数据分析平台（LEAP）
提供从大数据采集到商业价值呈现的一体化解决方案
数据
价值
01
数据：整合各方数据，沉淀业务知识，LEAP将为客户提供
丰富的数据接口与强大的数据资源整合能力。
平台：LEAP将为客户提供安全可靠的分布式的大数据平台，
05
LEAP
平台
02
解决了海量数据的计算，存储实时数据计算等问题。
管理：参与到企业运营的各环节，通过对业务数据的分析，
发现各种规律趋势，为策略制定提供参考依据。
运维：LEAP提供集中的运维管控组件，实现从设备到服务
运维
04
管理
03
的全方位监控、管理和扩展。
价值：联想提供端到端的大数据服务，旨在发现数据潜在价
值，帮助客户通过大数据解决商业问题，与客户共同成长。
8
大数据分析平台（LEAP）全景图
大数据分析应用套件 Nash 大数据能力开放平台 Gauss
Big Data as a Service
分析武库
资源开放
保险
• 征信报告 • 险种定制和费用优化 • 企业和产品保险 • • 反欺诈和反洗钱 小额贷款授信
资源置换 • 产品在线销售 • 互联网营销 • 舆情热点追踪 交叉营销 • 餐饮选址 • 餐饮个性化推荐
银行Leabharlann • 产品在线销售互联网
医疗
• 健康个性化需求
• 就诊便利举措
• 疫情监测
大数据商业
直接变现 • 景区人流预警 • 旅游产品推荐 • 高端人群营销
数据工厂
大数据计算平台 Descartes
大数据技术整合与深度优化
数 据 资 产 管 理 平 台
系 统 运 维 监 控 中 心 Architon
9
Euler
软硬件一体化优化，突破计算平台性能瓶颈
批量处理性能
• • 专利的智能调度技术， 提升Hadoop计算效 能5x~20x 虚拟大数据系统，简 化异地数据中心的数 据同步
——《工业4.0白皮书》，IBM全球研究院
2 © 2016 Lenovo. All rights reserved.
海量数据，80%非结构化，给商业分析和价值体现带来的挑战
数据类型 数据结构
数据增长
数据大小 数据明细 数据存储
3
全球大数据阵营分析
大数据基础架构阵营
大数据分析阵营
大数据应用阵营
4
全球大数据阵营分析
企业级大数据分析平台（LEAP）
大数据“智慧”贯穿始终，是工业4.0时代企业的核心资产
工业是实体经济的核心，各国积极部 署工业4.0
• • • • 德国：《工业4.0战略》 美国：《先进制造业国家战略计划》 英国：《英国工业2050战略》 法国：《新工业法国》
通过各类技术的共同作用，充分把握新工业时代下信 息资源带来的机遇，以数据洞察为核心驱动力，贯穿 参与者、产品与生产，实现跨界和全球化互联互通的 协同，形成集制造和服务为一体的全球化价值网络。
系统入口
系统监测
任务调度
• 全图形化的任务调度工具，可每日处理全球来自数百个数据分析人员的上万个独立的数据计算任务
11
具备灵活多样的部署形态，满足不同规模企业的系统架构
专业探索分析集市
混搭双中心
新型探索分析/传 统分析应用
企业级大数据中心
传统分析应用
新型探索分析
传统分析应用
探索分析/传统分析应用
传统数据仓库
下钻查询 即席报告
问题究竟出在哪里?
数量, 频率, 地点 标准报告 发生了什么？
通过诊断型分析，发现企 业流程的问题，提出改进 建议
智能程度
6
通过跨领域产业互联，结合大数据优化商业运作模式
• 客户留存 • 高端用户营销 • 系统监控和优 化
制造 公共事业
• 产品销售和营销 • 供应链金融
• 产品持续改进
全面支持海量复杂数据，构建高质量统一企业大数据仓库
企业异构数据源 设备数据
• 数据源：
日志、 设备参数、操作
数据资产管理 零售数据
• 数据源：
ERP、Salesforce，Excel
业务数据
• 数据源：
ERP、CRM，SCM，EAI
• 数据类型：
PB级非结构化数据
• 数据类型：
TB级结构化数据
• 数据类型：
PB级异构数据
统一数据 清洗加载
数据质量 保证
智能工厂数据
• 数据源：
PLM、 MES、DCS，CAM
供应商数据
• 数据源：
ERP、SRM，SCM
公开数据
• 数据源：
政府网站、社交媒体等。
异构数据 自动适配
大数据平台
传统数据仓库
UNIX小型机
大数据平台
大数据平台
X86集群
UNIX小型机
X86集群
X86集群
大数据平台定位： 属于数据仓库的补充系统 特点： 规模小，大数据创新试点 传统数据仓库
大数据平台定位： 分担数据仓库的存储和计算压力 特点： 大数据平台逐渐成为业务分析中心
大数据平台定位： 支持企业所有数据计算、分析和应用。 特点： 企业真正成为数据驱动的企业
复杂计算
• • 全图形化的任务调度工 具，可每日处理上万个 独立的数据计算任务 內嵌数据质量校验能力， 简化ETL任务的开发工 作量
——数据大文件加载抗压测试对比——
LEAP 某厂商 主流云平台
基于TPC-DS，2016
10
全图形化的计算平台，便捷的大数据系统管理和运维
• 一站式图形化界面完成大数据集群的安装，升级，系统监控的工作，简化管理 • 创建各种大数据任务和查询操作全部图形化完成，无需命令行入口 • 支持丰富的开源扩展，图形化添加近百个高质量组件，全面支持和管理各种大数据业 务场景
查询性能
• • 100%兼容SQL 2003， SQL 99和PL/SQL 动态选择合适的数据 源和计算引擎执行查 询请求，相对HUE查 询性能提升10x
平台性能评测
——数据查询测试对比——
LEAP 某厂商 主流云平台
LEAP
实时处理性能
• • 率先支持Spark 2.0， 实时性能提升5x 全面支持MPP业务 场景，10x优于传统 数据仓库
架构与分析跨界阵营 大数据开源阵营 数据源与API阵营
5
大数据技术开始替换传统数据仓库，企业商业智能升级
竞争优势
什么是可能发生的最好的？
优化
接下来会发生什么?
预测模型
如果这些趋势继续会怎样?
预测
通过预测型分析，构建敏 捷型企业，快速响应用户 需求
为什么会发生?
解析和分割 仪表板 记分卡
发生了什么?
模式创新
餐饮 旅游
社会效应
• 用户舆情和突发事件监 测
• 城市规划优化
• 政务流程优化
政府
零售
• 竞品分析 • 社交媒体热点追踪 • 人流热度和影响分析
运输
• 交通路径规划
7
企业大数据分析平台（LEAP）
提供从大数据采集到商业价值呈现的一体化解决方案
数据
价值
01
数据：整合各方数据，沉淀业务知识，LEAP将为客户提供
丰富的数据接口与强大的数据资源整合能力。
平台：LEAP将为客户提供安全可靠的分布式的大数据平台，
05
LEAP
平台
02
解决了海量数据的计算，存储实时数据计算等问题。
管理：参与到企业运营的各环节，通过对业务数据的分析，
发现各种规律趋势，为策略制定提供参考依据。
运维：LEAP提供集中的运维管控组件，实现从设备到服务
运维
04
管理
03
的全方位监控、管理和扩展。
价值：联想提供端到端的大数据服务，旨在发现数据潜在价
值，帮助客户通过大数据解决商业问题，与客户共同成长。
8
大数据分析平台（LEAP）全景图
大数据分析应用套件 Nash 大数据能力开放平台 Gauss
Big Data as a Service
分析武库
资源开放
保险
• 征信报告 • 险种定制和费用优化 • 企业和产品保险 • • 反欺诈和反洗钱 小额贷款授信
资源置换 • 产品在线销售 • 互联网营销 • 舆情热点追踪 交叉营销 • 餐饮选址 • 餐饮个性化推荐
银行Leabharlann • 产品在线销售互联网
医疗
• 健康个性化需求
• 就诊便利举措
• 疫情监测
大数据商业
直接变现 • 景区人流预警 • 旅游产品推荐 • 高端人群营销
数据工厂
大数据计算平台 Descartes
大数据技术整合与深度优化
数 据 资 产 管 理 平 台
系 统 运 维 监 控 中 心 Architon
9
Euler
软硬件一体化优化，突破计算平台性能瓶颈
批量处理性能
• • 专利的智能调度技术， 提升Hadoop计算效 能5x~20x 虚拟大数据系统，简 化异地数据中心的数 据同步
——《工业4.0白皮书》，IBM全球研究院
2 © 2016 Lenovo. All rights reserved.
海量数据，80%非结构化，给商业分析和价值体现带来的挑战
数据类型 数据结构
数据增长
数据大小 数据明细 数据存储
3
全球大数据阵营分析
大数据基础架构阵营
大数据分析阵营
大数据应用阵营
4
全球大数据阵营分析
企业级大数据分析平台（LEAP）
大数据“智慧”贯穿始终，是工业4.0时代企业的核心资产
工业是实体经济的核心，各国积极部 署工业4.0
• • • • 德国：《工业4.0战略》 美国：《先进制造业国家战略计划》 英国：《英国工业2050战略》 法国：《新工业法国》
通过各类技术的共同作用，充分把握新工业时代下信 息资源带来的机遇，以数据洞察为核心驱动力，贯穿 参与者、产品与生产，实现跨界和全球化互联互通的 协同，形成集制造和服务为一体的全球化价值网络。
系统入口
系统监测
任务调度
• 全图形化的任务调度工具，可每日处理全球来自数百个数据分析人员的上万个独立的数据计算任务
11
具备灵活多样的部署形态，满足不同规模企业的系统架构
专业探索分析集市
混搭双中心
新型探索分析/传 统分析应用
企业级大数据中心
传统分析应用
新型探索分析
传统分析应用
探索分析/传统分析应用
传统数据仓库
下钻查询 即席报告
问题究竟出在哪里?
数量, 频率, 地点 标准报告 发生了什么？
通过诊断型分析，发现企 业流程的问题，提出改进 建议
智能程度
6
通过跨领域产业互联，结合大数据优化商业运作模式
• 客户留存 • 高端用户营销 • 系统监控和优 化
制造 公共事业
• 产品销售和营销 • 供应链金融
• 产品持续改进