大数据中心建设思路PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
120122/3/22
业务因素
• 数据分析类型划分不够明确 • 缺少统一的报表与指标体系规范 • 缺乏明确的数据认责 技术因素
• 缺乏规范的数据架构 • 缺乏明确的数据定义 • 数据分布不合理 • 数据模型不一致 • 数据管理不规范 • 缺乏企业级整合的数据 • 缺乏有力的系统实施和使用管控机制
数据中心的建设策略
光纤交换机 磁带库
备份服务器
62022/3/22
数据中心建设的终极目标
统一且完善 统一数据源、 一致的数据 管控中心
的企业信息 统一数据口 出入口（数 （各种专业
模型
径
据服务总线） 分析）
2022/3/22
7
企业统一数据模型
2022/3/22
8
数据边界——顶层信息模型
物资
产品
使用产品信息
客户
资产信息
• 2、自下而上（数据整合法）
– 这种建设思路是先建立企业的概念模型，然后利用数 据仓库和企业建模标准等思想进行全面的数据模型设 计、物理模型设计。侧重横向分析和标准建设。
• 3、折中建设
2022/3/22
14
建设方法对比
方法1. 先数据整合、 再构建分析应用
优势
可实行有效的数据质量 管理 可快速进行分析应用的 扩展
• 短期见效、应用驱动
– 展现全局指标数据，早出成果，短期见效，以 应用促建设
– 非源头数据直接导入，健全全局类指标数据 – 转移部分业务系统查询功能 – 切断统计途径
2022/3/22
12
推动数据中心应用
数据中心建设最终是为解决业务部门专业分析能力而服务，在这个逐步推进、 不断完善成熟的过程中，应着重解决影响应用实用性不强的如下几点：
物资相关部门
资产
资产设备
设备管理人员 招投标信息
设备
电网所属的组织
物资项目信息 项目信息
人员与组织
客户所属的组织信息
项目所属 组织信息
员工薪水
客户设备信息 组织相关指标 电网提供产品
核算对象
交易产品
综合
参与市场交易 的组织信合息同信息
项目 财务
设备安全信息
组织的安全信息
安全
2022/3/22
电网安全信息
电网
交易点
市场
核算对象
核算对象 9
实现最终目标的困难
数据源不健全、数据质量差
模型统一设计工作量大
底层建设成效缓慢
2022/3/22
10
网省电力数据应用所面临的挑战
业务挑战 • 现有分析系统仅提供简单的报表能力，功
能单薄 • 领导层无法从企业全局角度出发对企业各
个业务条线进行跨业务、多角度、多层次 的综合分析 • 业务分析系统多集中于各自专业领域，而 跨业务专题的分析应用能力尚不具备 • 存在相同数据多头上报并且上报数据不一 致的问题 • 缺乏对现有数据的高级分析应用，没有合 理地发挥和利用网省电力业务数据资产的 价值 技术挑战 • 各个业务系统相互独立，业务人员难以进 行跨系统业务分析 • 现有分析型系统与相应生产型系统耦合性 较强，受到生产型系统影响较大，缺乏对 全业务分析的支持 • 数据不一致问题较严重，对于相同业务数 据存在多个不同版本 • 各业务系统自行管理数据，业务数据的含 义在企业的各个部门内存在不一致的解释 • 各类业务系统内数据质量较低
3
展示层
数据分析 应用层
数据 集市层
人力分析 财务分析 物资分析
计划分析 项目分析 设备分析
InfoCube
数据 存储层
DSO PSA
数据源层
ERP紧耦合业务应用数据
42022/3/22
数据中心目标架构
企业门户
展现方式
营销分析
生产分析
跨专业综合分析
电力市场分析 综合统计分析
数据分析 应用方式
跨专业 综合集市
挑战
要具备成熟的数据标准和数 据模型 数据整合投入较大，短期内 与分析应用收益不能相符
适用于
数据基础较好 有成熟建模经验
方法2. 先构建分析应
用、再进行数据整合 （或者不进行全局整
合）
日志与审核 跟踪
通用服务
错误处理
数据归档
文件传输帮 助
参数化
异常
线程管理
数据中心物理架构
BI应用服务器 可由多个服 务器组成应 用集群
BI 应用服务器群
ETL/Monitor/Analysis
ETL
Analysis
心跳线
业务系统数据库服务器
DSO/DM
HP
ODS
DW/DM
WEB
存 储
光纤交换机 磁盘柜
数据中心建设思路
西安美林 杨晓辉
2022/3/22
1
国网数据中心概念
数据建 梳理采 模设计 集（ETL）
数据 存储
数据服 务总线
2022/3/22
2
2022/3/22
数据中心建设任务
数据整合——3统一（模型、数据源、口径） 综合分析——横向分析 专业应用——纵向关联分析 数据共享——数据服务、企业总线
1
2
3
业务部门主导
好的经验、方法和操作流程是关键，促进信任 关系的建立，解决互不信任的局面。 在一套有效的方法的指导下，同时遵照一个好 的流程，就容易得到领导支持，得到业务人员的 有效参与和技术人员的有力配合
过程中不断出成果
解决长周期项目中期没有任何产出的现状 消除领导及业务人员对数据中心建设疑虑 建设期间、获取业务人员对实施过程中的认可 和支持，从而不断增强他们对项目的信心及应用 实用性的肯定
2022/3/22
切断原有数据统计、汇报方式
解决企业数据“进口”与“出口”数据统一 切断网省业务人员获取统计数据的其他来源， 统一定义从数据中心获取 切断业务应用向总部交换数据的其他途径
13
数据中心的建设方式
• 1、自顶向下（追溯法\分析应用法）
– 既先分析报表中指标数据，再根据指标的构成进行追 溯分析，直至建设粒度到最小的、不可再分的业务细 节数据；这种方式有利于梳理统计类指标，分析企业 中各统计指标的口径。侧重纵向数据关联。
综合
营销
生产
电力市场
企业数据仓库(EDW) ODS
营销、生产、综合等业务应用和其它外部数据
数据整理 数据转换 数据汇总 集中存储
数据抽取
源系统
数据源
系 统 、 非 系 统 套 装 软 件 业 务
52022/3/22
数Байду номын сангаас中心执行架构
抽取 排序过滤
清洗
数据仓库架构
数据抽取
数据存储
转换
数据缓存 ODS
加载
数据仓库
数据访问 数据访问
抽取 转换 关联
更新 加载
技术元数据
数据集市
DSO
元数据管理服务 元数据知识库
数据访问架构
最终用户访问
报表 查询 在线分析 知识发现
门户系 统
业务元数据
数据全域服务
被拒绝数据 管理
批处理服务 任务重启与
恢复
任务调度
文档管理服务 数据注解
应用连接服务
中间件连接 器
性能与可用性服务 监控
业务因素
• 数据分析类型划分不够明确 • 缺少统一的报表与指标体系规范 • 缺乏明确的数据认责 技术因素
• 缺乏规范的数据架构 • 缺乏明确的数据定义 • 数据分布不合理 • 数据模型不一致 • 数据管理不规范 • 缺乏企业级整合的数据 • 缺乏有力的系统实施和使用管控机制
数据中心的建设策略
光纤交换机 磁带库
备份服务器
62022/3/22
数据中心建设的终极目标
统一且完善 统一数据源、 一致的数据 管控中心
的企业信息 统一数据口 出入口（数 （各种专业
模型
径
据服务总线） 分析）
2022/3/22
7
企业统一数据模型
2022/3/22
8
数据边界——顶层信息模型
物资
产品
使用产品信息
客户
资产信息
• 2、自下而上（数据整合法）
– 这种建设思路是先建立企业的概念模型，然后利用数 据仓库和企业建模标准等思想进行全面的数据模型设 计、物理模型设计。侧重横向分析和标准建设。
• 3、折中建设
2022/3/22
14
建设方法对比
方法1. 先数据整合、 再构建分析应用
优势
可实行有效的数据质量 管理 可快速进行分析应用的 扩展
• 短期见效、应用驱动
– 展现全局指标数据，早出成果，短期见效，以 应用促建设
– 非源头数据直接导入，健全全局类指标数据 – 转移部分业务系统查询功能 – 切断统计途径
2022/3/22
12
推动数据中心应用
数据中心建设最终是为解决业务部门专业分析能力而服务，在这个逐步推进、 不断完善成熟的过程中，应着重解决影响应用实用性不强的如下几点：
物资相关部门
资产
资产设备
设备管理人员 招投标信息
设备
电网所属的组织
物资项目信息 项目信息
人员与组织
客户所属的组织信息
项目所属 组织信息
员工薪水
客户设备信息 组织相关指标 电网提供产品
核算对象
交易产品
综合
参与市场交易 的组织信合息同信息
项目 财务
设备安全信息
组织的安全信息
安全
2022/3/22
电网安全信息
电网
交易点
市场
核算对象
核算对象 9
实现最终目标的困难
数据源不健全、数据质量差
模型统一设计工作量大
底层建设成效缓慢
2022/3/22
10
网省电力数据应用所面临的挑战
业务挑战 • 现有分析系统仅提供简单的报表能力，功
能单薄 • 领导层无法从企业全局角度出发对企业各
个业务条线进行跨业务、多角度、多层次 的综合分析 • 业务分析系统多集中于各自专业领域，而 跨业务专题的分析应用能力尚不具备 • 存在相同数据多头上报并且上报数据不一 致的问题 • 缺乏对现有数据的高级分析应用，没有合 理地发挥和利用网省电力业务数据资产的 价值 技术挑战 • 各个业务系统相互独立，业务人员难以进 行跨系统业务分析 • 现有分析型系统与相应生产型系统耦合性 较强，受到生产型系统影响较大，缺乏对 全业务分析的支持 • 数据不一致问题较严重，对于相同业务数 据存在多个不同版本 • 各业务系统自行管理数据，业务数据的含 义在企业的各个部门内存在不一致的解释 • 各类业务系统内数据质量较低
3
展示层
数据分析 应用层
数据 集市层
人力分析 财务分析 物资分析
计划分析 项目分析 设备分析
InfoCube
数据 存储层
DSO PSA
数据源层
ERP紧耦合业务应用数据
42022/3/22
数据中心目标架构
企业门户
展现方式
营销分析
生产分析
跨专业综合分析
电力市场分析 综合统计分析
数据分析 应用方式
跨专业 综合集市
挑战
要具备成熟的数据标准和数 据模型 数据整合投入较大，短期内 与分析应用收益不能相符
适用于
数据基础较好 有成熟建模经验
方法2. 先构建分析应
用、再进行数据整合 （或者不进行全局整
合）
日志与审核 跟踪
通用服务
错误处理
数据归档
文件传输帮 助
参数化
异常
线程管理
数据中心物理架构
BI应用服务器 可由多个服 务器组成应 用集群
BI 应用服务器群
ETL/Monitor/Analysis
ETL
Analysis
心跳线
业务系统数据库服务器
DSO/DM
HP
ODS
DW/DM
WEB
存 储
光纤交换机 磁盘柜
数据中心建设思路
西安美林 杨晓辉
2022/3/22
1
国网数据中心概念
数据建 梳理采 模设计 集（ETL）
数据 存储
数据服 务总线
2022/3/22
2
2022/3/22
数据中心建设任务
数据整合——3统一（模型、数据源、口径） 综合分析——横向分析 专业应用——纵向关联分析 数据共享——数据服务、企业总线
1
2
3
业务部门主导
好的经验、方法和操作流程是关键，促进信任 关系的建立，解决互不信任的局面。 在一套有效的方法的指导下，同时遵照一个好 的流程，就容易得到领导支持，得到业务人员的 有效参与和技术人员的有力配合
过程中不断出成果
解决长周期项目中期没有任何产出的现状 消除领导及业务人员对数据中心建设疑虑 建设期间、获取业务人员对实施过程中的认可 和支持，从而不断增强他们对项目的信心及应用 实用性的肯定
2022/3/22
切断原有数据统计、汇报方式
解决企业数据“进口”与“出口”数据统一 切断网省业务人员获取统计数据的其他来源， 统一定义从数据中心获取 切断业务应用向总部交换数据的其他途径
13
数据中心的建设方式
• 1、自顶向下（追溯法\分析应用法）
– 既先分析报表中指标数据，再根据指标的构成进行追 溯分析，直至建设粒度到最小的、不可再分的业务细 节数据；这种方式有利于梳理统计类指标，分析企业 中各统计指标的口径。侧重纵向数据关联。
综合
营销
生产
电力市场
企业数据仓库(EDW) ODS
营销、生产、综合等业务应用和其它外部数据
数据整理 数据转换 数据汇总 集中存储
数据抽取
源系统
数据源
系 统 、 非 系 统 套 装 软 件 业 务
52022/3/22
数Байду номын сангаас中心执行架构
抽取 排序过滤
清洗
数据仓库架构
数据抽取
数据存储
转换
数据缓存 ODS
加载
数据仓库
数据访问 数据访问
抽取 转换 关联
更新 加载
技术元数据
数据集市
DSO
元数据管理服务 元数据知识库
数据访问架构
最终用户访问
报表 查询 在线分析 知识发现
门户系 统
业务元数据
数据全域服务
被拒绝数据 管理
批处理服务 任务重启与
恢复
任务调度
文档管理服务 数据注解
应用连接服务
中间件连接 器
性能与可用性服务 监控