大数据中心建设思路PPT课件
合集下载
大数据中心 ppt
我国数据中心机架规模持续稳步增长,大型以上数 据中心规模增长迅速。近年来,我国数据中心机架规模稳 步增长,按照标准机架 2.5kW 统计,截止到 2021 年年 底,我国在用数据中心机架规模达到 520 万架,近五年 年均复合增速超过 30%。其中,大型以上数据中心机架 规模增长更为迅速,按照标准机架 2.5kW 统计,机架规 模420 万架,占比达到 80%。
从我国数据中心下游应用分 布情况来看,互联网厂商是我国 数据中心主要的应用端,需求占 比达60%,其次为金融业和政府 机关,占比分别为20%和10%。
CONTENTS
目 录
01. 行业概述及发展背景
02. 行业发展现状及市场分析
03 项目总体规划及建设方案 .
04. 案例分析 05. 盈利模式心、中金数据昆山以号中心)
我国头部互联网企业及第三方服务商也在积极开展节能减排技术实践,建设运营HVDC、自研“零功耗”臵顶冷却单元及 AI 调优技术,年均 PUE 达到 1.08; 秦淮数据环首都数据中心利用模块化、绿电交易及资源回收等技术,年均 PUE 达到 1.15,可再生能源利用率达到了 100%。
行业发展现状-低碳环保:技术机制不断完善,节能实践快速推进
国际互联网巨头积极推动绿色能源使用,促进数据中心节能减排。谷歌、苹果和脸书积极公布可再生能源使用进展,并 分别于2017 年、2018 年及 2020 年实现运营体系 100%可再生能源使用。微软和亚马逊计划于 2025 年实现 100%可再生能 源使用目标。
◈《数据中心能效限 定值及能效等级》 GB40879-2021 ◈《关于完整准确全 面贯彻新发展理念做 好碳达峰碳中和工作 的意见》
◈关于组织开裹2021 年国家绿色数据中心 推荐工作的通知 ◈《“十四五”信息通 信行业发展规划》、 《关于加强产融合作 推动工业绿色发展的 指导意见》
政府企业大数据系统建设思路报告PPT课件
合,从而得出现实世界的运行规则和演变规律。
各自的软肋
对于逻辑推理来说,最致命的问 题是:你怎么能够证明你的出发点, 即那些决策包括所制定的政策、法规 是可靠的?
对于综合归纳来说,最致命的问 题是:你怎么能够肯定下一个案例, 还会符合你归纳出来的“基本原则”?
下一步的趋势展望? 融合 创新
18
电子政府发展阶段
• 业务联动,资源整合难度大,影响效能发挥 • 部门管理功能强化,公共服务功能相对薄弱 • 推进信息化的传统路径在那里
7
电子政务面临挑战--、社会形态的改变、社 会管理创新
网络社会带来的变迁如社交网络 给当前社会管理带来了全新的挑
战。需要政府提供创新服务。
当前社会机构更加 网状结构发展
社会结构变化更加需要政府协同工作
海量交互数据: 源于Facebook、Twitter、LinkedIn及其他来源的社 交媒体数据构成。它包括了呼叫详细记录CDR、设备和 传感器信息、GPS和地理定位映射数据、通过管理文件 传输Manage 协议传送的海量图像文件、Web文本和点 击流数据、科学信息、电子邮件等等。可以告诉我们未 来会发生什么。
• 促进政府职能转变的助推力 • 造就高效、透明、廉洁政府的赋能器 • 不是仅限技术应用,需要其他改革措施同步推进
3
电子政务进展显著
• 大多数政府机构的核心业务已完成不同程度的信息化. • 网络化公共服务的提供已在不同深度上普及.部委、省级、
地级和县级政府网站的拥有率分别为96%、100%、 98.5%和83%. • 金关、金税、金盾、金审、金信、金水、金农、金保等一 批重大电子政务工程发挥重要作用 • 电子政务总体架构开始构筑,为今后共享,联动奠定基础
决策 C-Level
各自的软肋
对于逻辑推理来说,最致命的问 题是:你怎么能够证明你的出发点, 即那些决策包括所制定的政策、法规 是可靠的?
对于综合归纳来说,最致命的问 题是:你怎么能够肯定下一个案例, 还会符合你归纳出来的“基本原则”?
下一步的趋势展望? 融合 创新
18
电子政府发展阶段
• 业务联动,资源整合难度大,影响效能发挥 • 部门管理功能强化,公共服务功能相对薄弱 • 推进信息化的传统路径在那里
7
电子政务面临挑战--、社会形态的改变、社 会管理创新
网络社会带来的变迁如社交网络 给当前社会管理带来了全新的挑
战。需要政府提供创新服务。
当前社会机构更加 网状结构发展
社会结构变化更加需要政府协同工作
海量交互数据: 源于Facebook、Twitter、LinkedIn及其他来源的社 交媒体数据构成。它包括了呼叫详细记录CDR、设备和 传感器信息、GPS和地理定位映射数据、通过管理文件 传输Manage 协议传送的海量图像文件、Web文本和点 击流数据、科学信息、电子邮件等等。可以告诉我们未 来会发生什么。
• 促进政府职能转变的助推力 • 造就高效、透明、廉洁政府的赋能器 • 不是仅限技术应用,需要其他改革措施同步推进
3
电子政务进展显著
• 大多数政府机构的核心业务已完成不同程度的信息化. • 网络化公共服务的提供已在不同深度上普及.部委、省级、
地级和县级政府网站的拥有率分别为96%、100%、 98.5%和83%. • 金关、金税、金盾、金审、金信、金水、金农、金保等一 批重大电子政务工程发挥重要作用 • 电子政务总体架构开始构筑,为今后共享,联动奠定基础
决策 C-Level
数据中心建设ppt课件
模块化数据中心的建设
1、采用自然冷源制冷
低运行成本设计
利用江河湖海的天然冷源 利用人工水池+蒸发冷却塔 选址高寒地区,采用大型干冷器 在干燥且有水源地区,利用水喷雾降温
冷却塔系统避免在空气污染严重地区使用,否则设备投 入成本和运行维护成本将大大高于节能成本。
模块化数据中心的建设
2、提升运行温度
低运行成本设计
房备数程据能
环监设告库上
境控置警
层
监
平
控
台
控
制
智 负 故网 能 载 障络 联 转 通系 控 移 讯统
告 警
子系统模块自动控制 系统联控 远程智能控制
监、控分级管理 数据分析智能控制 大数据开发、数据挖掘
模块化数据中心的建设 网络监控平台结构
监控客户端1
监控客户端2 以太网
监控客户端n
ADSL/GSM 数据中心1
4、计算PUE 根据PUE计算公式及全年小时数据进行计算全年PUE
模块化数据中心的建设 架构设计
网络架构
网络层级、连接结构、组网结构、负载均衡、 网络安全、容灾备份
成本:CAPX、OPX、 TCO
共
性 要
等级、可靠性
求
模块化、扩展性
基础设施
选址、供电、制冷、监控、运维管理
模块化数据中心的建设 低建设成本设计
1、避免使用投资成本高、利用率低的设备
避免使用发电机(油机)备电 (1)选址已有双市电的地址 (2)单市电数据中心,采用网络负载转移设计,核心设备配备备电时间 足够长的蓄电池
数据中心
数据中心 数据中心
模块化数据中心的建设
2、消防系统改进
现有消防系统的缺点 (1)成本高、安全性差 (2)发生事故需要断电
大数据中心建设思路
职业发展
提供良好的职业发展平台,帮 助员工实现个人价值和职业成 长。
奖励机制
设立奖励机制,对在项目中表 现突出的个人和团队进行表彰 和奖励。
工作氛围
营造积极向上、开放包容的工 作氛围,提高员工的工作满意
度和归属感。
06
运营与管理
运营模式选择
自主运营模式
企业自行投资、建设、运营数据 中心,全面负责数据中心的日常 管理和维护。
05
人才队伍建设
人才需求分析
数据分析师
具备数据挖掘、清洗、整理和可视化 能力,能够从海量数据中提取有价值 的信息。
数据工程师
具备大数据处理、存储和管理能力, 能够构建高效、稳定的数据处理系统。
数据科学家
具备数据建模、算法设计和优化能力, 能够进行数据挖掘和预测分析。
数据安全专家
具备数据安全防护、风险评估和管理 能力,能够保障数据安全和隐私保护。
数据分析
采用数据分析工具,对处理后的数据进行挖掘和分析,提取 有价值的信息。
数据安全与保护
数据加密
01
对敏感数据进行加密存储,确保数据的安全性。
访问控制
02
通过设置访问权限和身份验证机制,控制对数据的访问和操作。
数据备份与恢复
03
定期对数据进行备份,并制定相应的恢复策略,以应对数据丢
失或损坏的情况。
04
软件平台建设
数据采集与存储
数据采集
通过数据采集技术,将分散在各个业务系统的数据整合到一起,实现数据的集 中管理。
数据存储
采用分布式存储系统,将数据分散存储在多个节点上,以提高数据存储的可靠 性和扩展性。
数据处理与分析
数据处理
利用数据处理技术,对采集到的数据进行清洗、转换和整合 ,使其满足分析需求。
提供良好的职业发展平台,帮 助员工实现个人价值和职业成 长。
奖励机制
设立奖励机制,对在项目中表 现突出的个人和团队进行表彰 和奖励。
工作氛围
营造积极向上、开放包容的工 作氛围,提高员工的工作满意
度和归属感。
06
运营与管理
运营模式选择
自主运营模式
企业自行投资、建设、运营数据 中心,全面负责数据中心的日常 管理和维护。
05
人才队伍建设
人才需求分析
数据分析师
具备数据挖掘、清洗、整理和可视化 能力,能够从海量数据中提取有价值 的信息。
数据工程师
具备大数据处理、存储和管理能力, 能够构建高效、稳定的数据处理系统。
数据科学家
具备数据建模、算法设计和优化能力, 能够进行数据挖掘和预测分析。
数据安全专家
具备数据安全防护、风险评估和管理 能力,能够保障数据安全和隐私保护。
数据分析
采用数据分析工具,对处理后的数据进行挖掘和分析,提取 有价值的信息。
数据安全与保护
数据加密
01
对敏感数据进行加密存储,确保数据的安全性。
访问控制
02
通过设置访问权限和身份验证机制,控制对数据的访问和操作。
数据备份与恢复
03
定期对数据进行备份,并制定相应的恢复策略,以应对数据丢
失或损坏的情况。
04
软件平台建设
数据采集与存储
数据采集
通过数据采集技术,将分散在各个业务系统的数据整合到一起,实现数据的集 中管理。
数据存储
采用分布式存储系统,将数据分散存储在多个节点上,以提高数据存储的可靠 性和扩展性。
数据处理与分析
数据处理
利用数据处理技术,对采集到的数据进行清洗、转换和整合 ,使其满足分析需求。
大数据中心建设思路PPT81页
光纤交换机
磁盘柜
存储
备份服务器
BI 应用服务器群
ETL/Monitor/Analysis
BI应用服务器可由多个服务器组成应用集群
数据中心建设的终极目标
企业统一数据模型
数据边界——顶层信息模型
实现最终目标的困难
网省电力数据应用所面临的挑战
数据中心的建设策略
短期见效、应用驱动展现全局指标数据,早出成果,短期见效,以应用促建设非源头数据直接导入,健全全局类指标数据转移部分业务系统查询功能切断统计途径
数据分析模型
………
主题1
主题2
主题n
………
基于主题域侧重于对企业范围内数据进行整合明细数据与聚合数据共享从技术而言是3NF模式
数据仓库模型
数据模型在数据仓库架构中所处的位置
企业级概念数据建模目的
主题
主题
主题
主题
主题
主题
主题
主题
主题
业务数据
业务数据
业务数据
业务数据
业务数据
业务数据
业务数据
业务数据
业务数据
产品主题描述国网公司提供的电能、热能与国网公司所提供服务的描述与价格信息以及与服务质量、服务效果相关的各类记录
设备
设备主数据用于描述企业发电、输电、配电、供电四大类在网运行设备资源、运行和调度信息、测试、破坏和环境等信息
电网
电网主题域包含了市场的电力价格、预测相关信息,网间、电厂电网的交易信息,以及电力调度中设备产生的相关数据
1
2
3
业务部门主导
过程中不断出成果
切断原有数据统计、汇报方式
数据中心的建设方式
1、自顶向下(追溯法\分析应用法)既先分析报表中指标数据,再根据指标的构成进行追溯分析,直至建设粒度到最小的、不可再分的业务细节数据;这种方式有利于梳理统计类指标,分析企业中各统计指标的口径。侧重纵向数据关联。2、自下而上(数据整合法)这种建设思路是先建立企业的概念模型,然后利用数 据仓库和企业建模标准等思想进行全面的数据模型设计、物理模型设计。侧重横向分析和标准建设。3、折中建设
磁盘柜
存储
备份服务器
BI 应用服务器群
ETL/Monitor/Analysis
BI应用服务器可由多个服务器组成应用集群
数据中心建设的终极目标
企业统一数据模型
数据边界——顶层信息模型
实现最终目标的困难
网省电力数据应用所面临的挑战
数据中心的建设策略
短期见效、应用驱动展现全局指标数据,早出成果,短期见效,以应用促建设非源头数据直接导入,健全全局类指标数据转移部分业务系统查询功能切断统计途径
数据分析模型
………
主题1
主题2
主题n
………
基于主题域侧重于对企业范围内数据进行整合明细数据与聚合数据共享从技术而言是3NF模式
数据仓库模型
数据模型在数据仓库架构中所处的位置
企业级概念数据建模目的
主题
主题
主题
主题
主题
主题
主题
主题
主题
业务数据
业务数据
业务数据
业务数据
业务数据
业务数据
业务数据
业务数据
业务数据
产品主题描述国网公司提供的电能、热能与国网公司所提供服务的描述与价格信息以及与服务质量、服务效果相关的各类记录
设备
设备主数据用于描述企业发电、输电、配电、供电四大类在网运行设备资源、运行和调度信息、测试、破坏和环境等信息
电网
电网主题域包含了市场的电力价格、预测相关信息,网间、电厂电网的交易信息,以及电力调度中设备产生的相关数据
1
2
3
业务部门主导
过程中不断出成果
切断原有数据统计、汇报方式
数据中心的建设方式
1、自顶向下(追溯法\分析应用法)既先分析报表中指标数据,再根据指标的构成进行追溯分析,直至建设粒度到最小的、不可再分的业务细节数据;这种方式有利于梳理统计类指标,分析企业中各统计指标的口径。侧重纵向数据关联。2、自下而上(数据整合法)这种建设思路是先建立企业的概念模型,然后利用数 据仓库和企业建模标准等思想进行全面的数据模型设计、物理模型设计。侧重横向分析和标准建设。3、折中建设
数据中心建设方案v3.0ppt课件
.
人防数据中心整体工作思路
规划
整合
利用
数据资源整合规划
全局
现状 数据 数据
分析
质量 分析
模型
项 目 策 略 开
解解 技决 决 术方 方 及案 案 产准 实 品备 施
发
现状 分析
应用 流程 分析
选 应用 型
流程
就 绪
模型
设计
建 议
应用及流程整合规划
数据整合
集 成 体 系 结 构 设 计
资
源
应用整合
目 录
数据中心战略框架
支持
业业务务策策略略 IT 策 策略 略
驱动
愿愿景景 定角位色 目标 能力
流程数数据据
应应用用
平平台台
网络
IT 流程
组IT 织组织
规则和标准
目标绩和效考核 .
I战T战略略方方向向 架构 IT管管控控
调研的方法
座谈会
主要系统,包括业务 系统
公共平台等
问卷调查 所有调研的部门
实地考察
信息化先进的 部门
访谈
各部门信息人员 或和系统管理员
文档资料 部分资料
必须有清晰可行的方法论指导,明确 目标,有的放矢
.
需求分析的方法
业务需求 用户需求 系统需求
调查 审批
功能性需求
数据中心
稽查
税款 涉税申请
各 查种 补征 税收 金 各 正种 常征 申收 报 各 代种 征征 代收 扣 各 零种 散征 税收
.
人防资源目录体系
以元数据为核心,把资源以目录的形式管理起来 以政务分类表和主题词表为控制词表,对人防信息资
源进行组织
根据需要按行业、部门、地域、分类、主题等方便地
人防数据中心整体工作思路
规划
整合
利用
数据资源整合规划
全局
现状 数据 数据
分析
质量 分析
模型
项 目 策 略 开
解解 技决 决 术方 方 及案 案 产准 实 品备 施
发
现状 分析
应用 流程 分析
选 应用 型
流程
就 绪
模型
设计
建 议
应用及流程整合规划
数据整合
集 成 体 系 结 构 设 计
资
源
应用整合
目 录
数据中心战略框架
支持
业业务务策策略略 IT 策 策略 略
驱动
愿愿景景 定角位色 目标 能力
流程数数据据
应应用用
平平台台
网络
IT 流程
组IT 织组织
规则和标准
目标绩和效考核 .
I战T战略略方方向向 架构 IT管管控控
调研的方法
座谈会
主要系统,包括业务 系统
公共平台等
问卷调查 所有调研的部门
实地考察
信息化先进的 部门
访谈
各部门信息人员 或和系统管理员
文档资料 部分资料
必须有清晰可行的方法论指导,明确 目标,有的放矢
.
需求分析的方法
业务需求 用户需求 系统需求
调查 审批
功能性需求
数据中心
稽查
税款 涉税申请
各 查种 补征 税收 金 各 正种 常征 申收 报 各 代种 征征 代收 扣 各 零种 散征 税收
.
人防资源目录体系
以元数据为核心,把资源以目录的形式管理起来 以政务分类表和主题词表为控制词表,对人防信息资
源进行组织
根据需要按行业、部门、地域、分类、主题等方便地
大数据中心 ppt课件
中心基地北京北方基地乌兰察布南方基地贵州1国家大数据中心三大中心1国家大数据中心八大节点南京沈阳西安武汉成都上海国际北京国际广州国际云上贵州云上贵州大数据产业发展有限公司于2014年11月经贵州省人民政府批准成立注册资金23500万元由云上贵州大数据集团有限公司履行出资人职责
国家大数据中心
目录 CONTENTS
国家大数据中心简介
1 国家大数据中心
中心基地:北京 北方基地:乌兰察布
南方基地:贵州
competitors
1 国家大数据中心(三大中心)
plan
中心基地-北京
2015年1月16日,由蓝汛与北京市供销总社共 同投资的蓝讯首鸣国际数据中心项目启动仪式 在北京天竺综合保税区举行。据了解,该数据 中心是北京首个国家级、超大规模云数据中心, 产业园占地面积8万平方米,包含9栋数据中 心机房和1栋感知体验中心。
4 建设条件——电力充足
风力发电 水力发电 火力发电 用电量少
4 建设条件——自然条件
非主要地震带 气温常年偏低
4 建设条件——政策支持
让更多大数据企业扎根贵州
南方基地-贵州
北方基地-乌兰察布
1 国家大数据中心(三大中心)
competitors
plan
中心基地-北京
南方基地-贵州
2015年7月9日,首个国家级数据中心——灾备中心落户贵州, 该大数据库灾备中心在贵州揭牌,这标志着大数据专项行动 第一阶段任务顺利落。位于贵州贵安新区的国家旅游大数据 库灾备中心机房内,有着一根特殊的网络虚拟专线,这条专 线跨越了北京与贵州之间2200多公里的距离,实现了国家旅 游局北京机房与贵州灾备中心数据的同步传输和异地备份。
2 云上贵州(发展历程)
国家大数据中心
目录 CONTENTS
国家大数据中心简介
1 国家大数据中心
中心基地:北京 北方基地:乌兰察布
南方基地:贵州
competitors
1 国家大数据中心(三大中心)
plan
中心基地-北京
2015年1月16日,由蓝汛与北京市供销总社共 同投资的蓝讯首鸣国际数据中心项目启动仪式 在北京天竺综合保税区举行。据了解,该数据 中心是北京首个国家级、超大规模云数据中心, 产业园占地面积8万平方米,包含9栋数据中 心机房和1栋感知体验中心。
4 建设条件——电力充足
风力发电 水力发电 火力发电 用电量少
4 建设条件——自然条件
非主要地震带 气温常年偏低
4 建设条件——政策支持
让更多大数据企业扎根贵州
南方基地-贵州
北方基地-乌兰察布
1 国家大数据中心(三大中心)
competitors
plan
中心基地-北京
南方基地-贵州
2015年7月9日,首个国家级数据中心——灾备中心落户贵州, 该大数据库灾备中心在贵州揭牌,这标志着大数据专项行动 第一阶段任务顺利落。位于贵州贵安新区的国家旅游大数据 库灾备中心机房内,有着一根特殊的网络虚拟专线,这条专 线跨越了北京与贵州之间2200多公里的距离,实现了国家旅 游局北京机房与贵州灾备中心数据的同步传输和异地备份。
2 云上贵州(发展历程)
基于经营分析系统的大数据中心建设及大数据技术应用经验交流(PPT 26张)
改进风险管理和欺诈监测
13
大数据来临,企业分析体系整体能力再升级
1. 话单数据 2. 网元等设备数据 1. 企业内部(管理层、执行层、一线 营销群体等) 2. 企业外部(客户,合作伙伴,供应 链、政府部门等) 3. 内部生产系统 数据范围广 4. …… 数据服务对象全面 1. 信息转换
3. Wlan数据
“到2015年,移动WEB网络技术会变得足够先进,现 在一半以上的传统应用都将迁移为Web应用.” - Gartner 2009
企业和消费者的需求
• 未来的无线企业应用需要能够发挥网络优势 的智能Apps (Latency, QoS) • 更加智能的城市,更加智能的医疗保健 • 更加智能的公共设施 数据业务盈利性压力 从语音到数据转变会 对盈利造成挑战, OTT服务会蚕食运营 商的盈利
Maho
GPRS
Zookeeper (Coordination) 3 4 终端 热点
Zookeeper (Coordination)
系统Βιβλιοθήκη 5 位置轨迹预处理 文件 上下文预处理 文件合并 FTP
6
采 集 与 解 析
网页分 类 网页 信息
分光/ 镜像
AILK Hadoop Platform (HDFS/MR/Nutch)
流量用户标签 海量数据分布式处理
流量价值评估 业务能力目 用户价值评估 标 3:
四网协同专题分析
流量投诉服务支 撑 上网详单 关联查询
业务能 力目标5: 助力流 投诉热点分析 量业务 的满意 答疑效果分析 度提升
调度管理
监控管理
数据管理
数 据 处 理 层 采 集 与 解 析 层
海量数据在线分析 实时融合感知 GPRS用户行为感知
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
日志与审核 跟踪
通用服务
错误处理
数据归档
文件传输帮 助
参数化
异常
线程管理
数据中心物理架构
BI应用服务器 可由多个服 务器组成应 用集群
BI 应用服务器群
ETL/Monitor/Analysis
ETL
Analysis
心跳线
业务系统数据库服务器
DSO/DM
HP
ODS
DW/DM
WEB
存 储
光纤交换机 磁盘柜
电网
交易点
市场
核算对象
核算对象 9
实现最终目标的困难
数据源不健全、数据质量差
模型统一设计工作量大
底层建设成效缓慢
2022/3/22
10
网省电力数据应用所面临的挑战
业务挑战 • 现有分析系统仅提供简单的报表能力,功
能单薄 • 领导层无法从企业全局角度出发对企业各
个业务条线进行跨业务、多角度、多层次 的综合分析 • 业务分析系统多集中于各自专业领域,而 跨业务专题的分析应用能力尚不具备 • 存在相同数据多头上报并且上报数据不一 致的问题 • 缺乏对现有数据的高级分析应用,没有合 理地发挥和利用网省电力业务数据资产的 价值 技术挑战 • 各个业务系统相互独立,业务人员难以进 行跨系统业务分析 • 现有分析型系统与相应生产型系统耦合性 较强,受到生产型系统影响较大,缺乏对 全业务分析的支持 • 数据不一致问题较严重,对于相同业务数 据存在多个不同版本 • 各业务系统自行管理数据,业务数据的含 义在企业的各个部门内存在不一致的解释 • 各类业务系统内数据质量较低
挑战
要具备成熟的数据标准和数 据模型 数据整合投入较大,短期内 与分析应用收益不能相符
适用于
数据基础较好 有成熟建模经验
方法2. 先构建分析应
用、再进行数据整合 (或者不进行全局整
合)
数据中心建设思路
西安美林 杨晓辉
2022/3/22
1
国网数据中心概念
数据建 梳理采 模设计 集(ETL)
数据 存储
数据服 务总线
2022/3/22
2
2022/3/22
数据中心建设任务
数据整合——3统一(模型、数据源、口径) 综合分析——横向分析 专业应用——纵向关联分析 数据共享——数据服务、企业总线
光纤交换机 磁带库
备份服务器
62022/3/22
数据中心建设的终极目标
统一且完善 统一数据源、 一致的数据 管控中心
的企业信息 统一数据口 出入口(数 (各种专业
模型
径
据服务总线) 分析)
2022/3/22
7
企业统一数据模型
2022/3/22
8
数据边界——顶层信息模型
物资
产品
使用产品信息
客户
资产信息
数据仓库
数据访问 数据访问
抽取 转换 关联
更新 加载
技术元数据
数据集市
DSO
元数据管理服务 元数据知识库
数据访问架构
最终用户访问
报表 查询 在线分析 知识发现
门户系 统
业务元数据
数据全域服务
被拒绝数据 管理
批处理服务 任务重启与
恢复
任务调度
文档管理服务 数据注解
应用连接服务
中间件连接 器
性能与可用性服务 监控
• 2、自下而上(数据整合法)
– 这种建设思路是先建立企业的概念模型,然后利用数 据仓库和企业建模标准等思想进行全面的数据模型设 计、物理模型设计。侧重横向分析和标准建设。
• 3、折中建设
2022/3/22
14
建设方法对比
方法1. 先数据整合、 再构建分析应用
优势
可实行有效的数据质量 管理 可快速进行分析应用的 扩展
物资相关部门
资产
资产设备
设备管理人员 招投标信息
设备
电网所属的组织
物资项目信息 项目信息
人员与组织
客户所属的组织信息
项目所属 组织信息
员工薪水
客户设备信息 组织相关指标 电网提供产品
核算对象
交易产品
综合
参与市场交易 的组织信合息同信息
项目 财务
设备安全信息
组织的安全信息
安全
2022/3/22
电网安全信息
1
2
3
业务部门主导
好的经验、方法和操作流程是关键,促进信任 关系的建立,解决互不信任的局面。 在一套有效的方法的指导下,同时遵照一个好 的流程,就容易得到领导支持,得到业务人员的 有效参与和技术人员的有力配合
过程中不断出成果
解决长周期项目中期没有任何产出的现状 消除领导及业务人员对数据中心建设疑虑 建设期间、获取业务人员对实施过程中的认可 和支持,从而不断增强他们对项目的信心及应用 实用性的肯定
综合
营销
生产
电力市场
企业数据仓库(EDW) ODS
营销、生产、综合等业务应用和其它外部数据
数据整理 数据转换 数据汇总 集中存储
数据抽取
源系统
数据源
系 统 、 非 系 统 套 装 软 件 业 务
52022/3/22
数据中心执行架构
抽取 排序过滤
清洗
数据仓库架构
数据抽取
数据存储
转换
数据缓存 ODS
加载
2022/3/22
切断原有数据统计、汇报方式
解决企业数据“进口”与“出口”数据统一 切断网省业务人员获取统计数据的其他来源, 统一定义从数据中心获取 切断业务应用向总部交换数据的其他途径
13
数据中心的建设方式
• 1、自顶向下(追溯法\分析应用法)
– 既先分析报表中指标数据,再根据指标的构成进行追 溯分析,直至建设粒度到最小的、不可再分的业务细 节数据;这种方式有利于梳理统计类指标,分析企业 中各统计指标的口径。侧重纵向数据关联。
• 短期见效、应用驱动
– 展现全局指标数据,早出成果,短期见效,以 应用促建设
– 非源头数据直接导入,健全全局类指标数据 – 转移部分业务系统查询功能 – 切断统计途径
2022/3/22
12
推动数据中心应用
数据中心建设最终是为解决业务部门专业分析能力而服务,在这个逐步推进、 不断完善成熟的过程中,应着重解决影响应用实用性不强的如下几点:
3
展示层
数据分析 应用层
数据 集市层
人力分析 财务分析 物资分析
计划分析 项目分析 设备分析
InfoCube
数据 存储层
DSO PSA
数据源层
ERP紧耦合业务应用数据
42022/3/22
数据中心目标架构
企业门户
展现方式
营销分析
生产分析
跨专业综合分析
电力市场分析 综合统计分析
数据分析 应用方式
跨专业 综合集市
120122/3/22
业务因素
• 数据分析类型划分不够明确 • 缺少统一的报表与指标体系规范 • 缺乏明确的数据认责 技术因素
• 缺乏规范的数据架构 • 缺乏明确的数据定义 • 数据分布不合理 • 数据模型不一致 • 数据管理不规范 • 缺乏企业级整合的数据 • 缺乏有力的系统实施和使用管控机制
数据中心的建设策略