电力公司一体化信息平台总体方案v1.0

合集下载
相关主题
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
16
功能要求说明
省电力公司未来数据仓库应具备以下技术能力:
◆提供较强的数据抽取、转换与加载能力; ◆帮助公司实现按业务主题的数据集中存储,完成对分散数据的集成 整合工作,形成企业内部“唯一事实”; ◆针对具体分析应用,为最终用户提供高效的数据查询和分析服务; ◆为最终用户提供各种标准报表以及灵活的图表展现服务,为不同层 次管理人员制定正确决策提供信息保障 ; ◆元数据管理功能,方便数据仓库所保存信息的管理 ; ◆具备完善的数据质量管理机制,确保数据在企业内各个地点的一致 性与准确性,提升数据仓库分析结果的可信度 ;
身份管 理
认证 代理
人员目 录
认证 目录
业务流程集成
业务系统
人力资源
营销管理
安全生产
财务管理
物资管理
项目管理
协同办公 业务数据集成
综合管理
ETL1
数据中心
商务智能
数据仓库
ETL2
操作型数据 存储(ODS)
企业资源 管理平台












安运 全维 管管 理理
网省公司
数据交换
网省公司
4
数据中心定义 ■ 数据中心:为电网生产、建设、经营、综合管理等提供服务的统 一信息平台,是各业务应用系统的数据交换和共享平台,是企业 级综合分析与辅助决策的支撑平台。
17
目录 ■ SG186工程总体描述 ■ 数据中心实现目标的总体规划 ■ 实施保障 ■ 费用概算 ■ 风险分析
18
甲方项目组织结构
19
开发商项目组织结构
20
运维项目组织结构
21
实施计划(1)
系统设计阶段主要工作
◆总体架构设计 设计省公司数据仓库的
技术架构与应用架构,并进 行开发环境、执行环境与运 维环境的设计;
14
省公司数据中心实施演进阶段说明 演进路线包括了速赢、数据仓库基本成型、数据仓库优化三个阶段
,分别是在2007年底完成速赢阶段建设、2008年底完成数据仓库基本 成型阶段建设、2009年底完成数据仓库优化阶段建设。该演进路线将速 嬴作为项目实施阶段的第一步,积累一定经验后再逐步建立完善数据仓 库。在数据中心的速赢阶段的建设内容,以满足管理层的管理决策的数 据需求为主,提供基于指标的查询和统计。
5
目录 ■ SG186工程总体描述 ■ 数据中心实现目标的总体规划 ■ 实施保障 ■ 费用概算 ■ 风险分析
6
各部分的定义 ■ 数据源 ■ ETL(数据抽取、转换、加载) ■ ODS(操作型数据存储) ■ 数据仓库 ■ 数据集市 ■ 分析应用 ■ 元数据
7
数据源 ■ 数据源:数据源是存放为满足最终用户需求而被迁移到数据仓库内的各 类信息的源头,是操作型与交易处理型业务应用系统(如营销系统、人 力资源系统、财务系统、电力市场交易系统等)内收集和存放的数据集 合。
一■体一化体平化台平总台体总结体构结构



面 的 集
基本 应用

基础支 撑功能
企业门户
Web内容管理
搜索
单点登录
个性化定制
扩展 应用
协同工作
对8大系统中协 同办公的规范 要求
待办事宜
对应用集成项 目的规范要求
BI展现
对BI接入的规 范要求
多渠道接入
Portlet框架 虚拟门户
门户管理与维护
身份认证登录
安徽省电力公司 一体化信息平台总体方案
2007. 3
目录 ■ SG186工程总体描述 ■ 数据中心实现目标的总体规划 ■ 实施保障 ■ 费用概算 ■ 风险分析
1
“SG186工程”的内涵
一体化平台由信息网络、数据交换、数据中心、应用集成、企 业门户五个部分组成
2
“SG186工程”的目标和阶段
SG186实现的四个目标:
设计并实现元数据管理机制 ; ◆方案集成
与省公司其他业务应用进行 集成,如门户系统、业务应用 系统等; ◆数据仓库管理
制定数据仓库管理流程。
22
实施计划(2)
系统审核与优化ຫໍສະໝຸດ Baidu段主要工作 ◆数据仓库评估
制定评估规范,并对数据仓库工作近况进行评估,以对后期工 作提供指导意见; ◆应用优化
对各类数据仓库应用进行性能优化; ◆逻辑数据模型检查
8
ETL ■ ETL主要提供数据转储以及数据移动控制相关的各种流程与服务,用于 完成将数据源整合到ODS或从ODS迁移到数据仓库的工作。 ■ ETL主要由以下几个服务组成:任务调度、批量文件控制、错误处理、 异常处理、文件与数据传输、审核与验证。
9
ODS
■ 详细的业务系统源数据在被处理载入数据仓库前都将以符合三级范式的形式按 照数据主题模型存储在ODS(即Operating Data Store,操作型数据存储)中。 ODS按功能,分为数据缓冲区和统一信息视图区两个区域。
检查逻辑数据模型是否符合业务需求与规则; ◆数据库设计检查
检查数据仓库是否实现了最终用户提出的全部需求; ◆环境优化
优化数据仓库的开发、执行与运维环境; ◆容量规划
为未来数据仓库发展所需的硬件环境进行规划。
23
实施计划(3)
阶段
1 项目启动 2 需求定义 3 系统设计 4 开发实现 5 部署实施 6 功能测试 7 系统测试 8 初步上线运行 9 优化完善 10 初验 11 终验
配合费用预先按照实施费用1:1列支,则为360万。届时将根据实际招标费 用修改。
29
建议方案费用总计
费用类别 金额(元)
硬件
5,516,000
备注
各相关服务器均按群集构建,其中将数据 仓库+数据集市的硬件配置下降至8CPU 16G,并且仅数据仓库+数据集市使用小 机,而其他服务器均使用PC SERVER
软件 实施 配合 总计
5,790,000 3,600,000 3,600,000 18,906,000
本方案中的费用不包括存储和网络的费用
30
建议方案说明
就大型数据平台来看数据仓库类的系统应用必须架设在高性能的小型机上 ,PC服务器的性能往往很难满足此类应用。并且小型机比PC服务器更加的 稳定、安全、高效。但小型机系统的投资一般都在百万之上,使用期限也相 应较长。与PC服务器不同的是,小型机采用的都是独有技术,只有通过厂商 认证的工程师才能进行维护,维护升级的成本相对与PC服务器也更高,而自 己进行维护的自由度也是不能和PC服务器相比的。
SG186实现的三个阶段:
◆第一步:2006~2007年,开展平台及业务应用典型设计,统一咨询,试点 先行,分步推广,实现初步集成; ◆第二步:2008~2009年,全面完成业务应用的推广,基本实现全面集成; ◆第三步:2010年,进一步完善提高,为初步建成“一强三优”现代公司提供 坚强支撑
3
一体化平台总体结构
● 元数据是关于数据的数据。利用元数据,分别以业务视角和技术视角描述 存储在数据仓库中的数据。
● 通常,我们利用元数据来定义文件结构,定义数据模型内数据属性的命名 、数据长度与标准,以及定义数据属性到数据属性与数据属性到报表间的 映射关系。
● 按元数据的类型,可以分为业务元数据与技术元数据。
13
省公司数据中心实施演进路线
小型机的操作系统是单一的,比如IBM系列小型机采用AIX,能否在这一 系统平台上解决所有的应用(如ETL,ODS等),是值得探讨的。即便可以 在这一单一的系统平台上解决所有的应用,但所采用技术手段的代价肯定不 小,而效果却不一定令人满意。
当前(TB)
每年增量(TB) 3年后(TB) 6年后(TB)
1.64
0.33
2.64
3.64
26
软件概算
Cognos Sybase I/Q Informatica
商务智能 数据仓库 ETL
27
138万/100用户 25万/CPU 35万/CPU
实施和配合费用概算(1)
阶段 1 项目启动 2 需求定义 3 系统设计 4 开发实现 5 部署实施 6 功能测试 7 系统测试 8 初步上线运行 9 优化完善 10 初验 11 终验 12 项目管理(PM/QA/CM
15
速赢阶段目标和成效
在2007年底完成数据中心的速赢阶段建设,从而实现以下目标:
◆功能上实现综合分析及计划统计(即领导查询); ◆技术上实现建立数据仓库技术架构环境(包括开发环境,执行环境,运维环 境)和建立综合分析及计划统计数据集市; ◆管理上实现初步统一编码,使数据集市中标准一致和对于地市上报的统计 指标,统一统计口径;
) 合计
人数估算 5 5 8 15 5 3 3 5 15 5 5 3
28
工作量估算(人/天) 35 315 440
1260 105 40 20 35 840 35 35 700
3860人天
实施和配合费用概算(2)
对于项目管理的活动按照中级项目经理的价格来计算,其它按照高级程序 员的价格统一计算。计算入下: 700*1,100+3,160*900=3,620,000
10
数据仓库 ■ 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数 据集合,用于支持管理决策。数据仓库可以帮助用户更好地理解信息, 从新的角度看待这些信息,以便获得更好的洞察力,看到模式和趋势, 并更好地进行商业决策。数据仓库为整个企业的需要服务。
● 数据仓库需要访问不同的数据源,需要存储海量的数据,需要对企业数据 进行分析,并用适当的方式展现给出来。数据仓库的建设不仅涉及到许多 先进的技术,更涉及到企业所有的业务知识。
◆建成“纵向贯通、横向集成”的一体化企业级信息集成平台,实现公司系统 上下信息畅通和数据共享; ◆建成适应公司系统管理需求的八大业务应用,增强国家电网公司系统各项业 务的管理能力,提高工作的质量和效率; ◆建立健全规范有效的六个信息化保障体系,推动信息化健康、快速、可持续 发展; ◆力争到“十一五”末期,公司系统的信息化水平达到国内领先、国际先进, 初步建成数字化电网、信息化企业。
● 数据仓库不是一个产品,而是一个具体的解决方案。
11
数据集市
● 数据集市是一组特定的、针对某个主题域、部门或用户分类的数据集合。 ● 这些数据需要针对用户的快速访问和数据输出进行优化,优化的方式可以
通过对数据结构进行汇总和索引。 ● 通过数据集市可以保障数据仓库的高可用性、可扩展性和高性。
12
元数据
◆物理数据库设计 设计实现省公司数据仓
库所需的各种硬件与软件系 统架构,如服务器、存储设 备、操作系统、数据库管理 系统等。此外,还应该完成 数据物理存储模式的设计
实现部署阶段主要工作
◆数据转换 进行数据标准化工作,实现
数据从源系统到目标系统的转 换; ◆应用开发
开发各类数据仓库应用; ◆元数据管理
我们能看到以下阶段成效:
◆基本实现了综合分析及计划统计功能; ◆指供了基于指标的查询和统计,表现形式主要是报表、图形和仪表盘。但 对明细数据的分析能力有限; ◆提供了一定层次的维度分析,但仍需要进一步深化; ◆数据集市中的数据能自动更新,使用者每日/月能看到更新的统计数据; ◆从数据仓库技术架构上而言,只有用于数据缓冲存储的ODS和用于分析目 的数据集市,还未建立企业数据仓库; ◆在支持与总部数据中心级联中,用于交换的数据以指标为主;
在选择我省数据中心的演进路线时,考虑了以下原因: 核心业务系统数据未实现省公司集中,省公司数据仓库的数据整合实施 成本高; 数据仓库建设相关难点较多,实施数据仓库会有经验或技术上存在较大 难度; 近期内,核心业务系统(如营销、生产、调度等)有改造计划,包括业 务系统的数据结构、数据分布会出现较大调整; 省公司没有成熟的指标统计以及分析系统,通过速赢阶段可以快速实现 指标统计及分析系统,不仅可以马上看到效果,投入应用,而且总结一 定开发实施经验。
时间
第1周 第2-10周 第8-15周 第10-21周 第19-21周 第20-21周
第22周 第23周 第24-32周 第33周 第45周
24
目录 ■ SG186工程总体描述 ■ 数据中心实现目标的总体规划 ■ 实施保障 ■ 费用概算 ■ 风险分析
25
硬件概算
根据国网公司咨询结果的估算方法,估算得出安徽省电力公司大致数据仓库容 量发展情况如下
■ ODS缓冲区存储指数据库中的一段临时存储区,它存放由业务系统提供的源数 据。不同数据库平台(包括文本)的业务源数据到达缓冲区后,实现数据库平 台的一致,方便进行数据整合和处理。缓冲区存储的数据基本上与源系统保持 一致。缓冲区存储的数据被处理后,不会被保留。
■ ODS是数据仓库架构中重要的功能区域,除了作为数据在进入数据仓库区域前 的缓冲区外,它集成了来自部署于业务系统数据库的各类业务数据,并通过对 数据ETL形成一致的企业数据集成视图,有利于最终用户更好地通观全局,这 一区域被称作ODS的统一信息视图区。
相关文档
最新文档