浅谈大数据信息化及数据库建设
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
浅谈大数据信息化及数据库建设
作者:董新微
来源:《科学与信息化》2017年第30期
摘要“十二五”期间,国家电网公司初步建成具有信息化、自动化、互动化特征的坚强智能电网。把智能电网中产生的所有数据收集起来,数据突然间增加了许多倍,大量的半结构化和非结构化信息无法管理和存储,大数据增长速度惊人,每年以几何级数速度增长,需要有专业化的解决方案应对大数据挑战。智能电网的实时运营要求快速处理海量数据、实时采集电表数据、在线实时分析决策,传统的数据仓库平台无法支持这些新形势下的需求。
关键词大数据信息化;数据库建设;坚强智能电网
前言
近年来,大数据来势汹汹,对传统数据商业分析模式产生了重大地影响,对电力企业的数据驾驭能力提出了新的挑战与机遇。从人才培养、技术储备、数据驾驭、数据价值挖掘等方面剖析电力企业如何应对大数据的挑战,让电力企业在大数据来临时更加从容地选择适合的技术、方法论、解决方案和发展战略。
1 数据信息化以及数据库建设的意义
大数据时代的到来是由于是企业的应用系统发展到了一定阶段,各类业务数据的累积推进企业进入大数据时代。作为公司的信息部门,承担着辅助决策的重要职责,必须对大数据有全面、具体的认识,才能充分发挥它的技术价值。大数据时代的信息化建设需要站在一个战略性的高度,并不在于掌握了如何巨量的数据,而是需要对这些数据和信息进行行之有效的处理,并不拘泥于数据的形式,而是关注如何获取辅助决策时最需要的数据。
大数据主要包括以下几个特征:
1.1 大容量
企业数据量大规模增长,单一数据集的规模范围从几十TB到数PB不等。电力数据涵盖发电、输电、变电、配电、用电、调度的各个环节,数据量庞大。随着智能电网建设和物联网的应用,非结构化数据呈现出快速增长的势头,其数据量大大超过结构化数据。
1.2 多类型
大数据数据类型包括结构化数据、非结构化数据、半结构化数据等。电力企业在电网运行的整个过程中安装了许多传感器、监视器、智能交互终端等设备,每个设备运行都增加了数据的多样性。
能够在刹那间获得复杂的业务分析数据,实时完成业务决策,毫无延迟。智能电网每隔15分钟自动采集智能电表所产生的用电数据,结合实时调度运行数据,在几秒钟之内处理分析海量数据并快速预测电力电量平衡。
1.4 价值密度低
大数据的数据价值密度低,单条数据可能并无太大的价值,但海量的数据蕴藏着巨大的财富。例如,一段变电站的监控视频长达几个小时,但可能有用的信息只有一两秒钟[1]。
2 数据库建设应考虑的几个层面
2.1 技术层面
在进行数据库建设的时候,在技术层面上首先要做到满足相关的技术标准,然后要满足企业未来的发展需求,这样的数据库在企业发展过程中才能起到更好的效果。数据库在进行建设的时候,就要进行细致的分析,在分析的基础上进行技术指标的确定,对数据库要进行处理的数据量、存储介质的存储量、网络交换速度以及可靠性都要进行确定,在这些技术指标确定以后,要从企业的经营实际情况出发,考虑到企业未来的发展前景,同时数据库一定要符合企业的业务发展需求。在进行技术指标确定的时候,一定要保证数据库在进行建设的时候投资的规模不会太大,同时也要满足企业的发展。在进行数据库建设的时候,要将企业现有的信息进行综合,同时要保证数据库的实用性。
在进行数据库建设的时候,硬件设备一定要采用最好的,同时数据库在占地面积方面也要进行规划,在功能区划分方面一定要满足企业的业务发展需求。数据库在运行的时候,对温度、湿度、消防、防雷、接地、照明和辐射等方面都要符合相关的环境标准,同时在进行网络建设的时候,一定要做好监控工作。数据库在使用的时候,一定要重视管理方面的问题,做好管理工作才能更好的保证数据库的安全性。数据库在运行的时候要进行数据的储存,这样就使得数据库在储存方面一定要保证其能力,同时在企业门户及平台建设的时候,也要依靠数据库的系统。
2.2 业务层面
业务层面的考虑不仅需要信息技术工程师参与,还需要企业管理人员和业务人员的参与。要广泛征求企业管理人员和业务人员的意见,并对他们的意见建议加以认真归纳考虑。业务层面的考虑不足常常导致数据库不能满足企业业务的需要,特别是未来企业业务的需要。在建设数据库同时,还应按ERP系统方法深入研究企业发展战略和管理规范,对企业流程实施BPR。对企业业务流程认识越深刻,数据库建设才会越能贴近企业的真实业务需求,数据库的规划才不会过于超前,亦不会落后。
管理层面包括两方面,一是对数据库建设有直接影响的企业管理;二是数据库本身的管理。企业管理的规范化和业务流程的优化对数据库有着很大的关联作用。以电力企业为例,电网公司、发电公司、供电公司的管理内容、规范程度各不相同,对数据库的建设将产生不同的影响。由于电网公司要处理大量发电、输变电、供用电的数据,其对数.据中心要求更高。供电公司企业管理相对固定,比较规范,因此其数据库建设风险相对比较容易控制。发电公司常常对发电数据、报价数据、财务数据要求更高,那么在数据库建设中这些数据必须具有更高的可靠性、安全性,并分配更大的存储容量。技术先进的数据库,如果管理不规范,数据库的作用就不能充分发挥。管理是多方面,既包括数据库日常的规章制度及规章制度的执行程度,还包括对数据库中各系统运行的可靠管理。管理的范围包括数据库的基础设施及环境、网络、服务器、数据库、应用系统、备份容灾系统等。管理的内容包括配置管理、性能管理、故障管理、设备管理等[2]。
3 结束语
电力大数据作为一种新兴的技术和理念,虽处在发展的初级阶段,但展示出了数据中蕴藏的巨大能量。数据库管理系统作为处理数据的核心之一,在大数据中的应用不应被忽视。因此,加强数据库新技术的研发,对于各个国家在大数据时代的信息战中都显得尤为重要。
参考文献
[1] 齐磊.大数据分析场景下分布式数据库技术的应用[J].移动通信,2015,(12):58-62.
[2] 滕健鲲,孙桂琴.数据库技术应用问题研究[J].科技致富向导,2015,(15):81-81.