云计算关键技术在统计中的应用研究
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
云计算关键技术在统计中的应用研究
【摘要】在政府统计工作中,如何充分利用云计算的各种技术,以提高统计数据处理的效率,具有重要的实践指导意义。本文基于云计算的理论和技术以及政府统计数据的特点,分析云计算在政府统计工作中的研究现状以及具体应用,探索政府统计部门建设云计算中心的困难与问题,最后展望统计云的发展。
【关键词】虚拟化技术;云计算;统计云
1.前言
云计算技术是科技创新的前沿领域,深刻改变着人类的生活方式,对世界政治、经济、军事、科技、文化、社会等领域产生着重要影响。现代信息技术的迅猛发展为发展统计生产力、提升统计工作现代化提供了有力支撑。在科学技术日新月异的今天,如何充分应用云计算技术,实现统计工作电子化、网络化,以适应社会现代化发展的需要,这是统计工作规范化建设的需要,在未来的统计工作中,云计算技术的广阔发展前景,需要不断与实践结合,从而更好地为统计工作服务,这在当前统计工作中具有重大意义。
当前,网络信息技术领域中云计算的发展和应用给政府统计信息化工作带来了机遇和挑战。本文基于云计算的理
论和技术以及政府统计数据的特点,分析云计算在政府统计工作中的研究现状以及具体应用,探索政府统计部门建设云计算中心的困难与问题,最后展望统计云的发展。
2.云计算在政府统计中的研究现状
2.1 云计算定义
对于云计算,美国国家标准与技术研究院(MST)将其定义为一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进人可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源只需投人很少的管理工作或者只需与服务供应商进行很少的交互就能够被快速提供。根据该定义,云计算就是通过网络提供可伸缩的廉价的分布式计算能力:云端就代表了互联网,通过网络的计算能力,取代使用原本安装在自己电脑上的软件,取代原本资料存在自己硬盘的动作,通过网络庞大的虚拟空间来进行各种工作。
2.2 云计算特点
根据云计算的定义,其主要特点可归纳如下:
2.2.1计算资源的集成提高了设备计算能力。即使一般规模的“云”也至少拥有数百上千台服务器,这造就了用户能拥有前所未有的计算能力。云计算把大量计算资源集中在公共资源池中,通过多种租用方式让不同用户共享计算资源,为支持超大数据量计算提供有力保障。
2.2.2高可靠性。云计算中的分布式数据中心保证了系统的容灾能力,“云”采取了数据多副本容灾、容错机制和相关计算节点同构可互换等措施,确保了服务的可靠性,从这个意义上讲,使用云计算比使用本地计算机更可靠。
2.2.3虚拟化。云计算支持用户在任意位置、使用不同的终端获取应用服务。用户所请求的资源来自“云”,而不是固定有形的实体,同时,获取的应用运行在“云”中,用户无须了解、也不用关心应用运行的具体位置,只需要一台笔记本或者一部手机,就可以通过网络获得”随需随取”的人性化服务,甚至包括超级计算的应用。
2.2.4低成本。在云计算中,由于在整个用户群中减少了大量价格极高的服务器等硬件设施的重复购置,不仅节约了成本,同时还减少了由于设备运转带来的电力耗费和碳排放量。
2.3 云计算在政府统计中的现状
大多数政府统计信息化部门的建设模式是一个服务器运行单个应用,大多数时候,这些服务器的负载在15%以下。随着各级政府对统计调查频率的提高,同时统计调查与分析覆盖面的迅速扩大,带来以下问题:(1)报送流程长;(2)统计人员录人等问题上花费太多时间,难以在统计分析方面做出贡献;(3)数据易丢失,且难以共享,难以适应统计业务发展的需要,需要不断购买新的应用系统及硬件设
备。
因此,使用日臻成熟的云计算对现有的政府统计设备资源和数据资源进行整合,通过集群的方式组成系统资源池,可以有效解决基础设施资源无法共享和协同调度、资源利用率低下、管理和维护成本高等问题,建设网络化、开放化并具有高并发业务处理能力的政府综合统计信息化平台,实现更强的策略执行力度和更高的数据安全。
3.云计算在统计业务中的应用与问题
3.1 云计算在统计业务中的应用
政府部门的统计数据生产、处理过程涉及行业范围广,数据量大,对数据审核、汇总、分析等都要依赖于现代信息技术手段,随着社会的不断发展,统计数据也在爆炸式增长,要满足分散的数据分布、海量的数据存储、高效的数据运算等需求,而云计算在这方面体现出来的优势,正好满足统计业务这一需求。
关于云计算技术在政府统计中的应用,郑慧勇(2011)提出在总结历年使用的统计软件、电子政务及办公自动化系统经验的基础上,利用先进的云计算技术模式,以规范的统计业务流程、统计信息标准为前提,开发集网上直报、数据管理、统计查询、业务自定义为一体的专业通用统计信息管理软件平台,从而构成一个面向统计调查对象、统计工作者、政府相关部门和社会公众的“统计专业数据库云计算平台”。
国家统计局数据管理中心主任许剑毅(2011)提出要加快部署“统计云”。他认为国家统计局和地方政府统计部门需要建立一个国家统一的核心业务系统,即统计云。
近年来,统计系统已成功使用的企业联网直报系统,及近期开展的第三次全国经济普查数据采集、数据处理都是云计算的典型应用。由国家统计局的高性能服务器池与节点省份的服务器共同构架了云基础设施平台,在此基础之上开发构建三经普数据采集处理平台。
在数据采集阶段,“三上”企业通过使用联网直报平台,其他单位和个体户采用PDA移动终端分别将数据传送到位于“云端”的三经普数据处理平台。
在数据处理与开发阶段,各级普查机构通过统计内网登录三经普数据处理平台,按照各自的权限进行本地区所有单位的排重、数据的审核与汇总等工作。对本地区的普查数据进行合库、审核、汇总、数据评估和资料开发。这些数据最终经过国家统计局审核、汇总后分类存入国家基本单位名录库、国家统计地理信息系统和经济普查数据库。这些相关工作的整个过程都是在国家统计局的云计算平台上一气呵成,所有的数据都直接存储于该平台之中。参与三经普数据采集、数据审核、数据汇总等各环节操作的不同用户,都登陆这个平台进行操作,每个操作都有日志记录,从而保证数据的真实可靠,提高了统计数据的质量。