工作心得：大数据在电子政务中的应用

工作心得：大数据在电子政务中的应用

当前，全球大数据产业日趋活跃，技术演进和应用创新加速发展，各国政府也逐渐认识到大数据在推动经济发展、改善公共服务，乃至保障国家安全方面的重大意义，纷纷积极出手推动。在全球大数据蓬勃发展的大背景下，我国也面临难得的发展机遇。当前也正是我国全面建设小康社会的关键时期，是深化改革开放、加快转变经济发展方式的攻坚时期。国家电子政务发展面临新的环境和要求，正处于转变发展方式、深化应用和突出成效的关键转型期。如何充分利用大数据理念和技术，进一步加快电子政务建设，提升政府管理能力和服务水平，是电子政务领域当前面临的紧迫课题。

一、大数据概述

（一）大数据时代的到来

大数据的应用和技术是在互联网快速发展中诞生的，起点可追溯到2000年前后。当时互联网网页爆发式增长，每天新增约700万个网页，到2000年底全球网页数达到40亿，用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互联网的效率，这是大数据应用的起点。当时搜索引擎要存储和处理的数据，不仅数量之大前所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统(GFS，

Google File System)、分布式并行计算(MapReduce)和分布式数据库(BigTable)等技术，以较低的成本实现了之前技术无法达到的规模。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。

伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术，取得初步成效。与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景下使用。2011 年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股大数据热潮。

（二）大数据的概念及特征

目前对大数据还没有标准的定义，一般认为它是一种数据量很大、数据形式多样化的非结构化数据。

维基百科定义为：大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。

百度百科定义为：大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。从各种各样类型的数据中快速获得有价值信息的能力，就是大数据技术。

IBM 从三个基本特性角度来定义大数据，即：“3V”：体量（Volume）、速度（Velocity）和多样性（Variety）。也有人认为大数据包括三个要素，即：大分析（Big Analytic）、大带宽（Big Bandwidth）和大内容（Big Content）。

电信研究院认为，认识大数据，要把握“资源、技术、应用”三个层次。大数据是具有体量大、结构多样、时效强等特征的数据；处理大数据需采用新型计算架构和智能算法等新技术；大数据的应用强调以新的理念应用于辅助决策、发现新的知识，更强调在线闭环的业务流程优化。因此说，大数据不仅“大”，而且“新”，是新资源、新工具和新应用的综合体。

尽管大数据定义不一，但总的来说，大数据具有如下几个特征：

首先是数据规模浩大。数量巨大是大数据最显著的特征，且数据量仍以前所未有的速度持续增加。国际数据公司（IDC）的研究报告称，未来十年内，全球大数据将增加50倍，到2020年，全球将达到35ZB（约3.5万亿GB）的数据信息量。

其次是大数据技术需要处理的数据类型日趋复杂，数据类型由传统的结构化数据向原先无法用常规软件进行深入分析处理的非结构化数据转变。随着互联网的飞速发展，各种新型应用不断涌现，如社交网络、电子商务、位置服务等，以文本、图形、语音、视频等为代表的非结构化数据的增长速度也越来越快，远远大于结构化数据的增长速度。未来大数据主要通过对非结构化数据的分析处理来获得价值。

再次是大数据的数据创建、分析和处理的速度在不断加快。目前，数据以传统系统不可企及的速度在传播，在短短的60秒内，YouTube用户会上传长达48小时的视频；Google会收到200万次搜索请求并能极快地回馈结果；Twitter需要处理100万条Tweets信息；AppStore有4.7万次的应用下载；全球新增网页达到